Echars 实现简单柱状图
最简单的柱状图 柱状图的series typr 为 bar option = { xAxis:{ data:['a','b','c','d','e'] }, yAxis:{ }, series:{ type: 'bar', data:[1,2,3,4,5] } } xAxis：类目型 yAxis：数值型 series：系列（指定数值） 多系列的柱状图 如果要实现多系列，我们可以把原先的字典...
Nov 13, 20212 min read
Command Palette
Search for a command to run...
Latest articles
【两万字总结】Spark 部署与入门
Spark 介绍 核心概念 Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架，类似于 Hadoop，但有很多的区别。 最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入 HDFS，更适用于需要迭代的 MapReduce 算法场景中，可以获得更好的性能提升。 例如一次排序测试中，对 100TB 数据进行排序，Spark 比 Hadoop 快三倍，并且只需要十分之一的机器。 Spark 集群目前最大的可以达到 8000 节点，处理的数据达到 PB 级别...
Oct 20, 202115 min read【引言】浙大机器学习课程记录
机器学习的定义 第一种定义 ARTHUR SAMUEL对Machine learning 的定义 Machine Learning is Fields of study that gives computers the ability to learn without being explicitly programmed 机器学习是这样的领域，它赋予计算机学习的能力，（这种学历能力）不是通过显著式编程获得的 显著式编程 提前人为指定规律的编程方式 非显著式编程 让计算机自己总结规律的...
Oct 19, 20212 min readTensorFlow 2 Keras实现线性回归
介绍 线性回归是入门机器学习必学的算法，其也是最基础的算法之一。 接下来，我们以线性回归为例，使用 TensorFlow 2 提供的 API 和 Eager Execution 机制对其进行实现。 线性回归是一种较为简单，但十分重要的机器学习方法，它也是神经网络的基础。 如下所示，线性回归要解决的问题就是如何找到最理想的直线去拟合散点样本。 对于一个线性回归问题，一般来讲有 2 种解决方法，分别是： 最小二乘法 代数求解 矩阵求解 梯度下降法。 本次，我们将使用梯度下降方法来解决线性回...
Oct 12, 20211 min readTensorFlow 2 基础概念语法与常用模块
TensorFlow 2 简介 TensorFlow 是由谷歌在 2015 年 11 月发布的深度学习开源工具，我们可以用它来快速构建深度神经网络，并训练深度学习模型。运用 TensorFlow 及其他开源框架的主要目的，就是为我们提供一个更利于搭建深度学习网络的模块工具箱，使开发时能够简化代码，最终呈现出的模型更加简洁易懂。 2019 年，TensorFlow 推出了 2.0 版本，也意味着 TensorFlow 从 1.x 正式过度到 2.x 时代。根据 TensorFlow 官方 介绍内...
Oct 12, 20213 min readGit与GitHub 实践总结
Git 与 GitHub 简介 Git 与 GitHub 历史 Linux 之父 Linus 在 1991 年创建开源的 Linux 操作系统之后，多年来依靠全世界广大热心志愿者的共同建设，经过长足发展，现已成为世界上最大的服务器系统。系统创建之初，代码贡献者将源码文件发送给 Linus，由其手动合并。这种方式维持多年后，代码量已经庞大到人工合并难以为继，于是深恶集中式版本控制系统的 Linus 选择了一个分布式商业版本控制系统 BitKeeper，不过 Linux 社区的建设者们可以免费使用它...
Oct 5, 20218 min readHadoop生态&组件部署大总结
准备 下载地址 Apache参考源 中科大开源软件镜像https://mirrors.ustc.edu.cn/apache/ 清华大学开源软件镜像站https://mirrors.tuna.tsinghua.edu.cn/apache/ Apache 官方提供镜像https://dlcdn.apache.org/ | Sqoop已不再被 Apache 维护，需要下载请前往GitHub，请参考 快捷下载 内地址 快捷下载 HADOOPhttps://mirrors.us...
Sep 26, 20215 min readRequests 基础操作
请求与响应 请求方式 import requests # GET r = requests.get('url') # POST r = requests.post('url') # PUT r = requests.put('url') # delete r = requests.delete('url') # head r = requests.head('url') # options r = requests.options('url') ### 数据交互 ####...
Sep 25, 20212 min readMapReduce 原理与实践
MapReduce 简介 MapReduce 核心思想 Hadoop MapReduce 是一个编程框架，它可以轻松地编写应用程序，以可靠的、容错的方式处理大量的数据(数千个节点)。 正如其名，MapReduce 的工作模式主要分为 Map 阶段和 Reduce 阶段。 一个 MapReduce 任务（Job）通常将输入的数据集分割成独立的块，这些块被 map 任务以完全并行的方式处理。框架对映射（map）的输出进行排序，然后将其输入到 reduce 任务中。通常，作业的输入和输出都存储在文件系...
Sep 15, 20216 min read