筹备

参考

Centos镜像下载：http://mirrors.aliyun.com/centos/7/isos/x86_64/

Hadoop下载：https://hadoop.apache.org/releases.html

JDK下载：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

VM下载：https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html

SCP 命令请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第6.2 小节 其中的 ：3）通过 scp 传输 host 文件

虚拟机安装Centos此处不详细描述

Centos国内源

请参考我的另一篇文章：

《基于Docker实现Hadoop完全分布式部署》 第2.1 小节

基础工具安装

请参考我的另一篇文章：

《基于Docker实现Hadoop完全分布式部署》 第2.2 小节

准备开发工具

Mysql 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第5.1 小节

Java 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第5.2 小节

Python3 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第5.3 小节

Scala 安装

请参考我的另一篇文章：

《Hadoop 高并发集群 与 开发环境部署》第5.4 小节

Hadoop部署

core-site.xml

<configuration>
        <property>
           <name>hadoop.tmp.dir</name>
           <value>/tmp</value>
         </property>
         <property>
          <name>io.file.buffer.size</name>
           <value>131072</value>
         </property>
         <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:8020</value>
         </property>
</configuration>

hdfs-site.xml

<configuration>
        <property>
           <name>dfs.namenode.name.dir</name>
           <value>/name</value>
         </property>
         <property>
          <name>dfs.blocksize</name>
           <value>134217728</value>
         </property>
         <property>
            <name>dfs.datanode.data.dir</name>
            <value>/data</value>
    </property>
         <property>
                 <name>dfs.replication</name>
                 <value>1</value>
         </property>
</configuration>

mapred-site.xml

<configuration>
          <property> 
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
           </property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>