Hadoop分布式集群安装配置教程

环境准备：

Hadoop 集群的安装配置大致为如下流程:

• 选定一台机器作为 master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
• 在 Master 节点上安装 Hadoop，并完成配置
• 在其他 Node 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
• 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Node 节点上
• 在 Master 节点上开启 Hadoop
• 版本：

[hadoop@master ~]$ hadoop versionHadoop 2.7.2.....

节点对应IP：
- 172.16.151.10 master
- 172.16.151.20 node1

• a) 配置网络连接、主机名、修改/et c/hosts
• b) 禁用SElinux - SELINUX=disabled
• c) 关闭防火墙
• d) 测试网络连接

[hadoop@master ~]$ ping node1 -c 2[hadoop@node1 ~]$ ping master -c 2

---

配置SSH无密登陆节点

这个操作是要让 master 节点可以无密码 SSH 登陆到各个 node 节点上[hadoop@master hadoop]$ cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost[hadoop@master hadoop]$ rm ./id_rsa*            # 删除之前生成的公匙（如果有）[hadoop@master hadoop]$ ssh-keygen -t rsa       # 一直按回车就可以[hadoop@master hadoop]$ cat ./id_rsa.pub >> ./authorized_keys完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）接着在 Master 节点将上公匙传输到 Node1 节点：[hadoop@master hadoop]$ scp ~/.ssh/id_rsa.pub hadoop@Node1:/home/hadoop/接着在 Node1 节点上，将 ssh 公匙加入授权：[hadoop@node1 ~]$ mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略[hadoop@node1 ~]$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys[hadoop@node1 ~]$ rm ~/id_rsa.pub    # 用完就可以删掉了

配置环境变量：

将Hadoop安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用hadoo、hdfs 等命令了,需要在 Master 节点上进行配置。

[hadoop@master ]$ vim ~/.bashrc，加入一行：export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin[hadoop@master hadoop]$ source ~/.bashrc

配置集群/分布式模式

[hadoop@master hadoop]$ cd
/usr/local/hadoop/etc/hadoop

文件slaves，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为DataNode.分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用

[hadoop@master hadoop]$ cat slavesnode1[hadoop@master hadoop]$ vim core-site.xml<configuration>    <property>                <name>fs.defaultFS</name>                <value>hdfs://master:9000</value>        </property>        <property>            <name>hadoop.native.lib</name>        <value>false</value>        <description> if loadown nativelib</description>    </property>        <property>            <name>hadoop.tmp.dir</name>        <value>file:/usr/local/hadoop/tmp</value>        <description>Abase for other temporary direction</description>        </property></configuration>`dfs.replication` 一般设为 3，但我们只有一个 node 节点，所以 dfs.replication 的值还是设为`1`：[hadoop@master hadoop]$ vim hdfs-site.xml<configuration>        <property>                <name>dfs.namenode.secondary.http-address</name>                <value>master:50090</value>        </property>        <property>                <name>dfs.replication</name>                <value>1</value>        </property>        <property>                <name>dfs.namenode.name.dir</name>                <value>file:/usr/local/hadoop/tmp/dfs/name</value>        </property>        <property>                <name>dfs.datanode.data.dir</name>                <value>file:/usr/local/hadoop/tmp/dfs/data</value>        </property></configuration>[hadoop@master hadoop]$ vim mapred-site.xml<configuration>        <property>                <name>mapreduce.framework.name</name>                <value>yarn</value>        </property>        <property>                <name>mapreduce.jobhistory.address</name>                <value>master:10020</value>        </property>        <property>                <name>mapreduce.jobhistory.webapp.address</name>                <value>master:19888</value>        </property></configuration>[hadoop@master hadoop]$ vim yarn-site.xml<configuration>        <property>                <name>yarn.resourcemanager.hostname</name>                <value>master</value>        </property>        <property>                <name>yarn.nodemanager.aux-services</name>                <value>mapreduce_shuffle</value>        </property></configuration>配置好后，将 Master 上的 /usr/local/hadoop/etc/hadoop 文件夹复制到各个节点上。[hadoop@master hadoop]$ cd /usr/local/hadoop[hadoop@master hadoop]$ sudo rm -r tmp     # 删除 Hadoop 临时文件[hadoop@master hadoop]$ sudo rm -r logs/*   # 删除日志文件[hadoop@master hadoop]$ tar -zcf ~/hadoop.master.tar.gz ./etc/hadoop  # 先压缩再复制[hadoop@master hadoop]$ cd ~[hadoop@master hadoop]$ scp ./hadoop.master.tar.gz Node1:/home/hadoop在 Node1 节点上执行：[hadoop@node1 ]$ sudo rm -r /usr/local/hadoop/etc/hadoop    # 删掉旧的（如果存在）[hadoop@node1 ]$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local/hadoop/etc[hadoop@node1 ]$ sudo chown -R hadoop:hadoop /usr/local/hadoop/etc/hadoop同样，如果有其他 Node 节点，也要执行将 hadoop.master.tar.gz 传输到 Node 节点、在 Node 节点解压文件的操作。

启动并测试Hadoop集群

首次启动需要先在 Master 节点执行 NameNode 的格式化：[hadoop@master ]$ hdfs namenode -format       # 首次运行需要执行初始化，之后不需要接着可以启动 hadoop 了，启动需要在 Master 节点上进行：[hadoop@master ]$ start-dfs.sh[hadoop@master ]$ start-yarn.sh[hadoop@master ]$ mr-jobhistory-daemon.sh start historyserver通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程:[hadoop@master ~]$ jps2867 JobHistoryServer2260 NameNode13191 Jps2446 SecondaryNameNode2591 ResourceManager----------在 Node 节点可以看到 DataNode 和 NodeManager 进程[hadoop@node1 ~]$ jps2146 DataNode13800 Jps2250 NodeManager缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。例如我这边一共有 1 个 Datanodes：[hadoop@master ~]$ hdfs dfsadmin -reportConfigured Capacity: 23602401280 (21.98 GB)Present Capacity: 21455265792 (19.98 GB)DFS Remaining: 21454774272 (19.98 GB)DFS Used: 491520 (480 KB)DFS Used%: 0.00%Under replicated blocks: 0Blocks with corrupt replicas: 0Missing blocks: 0Missing blocks (with replication factor 1): 0-------------------------------------------------Live datanodes (1):Name: 172.16.151.20:50010 (node1)Hostname: node1Decommission Status : NormalConfigured Capacity: 23602401280 (21.98 GB)DFS Used: 491520 (480 KB)Non DFS Used: 2147135488 (2.00 GB)DFS Remaining: 21454774272 (19.98 GB)DFS Used%: 0.00%DFS Remaining%: 90.90%Configured Cache Capacity: 0 (0 B)Cache Used: 0 (0 B)Cache Remaining: 0 (0 B)Cache Used%: 100.00%Cache Remaining%: 0.00%Xceivers: 1Last contact: Sun Dec 18 00:52:52 CST 2016

也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态：http://master:50070/
。如果不成功，可以通过启动日志排查原因。

---

伪分布式、分布式配置切换时的注意事项

• 1, 从分布式切换到伪分布式时，不要忘记修改 nodes 配置文件；
• 2, 在两者之间切换时，若遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Node 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。

---

执行分布式实例

• 执行分布式实例过程与伪分布式模式一样，首先创建 HDFS 上的用户目录：

[hadoop@master ~]$ hdfs dfs -mkdir -p /user/hadoop将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中：[hadoop@master ~]$ hdfs dfs -mkdir input[hadoop@master ~]$ hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

• 通过查看 DataNode 的状态（占用大小有改变），输入文件确实复制到了 DataNode 中，如下图所示：
  

接着就可以运行 MapReduce 作业了：

[hadoop@master ~]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似，会显示 Job 的进度。
可能会有点慢，但如果迟迟没有进度，比如 5 分钟都没看到进度，那不妨重启 Hadoop 再试试。若重启还不行，则很有可能是内存不足引起，建议增大虚拟机的内存，或者通过更改 YARN 的内存配置解决。

• 同样可以通过 Web 界面查看任务进度 http://master:8088/cluster 在 Web 界面点击 “Tracking UI” 这一列的 History 连接，可以看到任务的运行信息，如下图所示：
  
  

执行完毕后的输出结果：

关闭 Hadoop 集群也是在 Master 节点上执行的：

[hadoop@master ~]$ stop-yarn.sh[hadoop@master ~]$ stop-dfs.sh[hadoop@master ~]$ mr-jobhistory-daemon.sh stop historyserver

此外，同伪分布式一样，也可以不启动 YARN，但要记得改掉 mapred-site.xml 的文件名。
- 参考资料