hadoop2.x 动态添加节点

来源：互联网发布：js data- 编辑：程序博客网时间：2024/06/02 23:37

假设添加的节点主机名为slave03

1.在各个节点上修改hosts文件添加islave03(确定防火墙已经关闭)

2.配置namenode节点和resourcemanager节点到slave03的免登录

3.拷贝slave02(datanode节点)所有的hadoop文件到slave03上

4.在/hadoop/zookeeper-3.4.5/conf/zoo.cfg 添加(server.3表示之前已经存在2个datanode节点)

server.3=slave03:2888:3888

5.修改/hadoop/zookeeper-3.4.5/tmp/myid 的内容为3(这是我们之前创建的文件表示journalnode的id标识)

6.在slave03上启动zookeeper

cd /hadoop/zookeeper-3.4.5/bin/  ./zkServer.sh start

7.在slave03启动journalnode

cd /hadoop/hadoop-2.7.0  sbin/hadoop-daemon.sh start journalnode

8.在slave03启动datanode

sbin/hadoop-daemon.sh start datanode

9.启动nodemanager

sbin/yarn-daemon.sh start nodemanager

jps查看状态

(在namenode上hdfs dfsadmin -report 查看datanode)

(在resourcemanage上yarn node -list 查看nodemanager)

[root@slave03 hadoop-2.7.0]# jps1904 NodeManager1411 QuorumPeerMain1496 JournalNode2010 Jps1583 DataNode

10.默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%在namenode上

sbin/start-balancer.sh -threshold 5

0 0