Hadoop集群动态添加datanode五大步骤

总结一下在Hadoop集群动态添加datanode节点相关步骤。

1.在新节点安装好hadoop，并把namenode的有关配置文件复制到该节点。

2.修改namenode节点的masters和slaves文件，增加该节点。

3.设置各节点ssh免密码进出该节点，设置IP映射。

4.单独启动该节点上的Datanode和Nodemanager；

hadoop-daemon.sh start datanode；

yarn-daemon.sh start nodemanager。

5.运行start-balancer.sh进行数据负载均衡，作用：当节点出现故障，或新增加节点时，数据块分布可能不均匀，负载均衡可以重新平衡各个datanode上数据块的分布。