NameNode节点的增添或删减
NameNode的增添:
直接关联到集群(前提是复制过来的hadoop框架里原来的HDFS系统存留文件已经删除,并且环境已配置好)
[......]$ source /etc/profile
[......]$ sbin/hadoop-daemon.sh start
[......]$ sbin/yarn-daemon.sh start nodemanager
删减节点:有两种方法,一种是添加白名单,一种是添加黑名单。
在白名单上的主机才能与NameNode通信,在黑名单上的主机会被强制退出期群
配置白名单的具体步骤如下:
(1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
[......]$ vi dfs.hosts
添加需要用的主机IP(需要删减的节点不要写到文件中)
(2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>
(3)配置文件分发(同步集群配置)
[.....]$ xsync hdfs-site.xml
(4)刷新NameNode
[.....]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
(5)更新ResourceManager节点
[.....]$ yarn rmadmin -refreshNodes
(6)在web浏览器上查看
配置黑名单的步骤如下:
1.在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
[.....]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[.....]$ touch dfs.hosts.exclude
[.....]$ vi dfs.hosts.exclude
在文件中添加需要删减的主机IP(要删减的节点)
2.在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>
3.同步配置文件
4.刷新NameNode、刷新ResourceManager
[.....]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[.....]$ yarn rmadmin -refreshNodes
5. 检查Web浏览器,退役节点的状态为decommission in progress(删减中),说明数据节点正在复制块到其他节点
等待要删减节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,删减过后的存活的节点小于等于3,是不能删减成功的,需要修改副本数后才能删减。