欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

NameNode节点的增添或删减

程序员文章站 2022-07-14 21:47:28
...

NameNode的增添:

直接关联到集群(前提是复制过来的hadoop框架里原来的HDFS系统存留文件已经删除,并且环境已配置好)

[......]$ source /etc/profile

[......]$ sbin/hadoop-daemon.sh start

[......]$ sbin/yarn-daemon.sh start nodemanager

 

删减节点:有两种方法,一种是添加白名单,一种是添加黑名单。

在白名单上的主机才能与NameNode通信,在黑名单上的主机会被强制退出期群

配置白名单的具体步骤如下:

(1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创dfs.hosts文件

[......]$ vi dfs.hosts

添加需要用的主机IP(需要删减的节点不要写到文件中

(2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

<property>

<name>dfs.hosts</name>

<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>

</property>

(3)配置文件分发(同步集群配置)

[.....]$ xsync hdfs-site.xml

(4)刷新NameNode

[.....]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

 (5)更新ResourceManager节点

[.....]$ yarn rmadmin -refreshNodes

  (6)在web浏览器上查看

配置黑名单的步骤如下:

1.在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创dfs.hosts.exclude文件

[.....]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[.....]$ touch dfs.hosts.exclude

[.....]$ vi dfs.hosts.exclude

在文件中添加需要删减的主机IP(要删减的节点)

2.在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>

       <name>dfs.hosts.exclude</name>

       <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>

</property>

 

3.同步配置文件

4.刷新NameNode、刷新ResourceManager

[.....]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

[.....]$ yarn rmadmin -refreshNodes

5.  检查Web浏览器,退役节点的状态为decommission in progress(删减中),说明数据节点正在复制块到其他节点

等待要删减节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,删减过后的存活的节点小于等于3,是不能删减成功的,需要修改副本数后才能删减。

相关标签: BigData