欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

centos安装hadoop2.6.4之一台服务器变成多台服务器配置步骤

程序员文章站 2024-02-29 09:50:52
...

1.检查各虚拟机的环境变量(每台服务器都要检查)

     /etc/profile   并运行 source /etc/profile

    配置HADOOP_HOME  和  PATH 配置上hadoop下的sbin  和bin目录

2.检查防火墙是否关闭(每台服务器都要检查)

      务必关闭防火墙systemctl status firewalld  //查看状态 

      开机禁用防火墙  : systemctl disable firewalld     

      关闭(当次有效): systemctl stop firewalld)

3.检查hadoop 的slaves 配置文件(每台服务器都要检查)

      看下是否成slave1   slave2

4. 检查 hdfs-site.xml 配置文件,数据块备份数是否是3  (每台服务器都要检查)  

 <property>
      <!--文件快的副本数,默认就是3个-->
      <name>dfs.replication</name>
      <value>3</value>
   </property>

5.验证下免密码登录是否可以用(每台服务器都要检查)

                                            三台电脑的话就验证9种

                                            生成密码是ssh-****** 

                                            发送密码是ssh-copy-id [email protected])  

  ssh   [email protected]

  ssh  [email protected]

   ssh [email protected]

6.重新格式化

   ①停止hdfs服务(使用jps命令查看是否有  nameNode,dataNode,secondary nameNode三个进程)

  进入 sbin目录中 执行

  sh stop-dfs.sh 

如果使用jps 查看还有这三个进程中有一个进程没有关闭,那使用kill -9 进程号 去关闭进程

   ②查看hdfs-site.xml配置的路径(dfs.name.dir指定的目录在master服务器中,、dfs.data.dir所指定的目录在slave1,slave2中
我们打开Hadoop的hdfs-site.xml,基本配置如下所示:
 将 dfs.name.dir所指定的目录文件夹删除、dfs.data.dir所指定的目录文件夹在系统中删除(不要修改配置文件!)
   ③、删除core-site.xml配置文件指定的相关目录,主要不要修改配置文件!!
 将hadoop.tmp.dir所指定的目录在系统中删除(不要修改配置文件!)。

5.不要忘记重新新建/tmp文件夹


6、重新执行命令:hdfs  namenode -format
格式化完毕。

tips:

   1.当多台服务器做的hadoop  hdfs分布式文件系统启动不起来时,检查是否单台可以启动起来,如果单台做的hdfs可以启动起来,一定是新配置的slave1,slave2配置文件出错!!!!复制master上的配置文件覆盖slave1,slave2中的配置文件,问题即可解决!!!

  2.重新格式化注意删除dataNode 的slave1,slave2节点的data目录