centos安装hadoop2.6.4之一台服务器变成多台服务器配置步骤
1.检查各虚拟机的环境变量(每台服务器都要检查)
/etc/profile 并运行 source /etc/profile
配置HADOOP_HOME 和 PATH 配置上hadoop下的sbin 和bin目录
2.检查防火墙是否关闭(每台服务器都要检查)
务必关闭防火墙systemctl status firewalld //查看状态
开机禁用防火墙 : systemctl disable firewalld
关闭(当次有效): systemctl stop firewalld)
3.检查hadoop 的slaves 配置文件(每台服务器都要检查)
看下是否成slave1 slave2
4. 检查 hdfs-site.xml 配置文件,数据块备份数是否是3 (每台服务器都要检查)
<property>
<!--文件快的副本数,默认就是3个-->
<name>dfs.replication</name>
<value>3</value>
</property>
5.验证下免密码登录是否可以用(每台服务器都要检查)
三台电脑的话就验证9种
生成密码是ssh-******
发送密码是ssh-copy-id [email protected])
6.重新格式化
①停止hdfs服务(使用jps命令查看是否有 nameNode,dataNode,secondary nameNode三个进程)
进入 sbin目录中 执行
sh stop-dfs.sh
如果使用jps 查看还有这三个进程中有一个进程没有关闭,那使用kill -9 进程号 去关闭进程
②查看hdfs-site.xml配置的路径(dfs.name.dir指定的目录在master服务器中,、dfs.data.dir所指定的目录在slave1,slave2中)
我们打开Hadoop的hdfs-site.xml,基本配置如下所示:
将 dfs.name.dir所指定的目录文件夹删除、dfs.data.dir所指定的目录文件夹在系统中删除(不要修改配置文件!)
③、删除core-site.xml配置文件指定的相关目录,主要不要修改配置文件!!
将hadoop.tmp.dir所指定的目录在系统中删除(不要修改配置文件!)。
5.不要忘记重新新建/tmp文件夹
6、重新执行命令:hdfs namenode -format
格式化完毕。
tips:
1.当多台服务器做的hadoop hdfs分布式文件系统启动不起来时,检查是否单台可以启动起来,如果单台做的hdfs可以启动起来,一定是新配置的slave1,slave2配置文件出错!!!!复制master上的配置文件覆盖slave1,slave2中的配置文件,问题即可解决!!!
2.重新格式化注意删除dataNode 的slave1,slave2节点的data目录
上一篇: cnpm