关于hadoop完全分布式集群搭建 博客分类: hadoop hadoop完全分布式
由于毛毛多原因一直没机会跑一个完全分布式,上次由于网络不稳定失败后就一直没在搞过,想想还是做点笔记备忘下。
已经安装好hadoop环境下:
1、配置host文件,即确定各结点ip
2、配置ssh无密码登录
3、配置namenode,修改site
4、配置hadoop-env.sh文件,导入 jdk 就好
5、配置maste与slaves结点文件
6、一致hadoop,分别向各结点复制hadoop
7、格式化namenode
8、启动hadoop,用 jps 检测各进程是否运行成功
9、通过网络查看集群,端口50070查看 namenode 及整个分布式系统,50030查看 jobtracker。
纸上谈兵说下比较重要的几点:
1、ifconfig:查看及修改ip
2、第二步比较重要,成功与否关乎后续步骤的进行。
首先产生公私密钥:ssh-keygen -t dsa -p ' ' -f ~/.ssh/id_dsa
然后将公钥文件复制成authorized_keys:cat id_dsa.pub >> authorized_keys
各个slaves结点要包含主结点公钥信息:scp ***@master:~/.ssh/id_dsa.pub ./master_dsa.pub
这里最好也对master结点也做上述操作,因为jobtracker有不存在master 结点上的可能。
3、配置master与slaves
在 master 文件中输入主结点名,在 slaves 文件中输入各个从结点名
4、向各结点复制hadoop
scp -r ./hadoop 各结点名:~
5、格式化namenode
如单机模式,hadoop namenode -format
6、启动hadoop
start-all.sh
最后或用 jps 检查或者通过网络端口都可以查看运行情况。
下星期来集群到位,可以好好玩一把啦~~