欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

关于hadoop完全分布式集群搭建 博客分类: hadoop hadoop完全分布式 

程序员文章站 2024-02-13 16:27:16
...

由于毛毛多原因一直没机会跑一个完全分布式,上次由于网络不稳定失败后就一直没在搞过,想想还是做点笔记备忘下。

已经安装好hadoop环境下:

1、配置host文件,即确定各结点ip

2、配置ssh无密码登录

3、配置namenode,修改site

4、配置hadoop-env.sh文件,导入 jdk 就好

5、配置maste与slaves结点文件

6、一致hadoop,分别向各结点复制hadoop

7、格式化namenode

8、启动hadoop,用 jps 检测各进程是否运行成功

9、通过网络查看集群,端口50070查看 namenode 及整个分布式系统,50030查看 jobtracker。

 

纸上谈兵说下比较重要的几点:

1、ifconfig:查看及修改ip

2、第二步比较重要,成功与否关乎后续步骤的进行。

      首先产生公私密钥:ssh-keygen -t dsa -p ' ' -f ~/.ssh/id_dsa

      然后将公钥文件复制成authorized_keys:cat id_dsa.pub >> authorized_keys

      各个slaves结点要包含主结点公钥信息:scp ***@master:~/.ssh/id_dsa.pub  ./master_dsa.pub

      这里最好也对master结点也做上述操作,因为jobtracker有不存在master 结点上的可能。

3、配置master与slaves

      在 master 文件中输入主结点名,在 slaves 文件中输入各个从结点名

4、向各结点复制hadoop

      scp -r ./hadoop 各结点名:~

5、格式化namenode

      如单机模式,hadoop namenode -format

6、启动hadoop

      start-all.sh

最后或用 jps 检查或者通过网络端口都可以查看运行情况。

下星期来集群到位,可以好好玩一把啦~~