CentOS6.4之图解配置Hadoop1.2单机伪分布式
程序员文章站
2022-03-03 09:52:11
...
基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了
新版本解决了1.x中的NameNode，JobTracker单点故障问题，使用yarn统一了分布式开发的集群平台，给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop，那么散仙今天伪分布式的部署，使用的是Apache1.2的hadoop稳定版本，关于2.x的hadoop的部署，散仙会在后面的文章中给出例子。下面进入正题。
hadoop的部署总共有3种类型，分别是单机版，单机伪分布式版，以及完全分布式集群三种类型，只要熟悉一些Linux的一些基本操作就能很快上手，当然前提是你还有一定的Java基础，毕竟Hadoop的就是用Java编写的。
关于JDK环境变量的设置及SSH无验证登陆的配置（可以参考的我的上一篇文章），散仙就不在这里详细说明了，
网上搜一下，有很多讲解的。单机版以及伪分布式的部署，只需要一个节点即可，首先我们要在在设置主机名，使用vi /etc/sysconfig/network 进行修改并保存。
然后，我们在hosts文件里配置，主机名与IP的映射关系
使用命令 vi /etc/hosts进行保存修改即可
然后拷贝已经下载的好的hadoop压缩包，至根目录，并解压，首先我们需要配置的是在conf下的hadoop-env.sh这个文件，使用vi hadood-env.sh进行取消注释的JAVA HOME，然后把我们自己的JDK路径设置上，并保存
接下来需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>
下一步需要配置的是hdfs的副本个数，因为我们是单机的所以副本数应该为1，默认是3，如果节点数比3少那么hadoop会启动报错。编辑文件
hdfs.site.xml添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
到这一步，其实已经可以启动HDFS的集群了，但是为了演示完整，我们把JobTracke也配置一下。编辑文件mapred-site.xml添加
<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>
到此步，我们已经配置完毕，再准备启动我们的集群前，还有一项重要的工作要做，就是需要格式化我们的namenode,进行hadoop根目录，然后执行bin/hadoop namenode -format即可
现在就可以启动我们的hadoop了，执行命令，
bin/start-all.sh
使用JPS命令查看端口情况，检测启动是否成功
最后，为了方便测试，散仙把防火墙关闭了，如果是在生产环境中，可以在IP里设置Hadoop的对外开放端口，千万不能关闭防火墙，很危险的一件事，当然我们这里是测试，才这么做的，执行命令 service iptables stop
最后，我们在Win*问Linux的服务，访问地址如下
：master:50030,以及master:50070，查看Hadoop的Web管理页面。
至此，我们的伪分布式模式就部署成功了，如果想要停止集群服务，可以使用bin/stop-all.sh命令，来停止服务。
新版本解决了1.x中的NameNode，JobTracker单点故障问题，使用yarn统一了分布式开发的集群平台，给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop，那么散仙今天伪分布式的部署，使用的是Apache1.2的hadoop稳定版本，关于2.x的hadoop的部署，散仙会在后面的文章中给出例子。下面进入正题。
hadoop的部署总共有3种类型，分别是单机版，单机伪分布式版，以及完全分布式集群三种类型，只要熟悉一些Linux的一些基本操作就能很快上手，当然前提是你还有一定的Java基础，毕竟Hadoop的就是用Java编写的。
关于JDK环境变量的设置及SSH无验证登陆的配置（可以参考的我的上一篇文章），散仙就不在这里详细说明了，
网上搜一下，有很多讲解的。单机版以及伪分布式的部署，只需要一个节点即可，首先我们要在在设置主机名，使用vi /etc/sysconfig/network 进行修改并保存。
然后，我们在hosts文件里配置，主机名与IP的映射关系
使用命令 vi /etc/hosts进行保存修改即可
然后拷贝已经下载的好的hadoop压缩包，至根目录，并解压，首先我们需要配置的是在conf下的hadoop-env.sh这个文件，使用vi hadood-env.sh进行取消注释的JAVA HOME，然后把我们自己的JDK路径设置上，并保存
接下来需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>
下一步需要配置的是hdfs的副本个数，因为我们是单机的所以副本数应该为1，默认是3，如果节点数比3少那么hadoop会启动报错。编辑文件
hdfs.site.xml添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
到这一步，其实已经可以启动HDFS的集群了，但是为了演示完整，我们把JobTracke也配置一下。编辑文件mapred-site.xml添加
<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>
到此步，我们已经配置完毕，再准备启动我们的集群前，还有一项重要的工作要做，就是需要格式化我们的namenode,进行hadoop根目录，然后执行bin/hadoop namenode -format即可
现在就可以启动我们的hadoop了，执行命令，
bin/start-all.sh
使用JPS命令查看端口情况，检测启动是否成功
最后，为了方便测试，散仙把防火墙关闭了，如果是在生产环境中，可以在IP里设置Hadoop的对外开放端口，千万不能关闭防火墙，很危险的一件事，当然我们这里是测试，才这么做的，执行命令 service iptables stop
最后，我们在Win*问Linux的服务，访问地址如下
：master:50030,以及master:50070，查看Hadoop的Web管理页面。
至此，我们的伪分布式模式就部署成功了，如果想要停止集群服务，可以使用bin/stop-all.sh命令，来停止服务。