hadoop全分布安装和搭建
全分布模式安装
1、准备工作
(*)关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
(*)安装jdk
(*)配置主机名 vi /etc/hosts
192.168.153.11 bigdata11
192.168.153.12 bigdata12
192.168.153.13 bigdata13
(*)配置免密码登录:两两之间的免密码登录
(1) 每台机器产生自己的公钥和私钥
ssh-keygen -t rsa
(2) 每台机器把自己的公钥给别人
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata11
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata12
ssh-copy-id -i .ssh/id_rsa.pub root@bigdata13
(*)保证每台机器的时间同步
如果时间不一样,执行mapreduce程序的时候可能存在问题
2、在主节点上(bigdata11)安装hadoop
(1)解压设置环境变量
tar -zxvf hadoop-2.7.3.tar.gz -c ~/training/
设置:bigdata11 bigdata12 bigdata13
hadoop_home=/root/training/hadoop-2.7.3
export hadoop_home
path=$hadoop_home/bin:$hadoop_home/sbin:$path
export path
(2) 修改配置文件
进入hadoop的配置文件目录:
修改hadoop-env.sh 文件,添加java的安装目录
=======hdfs-site.xml
<!--表示数据块的冗余度,默认:3-->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
=======core-site.xml
<!--配置namenode地址,9000是rpc通信端口-->
<property>
<name>fs.defaultfs</name>
<value>hdfs://bigdata11:9000</value>
</property>
<!--hdfs数据保存在linux的哪个目录,默认值是linux的tmp目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
========mapred-site.xml 默认没有 cp mapred-site.xml.template mapred-site.xml
<!--mr运行的框架-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
=============yarn-site.xml
<!--yarn的主节点rm的位置-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata11</value>
</property>
<!--mapreduce运行方式:shuffle洗牌-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
slaves
bigdata11
bigdata12
bigdata13
(3) 格式化namenode: hdfs namenode -format
(4) 把主节点上配置好的hadoop复制到从节点
scp -r hadoop-2.7.3/ root@bigdata12:/root/training
scp -r hadoop-2.7.3/ root@bigdata13:/root/training
(5) 在主节点上启动 start-all.sh
通过jps命令可以查看得到以下进程
上一篇: 我知道您会在关键时刻帮助我的
下一篇: 远程桌面管理
推荐阅读
-
hadoop安装记录 博客分类: hadoop,分布式
-
【hadoop】hadoop集群介绍 和 完全分布式部署步骤
-
hadoop 1.2.1 完全分布式安装注意要点 博客分类: hadoop学习hadoop环境搭建 hadoop 完全分布式安装
-
JAVA线程池管理及分布式HADOOP调度框架搭建 博客分类: java架构hadoopjeetask 分布式线程池java架构hadoop
-
Windows 10安装Mysql和SQLyog-----很全!!!!
-
Hadoop2.2.0伪分布式完全安装手册 博客分类: hadoop hadoophadoop2.2.0单机伪分布式安装
-
区块链开发:(3)以太坊开发环境搭建-truffle和testrpc安装
-
windows 10下安装搭建django1.10.3和Apache2.4的方法
-
windows 10下安装搭建django1.10.3和Apache2.4的方法
-
solr4安装配置(windows)和eclipse项目搭建