3、环境搭建-Linux上hadoop的全分布配置
程序员文章站
2022-03-09 11:02:48
安装配置hadoop和jdk 配置/usr/local/src/hadoop/etc/hadoop/下的四个文件 hdfs-site.xml dfs.namenode.name.d ......
安装配置hadoop和jdk
配置/usr/local/src/hadoop/etc/hadoop/下的四个文件
hdfs-site.xml
<configuration> <property> <!-- dfs的名称节点在本地文件系统位置 --> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/src/hadoop/dfs/name</value> </property> <property> <!-- dfs数据节点在本地文件系统位置 --> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/src/hadoop/dfs/data</value> </property> <property> <!-- 缺省的块复制数量 --> <name>dfs.replication</name> <value>3</value> </property> </configuration>
core-site.xml
<configuration> <property> <!-- 文件系统主机和端口 --> <name>fs.defaultfs</name> <value>hdfs://192.168.150.81:9000</value> </property> <property> <!-- 流文件缓冲区大小 --> <name>io.file.buffer.size</name> <value>131072</value> </property> <property>、 <!-- 临时文件夹 --> <name>hadoop.tmp.dir</name> <value>file:/usr/local/src/hadoop/tmp</value> </property> </configuration>
mapred-site.xml
<configuration> <property> <!-- 取值local、classic或yarn,如果不是yarn则不使用yarn集群来实现资源分配 --> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <!-- 历史服务器地址端口,通过其查询已完成的mapreduce作业 --> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <!-- 历史服务器web应用访问地址和端口 --> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> </configuration>
yarn-site.xml
<configuration> <property> <!-- rm提供给客户端访问的地址,客户端通过其提交应用程序,杀死程序等 --> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <!-- 定义历史服务器地址端口,通过其查看已完成的mapreduce作业 --> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <!-- rm提供给nodemanager的地址,nm通过其向rm汇报心跳,领取任务等 --> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <!-- rm提供给管理员的访问地址,管理员通过其向rm发送管理员命令 --> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <!-- rm对web服务提供的地址。用户通过其在浏览器中查看集群各类信息 --> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property> <property> <!-- 用户自定义服务,如map-reduce的shuffle功能,可以在nm上扩展自己的服务 --> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <!-- 用户自定义扩展的map-reduce的shuffle功能 --> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.shufflehandler</value> </property> </configuration>
haddop其他相关配置
在/usr/local/src/haddop/etc/haddop/目录下
vi masters #添加master主机ip地址
vi slaves #slave1主机ip #slave2主机ip
新建目录
mkdir /usr/local/src/hadoop/tmp mkdir /usr/local/src/hadoop/dfs/name -p mkdir /usr/local/src/hadoop/dfs/data -p
修改目录权限
chown -r hadoop:hadoop /usr/local/src/hadoop/
同步配置文件到slave节点
scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/
在slave节点上设置hadoop环境变量
修改slave节点上目录权限
chown -r hadoop:hadoop /usr/local/src/hadoop/chown -r hadoop:hadoop /usr/local/src/hadoop/
切换回hadoop用户
执行source /etc/profile使配置的环境变量生效
下一篇: 安装common lisp