欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  数据库

64位CentOS系统下安装配置伪分布式hadoop 2.5.2

程序员文章站 2022-05-29 13:05:53
...

安装完之后进行配置,首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop,在hadoop安装目录下,修改 etc/hadoop/core-site.xml,将其配置为: configuration property namehadoop.tmp.dir/name value/usr/hadoop/tmp/value descriptionA ba

安装完之后进行配置,首先所有的配置文件从上一版本的hadoop/conf换成了hadoop/etc/hadoop,在hadoop安装目录下,修改 etc/hadoop/core-site.xml,将其配置为:


hadoop.tmp.dir

/usr/hadoop/tmp

A base for other temporary directories.

fs.defaultFS

hdfs://你的ip:9000

然后执行修改etc/hadoop/hdfs-site.xml进行第二项配置:

dfs.namenode.name.dir

/usr/hadoop/hdfs/name

dfs.datanode.data.dir

/usr/hadoop/hdfs/data

dfs.replication

1

请注意上述路径都需要自己手动用mkdir创建,具体位置也可以自己选择,其中dfs.replication的值建议配置为与分布式 cluster 中实际的 DataNode 主机数一致,在这里由于是伪分布式环境所以设置其为1。

接下来修改 etc/hadoop/mapred-site.xml配置其使用 Yarn 框架执行 map-reduce 处理程序,内容如下:


mapreduce.framework.name
Yarn


最后修改 etc/hadoop/yarn-site.xml对yarn进行配置,其内容如下:


Yarn.nodemanager.aux-services

mapreduce.shuffle

The address of the applications manager interface in the RM.

Yarn.resourcemanager.address

你的ip:18040

The address of the scheduler interface.

Yarn.resourcemanager.scheduler.address

你的ip:18030

The address of the RM web application.

Yarn.resourcemanager.webapp.address

你的ip:18088

The address of the resource tracker interface.

Yarn.resourcemanager.resource-tracker.address

你的ip:8025

然后格式化: