欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hadoop2.0编译安装步骤

程序员文章站 2022-06-05 22:34:36
...

在32位或64位的linux的操作系统,安装hadoop2.0d都没问题。

在64位的linux上安装的时候,hadoop为了追求性能,使用linux本地库。libhadoop.so.1.0.0文件要求32位的文件。使用2中方法解决:临时办法:

export HADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/hadoop-2.2.0/lib/native

export HADOOP_OPTS="-D java.library.path=/home/grid/hadoop-2.2.0/lib"

彻底解决问题的办法:重新编译hadoop,让hadoop的本地库编译成64位的。

(1).在hadoop2.2的根目录下,分别创建data,name,tmp目录。data目录存储数据节点的数据文件。name目录存储namenode的元数据。tmp目录代表hadoop临时目录。

(2).涉及到的配置文件有7个:

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

以上个别文件默认不存在的,可以复制相应的tmplate文件获得。

(3).启动集群及检验

格式化namenode :/bin/hdfs namenode -format

启动hdfs:./sbin/start-dfs.sh

此时在h1上面运行的进程有:namenode,secondarynamenode

h2和h3上面运行的进程有:datanode

启动yarn:./sbin/start-yarn.sh

此时在h1上运行的进程有:namenode,secondarynamenode,resourcemanager

h2和h3上面运行的进程有:datanode,nodemanager

 

暂时这样,以后慢慢补充。