hadoop2.0编译安装步骤
在32位或64位的linux的操作系统,安装hadoop2.0d都没问题。
在64位的linux上安装的时候,hadoop为了追求性能,使用linux本地库。libhadoop.so.1.0.0文件要求32位的文件。使用2中方法解决:临时办法:
export HADOOP_COMMON_LIB_NATIVE_DIR=/home/grid/hadoop-2.2.0/lib/native
export HADOOP_OPTS="-D java.library.path=/home/grid/hadoop-2.2.0/lib"
彻底解决问题的办法:重新编译hadoop,让hadoop的本地库编译成64位的。
(1).在hadoop2.2的根目录下,分别创建data,name,tmp目录。data目录存储数据节点的数据文件。name目录存储namenode的元数据。tmp目录代表hadoop临时目录。
(2).涉及到的配置文件有7个:
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上个别文件默认不存在的,可以复制相应的tmplate文件获得。
(3).启动集群及检验
格式化namenode :/bin/hdfs namenode -format
启动hdfs:./sbin/start-dfs.sh
此时在h1上面运行的进程有:namenode,secondarynamenode
h2和h3上面运行的进程有:datanode
启动yarn:./sbin/start-yarn.sh
此时在h1上运行的进程有:namenode,secondarynamenode,resourcemanager
h2和h3上面运行的进程有:datanode,nodemanager
暂时这样,以后慢慢补充。
上一篇: java 闪电效果 附demo
下一篇: 自己写的java 光线折射游戏