Hadoop踩坑记录
程序员文章站
2024-02-10 11:19:16
...
Hadoop14.04 安装采坑记录一
1.启动hdfs是出现Unable to load native-hadoop library for your platform… using builtin-java classes where appl…
/etc/profile配置文件出现路径不对
# 增补如下内容
# Hadoop params
export HADOOP_HOME=/home/hdpadmin/hadoop/hadoop-2.6.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$M2_HOME/bin:$HADOOP_HOME/bin:$PATH
然后重启一下环境变量配置文件source /etc/profile
2.启动hdfs成功,并且在ip地址:50070后可以看到界面,但是jps查看是否没有出现DateNode节点,如何解决呢?
原因:一般来说是由于多次格式化后,使得NameNode节点的ID与DateNode的Id不相匹配使得无法启动DateNode节点
解决方法
方案一:删除dfs下面的namew文件
cd hadoop/dfs //进入到dfs目录下
ls //查看是否存在这个文件
sudo rm -r name //删除name文件
然后再次格式化
cd $HADOOP_HOME
bin/hdfs namenode -format
方案二:如果按照方案一不能解决问题。可以选择删除hadoop下面的所有目录以及下面的所有文件然后重新安装