欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop踩坑记录

程序员文章站 2024-02-10 11:19:16
...

Hadoop14.04 安装采坑记录一

1.启动hdfs是出现Unable to load native-hadoop library for your platform… using builtin-java classes where appl…

/etc/profile配置文件出现路径不对

  # 增补如下内容
# Hadoop params
export HADOOP_HOME=/home/hdpadmin/hadoop/hadoop-2.6.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$M2_HOME/bin:$HADOOP_HOME/bin:$PATH

然后重启一下环境变量配置文件source /etc/profile


2.启动hdfs成功,并且在ip地址:50070后可以看到界面,但是jps查看是否没有出现DateNode节点,如何解决呢?

原因:一般来说是由于多次格式化后,使得NameNode节点的ID与DateNode的Id不相匹配使得无法启动DateNode节点

解决方法

方案一:删除dfs下面的namew文件

cd hadoop/dfs //进入到dfs目录下
ls //查看是否存在这个文件
sudo rm -r name //删除name文件

然后再次格式化

cd  $HADOOP_HOME
bin/hdfs  namenode  -format

方案二:如果按照方案一不能解决问题。可以选择删除hadoop下面的所有目录以及下面的所有文件然后重新安装