欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Mac os下hadoop启动成功后显示unable to load native-hadoop library

程序员文章站 2022-07-06 09:43:20
...

Mac os下hadoop启动成功后显示unable to load native-hadoop library

解决参考Apache Hadoop - add native libraries

先说环境,
系统:Mac os 10.14.6
java版本:1.8.0_231(8u231)
hadoop版本:2.7.1
maven版本:3.6.2
终端:iTerm2
shell:zsh

根本原因是从官网上下载的hadoop代码中native library并没有针对Mac os的版本,在官网上其实也说明了这一点,链接在➡️native library说明页,说明了只支持RHEL4/Fedora,Ubuntu,Gentoo三个分支而已。既然没有针对Mac os的native library,那就只能自己编译了。

准备工作

必须:已经安装好的hadoop 2.7.1,java8,maven,homebrew
以hadoop2.7.1为基准,java8是必须的,高于此版本的java会出现各种各样的问题,主要是一些原来的引用文件找不到。maven则在编译时会使用到(如果你还没有安装maven,请点击这里)。homebrew则是必不可少的包管理器(如果你不了解什么是homebrew,请点击这里)。由于我使用的是zsh,所以我export链接都在~/.zshrc中,如果你使用的是bash(或其他shell),请自己在对应的~/.bash_profile(或其他)中修改。此外,也可修改/etc/profile文件使它全局生效,但是我并没有这么做,并且默认操作都是在~目录下,下文不再赘述。

开始编译本地库

  • 安装依赖protobuf
mkdir ~/protobuf
cd ~/protobuf
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.bz2
tar xfvj protobuf-2.5.0.tar.bz2
protobuf-2.5.0/configure
make or make check
make install
cd ~

之所以采用手动编译的方法安装是因为编译时使用的protobuf版本必须为2.5.0,而目前我没有找到可以用homebrew一键安装protobuf-2.5.0的方法
至于为什么必须使用2.5.0版本的protobuf,可以切换到hadoop源码文件夹使用grep 'protobuf.version' */pom.xml命令来查看

  • 安装cmake,zlib,snappy
brew install cmake
brew install zlib
brew install snappy
  • clone hadoop源代码
git clone https://github.com/apache/hadoop.git
cd hadoop

这一步根据网络因素的不同可能有比较长的等待时间,或者你也可以直接下载hadoop-2.x.y-src.tar.gz文件并解压

  • 切换到2.7.1版本的hadoop
git checkout branch-2.7.1
  • 使用maven编译
mvn package -Pdist,native -DskipTests -Dtar

如果你的maven编译时中断了,并且看到了hadoop-pipes相关的错误,请运行export OPENSSL_ROOT_DIR=$(brew --prefix openssl)这条代码,并且重新运行编译命令,maven会继续刚才的编译

  • 将刚编译好的依赖库拷贝至已经安装好的hadoop目录下
mkdir -p $HADOOP_INSTALL/lib/native/osx
cp -r hadoop-dist/target/hadoop-2.7.1/lib/native/* $HADOOP_INSTALL/lib/native/osx
  • 将库的目录添加到你的环境变量~/.bash_profile/~/.zshrc$HADOOP_INSTALL/etc/hadoop/hadoop-env.sh之中
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_INSTALL/lib/native/osx"
  • 查看安装结果
hadoop checknative

如果没有问题的话,此时再启动hadoop时就不会再报unable to load native-hadoop library的错误了。

在Mac os中运行Hadoop不需要将bzip2也**
原因未知

先这些,想到再补充,有问题可留言