Mac os下hadoop启动成功后显示unable to load native-hadoop library
Mac os下hadoop启动成功后显示unable to load native-hadoop library
解决参考Apache Hadoop - add native libraries
先说环境,
系统:Mac os 10.14.6
java版本:1.8.0_231(8u231)
hadoop版本:2.7.1
maven版本:3.6.2
终端:iTerm2
shell:zsh
根本原因是从官网上下载的hadoop代码中native library并没有针对Mac os的版本,在官网上其实也说明了这一点,链接在➡️native library说明页,说明了只支持RHEL4/Fedora,Ubuntu,Gentoo三个分支而已。既然没有针对Mac os的native library,那就只能自己编译了。
准备工作
必须:已经安装好的hadoop 2.7.1,java8,maven,homebrew
以hadoop2.7.1为基准,java8是必须的,高于此版本的java会出现各种各样的问题,主要是一些原来的引用文件找不到。maven则在编译时会使用到(如果你还没有安装maven,请点击这里)。homebrew则是必不可少的包管理器(如果你不了解什么是homebrew,请点击这里)。由于我使用的是zsh,所以我export链接都在~/.zshrc中,如果你使用的是bash(或其他shell),请自己在对应的~/.bash_profile(或其他)中修改。此外,也可修改/etc/profile文件使它全局生效,但是我并没有这么做,并且默认操作都是在~目录下,下文不再赘述。
开始编译本地库
- 安装依赖protobuf
mkdir ~/protobuf
cd ~/protobuf
wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.bz2
tar xfvj protobuf-2.5.0.tar.bz2
protobuf-2.5.0/configure
make or make check
make install
cd ~
之所以采用手动编译的方法安装是因为编译时使用的protobuf版本必须为2.5.0,而目前我没有找到可以用homebrew一键安装protobuf-2.5.0的方法
至于为什么必须使用2.5.0版本的protobuf,可以切换到hadoop源码文件夹使用grep 'protobuf.version' */pom.xml
命令来查看
- 安装cmake,zlib,snappy
brew install cmake
brew install zlib
brew install snappy
- clone hadoop源代码
git clone https://github.com/apache/hadoop.git
cd hadoop
这一步根据网络因素的不同可能有比较长的等待时间,或者你也可以直接下载hadoop-2.x.y-src.tar.gz文件并解压
- 切换到2.7.1版本的hadoop
git checkout branch-2.7.1
- 使用maven编译
mvn package -Pdist,native -DskipTests -Dtar
如果你的maven编译时中断了,并且看到了hadoop-pipes
相关的错误,请运行export OPENSSL_ROOT_DIR=$(brew --prefix openssl)
这条代码,并且重新运行编译命令,maven会继续刚才的编译
- 将刚编译好的依赖库拷贝至已经安装好的hadoop目录下
mkdir -p $HADOOP_INSTALL/lib/native/osx
cp -r hadoop-dist/target/hadoop-2.7.1/lib/native/* $HADOOP_INSTALL/lib/native/osx
- 将库的目录添加到你的环境变量
~/.bash_profile
/~/.zshrc
或$HADOOP_INSTALL/etc/hadoop/hadoop-env.sh
之中
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_INSTALL/lib/native/osx"
- 查看安装结果
hadoop checknative
如果没有问题的话,此时再启动hadoop时就不会再报unable to load native-hadoop library的错误了。
在Mac os中运行Hadoop不需要将bzip2也**原因未知
先这些,想到再补充,有问题可留言