欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法

程序员文章站 2022-07-14 15:20:47
...

1. 问题 :

运行hadoop的hdfs的客户端的时候出现警告如下

 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法


2.问题原因:

Hdfs在实现IO操作的时候,为了提升IO的性能默认使用C语言来操作,而我使用的是Hadop2.8.3版本和Centos 6.6 ,Hadop2.8.3官方默认的C语言标准库是2.14.1 ,Centos 6.6 提供是 2.12.1

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法 

[aaa@qq.com ~]#  rpm -qa | grep glibc
glibc-common-2.12-1.149.el6.x86_64
glibc-devel-2.12-1.149.el6.x86_64
glibc-headers-2.12-1.149.el6.x86_64
glibc-2.12-1.149.el6.x86_64

C语言的版本库不一致,导致Hdfs的无法使用C,所以使用JAVA的IO的替换。


3.解决方法:

   第一种: 将源码下载下来,在自己的服务上重新编译,再使用。

  第二种:更新替服务器上的 glibc 

    步骤:

        1. 准备 glibc  上传至服务器

安装可以通过yum源直接下载

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法

2. 安装  

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法

上述命令:
rpm -Uvh kernel-headers-2.6.18-274.el5.x86_64.rpm
rpm -Uvh glibc-2.14.1-6.x86_64.rpm glibc-common-2.14.1-6.x86_64.rpm glibc-headers-2.14.1-6.x86_64.rpm glibc-devel-2.14.1-6.x86_64.rpm nscd-2.14.1-6.x86_64.rpm

安装成功后:

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法


测试效果:已经解决 警告

Hadoop HDFS 出现 WARN Unable to load native-hadoop library for your platform解决方法