YARN加载本地库Unable to load native-hadoop library解决办法-低调大师

YARN加载本地库Unable to load native-hadoop library解决办法

2016-05-08 661

用官方的构建好的Hadoop 2.4.0（133MB）安装后，每次输入hadoop命令进去都会得到这样一个Warning，如图：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

网上搜罗了一些资料，下面是解决办法：

设置logger级别，看下具体原因：

1	`export` `HADOOP_ROOT_LOGGER=DEBUG,console`

再次随便运行一个hadoop相关的命令，将看到下面的错误：

wrong ELFCLASS32？，难道是加载的so文件系统版本不对？

于是执行命令

1 2	`cd` `$HADOOP_HOME` `/lib/native` `file` `libhadoop.so.1.0.0`

结果是这样的：

果然是80386，是32位的系统版本，而我的hadoop环境是64位OS

原来直接从apache镜像中下载的编译好的Hadoop版本native library都是32版本的，如果要支持64位版本，必须自己重新编译，这就有点坑爹了，要知道几乎所有的生产环境都是64位的OS

Hadoop官方对于native library的一段话验证了这一点（详见：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html#Download）：

“The pre-built 32-bit i386-Linux native hadoop library is available as part of the hadoop distribution and is located in the lib/native directory”

于是重新checkout source code：

1	`svn checkout http:` `//svn` `.apache.org` `/repos/asf/hadoop/common/tags/release-2` `.4.0/`

加上编译native的选项，编译时会根据当前的操作系统架构来生产相应的native库（详见：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/NativeLibraries.html#Build）：

1	`mvn package -Pdist,native -DskipTests -Dtar`

待编译完成后，到release-2.4.0/hadoop-dist/target/hadoop-2.4.0/lib/native目录下找到这个libhadoop.so.1.0.0文件，再次查看其file type：

1	`file` `libhadoop.so.1.0.0`

结果是这样的：

用这个文件替换掉$HADOOP_HOME/lib/native/libhadoop.so.1.0.0，之后再次随便运行一个Hadoop相关命令：

1 2	`unset` `HADOOP_ROOT_LOGGER` `hadoop fs -` `ls` `/`

再看输出：

WARN消失，问题解决。

微信关注我们

原文链接：https://yq.aliyun.com/articles/40325

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

看图理解HBase

一、HBase生态系统二、HBase架构图三、HBase和Hadoop版本矩阵四、HBase组件五、行列存储六、Region Server 七、scale out/up 水平扩容垂直扩容八、compact 九、读写流程十、LSM存储十一、存储层十一、数据逻辑和物理结构十二、Region Split 十三、HFile 十四、漫画

2016-05-09

861

分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图： Mapper任务的执行过程详解每个Mapper任务是一个java进程，它会读取HDFS中的文件，解析成很多的键值对，经过我们覆盖的map方法处理后，转换为很多的键值对再输出。整个Mapper任务的处理过程又可以分为以下几个阶段，如图所示。在上图中，把Mapper任务的运行过程分为六个阶段。第一阶段是把输入文件按照一定的标准分片(InputSplit)，每个输入片的大小是固定的。默认情况下，输入片(InputSplit)的大小与数据块(Block)的大小是相同的。如果数据块(Block)的大小是默认值64MB，输入文件有两个，一个是32MB，一个是72MB。那么小的文件是一个输入片，大文件会分为两个数据块，那么是两个输入片。一共产生三个输入片。每一个输入片由一个Mapper进程处理。这里的三个输入片...

2016-05-09

557

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。