Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a-低调大师

Linux上编译hadoop-2.7.1的libhdfs.so和libhdfs.a

2015-11-12 594

hadoop提供了CMake来编译libhdfs，因此在编译之前需要先安装好CMake工具。

然后进入libhdfs的源代码目录，如：/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src

执行cmake以生成Makefile文件（假设jdk的安装目录为/data/jdk1.7.0_55）：
cmake -DGENERATED_JAVAH=/data/jdk1.7.0_55 -DJAVA_HOME=/data/jdk1.7.0_55 .

成功之后，会在目录下生成Makefile文件，接下来就可以执行make编译生成libhdfs.so和libhdfs.a了。

如果遇到下面这样的错误：
/data/jdk1.7.0_55/jre/lib/amd64/server/libjvm.so: file not recognized: File format not recognized

则需要考虑升级链接器ld，参考说明： http://blog.chinaunix.net/uid-20682147-id-4239779.html。
ld是GNU binutils的成员，可以从 http://ftp.gnu.org/gnu/binutils/下载到新的版本。
注意在升级gcc和ld之后，需要更新下环境变量PATH，再重执行cmake，否则可能引用的仍然是老版本的gcc和ld。

/data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src # cmake -DGENERATED_JAVAH=/data/java_1_7 -DJAVA_HOME=/data/java_1_7
-- The C compiler identification is GNU 4.1.2
-- The CXX compiler identification is GNU 4.1.2
-- Check for working C compiler: /usr/bin/cc
-- Check for working C compiler: /usr/bin/cc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Detecting C compile features
-- Detecting C compile features - done
-- Check for working CXX compiler: /usr/bin/c++
-- Check for working CXX compiler: /usr/bin/c++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Detecting CXX compile features
-- Detecting CXX compile features - done
JAVA_HOME=/data/java_1_7, JAVA_JVM_LIBRARY=/data/java_1_7/jre/lib/amd64/server/libjvm.so
JAVA_INCLUDE_PATH=/data/java_1_7/include, JAVA_INCLUDE_PATH2=/data/java_1_7/include/linux
Located all JNI components successfully.
-- Performing Test HAVE_BETTER_TLS
-- Performing Test HAVE_BETTER_TLS - Success
-- Performing Test HAVE_INTEL_SSE_INTRINSICS
-- Performing Test HAVE_INTEL_SSE_INTRINSICS - Success
-- Looking for dlopen in dl
-- Looking for dlopen in dl - found
-- Found JNI: /data/java_1_7/jre/lib/amd64/libjawt.so
-- Found PkgConfig: /usr/bin/pkg-config (found version "0.20")
-- checking for module 'fuse'
-- package 'fuse' not found
-- Failed to find Linux FUSE libraries or include files. Will not build FUSE client.
-- Configuring done
-- Generating done
-- Build files have been written to: /data/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src

微信关注我们

原文链接：https://yq.aliyun.com/articles/497335

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

elasticSearch nested exist与missing查询

elasticSearch nested查询，简单意义上，你可以理解为，它不会被索引，只是被暂时隐藏起来，而查询的时候，开关就是使用nested query/filter去查询下面我有一个例子，是查询文档中，含有某字段的nested查询，与不含有某字段的nested查询办法。 1.查询文档中存在某字段(account.userId)的nested ES查询语句核心 { "query": { "nested": { "path": "account", "query": { "match_all": {} }, "filter": { "exists": { "field": "account.userId" } } } } } java查询语句 //构建Nested查询 NestedFilterBuilder nfb = FilterBuilders.nestedFilter("account", QueryBuilders.filteredQuery( QueryBuilders.matchAllQuery(), FilterBuilders.existsFilter("acco...

2015-11-11

688

看书大概了解了下Streaming的原理，但是木有动过手啊。。。万事开头难啊，一个wordcount 2小时怎么都运行不出结果。是我太蠢了，好了言归正传。 SparkStreaming是一个批处理的流式计算框架，适合处理实时数据与历史数据混合处理的场景（比如，你用streaming将实时数据读入处理，再使用sparkSQL提取历史数据，与之关联处理）。Spark Streaming将数据流以时间片为单位分割形成RDD，使用RDD操作处理每一块数据，没块数据都会生成一个spark JOB进行处理，最终以批处理方式处理每个时间片的数据。（多的就不解释了，百度就好了~）首先确保你安装了hadoop和spark，在IDEA中也已入来了相应jar包。写吧- - 新手要注意红框部分，spark官网上给的例子是调用socketFileStream方法，这是通过socket连接远程的，倘若只在本机上测试学习，就用textFileStream读取本地文件路径，没错是路径不是文件，因为sparkStreaming是处理实时数据的，倘若直接指定一个文件，输出后是无法得到结果的。所以新建了个路径，在这里设...

2015-11-14

550

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。