在Linux上编译Hadoop-2.4.0

2014-04-20 793

Linux上编译Hadoop-2.4.0.pdf

1. 前言

Hadoop-2.4.0的源码目录下有个BUILDING.txt文件，它介绍了如何在Linux和Windows下编译源代码，本文基本是遵照BUILDING.txt指示来操作的，这里再做一下简单的提炼。

第一次编译要求能够访问互联网，Hadoop的编译依赖非常多的东西，一定要保证机器可访问互联网，否则难逐一解决所有的编译问题，但第一次之后的编译则不用再下载了。

2. 安装依赖

在编译Hadoop 2.4.0源码之前，需要将下列几个依赖的东西安装好：

1) JDK 1.6或更新版本（本文使用JDK1.7，请不要安装JDK1.8版本，JDK1.8和Hadoop 2.4.0不匹配，编译Hadoop 2.4.0源码时会报很多错误）

2) Maven 3.0或更新版本

3) ProtocolBuffer 2.5.0

4) CMake 2.6或更新版本

5) Findbugs 1.3.9，可选的（本文编译时未安装）

在安装好之后，还需要设置一下环境变量，可以修改/etc/profile，也可以是修改~/.profile，增加如下内容：

export JAVA_HOME=/root/jdk

export CLASSPATH=$JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

export CMAKE_HOME=/root/cmake

export PATH=$CMAKE_HOME/bin:$PATH

export PROTOC_HOME=/root/protobuf

export PATH=$PROTOC_HOME/bin:$PATH

export MAVEN_HOME=/root/maven

export PATH=$MAVEN_HOME/bin:$PATH

本文以root用户在/root目录下进行安装，但实际可以选择非root用户及非/root目录进行安装。

2.1. 安装ProtocolBuffer

标准的automake编译安装方式：

1) cd /root

2) tar xzf protobuf-2.5.0.tar.gz

3) cd protobuf-2.5.0

4) ./conigure --prefix=/root/protobuf

5) make

6) make install

2.2. 安装CMake

1) cd /root

2) tar xzf cmake-2.8.12.2.tar.gz

3) cd cmake-2.8.12.2

4) ./bootstrap --prefix=/root/cmake

5) make

6) make install

2.3. 安装JDK

1) cd /root

2) tar xzf jdk-7u55-linux-x64.gz

3) cd jdk1.7.0_55

4) ln -s jdk1.7.0_55 jdk

2.4. 安装Maven

1) cd /root

2) tar xzf apache-maven-3.0.5-bin.tar.gz

3) ln -s apache-maven-3.0.5 maven

3. 编译Hadoop源代码

完成上述准备工作后，即可通过执行命令：mvn package -Pdist -DskipTests -Dtar，启动对Hadoop源代码的编译。请注意一定不要使用JDK1.8。

如果需要编译成本地库（Native Libraries）文件，则使用命令：mvn package -Pdist,native -DskipTests -Dtar。如果C/C++程序需要访问HDFS等，需要使用navite方式编译生成相应的库文件。也可以使用mvn package -Pnative -DskipTests -Dtar特意编译出本地库文件。

附1:无联网环境编译

如果想在无联网环境下编译Hadoop 2.4.0，是个非常复杂的工程，在早期的Hadoop中实现过，对于2.4.0来说有点难了。

但可以采取曲线救国方式，找一台可以联网的机器，先成功编译一次，然后将这个源码包目录打包复制到不能联网的机器。但要注意，保持两台机器的目录相同，并执行相同的编译命令。

为什么要求目录保持相同了？假设在联网机器的/root/hadoop-2.4.0-src下编译的，进入/root/hadoop-2.4.0-src，然后执行：find . -name "*.xml" |xargs grep "/root/"，可以看到下表格中的内容，“/root/”被写入到众多xml文件中了，这是导致需要联网重新下载的根本原因，可以将它们替换成目标机器的实际目录，这样也可以无联网编译。

find . -name "*.xml" |xargs grep "/root/"

./hadoop-tools/hadoop-datajoin/target/antrun/build-main.xml: /root/hadoop-2.4.0-src/hadoop-tools/hadoop-datajoin/target/test-dir"/>

./hadoop-tools/hadoop-datajoin/target/antrun/build-main.xml: /root/hadoop-2.4.0-src/hadoop-tools/hadoop-datajoin/target/log"/>

./hadoop-tools/hadoop-extras/target/antrun/build-main.xml:

./hadoop-tools/hadoop-gridmix/target/antrun/build-main.xml:

./hadoop-tools/hadoop-openstack/target/antrun/build-main.xml:

附2编译环境

整个过程是在阿里云64位主机上进行的，2.30GHz单核1G内存：

[root@AY140408105805619186Z hadoop-2.4.0-src]# uname -a

Linux AY140408105805619186Z 2.6.18-308.el5 #1 SMP Tue Feb 21 20:06:06 EST 2012 x86_64 x86_64 x86_64 GNU/Linux

[root@AY140408105805619186Z ~]# cat /etc/redhat-release

CentOS release 5.8 (Final)

附3：版本信息

名称	版本	包名	说明
Maven	3.0.5	apache-maven-3.0.5-bin.tar.gz	使用3.2.1可能会有问题
CMake	2.8.12.2	cmake-2.8.12.2.tar.gz
JDK	1.7.0	jdk-7u55-linux-x64.gz	不能使用JDK1.8.0
Protocol Buffers	2.5.0	protobuf-2.5.0.tar.gz
Hadoop	2.4.0	hadoop-2.4.0-src.tar.gz

附4：常见错误

1) unexpected end tag:

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-annotations: MavenReportException: Error while creating archive:

[ERROR] Exit code: 1 - /root/hadoop-2.4.0-src/hadoop-common-project/hadoop-annotations/src/main/java/org/apache/hadoop/classification/InterfaceStability.java:27: error: unexpected end tag:

[ERROR] *

[ERROR] ^

[ERROR]

[ERROR] Command line was: /root/jdk1.8.0/jre/../bin/javadoc @options @packages

原因是InterfaceStability.java中的注释问题：

解决办法，将JDK换成1.7版本，使用JDK1.8编译就会遇到上述问题，将行删除可以解决问题，但后续还会遇到类似的问题，所以不要使用JDK1.8编译Hadoop 2.4.0。

附5：相关文档

《HBase-0.98.0分布式安装指南》

《Hive 0.12.0安装指南》

《ZooKeeper-3.4.6分布式安装指南》

《Hadoop 2.3.0源码反向工程》

《在Linux上编译Hadoop-2.4.0》

《Accumulo-1.5.1安装指南》

《Drill 1.0.0安装指南》

《Shark 0.9.1安装指南》

更多，敬请关注技术博客：http://aquester.cublog.cn。

微信关注我们

原文链接：https://yq.aliyun.com/articles/497437

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

g++中宏NULL究竟是什么？

g++中宏NULL究竟是什么？.pdf NULL是个指针，还是个整数？0？或(void*)0？答案是和g++版本有关。g++4.6支持C++11，引入了nullptr，也许会发生变化。可以写段简单代码求证一下： #include #include intmain() { printf("NULL:%d\n",NULL); printf("sizeof(NULL):%d\n",sizeof(NULL)); printf("typeid(__null).name():%s\n",typeid(__null).name()); printf("typeid(0).name():%s\n",typeid(0).name()); return0; } 使用g++4.1.2（SuSE10.1）编译，输出结果如下： NULL:0 sizeof(NULL):8 typeid(__null).name():l typeid(0).name():i 从输出结果，可以看到NULL是long类型的整数，定义应当是0L或0LL。下面再借助gdb，来看一看它的真面目（博文：《GDB高级技巧》有介绍g...

2014-04-21

786

ZooKeeper-3.4.6分布式安装指南.pdf 目录目录 1 1.前言 1 2.约定 1 3.安装步骤 2 3.1.配置/etc/hosts 2 3.2.设置myid 2 3.3.修改conf/zoo.cfg 2 3.4.修改/bin/zkEnv.sh 3 3.5.修改conf/log4j.properties 3 3.6.修改conf/java.env 3 3.7.设置PATH 4 4.启动ZooKeeper集群 4 5.安装验证 4 6.基本命令 5 7.只启一台zookeeper会如何？ 6 8.如何扩容zookeeper？ 7 9.四字命令 7 10.相关文档 8 11.结束语 8 1.前言介绍ZooKeeper-3.4.6版本的分布式安装，力求细致，提供精确的安装指导。本文的安装环境是64位的SuSE10.1Linux，也适用于ZooKeeper-3.4.8。 ZooKeeper节点间不需要互登录，因此不用配置免密码登录。 2.约定将ZooKeeper安装在/data/hadoop/zookeeper目录，其中/data/hadoop/zookeeper是指向/d...

2014-04-22

735

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

在Linux上编译Hadoop-2.4.0

目录

1. 前言

2. 安装依赖

2.1. 安装ProtocolBuffer

2.2. 安装CMake

2.3. 安装JDK

2.4. 安装Maven

3. 编译Hadoop源代码

附1:无联网环境编译

附2编译环境

附3：版本信息

附4：常见错误

1) unexpected end tag:

附5：相关文档

g++中宏NULL究竟是什么？

ZooKeeper-3.4.6分布式安装指南

相关文章

发表评论

资源下载

优质分享App

Mario

腾讯云软件源

Spring

欢迎您来访！