CentOS6.7-64bit编译hadoop2.6.4-低调大师

CentOS6.7-64bit编译hadoop2.6.4

2017-11-13 695

1.下载maven（apache-maven-3.3.3-bin.tar.gz）
http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz
2.安装maven
tar -zxvf apache-maven-3.3.3-bin.tar.gz -C /usr/local
3.添加环境变量
vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_45
export MAVEN_HOME=/usr/local/apache-maven-3.3.3
export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin

4.加载环境变量
source /etc/proflie
mvn -version

5.下载protobuf（https://code.google.com/p/protobuf/downloads/list 或 https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz）

6.安装protobuf编译依赖，为了编译安装protoc，需要使用YUM下载几个依赖的工具
yum install -y gcc gcc-c++ make

7.解压安装protobuf
tar -zxvf  protobuf-2.5.0.tar.gz -C /usr/local/src
cd /usr/local/src/protobuf-2.5.0  
./configure --prefix=/usr/local/protobuf 
make && make install

8将protobuf添加到环境变量
vim /etc/profile

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$MAVEN_HOME/bin:/usr/local/protobuf/bin

source /etc/profile

protoc --version

9.安装其他编译依赖
yum install -y cmake openssl-devel ncurses-devel zlib-devel
yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop openssl openssl-devel

10.编译hadoop（进入文件夹里面，里面有一个文件BUILDINT.txt，打开即可看见里面关于编译hadoop的一些环境要求）
tar -zxvf hadoop-2.6.4-src.tar.gz -C /usr/local/src/
cd /usr/local/src/hadoop-2.6.4-src


mvn package -Pdist,native -DskipTests -Dtar  

12.查看编译好的安装包
cd /usr/local/src/hadoop-2.6.4-src/hadoop-dist/target


#出现问题
INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在/etc/profile中添加
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

#查看可用的本地库
hadoop checknative -a

cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc –l
cat /proc/cpuinfo | grep "core id" | sort -u | wc -l
cat /proc/cpuinfo | grep MHz | uniq

本文转自SummerChill博客园博客，原文链接：http://www.cnblogs.com/DreamDrive/p/6755022.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/376410

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

了解Logstash输入插件

　输入插件是Logstash从特定的数据源读取数据，Logstash可用插件包括，详情可见这里，下面说一些常见的输入插件： stdin插件：标准的输入插件，能够从命令行中读取事件。可选配置： add_field hash(哈希) ｛｝ codec codec “line” tags array(数组) type string（字符串） file插件：Logstash使用一个名叫FileWatch的RubyGem库来监听文件变化。这个库支持glob展开文件路径，而且会记录一个叫.sincedb的数据库文件来跟踪被监听的日志文件的当前读取位置。所以，不要担心logstash会漏过你的数据。　sincedb文件中记录了每个被监听的文件的inode,majornumber,minornumber和pos。示例： 1 2 3 4 5 6 7 input file { path=>[ "/var/log/*.log" , "/var/log/message" ] type => "system" start_po...

2017-11-14

565

编译spark-1.6.1 tar -zxvf spark-1.6.1.tgz -C /usr/local/src/ cd /usr/local/src/spark-1.6.1/ #设置内存2G export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" #编译前安装一些压缩解压缩工具 yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop openssl openssl-devel #仅仅是为了编译源码, 编译后可以导入idea中 mvn clean package -Phadoop-2.6 -Dhadoop.version=2.6.4 -Phive -Phive-thriftserver -Pyarn -DskipTests #编译后并打包, 打包后可以丢到生产环境了 ./make-distribution.sh --tgz -Phadoop-2.6 -Dhadoop.version=2.6.4 -...

2017-11-14

546

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。