检查Hadoop是32位还是64位-低调大师

检查Hadoop是32位还是64位

2016-06-25 838

1.从哪些地方可以识别hadoop是32位还是64位？
2.hadoop本地库在什么位置？

hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。

hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。
为了防止我们用错，下面我们来实际操作和观察。

我们来从官网下载的hadoop2.4.1安装包.
hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命令
#####################################
解压之后，我们进入

hadoop-2.4.1/lib/native

使用file命令：

file libhadoop.so.1.0.0

libhadoop.so.1.0.0: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, BuildID[sha1]=0xd3669af32f519c52b4e6200a69bec8ad7b26df85, not stripped

###################################################
接着我们看下hadoop2.5官网下载安装包，这时候官网下载的安装包，就已经是64位了

接着我们看下当前最新版本hadoop2.7

/hadoop-2.7.0/lib/native$ file libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=0xc44a02ed2f540f8c91dc6da31ec5758a2474641c, not stripped

至于后面是不是64位，大家使用上面方法即可识别。

本文链接：http://www.aboutyun.com/thread-12796-1-1.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/578835

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用采样器实现mapreduce任务输出全排序

采样器是hadoop内自带的一个可以对目标文件部分数据进行提取的工具类,以方便我们对这些采样的数据做一些参考或者处理。hadoop提供了多种采样器供我们使用，以满足不同的需求。另外，采样器不同于普通mapreduce操作。它是直接在客户端机器上运行的。常见采样器 IntervalSampler 以一定的间隔定期从划分中选择key，对有排序的数据来说更好 RandomSameler 以指定的采样率均匀的从数据集中选择样本 SplitSampler 只采样一个分片的前n条记录，所以不适合有排序的数据最简单的使用采样器举例例1： JobConf conf = new JobConf(SamplerTest.class); conf.setJobName("Sampler"); FileInputFormat.setInputPaths(conf, new Path(args[0])); FileOutputFormat.setOutputPath(conf, new Path(args[1])); //设置采样率为0.1,最大样本数1000,最大分区数10(在最多10个分区中，按照约总...

2016-06-25

612

在安装部署的时候，遇到了问题 Unable to load native-hadoop library 原因1：64位linux使用了32位的hadoop native本地库[root@hadoop-001hadoop-2.4.1]# hadoop fs -ls /14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [root@lsn-linux hadoop-2.4.1]# 原因是hadoop-2.4.1.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时出错，不影响使用。参照:” 检查Hadoop是32位还是64位”解决：1.重新编译源码后将新的lib/native替换到集群中原来的lib/native这里替换完毕，可是还是出现，在增加下面配置。2.修改hadoop-env.sh ，增加export HADOOP_...

2016-06-25

731

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。