检查Hadoop是32位还是64位-低调大师

检查Hadoop是32位还是64位

2016-06-25 782

1.从哪些地方可以识别hadoop是32位还是64位？
2.hadoop本地库在什么位置？

hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。

hadoop官网本来提供的都是32位，因为我们大部分都是64位，所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。
为了防止我们用错，下面我们来实际操作和观察。

我们来从官网下载的hadoop2.4.1安装包.
hadoop是32位还是64位，我们查看本地库即可。即进入$hadoop_home/lib/native，使用file命令
#####################################
解压之后，我们进入

hadoop-2.4.1/lib/native

使用file命令：

file libhadoop.so.1.0.0

libhadoop.so.1.0.0: ELF 32-bit LSB shared object, Intel 80386, version 1 (SYSV), dynamically linked, BuildID[sha1]=0xd3669af32f519c52b4e6200a69bec8ad7b26df85, not stripped

###################################################
接着我们看下hadoop2.5官网下载安装包，这时候官网下载的安装包，就已经是64位了

接着我们看下当前最新版本hadoop2.7

/hadoop-2.7.0/lib/native$ file libhadoop.so.1.0.0
libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=0xc44a02ed2f540f8c91dc6da31ec5758a2474641c, not stripped

至于后面是不是64位，大家使用上面方法即可识别。

本文链接：http://www.aboutyun.com/thread-12796-1-1.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/578835

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用采样器实现mapreduce任务输出全排序

采样器是hadoop内自带的一个可以对目标文件部分数据进行提取的工具类,以方便我们对这些采样的数据做一些参考或者处理。hadoop提供了多种采样器供我们使用，以满足不同的需求。另外，采样器不同于普通mapreduce操作。它是直接在客户端机器上运行的。常见采样器 IntervalSampler 以一定的间隔定期从划分中选择key，对有排序的数据来说更好 RandomSameler 以指定的采样率均匀的从数据集中选择样本 SplitSampler 只采样一个分片的前n条记录，所以不适合有排序的数据最简单的使用采样器举例例1： JobConf conf = new JobConf(SamplerTest.class); conf.setJobName("Sampler"); FileInputFormat.setInputPaths(conf, new Path(args[0])); FileOutputFormat.setOutputPath(conf, new Path(args[1])); //设置采样率为0.1,最大样本数1000,最大分区数10(在最多10个分区中，按照约总...

2016-06-26

569

在安装部署的时候，遇到了问题 Unable to load native-hadoop library 原因1：64位linux使用了32位的hadoop native本地库[root@hadoop-001hadoop-2.4.1]# hadoop fs -ls /14/12/09 19:43:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable [root@lsn-linux hadoop-2.4.1]# 原因是hadoop-2.4.1.tar.gz安装包是在32位机器上编译的，64位的机器加载本地库.so文件时出错，不影响使用。参照:” 检查Hadoop是32位还是64位”解决：1.重新编译源码后将新的lib/native替换到集群中原来的lib/native这里替换完毕，可是还是出现，在增加下面配置。2.修改hadoop-env.sh ，增加export HADOOP_...

2016-06-26

691

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。