Hadoop本地库
本文讲的是Hadoop本地库,【IT168 资讯】鉴于性能问题以及某些Java类库的缺失,对于某些组件,Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so. 本文主要介绍本地库的使用方法以及如何构建本地库。 组件Hadoop现在已经有以下 compression codecs本地组件:zlib gzip lzo 在以上组件中,lzo和gzip压缩编解码器必须使用hadoop本地库才能运行。使用方法hadoop本地库的用法很简单:看一下 支持的平台.下载 预构建的32位i386架构的Linux本地hadoop库(可以在hadoop发行版的lib/native目录下找到)或者自己 构建 这些库。 确保你的平台已经安装了zlib-1.2以上版本或者lzo2.0以上版本的软件包或者两者均已安装(根据你的需要)。 bin/hadoop 脚本通过系统属性 -Djava.library.path=来确认hadoop本地库是否包含在库路径里。检查hadoop日志文件可以查看hadoop库是否正常,正常情况下会看到:...