热门搜索:
您现在的位置是：首页 > 文章详情

Hadoop使用lzo压缩格式

日期：2016-01-06点击：747

在hadoop中搭建lzo环境:

  1. wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz  
  2. export CFLAGS=-m64  
  3. ./configure -enable-shared -prefix=/usr/local/hadoop/lzo/  
  4. make && make test && make install  

 

在hadoop-env.sh中

export LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib

将如下配置到 core-site.xml 中：

<property>  

 <name>io.compression.codecs</name>  

<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>  

</property>  

<property>  

   <name>io.compression.codec.lzo.class</name>  

   <value>com.hadoop.compression.lzo.LzoCodec</value>  

</property>  

将如下配置到mapred-site.xml中：

<property>  

    <name>mapred.compress.map.output</name>  

    <value>true</value>  

</property>  

<property>  

    <name>mapred.map.output.compression.codec</name>  

    <value>com.hadoop.compression.lzo.LzoCodec</value>  

</property>  

<property>  

    <name>mapred.child.env</name>  

    <value>LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib</value>  

</property>  

 



原文链接：https://yq.aliyun.com/articles/609084
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。

相关文章

    文章评论

    共有0条评论来说两句吧...

    文章二维码

    扫描即可查看该文章

    点击排行

    推荐阅读

    最新文章