lzo文件的并行map处理-低调大师

lzo文件的并行map处理

2017-11-15 570

Hadoop集群中启用了lzo后，还需要一些配置，才能使集群能够对单个的lzo文件进行并行的map操作，以提升job的执行速度。

首先，要为lzo文件创建index。下面的命令对某个目录里的lzo文件创建index：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.LzoIndexer /log/source/cd/

使用该命令创建index要花些时间的，我一个7.5GB大小的文件，创建index，花了2分30秒的样子。其实创建index时还有另外一个参数，即com.hadoop.compression.lzo.DistributedLzoIndexer。两个选项可以参考：https://github.com/kevinweil/hadoop-lzo，该文章对这两个选项的解释，我不是很明白，但使用后一个参数可以减少创建index时所花费的时间，而对mapreduce任务的执行没有影响。如下：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.DistributedLzoIndexer /log/source/cd/

然后，在Hive中创建表时，要指定INPUTFORMAT和OUTPUTFORMAT，否则集群仍然不能对lzo进行并行的map处理。在hive中创建表时加入下列语句：

SET FILEFORMAT
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";

执行了这两步操作后，对hive执行速度的提升还是很明显的。在测试中，我们使用一个7.5GB大小的lzo文件，执行稍微复杂一点的Hive命令，使用上述配置后仅需34秒的时间，而原来要180秒。

本文转自 li_qinshan 51CTO博客，原文链接:http://blog.51cto.com/share/663555

微信关注我们

原文链接：https://yq.aliyun.com/articles/428259

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HiveQL的一些技巧

随机抽样有的时候我们需要从一张大表中随机抽取一定量的样本供分析，Hive中提供了一个rand()函数，我们就利用这个来实现随机抽样。思路如下：对于表中每行均附加一个随机的整数，然后再以该整数进行orderBy即可得。例如下面这个 selectvt.user_nick,vt.vidxfrom( selectuser_nick,cast(rand()*100000asint)asvidx froms_mc_xcard_userwherept='20120808000000' orderbyvidxlimit10000 )vtorderbyvt.vidxlimit100 处理复杂的数据结构如果我们希望将复杂的数据结构存储在Hive表中，可以使用Json字符串这种东东来承载。Hive中提供了一个get_json_object的函数供json解析；这个函数里面的第二个参数比较令人费解，不过官方文档还算是清楚。另外hive还提供了array，struct, map等数据结构，貌似目前功能很少，不建议使用。行列转置比如有一张这样的表： uid int mydata array 1...

2017-11-16

558

一、需求线上有几个实例，经常磁盘告警，之前每次人工删除，效率实在不高。二、解决方法登录跳板机执行脚本删除，不过在删除前，需要导出binary log日志和库表的的数据，最后把备份的传数据传到hdfs。三、脚本读取配置文件 1.1 mysql.conf，哪些实例，哪些表名 1 2 3 4 5 6 7 MYSQL_HOME=/usr/local/mysql/bin/mysql INCLUDE_MYSQL=(mysql4: 5507 mysql5: 5508 mysql6: 5509 mysql7: 5510 mysql7: 5511 ) EXCLUDE_DB_GA10=(dc_15dc_17dc_44dc_49dc_88dc_183dc_279dc_490dc_624dc_643dc_903dc_906dc_908dc_954dc_1099dc_1100dc_1167dc_1214dc_1463dc_1464dc_2444dc_2445dc_2695) APPID_REG=[ 0 -9A-Za-z]{ 32 , 33 } DELETE_TABLE_GA10=(dc_data...

2017-11-16

508

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。