lzo文件的并行map处理-低调大师

lzo文件的并行map处理

2017-11-15 595

Hadoop集群中启用了lzo后，还需要一些配置，才能使集群能够对单个的lzo文件进行并行的map操作，以提升job的执行速度。

首先，要为lzo文件创建index。下面的命令对某个目录里的lzo文件创建index：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.LzoIndexer /log/source/cd/

使用该命令创建index要花些时间的，我一个7.5GB大小的文件，创建index，花了2分30秒的样子。其实创建index时还有另外一个参数，即com.hadoop.compression.lzo.DistributedLzoIndexer。两个选项可以参考：https://github.com/kevinweil/hadoop-lzo，该文章对这两个选项的解释，我不是很明白，但使用后一个参数可以减少创建index时所花费的时间，而对mapreduce任务的执行没有影响。如下：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/lib/hadoop-lzo-0.4.10.jar com.hadoop.compression.lzo.DistributedLzoIndexer /log/source/cd/

然后，在Hive中创建表时，要指定INPUTFORMAT和OUTPUTFORMAT，否则集群仍然不能对lzo进行并行的map处理。在hive中创建表时加入下列语句：

SET FILEFORMAT
INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";

执行了这两步操作后，对hive执行速度的提升还是很明显的。在测试中，我们使用一个7.5GB大小的lzo文件，执行稍微复杂一点的Hive命令，使用上述配置后仅需34秒的时间，而原来要180秒。

本文转自 li_qinshan 51CTO博客，原文链接:http://blog.51cto.com/share/663555

微信关注我们

原文链接：https://yq.aliyun.com/articles/428259

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HiveQL的一些技巧

随机抽样有的时候我们需要从一张大表中随机抽取一定量的样本供分析，Hive中提供了一个rand()函数，我们就利用这个来实现随机抽样。思路如下：对于表中每行均附加一个随机的整数，然后再以该整数进行orderBy即可得。例如下面这个 selectvt.user_nick,vt.vidxfrom( selectuser_nick,cast(rand()*100000asint)asvidx froms_mc_xcard_userwherept='20120808000000' orderbyvidxlimit10000 )vtorderbyvt.vidxlimit100 处理复杂的数据结构如果我们希望将复杂的数据结构存储在Hive表中，可以使用Json字符串这种东东来承载。Hive中提供了一个get_json_object的函数供json解析；这个函数里面的第二个参数比较令人费解，不过官方文档还算是清楚。另外hive还提供了array，struct, map等数据结构，貌似目前功能很少，不建议使用。行列转置比如有一张这样的表： uid int mydata array 1...

2017-11-16

580

一、需求线上有几个实例，经常磁盘告警，之前每次人工删除，效率实在不高。二、解决方法登录跳板机执行脚本删除，不过在删除前，需要导出binary log日志和库表的的数据，最后把备份的传数据传到hdfs。三、脚本读取配置文件 1.1 mysql.conf，哪些实例，哪些表名 1 2 3 4 5 6 7 MYSQL_HOME=/usr/local/mysql/bin/mysql INCLUDE_MYSQL=(mysql4: 5507 mysql5: 5508 mysql6: 5509 mysql7: 5510 mysql7: 5511 ) EXCLUDE_DB_GA10=(dc_15dc_17dc_44dc_49dc_88dc_183dc_279dc_490dc_624dc_643dc_903dc_906dc_908dc_954dc_1099dc_1100dc_1167dc_1214dc_1463dc_1464dc_2444dc_2445dc_2695) APPID_REG=[ 0 -9A-Za-z]{ 32 , 33 } DELETE_TABLE_GA10=(dc_data...

2017-11-16

528

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。