Python在HiveQL中的运用-低调大师

Python在HiveQL中的运用

2017-11-07 552

在写HiveQL的时候，往往发现内置函数不够用，Hive支持用户自定义函数UDF，使用Java进行开发。很多时候这显得过于繁重。因而Hive中提供了Transform机制（基于hadoop streaming），这种机制相当于提供了一个脚本程序的入口，因此我们可以很方便的使用shell、perl、python等语言进行开发。

Python是很简单易学开发效率也很高的一种脚本语言，虽然性能上不及Java和Cxx，但是在大多数情况下，特别是hadoop这样的分布式环境中，不会成为特别明显的性能瓶颈。

hive中transform的标准语法是下面这样的:

select transform(x, y, z....) using 'xxx.py' as (xx, yy, zz....) from ....

其中，xyz为待处理的字段，xxx.py即为我们的python脚本。

在执行上面这个hiveql语句之前，需要将相应的脚本文件添加到环境中。

使用add file xxx.py即可，这里的文件名不能加引号。

python脚本可以采用下面这个框架:

def main():
try:
for line in sys.stdin:
n = line.strip()
#your code here...
print n
except:
return None
if __name__ == "__main__":
main()

hive会将每一行数据输出到python程序的标准输入中，处理完毕后，python将结果直接打印到标准输出，整个流程就完毕了。

写完脚本后一定要注意测试，直接在命令行下手动输入数据，看看程序处理是否正常。

这一点很重要，如果python程序本身有bug，则在hive语句执行的时候，会抛出broken piple之类异常，这类问题非常隐蔽，需额外注意。而且 python文件本身一定要加可执行权限chmod +x abc.py

另外，select中的所有字段，最好全部包含在transform中，否则可能会出现莫名其妙的错误。

本文转自 kevx 51CTO博客，原文链接：http://blog.51cto.com/spinlock/976824，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/471662

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive MetadataOnlyOptimizer NPE

昨天同事在Web查询UI发现一个hivequery不能跑,SQL类似如下： 1 2 3 4 5 6 7 select c from ( select * from db1.t1 where partkey1 = 'xxx' ) a left outer join db2.t2 b on (a.c1 = b.c1) left outer join db2.t2 c on (a.c2 = c.c2) group by c 报NPE，尝试下发现连explain都不行，说明在解析阶段就出问题了，查看日志： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 atorg.apache.hadoop.hive.ql.optimizer.physical.MetadataOnlyOptimizer$MetadataOnlyTaskDispatcher.dispatch(MetadataOnlyOptimizer.java: 308 ) atorg.apache.hadoop.hive.ql.lib.DefaultGraphWalker....

2017-11-08

560

前沿：以前都是用mongodb的，但是量大了，mongodb显得不那么靠谱，改成hbase撑起一个量级。 HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。 HBase提供了丰富的访问接口。 HBase ShellJava clietn APIJython、Groovy DSL、ScalaRESTThrift（Ruby、Python、Perl、C++…）MapReduceHive/Pig hbase(main):001:0> #创建表 hbase(main):002:0* create 'blog','info','content' 0 row(s) in 2.0290 seconds #查看表 hbase(main):003:0> list TABLE blog ...

2017-11-08

539

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。