hive 部署UDF函数-低调大师

hive 部署UDF函数

2017-11-11 783

一.临时添加UDF函数

1.上传jar包至hive服务器

2.hive shell执行如下命令：

 
        add jar /home/hive/hivejar/billing-on-hive-1.0.jar
       
        create temporary function strip as 'com.tsingzone.bigdata.billing.GetOperator';
       
        注：
       
        strip：自定义函数名
       
        com.tsingzone.bigdata.billing.GetOperator：类名
       
        仅对当前shell生效

3.使用方法：

 
        select 
        strip(dest_termi_id) 
        from 
        huadan201601 limit 10;

二.永久添加UDF函数

1.上传jar包至hdfs中

 
        hdfs dfs -put hivejar/billing-
        on
        -hive-1.0.jar /
        user
        /hive/hive_jar

2.创建函数

 
        create 
        function 
        billing 
        as 
        'com.tsingzone.bigdata.billing.GetOperator' 
        using jar 
        'hdfs:///user/hive/hive_jar/billing-on-hive-1.0.jar'

3.使用

 
        hive -S -e 
        "select billing(dest_termi_id) from huadan201601 limit 10;"

参考文档：http://blog.csdn.net/liam08/article/details/51311772

本文转自穿越防火墙 51CTO博客，原文链接:http://blog.51cto.com/sjitwant/1932990

微信关注我们

原文链接：https://yq.aliyun.com/articles/499562

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive分区表实践

HIVE把表组织成“分区”，这是一种根据“分区列”的值对表进行粗略划分的机制，使用分区可以加快数据分片的查询速度。表或分区可以进一步分为“桶”。它会为数据提供额外的结构以获得更高效的查询处理。创建分区表 1 2 3 4 CREATE TABLE bills_detail(msgidSTRING, time STRING,spidSTRING,opidSTRING,spcodeSTRING,resultSTRING) PARTITIONED BY (dtSTRING,typeSTRING) ROWFORMATDELIMITED FIELDSTERMINATED BY '\t' 表结构 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 hive> desc bills_detail; OK msgidstring time string spidstring opidstring spcodestring resultstring dtstring typestring #PartitionInformation #col_namedata_...

2017-11-12

728

Tuple元组 Tuple 是 Storm 的主要数据结构，并且是 Storm 中使用的最基本单元、数据模型和元组。 Tuple 描述 Tuple 就是一个值列表， Tuple 中的值可以是任何类型的，动态类型的Tuple的fields可以不用声明；默认情况下，Storm中的Tuple支持私有类型、字符串、字节数组等作为它的字段值，如果使用其他类型，就需要序列化该类型。 Tuple的字段默认类型有：integer、 float、 double、 long、short、 string、 byte、 binary（byte[]）。 Tuple元组，是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于各个组件间传递的元组的字段名称已经事先定义好，所以只要按序把元组填入各个value即可，所以元组是一个vlue的List。 Tuple是Storm采用的数据表示...

2017-11-12

575

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。