hive 部署UDF函数-低调大师

hive 部署UDF函数

2017-11-11 762

一.临时添加UDF函数

1.上传jar包至hive服务器

2.hive shell执行如下命令：

 
        add jar /home/hive/hivejar/billing-on-hive-1.0.jar
       
        create temporary function strip as 'com.tsingzone.bigdata.billing.GetOperator';
       
        注：
       
        strip：自定义函数名
       
        com.tsingzone.bigdata.billing.GetOperator：类名
       
        仅对当前shell生效

3.使用方法：

 
        select 
        strip(dest_termi_id) 
        from 
        huadan201601 limit 10;

二.永久添加UDF函数

1.上传jar包至hdfs中

 
        hdfs dfs -put hivejar/billing-
        on
        -hive-1.0.jar /
        user
        /hive/hive_jar

2.创建函数

 
        create 
        function 
        billing 
        as 
        'com.tsingzone.bigdata.billing.GetOperator' 
        using jar 
        'hdfs:///user/hive/hive_jar/billing-on-hive-1.0.jar'

3.使用

 
        hive -S -e 
        "select billing(dest_termi_id) from huadan201601 limit 10;"

参考文档：http://blog.csdn.net/liam08/article/details/51311772

本文转自穿越防火墙 51CTO博客，原文链接:http://blog.51cto.com/sjitwant/1932990

微信关注我们

原文链接：https://yq.aliyun.com/articles/499562

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive分区表实践

HIVE把表组织成“分区”，这是一种根据“分区列”的值对表进行粗略划分的机制，使用分区可以加快数据分片的查询速度。表或分区可以进一步分为“桶”。它会为数据提供额外的结构以获得更高效的查询处理。创建分区表 1 2 3 4 CREATE TABLE bills_detail(msgidSTRING, time STRING,spidSTRING,opidSTRING,spcodeSTRING,resultSTRING) PARTITIONED BY (dtSTRING,typeSTRING) ROWFORMATDELIMITED FIELDSTERMINATED BY '\t' 表结构 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 hive> desc bills_detail; OK msgidstring time string spidstring opidstring spcodestring resultstring dtstring typestring #PartitionInformation #col_namedata_...

2017-11-12

705

Tuple元组 Tuple 是 Storm 的主要数据结构，并且是 Storm 中使用的最基本单元、数据模型和元组。 Tuple 描述 Tuple 就是一个值列表， Tuple 中的值可以是任何类型的，动态类型的Tuple的fields可以不用声明；默认情况下，Storm中的Tuple支持私有类型、字符串、字节数组等作为它的字段值，如果使用其他类型，就需要序列化该类型。 Tuple的字段默认类型有：integer、 float、 double、 long、short、 string、 byte、 binary（byte[]）。 Tuple元组，是消息传递的基本单元，是一个命名的值列表，元组中的字段可以是任何类型的对象。Storm使用元组作为其数据模型，元组支持所有的基本类型、字符串和字节数组作为字段值，只要实现类型的序列化接口就可以使用该类型的对象。元组本来应该是一个key-value的Map，但是由于各个组件间传递的元组的字段名称已经事先定义好，所以只要按序把元组填入各个value即可，所以元组是一个vlue的List。 Tuple是Storm采用的数据表示...

2017-11-12

555

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。