MaxCompute中Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写
一、背景介绍:
MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。Java UDF使用复杂数据类型的方法,STRUCT对应com.aliyun.odps.data.Struct。com.aliyun.odps.data.Struct从反射看不出Field Name和Field Type,所以需要用@Resolve注解来辅助。即如果需要在UDF中使用STRUCT,要求在UDF Class上也标注上@Resolve注解。但是当我们Struct类型中的field有很多字段的时候,这个时候需要我们去手动的添加@Resolve注解就不是那么的友好。针

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
influxdb-orm v1.1.0 发布,时序数据库 InfluxDB 的 ORM
介绍 一个用于InfluxDB时序数据库的ORM,终结没有InfluxDBORM的时代。 常用操作一把梭,支持php-fpm、Swoole环境,一键轻松切换。 可以用于所有传统框架、所有Swoole框架中! 码云:https://gitee.com/yurunsoft/influxdb-orm Github:https://github.com/Yurunsoft/influxdb-orm 更新日志 新增测试用例 新增 travis 自动化测试 完善注释和参数返回值类型 修复 ResultSet->getScalar() 默认值错误 查询构建器查询后时区复原 新增模型测试和查询器测试 修复 or 条件问题 QueryBuilder 支持设定 timezone() 新增支持日期时间格式化 模型新增 toArray() 方法 为@Value注解增加字段类型属性 Composer 本项目可以使用composer安装,遵循psr-4自动加载规则,在你的composer.json中加入下面的内容: { "require": { "yurunsoft/influxdb-orm": "...
- 下一篇
MaxCompute与DataWorks权限介绍和示例
背景:用户在使用MaxCompute与DataWorks这两种权限模型不清楚,并且对于相关MaxCompute的权限执行语句也不太熟悉,以至于在自己的实际操作中不能建立完整的权限策略,导致权限控制的混乱,甚至在开发过程中时常遇到权限问题的错误,导致延误业务的推动进展,该篇文档集主要的权限知识点与一体,常用的MaxCompute权限语句,以及经典的开发环境和生产环境之间的赋权示例给大家做出做出介绍。 一、MaxCompute的安全模型 二、DataWorks安全模型 三、子账户添加的限制 四、MaxCompute的授权管理图 五、授权场景和注意事项 六、移除用户的注意事项 七、成员管理的相关语句 查看成员: Project owner或admin命令行执行 List users; --查看成员列表 Show grants for <username>; -- 查看某成员权限 添加成员: 1.DataWorks添加RAM子账号; 2.Project owner或admin命令行方式执行 add user <username> --可为RAM子账户或其他云账户 删除成...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker安装Oracle12C,快速搭建Oracle学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS关闭SELinux安全模块
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Hadoop3单机部署,实现最简伪集群