MaxCompute问答整理之11月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
问题一、请问MySQL中IFNULL对应到MaxCompute中的函数是什么?
NVL,MaxCompute中有内建函数可以使用,与MySQL和Oracle有对应的函数。
可以参考官方文档:https://help.aliyun.com/document_detail/96342.html
问题二、如何将UNIX时间转换为MaxCompute所需日期?
使用MaxCompute中的内建函数 FROM_UNIXTIME。此函数是将数字型的UNIX时间日期值unixtime转为日期值。
可参考官方文档:https://help.aliyun.com/document_detail/48974.html
问题三、目前MaxCompute Spark支持原生Spark哪个版本?
目前支持Spark-1.6.3和Spark-2.3.0两个版本。如何Spark on MaxCompute可以参考一下
云栖社区一篇文章:https://yq.aliyun.com/articles/728374
问题四、MaxCompute中如何使用OSS外部表读取JSON数据?
可以参考云栖社区文章查看一下操作步骤:https://yq.aliyun.com/articles/737902
问题五、MaxCompute中可以增加或更改分区吗?可以对表数据进行删除和更改操作吗?
MaxCompute中不可以在源表上直接增加/更改分区信息,分区一旦创建就不能更改。建议再建一张新分区表,使用动态分区 SQL 把源表数据导入到新分区表。同时MaxCompute不支持直接对表数据进行更新(UPDATE)操作也不支持直接对表数据进行删除(DELETE)操作。可参考文档:https://help.aliyun.com/document_detail/73771.html
问题六、MaxCompute SQL 中,使用 not in 后面接子查询,子查询返回的结果是上万级别的数据量,但语句中的子查询返回的col1的个数超过1000个时,系统会报错为 records
returned from subquery exceeded limit of 1000。应该怎么去实现子查询限制1000呢?
可以使用left outer join实现来替代子查询实现。
子查询:SELECT * FROM table_a a WHERE a.col1 IN (SELECT col1 FROM table_b b WHERE xxx);
join查询:SELECT a.* FROM table_a a JOIN (SELECT DISTINCT col1 FROM table_b b WHERE xxx) c ON (a.col1 = c.col1)
问题七、如何查看当前项目空间的所有自定义函数?
查看当前项目空间中的所有自定义函数:LIST FUNCTIONS;
查看指定项目空间下的所有自定义函数:LIST FUNCTIONS -p project_name;
可参考文档:https://help.aliyun.com/document_detail/27832.html
问题八、配置MaxCompute客户端时报错connect timed out 怎么解决?
如何正确配置MaxCompute客户端参考文章:https://yq.aliyun.com/articles/724721
问题九、使用OSS外部表怎么样将多个小文件,输出为一个文件?
查看Logview日志,看SQL的执行计划,看最后一个是Reducer还是Joiner,
如果是Reducer则设置参数为set odps.stage.reducer.num=1,
如果是Joiner,则设置为set odps.stage.joiner.num=1。
问题十、MaxCompute建议学习流程:
MaxCompute全套攻略:https://yq.aliyun.com/articles/78108
MaxCompute官方文档:https://help.aliyun.com/product/27797.html
DataWorks官方文档:https://help.aliyun.com/product/72772.html
MaxCompute开发者版官方介绍:https://help.aliyun.com/document_detail/116741.html
MaxCompute开发者版:https://promotion.aliyun.com/ntms/act/cloud/maxcdeveloperfbh.html
MaxCompute开发者版指南:https://yq.aliyun.com/articles/694716
MaxCompute实践:https://help.aliyun.com/document_detail/27808.html
Workshop文档参考实践:https://help.aliyun.com/document_detail/85292.html
Workshop视频参考:https://help.aliyun.com/video_detail/142211.html
更多阿里巴巴大数据计算技术和产品信息,可点击链接加入 MaxCompute开发者社区2群
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
EFK教程(4) - ElasticSearch集群TLS加密通讯
基于TLS实现ElasticSearch集群加密通讯 作者:“发颠的小狼”,欢迎转载 目录 ▪ 用途▪ ES节点信息▪ Step1. 关闭服务▪ Step2. 创建CA证书▪ Step3. 创建CERT证书▪ Step4. 创建密钥库▪ Step5. 删除CA证书▪ Step6. 修改elasticsearch.yml配置▪ Step7. 启动服务▪ 附. 参考文档 用途 前情提要: ▷ 在第一篇《EFK教程 - 快速入门指南》中,阐述了EFK的安装部署,其中ElasticSearch的架构为三节点,即master、ingest、data角色同时部署在三台服务器上。▷ 在第二篇《EFK教程 - ElasticSearch高性能高可用架构》中,阐述了EFK的data/ingest/master角色的用途及分别部署三节点,在实现性能最大化的同时保障高可用。▷ 在第三篇《EFK教程(3) - ElasticSearch冷热数据分离》中,阐述了ES多实例部署,将不同热度的数据存在不同的磁盘上,实现了数据冷热分离、资源合理分配。 前三篇文章,ES集群之间数据交互都是明文交互,而在本文中,为ES集...
- 下一篇
3D人脸识别快速发展,你觉得安全吗?
据艾媒咨询发布的《2019年中国刷脸支付技术应用社会价值专题研究报告》显示,在移动支付市场规模逐渐扩大以及人脸识别技术发展渐趋成熟的大背景下,2019年已经成为刷脸支付的“元年”,刷脸支付用户保持高速增长,有望增至1.18亿人,2022年将突破7.6亿人,届时将成为主要的支付方式。刷脸支付落地普及被大众广泛接受和认可,正是其安全性和便捷性带给用户全新体验。刷脸支付的核心技术是3D人脸识别技术,从另一个角度来看,在刷脸支付受到热捧的背后,3D人脸识别技术的成熟发展成为关键点。 目前人脸识别技术分为2D人脸识别和3D人脸识别两种技术,但由于2D人脸识别只能获取人脸的平面的信息,能够被图片、视频等破解,加上容易受到光线影响,存在较大的安全隐患。相对来说,3D人脸识别能够获取人脸的三维信息,不容易受姿态、光照、表情等因素影响,比起2D识别,3D人脸识别技术更为安全、稳定、成熟,能够识别照片、视频、面具、双胞胎等伪装。3D人脸识别技术成为现在“刷脸”行业的风向标,例如支付宝率先推出的刷脸支付设备,采用了国内奥比中光提供的3D人脸识别解决方案,为用户提供安全、快捷、高效的支付服务。 刷脸背后的3D...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- 设置Eclipse缩进为4个空格,增强代码规范
- Mario游戏-低调大师作品
- MySQL8.0.19开启GTID主从同步CentOS8
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8编译安装MySQL8.0.19
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- SpringBoot2整合Redis,开启缓存,提高访问速度