来了,2行代码秒级查询MaxCompute!
看了《在吗?0代码加速查询MaxCompute请查收!》的朋友们纷纷表示按照文章操作,能够快速查询到MaxCompute中的数据,同时还不需要写建表代码,简单又实用。但是呢,随之而来就会有个问题,业务数据量太大时,直接查询响应也会有点迟缓,依赖HoloStudio的导入查询具体怎么操作?今天小编就来为大家讲解,如何使用HoloStudio用最少的代码导入查询MaxCompute数据,实现秒级交互式响应!(小Tips:直接查询数据仍然存在MaxCompute中,导入查询数据最终存在交互式分析中)
往期精彩传送门:
HoloStudio介绍:《交互式分析六脉神剑》之Dataworks-HoloStudio初体验
DataWorks数据服务:交互式分析加速查询MaxCompute封装API的最佳实践
DataWorks调度:什么?你还不会使用DataWorks调度?
操作步骤
1.准备MaxCompute数据表
准备一张MaxCompute表,本示例直接采用数据地图中的一张表,数据条数约为7600万条
2.HoloStudio新建外部表
在HoloStudio中新建一张外部表,用于做MaxCompute表字段的一一映射。在HoloStudio中选择PG管理--外部表,一键新建外部表。因为是将整张表数据导入进交互式分析,所以字段全部映射(可根据项目情况选择部分字段映射)
若是直接外部表的话,查询20万条数据用时2.5秒
3.HoloStudio新建真实存储表
在HoloStudio中新建一张真实存储表,用于真正接受数据。新建内部表的字段需要一一对应。最简单的建表操作就是复制外部表的建表语句,再修改成对应内部表即可,不需要自己再写建表sql,轻轻松松完成建内部表。
3.导入数据
将数据从MaxCompute中导入至交互式分析中,可以选择部分字段数据导入,也可以选择全部数据导入。若数据量太大,使用SQL Console会报50秒超时的错误,这是DataWorks本身的限制,请使用HoloStudio的终端进行数据导入。示例导入全部数据SQL如下,只需要1行代码即可:
INSERT INTO holo_lineitem92 SELECT * FROM odps_lineitem92;
导入7600万条数据用时15秒
4.查询数据
数据导入完成之后,可以直接查询数据,示例,同样查询20万条数据,用时4毫秒返回。(1行代码)
SELECT * from holo_lineitem92 LIMIT 200000;
结论:通过以上操作步骤,相信大家也都学会了如何在HoloStudio中用最少的代码将MaxCompute中的数据导入查询,具体的操作步骤,大家也可以参考官网文档:离线数据导入分析。
通过两次HoloStudio的查询MaxCompute数据演示,相信大家也能更加直观体会到两种查询方式的区别:小数据量使用直接查询也可以直接获取结果,但是大数据量更建议大家导入查询,查询性能在同等资源条件下也会更优。
同时,使用HoloStudio,能让你用最少的代码,最快的查询MaxCompute中的数据,既解放了双手,又实现了数据的秒级交互响应,两全其美啊!
若大家对交互式分析有任何疑问,欢迎大家进群咨询哦
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
开源大数据生态下的 Flink 应用实践
过去十年,面向整个数字时代的关键技术接踵而至,从被人们接受,到开始步入应用。大数据与计算作为时代的关键词已被广泛认知,算力的重要性日渐凸显并发展成为企业新的增长点。Apache Flink(以下简称 Flink)以其快速、准确的算力备受关注,如何将 Flink 更好的与大数据生态技术相结合,充分挖掘数据的潜力,真正发挥数据的价值,是大多数企业面临的难题。 11 月 28-30 日,Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的优秀实践。 点击可了解大会详情,购买参会门票 部分精彩议题概览 Apache Flink and the Apache Way Fabian HueskeApache Flink PMC,Ververica Co-founder, Software Engineer Apache Flink is a project of the Apache...
- 下一篇
阿里文娱首次公开!AI 如何对爆款内容未卜先知? | 11月14号栖夜读
点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.阿里文娱首次公开!AI 如何对爆款内容未卜先知? 文娱内容很难有完整的量化指标体系,内容的复杂性决定了文娱产品的不确定性。我们如何利用AI+大数据能力,建造文娱的内容认知大脑?串联内容全生命周期,实现对内容、流量、宣推等的“未卜先知”,提升对爆款的预测和生产能力?这本《5G+AI 阿里文娱技术实践》会告诉你。阅读更多》》 2.Sentinel 1.7.0 发布,支持 Envoy 集群流量控制 流控降级中间件 Sentinel 1.7.0 版本正式发布,引入了 Envoy 集群流量控制支持、properties 文件配置、Consul/Etcd/Spring Cloud Config 动态数据源适配等多项新特性与改进。详细特性列表请参考 Release Notes,欢迎大家使用并提出建议。下面我们来一起探索一下 Sentinel 1.7.0 的重要特性。阅读更多》》 3.闲鱼推荐,让智能计算从云走向端 一篇干货给好文。值得一读!阅读更多》》 4.神仙在双11晚上,都干了些啥? 11月,阿里巴巴西溪园区夜凉如水,双11...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Mario游戏-低调大师作品
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8