来了,2行代码秒级查询MaxCompute!

看了《在吗?0代码加速查询MaxCompute请查收!》的朋友们纷纷表示按照文章操作,能够快速查询到MaxCompute中的数据,同时还不需要写建表代码,简单又实用。但是呢,随之而来就会有个问题,业务数据量太大时,直接查询响应也会有点迟缓,依赖HoloStudio的导入查询具体怎么操作?今天小编就来为大家讲解,如何使用HoloStudio用最少的代码导入查询MaxCompute数据,实现秒级交互式响应!(小Tips:直接查询数据仍然存在MaxCompute中,导入查询数据最终存在交互式分析中)
往期精彩传送门:
HoloStudio介绍:《交互式分析六脉神剑》之Dataworks-HoloStudio初体验
DataWorks数据服务:交互式分析加速查询MaxCompute封装API的最佳实践
DataWorks调度:什么?你还不会使用DataWorks调度?
操作步骤

1.准备MaxCompute数据表

准备一张MaxCompute表,本示例直接采用数据地图中的一张表,数据条数约为7600万条
image.png

2.HoloStudio新建外部表

在HoloStudio中新建一张外部表,用于做MaxCompute表字段的一一映射。在HoloStudio中选择PG管理--外部表,一键新建外部表。因为是将整张表数据导入进交互式分析,所以字段全部映射(可根据项目情况选择部分字段映射)
image.png
若是直接外部表的话,查询20万条数据用时2.5秒
image.png
3.HoloStudio新建真实存储表
在HoloStudio中新建一张真实存储表,用于真正接受数据。新建内部表的字段需要一一对应。最简单的建表操作就是复制外部表的建表语句,再修改成对应内部表即可,不需要自己再写建表sql,轻轻松松完成建内部表。
image.png

3.导入数据

将数据从MaxCompute中导入至交互式分析中,可以选择部分字段数据导入,也可以选择全部数据导入。若数据量太大,使用SQL Console会报50秒超时的错误,这是DataWorks本身的限制,请使用HoloStudio的终端进行数据导入。示例导入全部数据SQL如下,只需要1行代码即可:

INSERT INTO holo_lineitem92
SELECT * FROM  odps_lineitem92;

导入7600万条数据用时15秒
image.png

4.查询数据

数据导入完成之后,可以直接查询数据,示例,同样查询20万条数据,用时4毫秒返回。(1行代码)

SELECT * from holo_lineitem92 LIMIT 200000;

image.png
结论:通过以上操作步骤,相信大家也都学会了如何在HoloStudio中用最少的代码将MaxCompute中的数据导入查询,具体的操作步骤,大家也可以参考官网文档:离线数据导入分析
通过两次HoloStudio的查询MaxCompute数据演示,相信大家也能更加直观体会到两种查询方式的区别:小数据量使用直接查询也可以直接获取结果,但是大数据量更建议大家导入查询,查询性能在同等资源条件下也会更优。
同时,使用HoloStudio,能让你用最少的代码,最快的查询MaxCompute中的数据,既解放了双手,又实现了数据的秒级交互响应,两全其美啊!
若大家对交互式分析有任何疑问,欢迎大家进群咨询哦
image.png





优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/727012

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。