MaxCompute 表(Table)设计规范

2018-12-11 601

表的限制项
表(Table)设计规范表设计主要目标
- 表设计的影响
- 表设计步骤
- 表数据存储规范
  - 按数据分层规范数据生命周期
  - 按数据的变更和历史规范数据的保存
- 数据导入通道与表设计
- 分区设计与逻辑存储的对应
- 表和分区设计基本规则
- 分区设计
  - 分区字段和普通字段的选择
  - 分区字段定义依据
  - 分区个数定义依据
  - 分区数量和数据量建议

表的限制项

表(Table)设计规范表设计主要目标

降低存储成本。合适的表设计可以在数据分层设计上降低冗余存储，减少中间表数据量大小。同时正确的对表数据进行生命周期管理，更能够直接降低存储的数据量以降低存储成本。
降低计算成本。对表设计规范化，以便在后续对表数据进行查询计算过程中，可以依据这些规范优化数据的读取，减少计算过程中的冗余读写和计算，提升计算性能的同时降低成本。
降低维护复杂度。规范化的表分层设计能够直接体现业务的特点。如通过对数

微信关注我们

原文链接：https://yq.aliyun.com/articles/676656

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive分桶表学习总结

版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/84964628 前言学习总结一下Hive的分桶表。分桶规则：对分桶字段值进行哈希，哈希值除以桶的个数求余，余数决定了该条记录在哪个桶中，也就是余数相同的在一个桶中。优点：1、提高join查询效率 2、提高抽样效率 1、建表通过 clustered by(字段名) into bucket_num buckets 分桶，意思是根据字段名分成bucket_num个桶 create table test_bucket ( id int comment 'ID', name string comment '名字' ) comment '测试分桶' clustered by(id) into 4 buckets ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' ; 2、插入数据 2.1 数据 buckt_data.txt 1,nam...

2018-12-12

459

# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门】

内容提要：本次讲座主要涵盖Spark RDD编程入门基础，包括： Spark、RDD简介 RDD API简介打包与spark-submit 性能分析与调优基础主讲人：王道远(健身) 阿里巴巴计算平台EMR技术专家直播时间：2018.12.13（本周四）19:00 - 20:00 ppt链接：https://yq.aliyun.com/download/3142视频链接：https://yq.aliyun.com/live/720 加入Apache Spark中国技术交流钉钉群与大牛交流经验欢迎大家扫码加入~~

2018-12-12

634

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

MaxCompute 表(Table)设计规范

表的限制项

表(Table)设计规范表设计主要目标

Hive分桶表学习总结

# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门】

相关文章

发表评论

资源下载

Oracle

Apache Tomcat

JDK

Sublime Text

欢迎您！

MaxCompute 表(Table)设计规范

表的限制项

表(Table)设计规范 表设计主要目标

Hive分桶表学习总结

# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门 】

相关文章

发表评论

资源下载

Oracle

Apache Tomcat

JDK

Sublime Text

欢迎您！

表(Table)设计规范表设计主要目标

# Apache Spark系列技术直播# 第五讲【 Spark RDD编程入门】