MaxCompute的分区配置和使用-低调大师

MaxCompute的分区配置和使用

2016-12-14 892

创建表的时候，可以设置普通列和分区列。在绝大多数情况下，可以把普通列理解成数据文件的数据，而分区列可以理解成文件系统的目录。所以表的存储空间的占用，讲的是普通列的空间占用。分区列虽然不直接存储数据，但是如同文件系统里的目录，可以起到方便数据管理，并在计算只指定具体的分区的时候，只查询对应分区减少计算量的作用。

分区列的设置

创建分区表的语法可以参考这里。这里分别举2个例子方便理解：

从这里可以看到分区表的创建方式。目前分区列只支持STRING类型。BIGINT目前是还在测试中，并无法保证其计算准确性，暂时还不建议大家使用。

目前分区表的分区列的个数不能超过6级，也可以理解成底层存储数据的目录层数不能超过6层。

分区的创建

关于分区和分区键的区别，可以先参考这个说明。对应到前面的说明，分区键的设置只是设置了一个规范，定义了表下的文件存储的目录规

微信关注我们

原文链接：https://yq.aliyun.com/articles/66609

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hbase集群master.HMasterCommandLine: Master exiting

2016-12-15 17:01:57,473 INFO [main] impl.MetricsSystemImpl: HBase metrics system started 2016-12-15 17:01:59,649 ERROR [main] master.HMasterCommandLine: Master exiting java.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster. at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:2426) at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:231) at org.apache.hadoop.hbase.master.HMasterCommandLine.run...

2016-12-14

751

这里会列举一个写惯了关系型数据库里的SQL的用户，在使用MaxCompute SQL比较容易遇见的问题。但是具体的语法建议还是参考对应的文档。希望这篇帖子配合文档，能帮助大家少踩坑，快速上手MaxCompute SQL。概要场景不支持事物（没有commit和rollback，建议代码具有等幂性支持重跑，不推荐使用Insert Into，推荐Insert Overwrite写入数据）。不支持索引和主外键约束。不支持自增字段和默认值。如果有默认值，请在数据写入时自行赋值。分区单表支持6万个分区。一次查询输入的分区数不能大于1万。另外如果是2级分区且查询时只根据2级分区进行过滤，总的分区数大于1万也可能导致这个问题。一次查询输出的分区数不能大于2048 。精度 Double类型因为存在精度问题，不建议在关联时候进行直接等号关联两个Do

2016-12-14

1074

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。