您现在的位置是：首页 > 文章详情

阿里云 MaxCompute 2021-2 月刊

日期：2021-03-02点击：1487收藏

MaxCompute 2月新发布功能

1、MaxCompute SQLML 功能（中国区）商业化发布查看文档 >>

MaxCompute SQLML 支持使用SQL语言在 MaxCompute 中创建、训练和应用机器学习模型，实现 AI 普惠。

适用客户

各个领域的 SQL从业人员/ 数据工程师 / 数据分析师 / 数据科学家

发布功能
MaxCompute SQLML 可以让数据工程师、分析师和数据科学家使用 SQL 语言在 MaxCompute 中创建、训练和应用机器学习模型，使 SQL 从业人员利用现有的 SQL 工具和技能就能应用机器学习的能力，同时无需做数据迁移，实现机器学习的普惠。

2、MaxCompute 湖仓一体功能商业化发布查看文档 >>

MaxCompute 湖仓一体方案融合数据湖的灵活性、生态丰富性与数据仓库的企业级能力，构建数据湖和数据仓库融合的数据管理平台。

适用客户

有以下诉求企业中的 CTO / 数据平台架构师 / 大数据部门主管 / 数据开发人员等

• 已经基于 Hadoop 集群搭建数据平台，同时对集群资源弹性有需求，希望利用 MaxCompute 的弹性与大规模机器学习能力，快速迭代创新业务
• 企业有多个 Hadoop 集群，需要各个集群之间数据打通，利用 DataWorks / Dataphin 构建企业数据中台
• 以阿里云 OSS 构建数据湖应用，希望借助云数仓实现数据统一分析和管理

发布功能

MaxCompute 湖仓一体方案通过数据仓库 MaxCompute、数据湖（对象存储 OSS 或 Hadoop HDFS）共同实现。本次发布两种构建湖仓一体的方式：

• 与阿里云 OSS + DLF 构建湖仓一体能力：通过 MaxCompute 和 OSS 实现。该方式需要配套使用阿里云产品数据湖构建 DLF（Data Lake Formation）。数据湖的元数据（Schema）全部位于DLF中。MaxCompute可以利用DLF对湖数据的元数据管理能力，提升对OSS半结构化格式（AVRO、CSV、JSON、PARQUET、ORC）数据的处理能力。

• 与 Hadoop HDFS 构建湖仓一体能力：通过MaxCompute和Hadoop HDFS（包括本地机房搭建、基于云上虚拟机搭建以及阿里云 E-MapReduce等）实现。您需要填写MaxCompute湖仓一体方案使用申请表，提交申请后，MaxCompute团队技术人员会联系并协助您完成后续操作。

3、MaxCompute zOrder 排序支持与 Distribute by 共用查看文档 >>

适用客户

开发者、分析师

发布功能

在表或分区写入数据时，查询语句指定zOrder by字段，根据指定的一列或多列按zOrder 方式进行局部排序再写入，可以提高后续在排序数据上做一列或多列交互式查询时的效率。

4、MaxCompute 支持在 values 表达式中使用非常量表达式查看文档 >>

适用客户

开发者，分析师

发布功能

MaxCompute对 Valuse 表达式进行扩展。原先仅支持常量，扩展后还支持非常量表达式，便于用户在Values表达式中使用函数等非常量表达式。在生成数据，测试计算逻辑时使用更方便。使用方法示例： select * from values (udf(1)),(to_date('20190101', 'yyyyMMdd')),(getdate()),(datetime '2019-01-02 00:00:00') t(d);

5、MaxCompute SQL 支持SkewJoin Hint用于优化join时数据长尾问题查看文档 >>

适用客户

开发者

发布功能

MaxCompute SQL 支持SkewJoin Hint用于优化join时存在数据长尾问题,，加快Join的执行速度。

6、MaxCompute 推出 Freeride 及 Analyze 两种优化器元数据收集工具查看文档 >>

适用客户

开发者，分析师

发布功能

MaxCompute推出Freeride（同步）和Analyze（异步）两套优化器元数据收集工具，用于优化计算和查询性能。

7、MaxCompute 内置函数新增或增强

适用客户

开发者、分析师、开源或其他生态用户

发布功能

MaxCompute 日期函数、字符串函数、聚合函数、其他函数等内置函数新增用法或增强兼容性。

日期函数文档 >> 字符串函数文档 >> 聚合函数文档 >> 其他函数文档 >>

8、MaxCompute SQL array 数据类型处理函数新增和增强查看文档 >>

适用客户

开发者、分析师、有半结构化数据处理需求的用户

发布功能

MaxCompute 新增array_intersect函数，用于计算两个array的交集。
增强内建函数sort_array，增加isAsc参数，对给定数组排序时让用户选择是升序还是降序，默认是升序。

9、MaxCompute 外表Hive兼容模式支持用户自定义serde类查看文档 >>

适用客户

开发者，外表用户，有开源或自定义数据格式处理需求的用户

发布功能

用户可以在创建外表时使用using jar的方式，使用自定义的serde类实现外表对特殊数据格式的兼容。

10、MaxCompute 外表 OSS 写入场景能力增强查看文档>>

适用客户

开发者，有导出数据需求的用户，有使用第三方引擎读取导出的数据需求的用户

发布功能

MaxCompute 支持使用 OSS Multi-upload 写 OSS 外表，数据直写到表目录下，不包含.odps 子目录。

11、MaxCompute命令行提供关闭表头显示，便于shell调用查看文档 >>

适用客户

开发者

发布功能

MaxCompute 可以通过参数设置关闭命令行stdout输出结果的表头显示，便于用户获取动态返回值用于其他操作。

12、MaxCompute支持云HBase外部表查看文档 >>