MaxCompute复杂数据分布的查询优化实践-低调大师

MaxCompute复杂数据分布的查询优化实践

2017-12-10 654

2017年中国大数据技术大会于12月7-9日在北京新云南皇冠假日酒店隆重举行, 大会就大数据时代社会各行业的智能化进程和行业实践展开深入讨论。

在12月8日的“大数据分析与生态系统”分论坛上，来自阿里巴巴计算平台事业部的高级技术专家少杰，以“MaxCompute 复杂数据分布的查询优化实践”为题，为现场来宾分享了阿里云MaxCompute最新技术与实践的洞察与经验。

概述
数据分布的问题在大数据处理领域由来已久。很不幸，如今流行的大数据处理系统仍然没有很好地解决这个问题。在MaxCompute 2.0全新的优化器中，我们引入了复杂数据分布，添加了分区剪枝、分布上拉、下推以及分布对齐等优化措施。本文将从数据分布的历史和原理开始，介绍我们的思路和解决办法。

理解数据分布
提到数据分布，很多人会想到MPP DBMS。的确，我们通常说只有MPP D

微信关注我们

原文链接：https://yq.aliyun.com/articles/280806

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

日志服务Flink Connector《支持Exactly Once》

阿里云日志服务是针对实时数据一站式服务，用户只需要将精力集中在分析上，过程中数据采集、对接各种存储计算、数据索引和查询等琐碎工作等都可以交给日志服务完成。日志服务中最基础的功能是LogHub，支持数据实时采集与消费，实时消费家族除 Spark Streaming、Storm、StreamCompute（Blink外），目前新增Flink啦。 Flink Connector Flink log connector是阿里云日志服务提供的，用于对接flink的工具，包括两部分，消费者(Consumer)和生产者(Producer)。消费者用于从日志服务中读取数据，支持exactly once语义，支持shard负载均衡.生产者用于将数据写入日志服务，使用connector时，需要在项目中添加maven依赖： <dependency>

2017-12-11

686

0.参考资料： http://radarradar.javaeye.com/blog/289257 http://blog.chinaunix.net/u3/99156/showart_2157576.html 1.思路： 1.1过滤 MapReduce的第一操作就是要读取文件，不过我们经常会发现一个文本中会有一些我们不需要的字符，比如特殊字符。一般需要进行词频统计的都是单词或者是数字，所以那些非0-9,a-z,A-Z的字符基本都是垃圾字符，我们需要进行统计，这是我们可以通过一个正则表达式来进行过滤，当每次多去一行文字的时候，我们将所有非0-9,a-z,A-Z的垃圾字符都替换为空格，这样就清楚了垃圾字符。在我们最后的词频统计结果中，就不会出现这些特殊字符了。 1.2降序定义一个用户排序比较的静态内部类，通过这个类来控制词频统计最后的排序结果。我们这里所使用的静态内部类是IntWritableDecreasingComparator。需要注意的是必须在main函数中主动声明使用这个比较器。 2.代码实例 package org.apache.hadoop.examples; impor...

2017-12-11

568

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。