SQL优化器原理－Shuffle优化-低调大师

SQL优化器原理－Shuffle优化

2017-08-24 674

这是MaxCompute有关SQL优化器原理的系列文章之一。我们会陆续推出SQL优化器有关优化规则和框架的其他文章。添加钉钉群“关系代数优化技术”（群号11719083）可以获取最新文章发布动态。
本文主要介绍MaxCompute Optimizer对Shuffle方面的相关优化。

1 简介

分布式系统中，Shuffle是重操作之一，直接影响到了SQL运行时的效率。Join、Aggregate等操作符都需要借助Shuffle操作符，确保相同数据分发到同一机器或Instance中，才可以进行Join、Aggregate操作。对于这些需要经常使用到Shuffle场景，如何减少Shuffle，删除一些不必要的Shuffle是提升性能的一个关键。
例如

select count(*), c1 from t group by c1;

假设t表如果是Ha

微信关注我们

原文链接：https://yq.aliyun.com/articles/178692

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase数据导入工具总结

本文对HBase常用的数据导入工具进行介绍，并结合云HBase常见的导入场景，给出建议的迁移工具和参考资料。 HBase之间数据导入常用工具 HBase提供了几种数据迁移工具，其中基于API调用的有CopyTable,Export&Import。基于写HDFS的有distcp，snapshot。这里要说明的是，本文作为一般性的介绍，不能忽略常用的工具distcp和snapshot，但是由于云HBase默认不开启HDFS端口，所以在云HBase上面基于HDFS的方法都是用不了的。我们推荐用户使用CopyTable进行迁移，根据我们的测试，CopyTable的性能足以支撑10T以下数据的迁移。如果您的数据量比较大（超过10T），可以联系云HBase工作人员单独为您处理。 CopyTable CopyTable是Hbase提供的一个数据

2017-08-24

576

今天在使用Logstash的jdbc_input插件同步Mysql数据时，本来应该能搜索出10条数据，结果在Elasticsearch中只看到了4条，终端中只给出了如下信息 [2017-08-25T13:31:04,084][INFO ][logstash.pipeline ]Pipeline terminated <“pipeline.id”=>”main”> 看不出所以然，到 logstash 的日志 logs 目录下看最新的日志，发现了一些信息。 [2017-08-25T13:28:02,076][WARN ][logstash.inputs.jdbc ] Exception when executing JDBC query {“exception=>#<Sequel::DatabaseError: Java::JavaSql::SQLException: Value ‘0000-00-00 00:00:00’ can not be represented as java.sql.Timestamp>} 原来是JDBC无法处理Mysql中默认...

2017-08-25

613

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。