MaxCompute SQL原理解析及性能调优-低调大师

MaxCompute SQL原理解析及性能调优

2017-09-20 609

分享内容

介绍了MaxCompute（原ODPS） SQL的基于mapreduce是如何实现的及一些使用小技巧，回顾了mapreduce各个阶段可能产生的问题及相应的处理方法，同时介绍了一些应对数据倾斜的处理方法，最后介绍了一些关于数据集构造、特征选择的技巧帮助减少资源利用。

分享嘉宾

顾茂杰阿里云天池竞赛选手DesTiny

在天池参加过阿里移动推荐算法、新浪微博互动预测大赛、IJCAI 16，并在新浪微博互动预测大赛中获得冠军。现就职于蚂蚁金服，担任推荐平台算法工程师。

分享视频 https://v.qq.com/iframe/player.html?vid=l0552ocwlax&width=670&height=376.875&auto=0

分享重点

阿里巴巴大数据-玩家社区 https://yq.aliyun.

微信关注我们

原文链接：https://yq.aliyun.com/articles/214300

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute

DT时代，越来越多的企业应用数据步入云端。Hadoop是当下流行的大数据并行计算体系，横向扩展、生态圈成熟等一直是它的主要特点。阿里云数加MaxCompute (原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。与传统 Hadoop 相比，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。国内做大数据，基本就这两个选择：自建Hadoop或者使用阿里云的MaxCompute。我们就来对比一下这两个主流的技术选型：以企业拥有10TB数据为例，自建hadoop集群，则至少需要6台机器(3nodes+2NameNode+1jobtracker)，成本在20万左右。除此之外，还需要投入机房资源，网络设备和运维成本。这其中

2017-09-21

612

引言文末有交流群可以添加交流 **HBase在互联网领域有广泛的应用，比如：互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等，除此之外，在其它领域也有非常多的应用。这得益于HBase海量的存储量及超高并发写入读取量。HBase在09年就开始在工业界大范围使用，在学术界，也有非常多的高校、机构在研究HBase应用于不同的行业，本文主要梳理下这些资料(主要是中文资料,有一些是硕士论文期刊,便于广大读者阅读,特别选择了中文资料)，很多都在工业界使用了。由于涉及到版权，笔者提供链接，不提供资源下载，请大家见谅，可以自行搜索或者下载。感谢各位学者辛苦的研究，也论证了hbase技术在大规模存储的优势，在不同领域的应用场景。 HBase最主要的特性 HBase基于HDFS，可以提供廉价的解决方案。在阿里云ApsaraDB

2017-09-22

615

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。