MaxCompute SQL原理解析及性能调优-低调大师

MaxCompute SQL原理解析及性能调优

2017-09-20 576

分享内容

介绍了MaxCompute（原ODPS） SQL的基于mapreduce是如何实现的及一些使用小技巧，回顾了mapreduce各个阶段可能产生的问题及相应的处理方法，同时介绍了一些应对数据倾斜的处理方法，最后介绍了一些关于数据集构造、特征选择的技巧帮助减少资源利用。

分享嘉宾

顾茂杰阿里云天池竞赛选手DesTiny

在天池参加过阿里移动推荐算法、新浪微博互动预测大赛、IJCAI 16，并在新浪微博互动预测大赛中获得冠军。现就职于蚂蚁金服，担任推荐平台算法工程师。

分享视频 https://v.qq.com/iframe/player.html?vid=l0552ocwlax&width=670&height=376.875&auto=0

分享重点

阿里巴巴大数据-玩家社区 https://yq.aliyun.

微信关注我们

原文链接：https://yq.aliyun.com/articles/214300

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

比自建 Hadoop 还便宜！云栖大会揭秘阿里云数加 MaxCompute

DT时代，越来越多的企业应用数据步入云端。Hadoop是当下流行的大数据并行计算体系，横向扩展、生态圈成熟等一直是它的主要特点。阿里云数加MaxCompute (原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。与传统 Hadoop 相比，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。国内做大数据，基本就这两个选择：自建Hadoop或者使用阿里云的MaxCompute。我们就来对比一下这两个主流的技术选型：以企业拥有10TB数据为例，自建hadoop集群，则至少需要6台机器(3nodes+2NameNode+1jobtracker)，成本在20万左右。除此之外，还需要投入机房资源，网络设备和运维成本。这其中

2017-09-21

577

引言文末有交流群可以添加交流 **HBase在互联网领域有广泛的应用，比如：互联网的消息系统的存储、订单的存储、搜索原材料的存储、用户画像数据的存储等，除此之外，在其它领域也有非常多的应用。这得益于HBase海量的存储量及超高并发写入读取量。HBase在09年就开始在工业界大范围使用，在学术界，也有非常多的高校、机构在研究HBase应用于不同的行业，本文主要梳理下这些资料(主要是中文资料,有一些是硕士论文期刊,便于广大读者阅读,特别选择了中文资料)，很多都在工业界使用了。由于涉及到版权，笔者提供链接，不提供资源下载，请大家见谅，可以自行搜索或者下载。感谢各位学者辛苦的研究，也论证了hbase技术在大规模存储的优势，在不同领域的应用场景。 HBase最主要的特性 HBase基于HDFS，可以提供廉价的解决方案。在阿里云ApsaraDB

2017-09-22

581

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。