性能追求之路——MaxCompute2.0（原ODPS）的前世今生-低调大师

性能追求之路——MaxCompute2.0（原ODPS）的前世今生

2017-05-17 641 89

在2017云栖大会大数据专场，阿里云高级专家云郎分享了《大数据计算服务MaxCompute产品最新动态》。他首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute 2.0版本新特性和新技术进行了详细介绍。最后，分享了基于MaxCompute平台构建完整大数据应用架构、构建新型数据仓库、实现个性化推荐的实践。

本文根据直播视频整理而成。

首先看三个简单的问题。在阿里内部已经有了30多个业务单元，是一个典型的数据驱动公司。数据在整个业务创新、业务变更的过程中起了非常重要的作用。所以，是什么技术支撑了阿里巴巴集团内部的数据计算要求？经历了很多次双十一，双11背后的大数据平台是什么？在阿里云，第1个运行在阿里云飞天平台上的云服务是什么？答案非常简单，就是阿里云大数据平台MaxCompute（原名ODPS，https

微信关注我们

原文链接：https://yq.aliyun.com/articles/85595

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

快上车！老司机带你走进“大数据及阿里云数据分析平台”

本次培训讲座是由阿里巴巴创新中心·优客工场（天津于家堡）和天津云顶云科技有限公司联合举办，由阿里云大数据高级认证讲师——宋亚奇博士主讲，旨在通过对大数据及阿里云数加平台的介绍，帮助天津市企业更好的理解大数据，以及更合理有效的利用数据资源促进公司业务发展。 | 目标人群 | 1、管理人员以及技术/市场/销售人员2、有兴趣了解大数据的所有人员 | 培训相关 | 时间：2017年5月27日，14:00-17:00地点：天津自贸试验区新华路3678号新金融大厦11层【阿里巴巴创新中心·优客工场（天津于家堡）】费用：全部免费人数：80人，名额有限，先到先得 | 主讲嘉宾 | 宋亚奇：博士，阿里云大数据高级认证讲师；超过10年的计算机专业课程授课经验。具有丰富的云计算、大数据分析的实际项目经验；专长于应用阿里云MaxCompute、数加平台、Had

577

Storm-源码分析-Topology Submit-Task

mk-task, 比较简单, 因为task只是概念上的结构, 不象其他worker, executor都需要创建进程或线程所以其核心其实就是mk-task-data, 1. 创建TopologyContext对象, 其实就是把之前的topology对象和worker-data混合到一起, 便于task在执行时可以取到需要的topology信息. 2. 创建task-object, spout-object或bolt-object, 封装相应的逻辑, 如nextTuple, execute 3. 生成tasks-fn, 名字起的不好,让人误解执行了task的功能, 其实就是做些emit之间的准备工作, 其中最重要的就是调用grouper去产生targets task, 当然还包含些metrics, hooks的调用. 说白了其实mk-tasks, 没做啥事 (defn mk-task [executor-data task-id] (let [task-data (mk-task-data executor-data task-id) ;;1 mk-task-data storm-co...

511

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。