性能追求之路——MaxCompute2.0（原ODPS）的前世今生-低调大师

性能追求之路——MaxCompute2.0（原ODPS）的前世今生

2017-05-17 695

在2017云栖大会大数据专场，阿里云高级专家云郎分享了《大数据计算服务MaxCompute产品最新动态》。他首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute 2.0版本新特性和新技术进行了详细介绍。最后，分享了基于MaxCompute平台构建完整大数据应用架构、构建新型数据仓库、实现个性化推荐的实践。

本文根据直播视频整理而成。

首先看三个简单的问题。在阿里内部已经有了30多个业务单元，是一个典型的数据驱动公司。数据在整个业务创新、业务变更的过程中起了非常重要的作用。所以，是什么技术支撑了阿里巴巴集团内部的数据计算要求？经历了很多次双十一，双11背后的大数据平台是什么？在阿里云，第1个运行在阿里云飞天平台上的云服务是什么？答案非常简单，就是阿里云大数据平台MaxCompute（原名ODPS，https

微信关注我们

原文链接：https://yq.aliyun.com/articles/85595

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

快上车！老司机带你走进“大数据及阿里云数据分析平台”

本次培训讲座是由阿里巴巴创新中心·优客工场（天津于家堡）和天津云顶云科技有限公司联合举办，由阿里云大数据高级认证讲师——宋亚奇博士主讲，旨在通过对大数据及阿里云数加平台的介绍，帮助天津市企业更好的理解大数据，以及更合理有效的利用数据资源促进公司业务发展。 | 目标人群 | 1、管理人员以及技术/市场/销售人员2、有兴趣了解大数据的所有人员 | 培训相关 | 时间：2017年5月27日，14:00-17:00地点：天津自贸试验区新华路3678号新金融大厦11层【阿里巴巴创新中心·优客工场（天津于家堡）】费用：全部免费人数：80人，名额有限，先到先得 | 主讲嘉宾 | 宋亚奇：博士，阿里云大数据高级认证讲师；超过10年的计算机专业课程授课经验。具有丰富的云计算、大数据分析的实际项目经验；专长于应用阿里云MaxCompute、数加平台、Had

2017-05-17

648

mk-task, 比较简单, 因为task只是概念上的结构, 不象其他worker, executor都需要创建进程或线程所以其核心其实就是mk-task-data, 1. 创建TopologyContext对象, 其实就是把之前的topology对象和worker-data混合到一起, 便于task在执行时可以取到需要的topology信息. 2. 创建task-object, spout-object或bolt-object, 封装相应的逻辑, 如nextTuple, execute 3. 生成tasks-fn, 名字起的不好,让人误解执行了task的功能, 其实就是做些emit之间的准备工作, 其中最重要的就是调用grouper去产生targets task, 当然还包含些metrics, hooks的调用. 说白了其实mk-tasks, 没做啥事 (defn mk-task [executor-data task-id] (let [task-data (mk-task-data executor-data task-id) ;;1 mk-task-data storm-co...

2017-05-18

582

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。