性能追求之路——MaxCompute2.0（原ODPS）的前世今生-低调大师

性能追求之路——MaxCompute2.0（原ODPS）的前世今生

2017-05-17 739

在2017云栖大会大数据专场，阿里云高级专家云郎分享了《大数据计算服务MaxCompute产品最新动态》。他首先介绍了MaxCompute的发展历程和技术架构，然后对MaxCompute 2.0版本新特性和新技术进行了详细介绍。最后，分享了基于MaxCompute平台构建完整大数据应用架构、构建新型数据仓库、实现个性化推荐的实践。

本文根据直播视频整理而成。

首先看三个简单的问题。在阿里内部已经有了30多个业务单元，是一个典型的数据驱动公司。数据在整个业务创新、业务变更的过程中起了非常重要的作用。所以，是什么技术支撑了阿里巴巴集团内部的数据计算要求？经历了很多次双十一，双11背后的大数据平台是什么？在阿里云，第1个运行在阿里云飞天平台上的云服务是什么？答案非常简单，就是阿里云大数据平台MaxCompute（原名ODPS，https

微信关注我们

原文链接：https://yq.aliyun.com/articles/85595

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

快上车！老司机带你走进“大数据及阿里云数据分析平台”

本次培训讲座是由阿里巴巴创新中心·优客工场（天津于家堡）和天津云顶云科技有限公司联合举办，由阿里云大数据高级认证讲师——宋亚奇博士主讲，旨在通过对大数据及阿里云数加平台的介绍，帮助天津市企业更好的理解大数据，以及更合理有效的利用数据资源促进公司业务发展。 | 目标人群 | 1、管理人员以及技术/市场/销售人员2、有兴趣了解大数据的所有人员 | 培训相关 | 时间：2017年5月27日，14:00-17:00地点：天津自贸试验区新华路3678号新金融大厦11层【阿里巴巴创新中心·优客工场（天津于家堡）】费用：全部免费人数：80人，名额有限，先到先得 | 主讲嘉宾 | 宋亚奇：博士，阿里云大数据高级认证讲师；超过10年的计算机专业课程授课经验。具有丰富的云计算、大数据分析的实际项目经验；专长于应用阿里云MaxCompute、数加平台、Had

2017-05-17

703

mk-task, 比较简单, 因为task只是概念上的结构, 不象其他worker, executor都需要创建进程或线程所以其核心其实就是mk-task-data, 1. 创建TopologyContext对象, 其实就是把之前的topology对象和worker-data混合到一起, 便于task在执行时可以取到需要的topology信息. 2. 创建task-object, spout-object或bolt-object, 封装相应的逻辑, 如nextTuple, execute 3. 生成tasks-fn, 名字起的不好,让人误解执行了task的功能, 其实就是做些emit之间的准备工作, 其中最重要的就是调用grouper去产生targets task, 当然还包含些metrics, hooks的调用. 说白了其实mk-tasks, 没做啥事 (defn mk-task [executor-data task-id] (let [task-data (mk-task-data executor-data task-id) ;;1 mk-task-data storm-co...

2017-05-18

628

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。