性能追求之路——MaxCompute2.0(原ODPS)的前世今生
在2017云栖大会大数据专场,阿里云高级专家云郎分享了《大数据计算服务MaxCompute产品最新动态》。他首先介绍了MaxCompute的发展历程和技术架构,然后对MaxCompute 2.0版本新特性和新技术进行了详细介绍。最后,分享了基于MaxCompute平台构建完整大数据应用架构、构建新型数据仓库、实现个性化推荐的实践。
本文根据直播视频整理而成。
首先看三个简单的问题。在阿里内部已经有了30多个业务单元,是一个典型的数据驱动公司。数据在整个业务创新、业务变更的过程中起了非常重要的作用。所以,是什么技术支撑了阿里巴巴集团内部的数据计算要求?经历了很多次双十一,双11背后的大数据平台是什么?在阿里云,第1个运行在阿里云飞天平台上的云服务是什么?答案非常简单,就是阿里云大数据平台MaxCompute(原名ODPS,https
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
快上车!老司机带你走进“大数据及阿里云数据分析平台”
本次培训讲座是由阿里巴巴创新中心·优客工场(天津于家堡)和天津云顶云科技有限公司联合举办,由阿里云大数据高级认证讲师——宋亚奇博士主讲,旨在通过对大数据及阿里云数加平台的介绍,帮助天津市企业更好的理解大数据,以及更合理有效的利用数据资源促进公司业务发展。 | 目标人群 | 1、管理人员以及技术/市场/销售人员2、有兴趣了解大数据的所有人员 | 培训相关 | 时间:2017年5月27日,14:00-17:00地点:天津自贸试验区新华路3678号新金融大厦11层【阿里巴巴创新中心·优客工场(天津于家堡)】费用:全部免费人数:80人,名额有限,先到先得 | 主讲嘉宾 | 宋亚奇:博士,阿里云大数据高级认证讲师;超过10年的计算机专业课程授课经验。具有丰富的云计算、大数据分析的实际项目经验;专长于应用阿里云MaxCompute、数加平台、Had
- 下一篇
Storm-源码分析-Topology Submit-Task
mk-task, 比较简单, 因为task只是概念上的结构, 不象其他worker, executor都需要创建进程或线程 所以其核心其实就是mk-task-data, 1. 创建TopologyContext对象, 其实就是把之前的topology对象和worker-data混合到一起, 便于task在执行时可以取到需要的topology信息. 2. 创建task-object, spout-object或bolt-object, 封装相应的逻辑, 如nextTuple, execute 3. 生成tasks-fn, 名字起的不好,让人误解执行了task的功能, 其实就是做些emit之间的准备工作, 其中最重要的就是调用grouper去产生targets task, 当然还包含些metrics, hooks的调用. 说白了其实mk-tasks, 没做啥事 (defn mk-task [executor-data task-id] (let [task-data (mk-task-data executor-data task-id) ;;1 mk-task-data storm-co...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题