理论与实践：如何从Hadoop迁移到MaxCompute-低调大师

理论与实践：如何从Hadoop迁移到MaxCompute

2018-09-12 597 89

摘要：MaxCompute大数据计算服务，能提供快速、完全托管的PB级数据仓库解决方案，能够使用户经济且高效地分析处理海量数据。而用户往往之前使用了Hadoop实现大数据计算任务，在选择了阿里云大数据计算服务之后，如何从Hadoop向MaxCompute进行迁移就成为了一个需要面对的问题了。在本文中，阿里云数据技术专家结网就为大家分享了从Hadoop迁移到MaxCompute的理论与实践。

直播视频回看， 传送门！
分享资料下载， 传送门！
更多精彩内容传送门：大数据计算技术共享计划 — MaxCompute技术公开课第二季

以下内容根据演讲视频以及PPT整理而成。

通常而言，将Hadoop迁移到MaxCompute会分为两个主要部分：数据迁移和任务迁移。首先，对于数据迁移而言，可以通过Datax、数据集成以及DataxOnHadoo

微信关注我们

原文链接：https://yq.aliyun.com/articles/639294

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云 x 蒙牛 | 打通数据孤岛，基于MaxCompute实现产销协同的智慧运营

每一个公司转型的背后都有着不为人知的秘密今天，让我们一起探秘内蒙古蒙牛乳业（集团）股份有限公司是中国发展速度最快的乳品企业之一，2017年实现收入601.56亿元，位列全球乳业第10位，与2016年同比收入增长12%。随着业务的迅速发展，如何改善内部运营效率、降低经营成本，是蒙牛目前面临的重要挑战之一。转型原因乳品快消行业销量波动频繁、保鲜要求度高、产线供给复杂、物流网络庞大，因而内部成本控制的复杂度非常高。智能数字化为蒙牛的效率提升和成本改善提供了有效的途径。在阿里云技术支撑下，蒙牛希望从销售、排产、物流等几个方面深入进行智能化改造，从而实现成本的显著降低和效率提升。转型成效 1.更精准的预测基于阿里云MaxCompute大数据平台(https://yq.aliyun.com/articles/78108)，蒙牛可以在CRM等系统

675

如何在DataWorks V2.0 的 ODPS SQL任务中使用调度参数

在ODPS SQL 中使用调度参数 DataWorks的调度参数分为两种，一种是系统调度参数，另一种是自定义调度参数。系统调度参数只有两个：bizdate：获取到业务日期，展示格式为：yyyymmdd；cyctime：获取到任务实例的定时时间，格式为：yyyymmddhh24miss；在SQL节点中使用系统调度参数以下是在SQL代码中的用法，并设置该任务的定时运行时间为00:23分。请注意：当代码中使用了调度参数，在界面上直接运行的时候，需要传入一个具体的值，因为直接运行不会经过调度系统，所以参数不会转换，需要输入一个具体的值，该值仅本次运行有效。当任务提交后，点击冒烟测试运行，选择传入的业务日期时间，点击确认。运行结果如下：可以看到，时间都已经被替换了，bizdate获取到了我们传入的业务日期，cyctime获取到了任务的定时时间

970

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。