理论与实践：如何从Hadoop迁移到MaxCompute-低调大师

理论与实践：如何从Hadoop迁移到MaxCompute

2018-09-12 634

摘要：MaxCompute大数据计算服务，能提供快速、完全托管的PB级数据仓库解决方案，能够使用户经济且高效地分析处理海量数据。而用户往往之前使用了Hadoop实现大数据计算任务，在选择了阿里云大数据计算服务之后，如何从Hadoop向MaxCompute进行迁移就成为了一个需要面对的问题了。在本文中，阿里云数据技术专家结网就为大家分享了从Hadoop迁移到MaxCompute的理论与实践。

直播视频回看， 传送门！
分享资料下载， 传送门！
更多精彩内容传送门：大数据计算技术共享计划 — MaxCompute技术公开课第二季

以下内容根据演讲视频以及PPT整理而成。

通常而言，将Hadoop迁移到MaxCompute会分为两个主要部分：数据迁移和任务迁移。首先，对于数据迁移而言，可以通过Datax、数据集成以及DataxOnHadoo

微信关注我们

原文链接：https://yq.aliyun.com/articles/639294

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云 x 蒙牛 | 打通数据孤岛，基于MaxCompute实现产销协同的智慧运营

每一个公司转型的背后都有着不为人知的秘密今天，让我们一起探秘内蒙古蒙牛乳业（集团）股份有限公司是中国发展速度最快的乳品企业之一，2017年实现收入601.56亿元，位列全球乳业第10位，与2016年同比收入增长12%。随着业务的迅速发展，如何改善内部运营效率、降低经营成本，是蒙牛目前面临的重要挑战之一。转型原因乳品快消行业销量波动频繁、保鲜要求度高、产线供给复杂、物流网络庞大，因而内部成本控制的复杂度非常高。智能数字化为蒙牛的效率提升和成本改善提供了有效的途径。在阿里云技术支撑下，蒙牛希望从销售、排产、物流等几个方面深入进行智能化改造，从而实现成本的显著降低和效率提升。转型成效 1.更精准的预测基于阿里云MaxCompute大数据平台(https://yq.aliyun.com/articles/78108)，蒙牛可以在CRM等系统

2018-09-13

709

在ODPS SQL 中使用调度参数 DataWorks的调度参数分为两种，一种是系统调度参数，另一种是自定义调度参数。系统调度参数只有两个：bizdate：获取到业务日期，展示格式为：yyyymmdd；cyctime：获取到任务实例的定时时间，格式为：yyyymmddhh24miss；在SQL节点中使用系统调度参数以下是在SQL代码中的用法，并设置该任务的定时运行时间为00:23分。请注意：当代码中使用了调度参数，在界面上直接运行的时候，需要传入一个具体的值，因为直接运行不会经过调度系统，所以参数不会转换，需要输入一个具体的值，该值仅本次运行有效。当任务提交后，点击冒烟测试运行，选择传入的业务日期时间，点击确认。运行结果如下：可以看到，时间都已经被替换了，bizdate获取到了我们传入的业务日期，cyctime获取到了任务的定时时间

2018-09-13

1013

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。