数加使用自定义调度资源进行数据同步

2017-07-19 673 89

数加使用自定义调度资源进行数据同步

数加数据同步的工具

众所周知数加的数据是存储在MaxCompute(原名:ODPS)上,目前数加上所有的数据同步都是基于datax插件,通过datax插件可以在不同的数据源之间同步,常用的数据源有SFTP,Mysql,MaxCompute. datax已经开源了,但是数加使用的版本跟开源的版本略微有点不一样,参考资料: 开源版本和数加版本

什么是自定义调度资源

数加提供的数据同步工具也是基于datax,且他们有很多的机器(在杭州ECS)专门用来运行datax,把这部分机器资源叫做默认调度资源;相对于默认调度资源,运行在我们(用户)的机器上的调度资源叫做自定义调度资源.

为什么需要使用自定义调度资源

目前数加的默认调度资源都是在杭州ECS,而我们的大部分数据回流需要回流到北京机房或者是华北2区(和北京机房有专线通道)的ECS上,如果直接使用默认调度资源会出现datax写数据的时候是跨机房的(从杭州的ECS到北京ECS或北京机房这块目前是没有VPC专线通道的)走公网,网络不那么稳定,从而导致同步速度慢,甚至网络抖动导致任务失败.因此我们需要在北京的ECS上搭建一些调度资源(目前是2台ECS,4核16G)来解决这个问题,这样datax在从MaxCompute导数据到北京机房或者北京ECS的时候就可以通过内网的方式进行数据写入,提高速度和稳定性;聪明的你一定发现了:datax在抽取数据的时候是跨机房的,也就是数据从MaxCompute到datax的时候是跨机房的.是的没错,但是MaxCompute提供了一个VPC连接服务地址,而且还是免费使用,这样就能有效提高整个同步任务的速度和稳定性.

如何使用自定义调度资源进行数据同步

添加自定义调度资源 (对于大部分同学不需要操作,因此放在后面说明)
添加内网数据源 :项目管理员操作,和添加其他数据源一样,只是对应的地址换成内网地址,这里不需要测试连接,因为测试连接会失败[原因自己想想],直接保存.

新建或修改同步任务 : 目前通过可视化界面的任务无法找到对应的表(原因跟第2点的测试一样),所以目前只能转化成脚本模式https://help.aliyun.com/document_detail/49808.html?spm=5176.doc47677.6.568.mnDS29,然后需改ODPS端的`"odpsServer": "http://odps-ext.aliyun-inc.com/api",

    "tunnelServer": "http://dt-ext.nu16.odps.aliyun-inc.com",` 添加这两个是为了datax在连接MaxCompute的时候走vpc通道.如果没有这两个,则添加这里是因为我们要把数据导到北京因此使用这两个地址,如果是其他地方,请参考MaxCompute的[连接服务地址](https://help.aliyun.com/document_detail/34951.html?spm=5176.doc27989.2.7.DxwUOY "连接服务地址")

修改任务的资源调度: 由于数加数据同步默认使用默认调度资源,因此我们需要修改调度资源,如下图选择对应的自定义资源, 修改后需要重新补数据或测试运行才能使用自定义调度资源,修改之前生成的实例还是使用默认调度资源,这个设计不知道数加的产品是出于什么考虑,我是感觉有点怪怪的.

如何添加自定义调度资源

请自行查看数加的官方文档新增自定义调度资源

微信关注我们

原文链接：https://yq.aliyun.com/articles/135748

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

python 股票系统设计

1，股票系统设计股票数据抓取框架使用TuShare。 http://tushare.org/ 数据分析清洗使用pandas，numpy。 http://pandas.pydata.org/ 数据存储到磁盘上，不使用数据库。存储PyTabe，hdf5格式。 http://www.pytables.org/ web框架使用tornado http://www.tornadoweb.org/en/stable/ 机器学习，当然使用最流行TensorFlow啦。 https://www.tensorflow.org/ 数据展示使用 echarts http://echarts.baidu.com/ 2，架构设计全系使用python实现。因为都是python的类库，互相之间调用方便。从数据抓取，数据处理，到数据展示数据运算都是python实现。最终的数据都到前端展示出来。主要分为4个文件夹。 jobs 抓取数据并存储实现类。 libs 通用工具类。 web 前端展示框架。 tf 机器学习文件夹，推测数据。项目使用hdf5 数据格式进行存储。如果要是单机跑数据。需要将服务部署到一起。要...

648

2016年云存储平台十大建议

我们汇编了2016年十大最重要的云存储建议，具体包括了从实施混合云到选择数据迁移策略。在云存储领域，2016年是一个漫长且奇怪的年度。曾经被视为存储时尚的服务已变得随处可见，而云迁移战略也比以往得到了更多的应用。对于一些企业来说，他们需要做出决定的不再是是否需要实施一个云存储平台，而是何时实施之。在云的近期发展中，诸如灾难恢复即服务（DRaaS）和针对物联网（IoT）之类的云存储已成为了即将过去的一年中最吸引人的技术进步。关于公共云和私有云的争论日趋激烈，但是混合云再一次牵动了大部分读者的好奇心。从选择供应商到提高性能，混合云仍然是2016年最热门的云话题之一。下面，我们以关注程度为序给出了2016年十大云存储建议。如何选择云迁移策略在将数据迁往云时，选择一个适合贵企业需求的策略是非常重要的。当用户将数据迁往一个云存储平台时，他必须考虑诸多因素，例如迁移的是归档数据还是生产数据，这两类数据都有着迥然不同的停机时间要求。除非用户正好身处于如同神话般的全能型云产品，否则他们就必须根据各自的特定用例来制订迁移计划。最适于物联网应用的存储系统在物联网应用中，常用文件的容量可能都是...

552

资源下载

更多资源

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。