DataWorks实时同步/实时ETL/批同步ETL灰度邀测中
实时同步/实时ETL
实时同步功能可以支持多种实时数据源(Kafka、MySQL Binlog,Oracle CDC等),可以将实时消息数据经过一些列处理后再写入目的数据源。即具备实时ETL能力,非常适用于对于数据同步实时性要求比较高的客户,完成批同步做不到的场景,可以实现源端数据库一但变动即时就能在目的端数据库反映出来,以及实现数据库的增量数据捕获,对数据库的干扰几乎为零。
【特点】:
• 支持常见实时数据源Kafka、MySQL Binlog,Oracle CDC、Datahub、Loghub
• 具备完备的ETL能力, 包括拉取(Extract)、转换(Transform)、装载(Load)
• 对原始数据库的干扰几乎为零
• 一路输入多路输出,可以同时写入多个目的端
批同步ETL
在此前DataWorks数据集成强大EL(Extract-Load)能力基础之上,增加了数据处理能力(Transform),实现了完整了ETL链路。以往用户对源表的数据落地目标表时有数据处理的需求时,只能先将数据拉取到一个临时表里(通常是MaxCompute表),然后再写SQL进行加工处理,将结果再次输入到目标表中,如果目标表不是MaxCompute表,还要再进行一次数据集成同步,将数据写入其他数据源,整个链路非常冗长不便,而且造成计算和存储资源浪费。现在使用ETL模式,省去了中间这些繁琐步骤和额外开销,在数据同步过程中即可完成数据处理,直接落地到目的数据源。
【特点】
• 支持现在的数据集成所有数据源,共计60+种。
• 完美兼容现在已有的任务,可以在已有任务上直接开启数据处理功能,原有调度和流程不变。
• 数据处理使用DAG图形拖拽方式进行开发,流程清晰,可读性极强。
• 具备丰富的数据处理组件,通过组合可以覆盖绝大多数数据变换和处理场景。
如果您对以上功能感兴趣,请加入DataWorks新功能测试群查看群公告
钉钉群号:30002661
或直接使用钉钉扫描下方二维码加入
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
DataWorksV3.0 批量上云功能增强
批量上云对于用户来说一个非常快捷的支持现有数据库迁入阿里云的工具,此次改进增强了易用性,覆盖更多的迁移场景,操作也更加具备灵活性。 批量上云增强点 1.可以指定目标MaxCompute数据源,以前固定只能为odps_first。 2.可以指定目标工作流程,以前只能每次都自动生成一个新的。 3.可以针对同步任务进行带参数的自定义命名,以前只能是系统固定命名。 4.可以对生成的目标表具备带参数的自定义命名,以前只能是系统固定命名。 5.可以在没有发布前,一次性撤销所有建立的任务和表,以前无法撤销。 6.可以查看每次批量生成的具体任务,以前无法查看此次批量都生成了哪些任务。 更多批量上云功能介绍请查看文档:https://help.aliyun.com/document_detail/146671.html
- 下一篇
【全新系列】DataWorks 2019-12 产品月刊
尊敬的DataWorks用户:您好,为了您更好地使用DataWorks产品,从2020年1月开始,Dataworks将每月推出产品月刊,为您提供最新的产品活动、功能更新、灰度功能邀测、大数据技术文章等各类信息,希望DataWorks为您提供高效的,一站式的大数据开发操作系统级体验。 【产品活动】 1.首月99元,3分钟入门DataWorks(标准版)强大功能!点击查看截止2020年1月24日,购买任意Region的DataWorks增值版本-标准版,均能享受首月99元优惠活动,体验6大专属场景。活动结束后恢复原价2500元/月。 2.参与DataWorks产品满意度调研,有机会赢取200元无门槛代金券点击查看诚邀您参与DataWorks产品满意度调查,我们将在认真填写的用户中随机抽取100名,每名用户赠送200元DataWorks无门槛代金券。您的建议会直接反馈到产品与研发团队,感谢您的支持! 【产品功能更新】 1.DataWorksV3.0 重磅发布DataWorks V3.0全新升级了多引擎架构,在MaxCompute的基础之上,全新支持了开源大数据引擎E-MapReduce、实时...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2全家桶,快速入门学习开发网站教程
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Red5直播服务器,属于Java语言的直播服务器
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS6,CentOS7官方镜像安装Oracle11G
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装