DataWorksV3.0全新发布,新特性快速一览
DataWorks V3.0发布
• 发布版本:DataWorks V3.0
• 发布时间:2019年12月18日
• 发布范围:全球所有已开通DataWorks的地域
• 发布内容:DataWorks V2.0仅支持MaxCompute计算引擎,DataWorks V3.0全新升级了多引擎架构,在MaxCompute的基础之上,全新支持了开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析、图计算服务(Graph Compute)。同一个工作空间支持多个引擎实例,方便对业务、任务和表进行统筹管理。同时支持跨地域任务依赖调度,任务调度更加灵活,方便跨地域业务之间协同工作。
DataWorks V3.0 核心特性
1. 支持多种计算引擎
DataWorks V3.0全新升级了多引擎插件化架构,在V2.0版本仅支持MaxCompute计算引擎的基础之上,在MaxCompute的基础之上,全新支持了开源大数据引擎E-MapReduce、实时计算(Realtime Compute)、交互式分析、图计算服务(Graph Compute)。
• MaxCompute:
大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。DataWorks支持的最早的也是支持的最成熟完备的计算引擎,目前几乎已经覆盖了MaxCompute的所有能力。
• E-MapReduce:
E-MapReduce(Elastic MapReduce,简称EMR)是构建于阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统(例如Hive)来分析和处理自己的数据的大数据引擎服务。DataWorks V3.0全面支持了EMR引擎(限DataWorks标准版及以上版本,目前还需要通过白名单开通),包含元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控、数据质量控制等能力。
• 实时计算:
实时计算(Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。DataWorks V3.0全面支持了实时计算引擎,推出了一站式实时计算开发平台Stream Studio,提供可视化拖拽式构建Flink任务的能力,即DAG开发模式。同时支持DAG与Flink SQL互相转换,大大降低了Flink任务开发门槛,提高了开发效率。同时提供了实时任务运维和智能诊断。
• 交互式分析:
交互式分析(Interactive Analytics)是一种全面兼容PostgreSQL协议并与大数据生态无缝打通的实时交互式分析产品,支持对万亿级数据进行高并发低延时多维分析透视和业务探索,可让您快速对接现有BI工具。DataWorks V3.0全新推出了一站式OLAP开发平台Holo Studio,提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务以及高效、便捷的研发服务,从而提升研发效率。
• 图计算服务:
图计算服务(Graph Compute,简称GCS)是新一代一站式图数据管理和分析平台,具有数据加载快、规模可扩展、查询延时低(毫秒级)和离在线混合引擎与共享存储等优势。DataWorks V3.0全新推出了图计算开发平台Graph Studio,为图应用开发者提供了实例建模、数据导入、数据查询(Gremlin)、可视化分析等一站式的研发服务。
2.数据分析模块发布
数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。凭借简单易用的操作界面,使数据变化所见即所得,可视化完成数据的修改和分析、报表的搭建和分享,支持电子表格、可视化报表、维表三种分析形式。
DataWorks数据分析模块全新发布,快速的数据智能洞察平台点击查看
3.自定义节点插件
DataWorks V3.0已经官方支持了丰富的计算引擎,同时推出了自定义节点插件体系(限DataWorks 企业版),允许你以插件的形式自主接入自定义的计算服务或者数据库查询服务,您创建的自定义节点可以享受到与官方提供的节点同样的智能编辑器、任务调度编排、运维监控等开发体验。
4.支持多个引擎实例
DataWorks V2.0的一个工作空间只能支持一个引擎实例(例如对于MaxCompute引擎,一个工作空间只支持创建一个MaxCompute Project),DataWorks V3.0的一个工作空间支持创建或绑定多个引擎实例(限DataWorks专业版及以上版本),让你可以更灵活对业务所需的计算引擎、计算任务、数据表进行统一管理。
5.支持跨地域调度依赖
DataWorks V2.0仅支持同一地域(Region)的任务依赖,DataWorks V3.0支持了同一主账号下(租户)跨地域(限国内地域)的任务依赖(限DataWorks专业版及以上版本),极大了方便了分布在不同地域业务之间进行任务的协同依赖调度。
6.批量上云功能增强
批量上云对于用户来说一个非常快捷的支持现有数据库迁入阿里云的工具,此次改进增强了易用性,覆盖更多的迁移场景,操作也更加具备灵活性。
DataWorksV3.0 批量上云功能增强

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
DataWorks数据分析模块全新发布,快速的数据智能洞察平台
DataWorks数据分析概述 数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。凭借简单易用的操作界面,使数据变化所见即所得,可视化完成数据的修改和分析、报表的搭建和分享,支持电子表格、可视化报表、维表三种分析形式。 DataWorks数据分析产品入口 通过DataWork功能入口-全部产品-数据分析即可进入数据分析模块首页 DataWorks数据分析核心功能 1. 电子表格编辑明细数据,支持加减乘除基础运算、函数套用、分类汇总等多类型数据加工方式。 在线协同编辑可邀请小伙伴们共同完成表格内容的编辑 透视分析可选择不同的列进行分类汇总;可按条件展示不同格式 2.可视化报表自助完成可视化探索和报表制作,无需写SQL代码,所有过程均可通过鼠标拖拽、点选完成。 18+种控件丰富的控件选择,可以满足多种分析场景 按权限分享分析结果可进行权限设置,分享给特定的人 3.维表表格式建MaxCompute表、编辑数据,无需SQL即可一键生成、多人协作修改,为您的数据工作添砖加瓦 表格式建表无需编写 DDL/Insert 语句,MaxCo...
- 下一篇
DataWorksV3.0 批量上云功能增强
批量上云对于用户来说一个非常快捷的支持现有数据库迁入阿里云的工具,此次改进增强了易用性,覆盖更多的迁移场景,操作也更加具备灵活性。 批量上云增强点 1.可以指定目标MaxCompute数据源,以前固定只能为odps_first。 2.可以指定目标工作流程,以前只能每次都自动生成一个新的。 3.可以针对同步任务进行带参数的自定义命名,以前只能是系统固定命名。 4.可以对生成的目标表具备带参数的自定义命名,以前只能是系统固定命名。 5.可以在没有发布前,一次性撤销所有建立的任务和表,以前无法撤销。 6.可以查看每次批量生成的具体任务,以前无法查看此次批量都生成了哪些任务。 更多批量上云功能介绍请查看文档:https://help.aliyun.com/document_detail/146671.html
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Hadoop3单机部署,实现最简伪集群
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Windows10,CentOS7,CentOS8安装Nodejs环境
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Linux系统CentOS6、CentOS7手动修改IP地址
- Docker安装Oracle12C,快速搭建Oracle学习环境