业务流程多节点依赖调度配置实践
一、实验目的:
在DataWorks业务流程开发过程。一个业务流程通常是由很多个数据同步、数据开发节点组成的。这很多个业务节点的上下游节点的连接通过执行顺序先后进行连接,系统自动就行上下游解析。这里主要用于测试在一个业务流程过程中根据业务需求进行节点连接之后自动解析上下游是否会发生错误。
二、实验步骤:
1、创建一个业务流程
2、创建一个start节点
3、创建五个数据同步节点
4、创建五个数据开发节点
5、根据业务需求进行节点上下文连线,如下图所示:
6、配置start节点的上游为工作空间根节点,点击提交
7、检查每个节点的上下游节点通过连接之后自动解析的结果和业务需求是否一致。
业务需求:
(1)start节点:
工作空间根节点--->start节点--->LogHub(数据同步)、MaxCompute(数据同步)、Hadoop(数据同步
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
深度 | 带领国产数据库走向世界,POLARDB底层逻辑是什么? | 10月30号栖夜读
点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.深度 | 带领国产数据库走向世界,POLARDB底层逻辑是什么? POLARDB 是阿里云自主研发的下一代云原生分布式数据库,100%兼容MySQL、PostgreSQL等开源数据库,高度兼容Oracle语法,使用RDS服务的客户不需要修改应用代码,可以一键迁移到POLARDB,体验更大的容量,更高的性能,更低的成本,和更灵活的弹性。阅读更多》》 2.混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践 2019杭州云栖大会大数据企业级服务专场,由斗鱼大数据高级专家张龙带来以 “混合云模式下 MaxCompute+Hadoop 混搭大数据架构实践” 为题的演讲。本文讲述了从 Apache Hadoop 阶段到 Cloudera CDH 阶段斗鱼大数据架构的发展历程。提出了上云过程中斗鱼遇到的问题和跳战,包括数据安全、数据同步以及迁移任务。概括了混合云模式给斗鱼带来资源效率更高和资源成本更低的变化。阅读更多》》 3.Service Mesh 初体验 计算机软件技术发展到现在,软件架构的演进无不朝着...
- 下一篇
什么?你还不会使用DataWorks调度?
看过小编《交互式分析六脉神剑》的朋友们,(传送门:《交互式分析六脉神剑》之HoloStudio初体验)应该都知道基于交互式分析引擎的一站式开发平台HoloStudio深度集成于Dataworks。在DataWorks的强大功能背景的支持下,经过交互式分析加速查询的数据(MaxCompute、实时计算),可以通过HoloStudio直接对接到数据服务、调度等模块,轻松实现大数据的一站式开发对接。但是,居然有朋友给小编说,还不会使用DataWorks的调度功能?这是小编绝对不允许的。趁着这个机会,今天小编就来为大家讲讲,HoloStudio中的数据如何在Dataworks中实现周期性调度,搬好板凳,开课啦! 前提条件 在使用DataWorks之间,请确保已经开通遗下服务并配置好工作空间 开通DataWorks服务并配置好工作空间。 开通MaxCompute服务。 开通交互式分析服务。 操作步骤 步骤1:MaxCompute准备数据源 准备一张MaxCompute源头数据表,您可以参考MaxCompute创建表进行建表,也可以直接从数据地图中选用一张表。示例选用数据地图中的已有表,其DDL如...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2全家桶,快速入门学习开发网站教程
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS8安装Docker,最新的服务器搭配容器使用