Dataworks调度能力升级——分支节点
分支节点登场
在日常Dataworks的使用过程中,经常会有同学遇到如下的问题:我有一个节点,需要每个月的最后一天执行,应该如何设置?
这种情况我们一般的回复是:由于cron表达式无法表达这种场景,所以暂时无法支持。
但是,现在我们有了分支节点,它让我们可以套用switch-case的编程模型来搞定这个问题。下面有请分支节点和他的小兄弟们粉墨登场!!!
分支节点的兄弟们
现在打开“数据开发”页面,可以看到“控制节点”一栏多了几个新面孔,先来一张合影:
他们分别是:
- 能把自己的结果传给下游的赋值节点 —— 赋值节点复用了节点上下文依赖的特性,在已有常量/变量两种上下文的基础上,赋值节点自带一种自定义的上下文输出。Dataworks会捕获赋值节点的select结果或者打印结果,把这个结果以outputs作为上下文输出参数的值供下游节点引用。
- 能决定哪
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
在DataWorks中实现指定UDF只能被指定账户访问
在DataWorks中实现指定资源被指定账户访问 背景 之前写过一篇文章是关于“DataWorks和MaxCompute内部权限体系的区别”有兴趣的朋友可以点击阅读查看详情。但是还是有些同学会问,我如何在DataWorks中实现我的具体某个Resource,Table还是UDF只能被我指定的用户所使用的权限管控。这个UDF可能涉及到数据的加解密算法,属于数据安全管控范围了。 常见方案 package方案,通过打包授权进行权限精细化管控。 DataWorks上新建角色(管理>MaxCompute高级配置>自定义用户角色)来进行高级管控。 Role policy方案,通过role policy来自定义role的权限集合。 可选方案 (1)package方案,通过打包授权进行权限精细化管控。package基本知识,通常是为了解决跨项目空间的
- 下一篇
High Level REST Client 访问阿里云6.3 Elasticsearch 实例实现
开发环境:InteliJ IDEA 操作系统 :macOS Mojave Elasticsearch版本:阿里云 6.3.2_with_X-Pack 客户端版本:REST Client 6.3.2 1. 预先创建好阿里云 ES 实例,开启公网地址访问白名单。 2. 预先创建好 index 和 mapping(使用 Kibana Dev Tools 创建) mappings: book properties: (book_id (keyword),name (text)) PUT index_test { "mappings": { "book": { "properties" : { "book_id" : { "type":"keyword" }, "name" : { "type":"text" } } } } } 3. 创建项目及 RestClient 类 4. pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xml...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS关闭SELinux安全模块
- CentOS7设置SWAP分区,小内存服务器的救世主
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作