首页 文章 精选 留言 我的

精选列表

搜索[优化],共10000篇文章
优秀的个人博客,低调大师

CyreneAdmin v1.2.0:关键 Bug 修复、UI 优化

CyreneAdmin 是一个后台管理系统脚手架,提供双框架支持(Spring Boot 和 Solon),集成了权限管理、用户管理、菜单管理、操作日志等核心功能。v1.2.0已发布,具体更新内容包括: Bug Fixes solon:修复校验字段失效问题 ui:当页面刷新时加载已存在的Tab ui:修复创建角色表单没有校验数据问题 修复头像上传和访问异常问题 springboot:修复redis缓存token失效问题 Miscellaneous ui:修改密码表单宽度缩小一半 ui:调整后台头部样式 Refactor common:删除StrcUtils工具类、变更PpUtils类名为ParamValidUtils

优秀的个人博客,低调大师

实战干货:Apache DolphinScheduler 参数使用与优化总结

在使用 DolphinScheduler 进行数据调度开发的过程中,参数的灵活运用是提升任务复用性、动态化执行逻辑的关键。无论是日常跑批任务中的日期处理,还是复杂工作流中的上下游传参,掌握参数的正确使用方式,能极大提高开发效率与任务健壮性。本文基于海豚调度3.1.9版本将系统梳理 DolphinScheduler 中各类参数的使用方法,涵盖内置参数、衍生函数、日期计算、全局变量设置以及跨任务参数传递等核心场景,助你彻底掌握参数使用的“正确姿势”。 内置参数 DolphinScheduler 提供了几个常用的系统级内置参数,主要用于获取调度实例的执行时间。这些参数无需定义,直接引用即可。 基础参数 SHELL 案例 但是这种方式在SQL节点下 不适用,SQL下使用衍生内置函数会比较方便 衍生内置参数 为解决 SQL 节点无法使用${}参数的问题,DolphinScheduler 提供了强大的$[...]衍生函数语法,支持任意格式的日期拼接与运算,推荐在所有场景中优先使用。 简单案例 shell案例 SQL案例 结果如下: 日期月份增减变化 若需按月计算(考虑大小月、闰年),可使用add_months()函数 shell 案例,获取前一个月日期 执行结果如下 PG案例,下一个月 执行结果如下 其他时期增减 直接加减数字 在自定义格式后直接“+/-”数字 后 N 周:$[yyyyMMdd+7*N] 前 N 周:$[yyyyMMdd-7*N] 后 N 天:$[yyyyMMdd+N] 前 N 天:$[yyyyMMdd-N] 后 N 小时:$[HHmmss+N/24] 前 N 小时:$[HHmmss-N/24] 后 N 分钟:$[HHmmss+N/24/60] 前 N 分钟:$[HHmmss-N/24/60] shell案例 执行结果如下 SQL案例 执行结果如下: TIPS :一般建议使用衍生内置函数,即$[]的方式,比较直观且通用。 单个任务节点中使用参数 TIPS: 不要在别名的地方使用自定义参数,会触发BUG 例如 下图, 工作流全局参数 当多个任务需要使用相同的自定义变量(如环境标识、项目编号等),可通过工作流全局参数统一管理。 案例 下面三个节点用一个参数 shell案例 echo ${my_param} SQL案例 SELECT name FROM test_datax_hive WHERE dt = DATE_FORMAT('$[yyyy-MM-dd-1]', 'yyyy-MM-dd') and name = ${my_param} python案例 print('${my_param}') 在每个节点的地方不需要设置参数,只需要在工作流保存的时候设置参数即可。如下图。 工作流参数传递 DolphinScheduler 支持在任务之间传递运行时生成的参数,适用于“上游查询结果 → 下游处理”的场景。 只有SQL和SHELL任务可以往下传递参数。 SQL SHELL PYTHON可以接受上一个节点传递的参数。 下面通过案例来演示实际操作。 SQL向下传递参数 在工作流中新建一个SQL节点。如下图。 参数名要始终保持相同,这里使用my_name作为参 自定义参数中也使用my_name作为参数,选择OUT类型,用于往下传递 然后建SHELL类型任务,如下图 参数名保持相同,依旧是OUT类型。 再建一个PYTHON类型任务。如下图 参数名保持相同。 最后,把工作流连起来,如下图 最后看运行日志,来验证。 SQL执行结果 SHELL 运行结果,参数被成功赋值 PYTHON运行结果,参数被成功赋值 SHELL向下传递参数 创建shell脚本,参数名要一致。 ${setValue(key=value)} 的语句,key 为对应参数的 prop,value 为该参数的值。 在SQL节点接收参数 参数名保持一致。 PYTHON任务中接收参数 执行结果: SHELL SQL PYTHON 参数使用总结 IN 表示局部参数仅能在当前节点使用 OUT 表示局部参数可以向下游传递。参数优先级:DolphinScheduler 参数的优先级从高到低为:本地参数 > 上游任务传递的参数 > 全局参数

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

用户登录
用户注册