首页 文章 精选 留言 我的

精选列表

搜索[etl],共2027篇文章
优秀的个人博客,低调大师

CloudCanal-2.0 自定义代码实时加工能力(自定义实时ETL)说明与介绍

简介 CloudCanal 2.0中我们将迎来一项重磅更新——自定义代码实时加工能力。自定义代码实时加工允许用户使用Java语言编写自定义的数据行处理逻辑,然后将代码jar包上传CloudCanal平台后,数据同步任务在执行全量、增量时会自动应用用户的自定义处理逻辑,然后再写入对端数据源。 应用场景 自定义代码实时加工是一种非常灵活的实时数据加工手段,在自定义代码中用户可以进行跨实例查询、微服务调用、缓存查询等各种操作,然后对实时接收到的数据行进行编辑。数据编辑支持用户自定义新增行、修改行、删除行。其中修改行支持用户新增列、修改列、删除列。自定义代码实时加工可用于以下场景: 数据清洗 构建实时数仓、数据湖以及进行数据治理时都需要对数据进行清洗,涉及数据过滤、加工、标准化。在这个过程中,用户可以上传自定义代码,引入自己的一些企业内部数据标准化处理的二方包或者调用一些微服务或者反查数据库对收到的实时数据进行编辑。这样同步到对端后,就是直接已经清洗好的数据。 宽表构建 数据同步到数仓、数据湖中时,必然面临的一个问题就是处理多个源端关联表的关系,引入自定义代码,可以很容易的来处理这些关系,生成对端数据源需要的宽表行。在CloudCanal平台上,我们会订阅一张主表,也就是多个关系中的主体,作为驱动表。这张表内的数据行在同步的时候是不完整的。构建一个写入到对端的宽表行,需要补足其中缺失的列,这些列也就是其他表中的数据。在自定义代码中,用户可以反查自己的数据库取到这些数据,组装成一个完整的宽表行,返回给CloudCanal,然后再写入对端。下面我们以一个具体的MySQL->ElasticSearch的同步来解释如何采用CloudCanal自定义代码功能完成宽表行构建。 源端表结构和数据 对端ES索引结构以及预期的宽表行数据 其中Field product_detail的类型为nested,保存订单和商品的一对多关系 具体的JSON Array信息如下,保存一个订单关联的所有商品的明细信息 { "detail": [{ "product_id": 1, "product_name": "洗发液", "expire_data": "2025 - 01 - 01" }, { "product_id": 2, "product_name": "沐浴露", "expire_data": "2025 - 01 - 01" } ] } 宽表行构建操作步骤 ES索引创建一个订单商品索引,其中商品这个field采用NESTED类型 CloudCanal订阅订单表(关系主体) 编写自定义代码,对于收到的订单表的行,取到其中的order_id信息,用于反查源端商品表(可以跨实例反查) 对收到的订单表的行,新增一个自定义列,保存关联的所有商品信息(以json array存储),生成宽表行 将宽表行写入到ES,完成数据写入 用户可以从ES订单商品索引中检索完整的包含关联商品明细的订单信息。 宽表行的构建过程可以参考下图: 自定义_id列 CloudCanal写入ES的时候允许用户选择源端某些列作为对端自定义_id列。在创建任务数据处理阶段,在上传自定义代码包之后,在对端映射列的下拉选项中可以选择。对于ES而言,相同_id上的doc,再次写入的时候会以upsert的方式写入。例如_id=1的文档在ES中已经存在,则当一个新的文档(id=1)再次写入时,会将对应field执行update操作。这个特性主要用于确保:从表的更新也能及时反馈到对端的索引上。用户创建MySQL->ES的任务时,只需要设置_id为join的关联列。这样后续从表中的字段有更新时,可以根据join列在对端索引上进行更新。 只订阅不映射 自定义代码有时候需要依赖源端的列来进行计算,但是实际上不需要同步到对端。这时候可以在创建任务数据处理阶段, 常见问题1:主表发生变化,主动反查宽表,如果只是宽表字段发生变化,这种情况呢?怎么维护到es中对应的索引中? 答:CloudCanal宽表构建是基于主表触发的,一般而言,关联表也需要及时反馈的目标端有如下方式:新建一个任务,把原来任务反查的表(从表)作为主表,全部订阅。创建任务的时候指定自定义_id列为参与宽表构建的关联列,这样从表的更新都会在对端索引对应的文档上进行update。 数据汇聚 数据汇聚是当前用户构建数据中台、实时数仓等都会面临的问题。这里面主要涉及数据标准化、数据清理等工作。结合自定义代码,用户可以结合自己的数据标准化要求,自由的加工、拼接来自多个源端表内的数据,完成数据汇集的工作。 使用须知 新增列的值类型必须能支持转换成String: 现在不支持用户在自定义代码中指定列类型,当前CloudCanal将用户设置的Object值,都全部按照String处理,写入对端关系型数据库时指定的java sql type为varchar 全量、增量共享一个自定义代码包: 自定义代码包是整个任务级别共享的,全量、增量全部会使用自定义的代码包 源端不订阅的列,即使自定义代码中添加了也不会同步:源端订阅的表,如果某些字段没有被订阅,则会加入列黑名单。后续自定义代码中,如果自己再次新增了这个列,注意这个列也不会同步到对端,会被裁剪掉。 用于全量和增量实现不同,全量和增量自定义代码收到的列信息有所区别:全量是在自定义代码之后才进行列过滤,所以在自定义代码中会收到实际没有订阅的列的信息;增量是在自定义代码之前进行列过滤,自定义代码中收到的消息已经裁减掉没有订阅的列。 自定义代码处理的一批数据,如果需要写入关系型数据库,则列必须对齐:默认CloudCanal采用batch写入,如果一批数据中,有的x列,有的y列,批量写入不能共用一个SQL模板 自定义代码中如果新增行,则不支持DDL同步:例如源端执行新增列的DDL以后,源端过来的行全部会包含新增列的内容。但是自定义代码包中没有感知这个变化,所以新增的行仍然使用原来的列数。这就导致一批数据的列不对其,会直接被CloudCanal拦截 最佳实践 数据编辑请使用SDK提供的RecordBuilder操作,不要自己修改内部对象,可能导致不符合预期的结果 数据处理的时候不要随意改变List中Record的顺序,以免乱序引发数据不一致 SDK使用 顶级接口 SDK提供的接口比较简洁,用户在自定义代码中实现CloudCanalProcessor接口完成自定义逻辑即可。其中的process方法会将CloudCanal实时同步的一批数据吐给用户,由用户自定义的处理这些行。 public interface CloudCanalProcessor { List<CustomRecord> process(List<CustomRecord> customRecordList, CustomProcessorContext customProcessorContext); } 用户自定义处理上下文CustomProcessContext 顶级接口process包含一个入参CustomProcessContext,这个对象中包含了一个Map,保存CloudCanal传递个用户自定义处理器的上下文信息。其中的Key由SDK中的ContextKey的实现类指定。 当前支持的Key主要如下,允许用户从context中直接获取CloudCanal帮助初始化好的源端和目标端的DataSource。针对关系型数据库,这个对象实际上是一个DruidDataSource,并且常驻在CloudCanal内存中,用户不需要自己close改数据源,改数据源会在运行时被重用。 public class RdbContextKey implements ContextKey { public static final String SOURCE_DATASOURCE = "srcDataSource"; public static final String TARGET_DATASOURCE = "dstDataSource"; public RdbContextKey() { } } SDK支持的数据处理操作 修改行 新增列 删除列 修改已有列的列值 新增行 删除行 核心数据结构与元数据 用户需要处理的数据行对应的核心数据结构是CustomRecord。其中包含的内容主要如下。 private int opsFlag = 0; //操作标记位0表示不做任何处理,-1删除行,1新增行,2修改行,用户无需感知 private Set<String> customAddFields = new LinkedHashSet(); //记录新增列的列名,内部元数据,用户无需感知 private CustomRecord.Coordination coordination; //记录CustomRecord关联的内部Record的坐标,用户无需感知 private Map<String, String> recordMetaMap = new LinkedHashMap(); // 保存了数据行的元数据信息,例如消息来自源端哪个库哪个表 private Map<String, CustomField> fieldMapAfter = new LinkedHashMap();//记录变更后的列值 private Map<String, CustomField> fieldMapBefore = new LinkedHashMap();//记录变更前的列值 用户在具体使用时只要关心其中的recordMetaMap即可,其中的key值由SDK提供的类来给出。例如关系型数据库可以获取的meta信息均记录在RdbMetaKeys public class RdbMetaKeys { //数据行来源的db public static final String DB_NAME = "dbName"; //数据行来源的schema public static final String SCHEMA_NAME = "schemaName"; //数据行来源的tableName public static final String TABLE_NAME = "tableName"; //数据行来源的action(全量固定为INSERT,增量为INSERT/UPDATE/DELETE) public static final String ACTION_NAME = "actionName"; public RdbMetaKeys() { } } 数据行编辑器 用户不需要关心CustomRecord内部元数据的管理,使用SDK提供的RecordBuilder可以完成对数据行的所有操作。RecordBuilder采用Builder模式实现,支持链式调用。熟悉Lombok的朋友应该很容易上手。值得注意的是,只有修改行相关的操作(修改列、新增列、删除列)才能 支持链式调用。操作完毕后直接返回CustomRecord对象。 他的接口定义如下: /** * 创建一个新的数据行,Map的key为列名,value为具体的值。 */ RecordBuilder createRecord(Map<String, Object> fieldValueMap); /** * 删除当前RecordBuilder关联的数据行 */ RecordBuilder deleteRecord(); /** * 新增一个列 */ RecordBuilder addField(String addFieldName, Object addFieldValue); /** * 新增多个列 */ RecordBuilder addField( Map<String, Object> fieldValueMap); /** * 删除一个列 */ RecordBuilder dropField(String dropFieldName); /** * 删除多个列 */ RecordBuilder dropField( List<String> dropFieldNames); /** * 更新已有的列的列值 */ RecordBuilder updateField(Map<String, Object> fieldValueMap); 新增列的映射关系 在自定义代码中,用户往往会新增列。CloudCanal默认使用“同名映射规则”。因为新增的列是没有在创建任务的时候指定映射关系的,所以新增的列默认均使用同名映射规则。假设我新增的列为name,则CloudCanal认为该列也应该被写到对端的name字段中。因此,在自定义代码处理中,为了确保能正确写入对端,新增列的列名可以使用对端用户自己想要映射的列名,这样会直接写入对端。 具体使用步骤 创建RecordBuilder实例 新增Record需要使用RecordBuilder.RecordBuilder.createRecordBuilder(): createRecordBuilder 无参数 其他Record操作使用RecordBuilder.modifyRecordBuilder(customRecord): modifyRecordBuilder 方法接收一个参数,传递需要处理的customRecord 调用RecordBuilder实例提供的处理方法 使用RecordBuilder提供的方法,可以完成列的增删改、行的新增与删除。 处理完毕后使用build方法生成最终的CustomRecord 使用RecordBuilder完成一系列操作后,可以调用build,生成最终的CustomRecord对象 详细的示例可以参考《使用案例》章节提供的示例代码 如何调试自定义代码 建议部署测试环境和生产环境的CloudCanal,仅在测试环境开启debug模式,调试自定义代码。 代码debug 先正常创建一个自定义代码处理的同步任务,并且设置不要自动启动 点击功能列表选择修改参数,设置debugMode=true,并且设置调试端口debugPort(端口只允许设置范围为8787-8797之间的端口号) 在IDE中以远程debug模式启动(我们以IDEA为例) 右上角新增启动配置 选择Remote JVM Debug -填 写ip地址(容器所在宿主机ip)和端口,远程调试端口为8787 在CloudCanal平台上启动任务 进入自定义代码断点后即可进行调试 【重要!!】调试完毕后请重新修改参数debugMode=false并重启任务,否则该任务会无法正常执行 自定义处理代码日志 用户自定义代码中使用如下方式定义logger后,可以在指定路径下查看日志。日志路径为:/home/clougence/logs/cloudcanal/tasks/${taskName}/custom_processor.log private static final String LOG_NAME = "custom_processor"; private static final Logger customLogger = LoggerFactory.getLogger(LOG_NAME); debug日志 在任务详情页可以打开参数设置,开启自定义代码的debug日志,这样代码处理前后的数据内容会进行完整的打印,这会占用较多磁盘空间和影响性能,线上环境慎用。日志会打印在任务日志路径下的custom_process.log中 如何自定义类名 样例工程中的resource目录下的内容是打包自定义处理插件必备的。如果需要修改类名,可以修改resource/META-INF/cloudcanal/plugin.properties中的类名,需要使用全限定名称。 创建自定义代码包任务 创建任务 在创建任务的第四步,数据处理,可以选择配置数据处理插件 然后选择上传代码包 代码包管理 任务完成创建后,可以在页面管理自己的代码包 Tips: 全量和增量阶段共享一个代码包 激活的代码包重启后才会生效 使用案例 案例一:数据基本处理 本次我们以MySQL->MySQL的数据同步为例,包含结构迁移、全量迁移和增量实时同步。 准备的表结构如下: /* -- 学生表 --*/ CREATE TABLE `student` ( `id` int(4) NOT NULL AUTO_INCREMENT COMMENT '学号', `name` varchar(20) DEFAULT NULL COMMENT '名字', `score` int(3) NOT NULL COMMENT '成绩', PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=27 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='学生信息表' 我们的数据加工需求如下: 修改行 新增列 针对过来的所有数据,都进行新增列的操作。新增的列名字分别为col_varchar和col_int,列值分别为null和9999 修改列 针对来自源端integration_src库和源端student表的行,才进行修改列的操作。把分数为0的同学改为分数99 删除列 针对来自源端integration_src库和源端student表的行,才进行删除列的操作。针对这一批的所有数据,删除name这一列 新增行 每一批数据过来时,满足业务判断条件,则新增两行新的数据,主键采用自增id。新增的两行同时包含两个自定义的新增列,但是不包含name列。 删除行 针对来自源端integration_src库和源端student表的行,如果分数小于60的行则会被删除 源表数据 id name score 1 万少 90 2 update99 0 7 张删 50 8 张删 30 9 万少 10 10 万少 10 11 布丁 0 12 布丁 0 16 万少 0 17 张删 0 25 万少 77 26 need99 0 预期对端同步后的数据 id name score col_varchar col_int 1 NULL 90 NULL 9999 2 NULL 99 NULL 9999 11 NULL 99 NULL 9999 12 NULL 99 NULL 9999 16 NULL 99 NULL 9999 17 NULL 99 NULL 9999 25 NULL 77 NULL 9999 26 NULL 99 NULL 9999 1637224973 NULL 100 new_varchar_value 9999 1637224975 NULL 100 new_varchar_value 9999 示例代码&SDK下载 参考示例代码:https://gitee.com/clougence/cloudcanal-sdk-demos/tree/master TIPS: 当前SDK直接集成在demo工程内,后续会独立出来 用户落地案例 CloudCanal自定义代码助力德勤乐融MySQL同步ES构建宽表场景 CloudCanal助力万店掌MySQL FAQ 传递给自定义代码处理的一批数据的顺序怎样?是否来自多个表?答:传递给用户的一批数据会包含来自多个表的数据。自定义代码的处理现在是并行化的,也就是源端变更会变成多个批次,由多个并行的用户自定义processor处理。虽然是并行化处理的,但是整体上数据行的顺序仍然是保序的,只是针对每一批的数据处理是并行的。 社区快讯 我们创建 CloudCanal 微信粉丝群啦,在里面,你可以得到最新版本发布信息和资源链接,你能看到其他用户一手评测、使用情况,你更能得到热情的问题解答,当然你还可以给我们提需求和问题。快快加入吧。 扫描下方二维码,添加我们小助手微信拉您进群,接头语(“加 CloudCanal 社区群”) 加入CloudCanal粉丝群掌握一手消息和获取更多福利,请添加我们小助手微信: suhuayue001 CloudCanal-免费好用的企业级数据同步工具,欢迎品鉴。 了解更多产品可以查看官方网站: http://www.clougence.com CloudCanal社区:https://www.askcug.com/

优秀的个人博客,低调大师

用 WorkBuddy 打通 FDL MCP:把上百个 ETL 任务节点的创建从 4 小时压到 4 分钟 #WorkBuddy#

## 一、先说结论 我们有一套数仓,需要用 FineDataLink(下称 FDL)把 DWD 层的表批量搬到 ADS 层,一共 **93 张表**,每张表一个「脚本 → SQL脚本」节点,每个节点里是一段 `INSERT ... SELECT ... WHERE NOT EXISTS`。 以前的做法是:打开 FDL 设计器 → 新建节点 → 从 Excel 里抄表名 → 拼 SQL → 改字段名 → 存 → 下一个。熟练工一张表也要 2~3 分钟,93 张就是 **4 个多小时**,而且抄错一个字段名要等运行时才炸。 接入 WorkBuddy 的 FDL MCP 之后,整条链路变成:**把 Excel 清单丢给 WorkBuddy,说一句「生成新定时任务」,剩下的它自己跑完**。 | | | | |:-:|:-:|:-:| |指标|手工|WorkBuddy + FDL MCP| |93 个节点创建|≈ 4.5 小时|**约 4 分钟**| |字段注释对齐|逐个手抄,易漏|自动从 Oracle 数据字典拉取| |SQL 语法错误|运行时才发现|写入前 93/93 Oracle 解析预校验| |节点备注|基本不写|93/93 自动回写| |可重复性|换一批清单重来一遍|换一份 Excel 重跑脚本| 后来同一套方法还顺手做了另一件事:往一个已存在的空任务里**批量追加 27 个「数据同步」节点并串行连线**,全程 3 分钟。 ## 二、为什么要在 WorkBuddy 里接 MCP WorkBuddy 的 MCP(Model Context Protocol)连接器机制,本质是**把外部系统的能力注册成 Agent 可以调用的工具**。接入 FDL 之后,FDL 的画布、节点、注释、调度这些原本只能点界面的操作,全部变成了可编程的 tool call。 配置很简单,在 `~/.workbuddy/mcp.json` 里加一段(**注意是 `mcp.json`,不是带点的 `.mcp.json`**): ``` ```FDL 侧的 Token 在「管理系统 → 开放平台 / MCP 服务」里生成,**权限至少要勾 `task:read` + `task:write`**,只读权限会在写入节点那一步报错。 配好之后回到 WorkBuddy 的工具连接器页面,找到 `fdl` 点一次「信任」——**新加的 MCP 不会自动生效,必须手动信任这一步**,这是第一个坑。 ### 验证是否通了 在 WorkBuddy 里直接问一句「fdl mcp 现在正常?」。它会去调 `find_offline_task_resources` 之类的只读工具探活。如果工具索引里搜不到任何 `mcp__fdl__*`,八成是连接器被禁用了,回去看 `mcp.json` 里有没有被自动加上 `"disabled": true`。 ## 三、整体流水线 关键设计思路:**不要把所有 SQL 塞进对话里让模型搬运**。 93 条 SQL,光是把它们作为工具参数序列化就要烧掉几万 token,而且极易手误。正确姿势是**让 WorkBuddy 写一套本地 Python 脚本,脚本直连 MCP 的 HTTP 端点批量跑**,WorkBuddy 只负责编排、校验、决定何时写库。 ``` ![fig1_pipeline.png](https://developer.qcloudimg.com/http-save/yehe-12769217/14763239ae4fc684512d5812bcb966d7.png) 对应到 `fdl-mcp-tasks` 技能里的脚本,一共 8 个文件,全部可以改开头几个常量直接复用: | | | |:-:|:-:| |文件|作用| |`dump_xlsx.py`|xlsx → UTF-8 文本,用来读清单和「填写说明」sheet| |`build_pairs.py`|解析任务清单 sheet → `pairs.json`| |`fetch_meta.py`|批量取元数据 → `meta.json`| |`gen_sql.py`|生成 `INSERT ... SELECT` → `nodes.json`| |`validate_sql.py`|Oracle 解析预校验| |`write_nodes.py`|写入 / 回读 / 回写备注| |`export_html.py` + `template.html`|生成自包含可打印 HTML 快照| ## 四、分步拆解(含关键 SQL) ### ① 拿元数据:一条 SQL 查三样东西 不要一张表查一次,把 16 对表合并成一条 `UNION ALL`: ``` ```一次拿三样:**源表字段列表 / 目标表「字段=>注释」/ 目标表注释**。每批 16 对表,`limit=20, maxCellCharacters=4000, timeoutSeconds=240`。 >这条 SQL 的形态是被 FDL 的 SQL 校验器逼出来的:QUERY 模式**不接受** `WITH ... AS (...)`,也**不接受**派生表 `FROM (SELECT ... UNION ALL ...) P`,会报 `ReadOnlySqlValidator$ReadOnlyQueryVisitor cannot be cast to ...OracleASTVisitor`。只认 `SELECT 常量,(标量子查询)... FROM DUAL UNION ALL ...` 这种形态。 ### ② 生成 SQL:按目标表列序走,一个字段都不许漏 核心规范: ``` ```生成时**严格按目标表的列顺序遍历**,四种情况: 1. 列在源表里 → `S.` 1. 命中改名映射 → `S.`(映射字典必须人工维护,元数据推断不出来) 1. 是常量列 → 直接写字面量 1. 都没有 → **跳过**,并在脚本末尾追加一行 `-- 注:目标表独有字段(源表无对应列,本次不写入):A、B、C`,让用户一眼看到缺口 **增量语义靠 `WHERE NOT EXISTS` 兜住**——重复跑不会产生重复数据,这个模式非常适合挂每日定时。 ### ③ 写入前先让 Oracle 校验一遍 这一步是整个流程里性价比最高的:把每条 SQL 的 SELECT 主体(去掉 `INSERT INTO ...(...)` 和尾注)丢回 `preview_data`,`limit=1`,让 Oracle **真解析一次**。 实测 **1 秒/条**,93 条全部通过只花了约 8 秒。但就是这 8 秒,能提前拦下表名写错、字段不存在、函数用错、括号不配对这类问题——比等任务跑起来再炸要省太多事。 ### ④ 分批写库:每批写入前必须重取指纹 这是最容易踩的一个坑: >**FDL 的 `contextFingerprint` 在每次写入后都会变**。上一批写完后 fp 已经失效,下一批如果沿用旧的 fp,会直接报错。 所以每批(15 个节点)的循环体是: ``` ```93 个节点 = 7 批 × 15(最后一批 3 个),全部写完耗时约 7 秒。 ### ⑤ 回写备注 + 回读核对 用 `get_task_annotation_targets` 拿到每个 `COMPONENT_NOTE` 的 `targetId`,`update_task_annotations` 批量提交。93 条一次提交即可。 最后一定要 `get_task_canvas` **回读**一遍,比对节点名单(缺失、多余各列一遍)和备注内容——生成脚本里的数据是「我以为写进去的」,只有回读出来的才是「真实落库的」。 ## 五、踩坑清单(这部分最值钱) | | | | | |:-:|:-:|:-:|:-:| |#|坑|现象|解法| |1|新加的 MCP 不生效|工具索引里搜不到 `mcp__fdl__*`|必须在连接器页面手动点「信任」;另外配置文件是 `mcp.json` 不是 `.mcp.json`| |2|漏传 `workId`|`workId or exact workName is required`|`workId` 和 `contextFingerprint` 都是必传| |3|指纹失效|第二批写入直接报错|**每次写入后重新 `get_task_canvas` 取 fp**,不要复用| |4|`confirmationToken` 拿不到|脚本报「预览未返回 token」|token 是**嵌套**的:优先取 `r["confirmation"]["confirmationToken"]`,再回退顶层 `r["confirmationToken"]`,最后正则兜底| |5|误判失败|脚本判断「返回文本里有 error 字样」就中断整批|JSON 里 `"error": null` 会被误判。成功判据应该是 `success === true` 且 `len(createdNodes) === 提交数`| |6|SQL 脚本节点传错字段|`nodes[0] must not contain procedure fields when configType=SQL`|`schema` / `database` 只能用于 PROCEDURE 模式,SQL 模式别传| |7|预览数据取不到|`AttributeError: 'list' object has no attribute 'get'`|`preview_data` 返回的是 `{columns:[...], rows:[[...]]}`,**列是表头、行是数组**,要自己 `zip` 拼 dict| |8|Excel 序号是字符串|`TypeError: %d format: a real number is required, not str`|用 `%s`,或直接 `enumerate` 生成 `clientRef`| |9|WPS 保存的 xlsx 读不了|openpyxl 抛 `TypeError: Fill() takes no arguments`|改用 `zipfile` + `xml.etree.ElementTree` 直接解析 `sharedStrings.xml` 和 `sheet*.xml`| |10|连线一次最多 50 条|提交更多会被拒|分批提交;N 个节点串行是 N-1 条连线| |11|连线后画布被「重排」|节点突然排成一横排|服务端 `ENDPOINT_LAYOUT` 机制,**预期行为**,不影响执行顺序| 还有一条经验:**清单里的「任务清单」sheet 和「填写说明」sheet 可能不一致**(比如说明里写 `DB_USAGE=1`,实际 98 行填的都是 2)。以实际填写的为准,并且把差异抛给用户确认,不要自己选一个。 ## 六. 第二个场景:往已有任务批量追加「数据同步」节点 同样是 Excel 驱动,但节点类型换成了 **「通用 → 数据同步」(`DATA_SYNC`)**,MySQL 源库 → Oracle 目标库,27 张表全量采集。 流程和上面基本一致,差异点: - **任务已存在但是空画布**,所以是「往已有任务里加节点」,不是 `batch_create_db_sync_tasks` 建新任务。**先 `find_offline_task_resources` 查重名,别急着新建**。 - 节点配置在顶层:`toTableMode:1`(自动建表)、`writeMode:1`(清空目标表再写入,全量采集常用)。`writeMode=5` 是追加。 - `nodes[]` 每项必须有 `clientRef`(`n01`、`n02`…),返回体用它映射 `nodeId`,后面连线要用。 - **目标表还不存在时取不到目标表注释,改用源表注释**。MySQL 这边查:``` ``` - **数据同步节点只返回 `COMPONENT_NOTE`,不返回 `OPERATOR_NOTE`**,别去找 operator target。 - 连线用 `manage_task_node_connections`,`changes[]` 每项 `{operation:"ADD", fromNodeName, toNodeName, condition:"ON_SUCCESS"}`,用**节点名**比 nodeId 可读性好得多。 ## 七、安全边界:两步确认制不要绕 FDL MCP 所有写入类工具都是**两步确认制**:先不带 `confirm` 调一次拿执行计划,展示给用户看,用户确认后才带 `confirmationToken` 真正执行。 这在实际协作里很有用——**用户能在写库前看到完整计划**(要建哪些节点、连到哪个库、用什么写入模式),而不是等出事了才知道。 我在流程里保持了这条:93 个节点的计划先出预览页,27 个同步节点的计划先列清单,用户回「确认」才动手。`execute_offline_task`(会真实写数据)更是必须拿到明确同意才执行。 ![fig2_confirm.png](https://developer.qcloudimg.com/http-save/yehe-12769217/3c3a441e0d4a71a040fd4185f09b7284.png) ## 八、效果 跑完之后,服务端回读核对的结果: ![fig3_benchmark.png](https://developer.qcloudimg.com/http-save/yehe-12769217/4413d141c380451a92d4324a72d39cba.png) **场景一:93 个 SQL 脚本节点** | | | |:-:|:-:| |步骤|结果| |Oracle 语法校验|93/93 通过| |节点写入|7 批 × 15 = 93/93| |备注回写|93/93 UPDATED,0 缺失| |画布回读|93/93 一致| **场景二:27 个数据同步节点** | | | |:-:|:-:| |步骤|结果| |节点写入|27/27 `DATA_SYNC` / `ENABLED`| |备注写入|22/22(5 张源表本身没维护注释,留空)| |串行连线|26/26 `ON_SUCCESS`| |画布回读|27 节点 + 26 连线,顺序与清单吻合| 最后 WorkBuddy 还会自动生成一份**可打印的 HTML 快照页**:全量 SQL 默认展开、每段配一个「复制」按钮、`@media print` 里 `pre` 改成 `pre-wrap`。直接「打印 → 另存为 PDF」就是归档文档。 ## 九、一点心得 1. **让 Agent 写脚本,别让 Agent 搬数据。** 上百条 SQL 走对话搬运是 token 黑洞,走本地脚本是几秒钟的事。WorkBuddy 的价值在于「会写脚本 + 会校验 + 会编排」,而不是「当个 API 转发器」。 1. **回读才是真相。** 生成脚本里的数据结构是「我以为的」,`get_task_canvas` / `get_task_annotation_targets` 回读出来的才是「实际的」。每一步写完都回读,问题当场暴露。 1. **把坑沉淀成技能。** 这套流程走完两遍之后,我把它整理成了一个 WorkBuddy 技能(SKILL.md + 8 个可复用脚本)。下次换一份清单,只要改开头几个常量,流程一遍跑通。 1. **写入类操作一定要保留确认环节。** 自动化不等于无人值守,尤其是会真实落库、真实写数据的那几步。 ---- 本文涉及的 FDL 操作通过 WorkBuddy 的 MCP 连接器完成,工具链为 `mcp__fdl__*` 系列。脚本模板已整理为可复用技能,改常量即可换批次。 ---- **标签**:#WorkBuddy# #实操教程# #MCP# #数据集成# #踩坑记录#

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册
修改密码
忘记密码