---

从固定组件组合，到按场景选择运行模式

过去，用户在部署 qData 时，通常需要同时准备 DolphinScheduler 与 Spark 等相关组件。

这种架构更适合复杂任务依赖、大规模数据处理及企业生产环境，但对于首次体验、POC 验证和常规批量同步而言，前期准备相对较多。

qData 数据中台开源版 v1.6.0 将产品运行方式调整为：

无论选择完整模式还是轻量模式，用户仍然通过 qData 完成任务创建、调度配置、运行管理、状态查看和日志定位。

变化主要发生在底层：

• 调度器可以选择 DolphinScheduler 或系统内置 Quartz；
• 数据集成执行引擎可以选择 Spark 或 DataX；
• Docker 部署方案同步适配轻量模式；
• 原有完整模式继续保留。

---

01 一套产品，两种运行模式

qData 开源版 v1.6.0 的版本升级，可以先通过下表进行整体了解。

升级方向	v1.6.0 核心变化	带给用户的直接价值
调度能力	新增系统内置 Quartz 调度器，同时保留 DolphinScheduler	基础任务可直接在系统内完成定时与运行管理，复杂编排仍可使用原有方案
执行引擎	数据集成任务新增 DataX 执行引擎，同时保留 Spark	常规批量同步可选择更轻量的执行路径，不影响复杂处理场景的组件选择
部署方式	Docker 部署方案同步适配 Quartz 与 DataX	减少轻量场景下必须准备的外部组件，缩短从部署到验证的路径，docker 启动后就能够直接体验，无需考虑 spark 环境
产品策略	完整模式与轻量模式并存	用户可以根据任务复杂度、数据规模和资源条件选择合适的组合

---

完整模式：面向复杂编排和大规模处理

完整模式继续采用：

这一模式主要适用于：

• 存在多任务前后依赖；
• 需要跨任务工作流编排；
• 涉及复杂失败分支和统一资源管理；
• 需要大规模或分布式数据处理；
• 已经建立 DolphinScheduler 与 Spark 运行体系；
• 面向企业级生产环境持续建设。

完整模式的组件体系相对完整，能够覆盖更复杂的数据处理和调度需求，但相应的环境准备、资源配置和运维工作也会更多。

---

轻量模式：面向快速部署和常规同步

轻量模式采用：

这一模式主要面向：

• 首次安装和产品体验；
• 产品选型与 POC 验证；
• 本地开发和接口联调；
• 功能测试及演示环境；
• 常规数据库批量同步；
• 中小规模数据处理；
• 暂不需要复杂工作流的场景。

轻量模式并不是一套与 qData 分离的独立工具。

用户仍然通过原有产品入口完成任务配置和运行管理，只是基础任务可以由 Quartz 调度，符合 DataX 能力范围的数据集成任务可以选择更轻量的执行路径。

---

02 新增系统内置 Quartz 调度器

在数据任务运行过程中，调度器主要负责：

在此前的完整模式中，这部分能力主要由 DolphinScheduler 提供。

qData 数据中台开源版 v1.6.0 新增系统内置 Quartz 调度器。对于单任务定时运行、周期采集和常规同步等基础场景，用户不需要强制依赖 DolphinScheduler，也可以在 qData 中完成任务调度。

---

基础任务可以直接配置运行周期

创建任务时，用户可以根据场景选择：

• Quartz；
• DolphinScheduler。

选择 Quartz 后，可以在现有任务配置流程中设置调度周期，并结合任务状态、责任人、优先级、失败重试次数、重试间隔和延迟执行时间等信息完成运行配置。

---

Quartz可以覆盖哪些任务场景？

• 数据集成任务

数据集成任务可在创建阶段选择 Quartz，并根据实际需求与 DataX 执行引擎组合使用。

• 数据开发任务

数据开发任务可以配置 Quartz 调度周期，同时继续使用任务脚本编辑、运行管理和日志查看能力。

• 元数据采集任务

元数据采集任务可通过 Quartz 配置周期性采集计划，并继续设置来源系统、数据连接和采集范围等信息。

• 运行管理

任务列表可以用于查看调度方式、任务状态、最近执行结果及责任人等运行信息。

---

哪些场景选择DolphinScheduler？

Quartz主要解决基础定时和单任务运行管理问题，并不等同于复杂工作流调度平台。

当业务存在以下需求时，仍应优先评估 DolphinScheduler：

• 多任务前后依赖；
• 跨任务工作流；
• 条件分支与失败分支；
• 统一资源编排；
• 较复杂的运行控制；
• 需要延续已有 DolphinScheduler 体系。

因此，Quartz 与 DolphinScheduler 并不是简单的替代关系，而是分别适用于不同复杂度的任务场景。

---

03 新增DataX数据集成执行引擎

调度器解决的是任务何时运行，而执行引擎解决的是：

qData 数据中台开源版 v1.6.0 在数据集成任务中新增 DataX 执行引擎，同时继续保留 Spark。

对于适配 DataX 插件能力范围的常规批量同步任务，用户可以选择 DataX，不再强制依赖 Spark。

---

为常规批量同步提供更轻量的执行路径

在关系型数据库、数据仓库等常见离线同步场景中，部分任务的主要目标是将来源端数据按照一定规则读取、处理并写入目标端。

这类任务不一定需要分布式计算能力。

用户可以先通过 DataX 跑通真实数据链路，再根据后续的数据量、任务复杂度和生产要求，判断是否需要切换或继续使用 Spark。

需要注意的是，DataX 能否使用，还取决于：

• 来源端是否有对应插件；
• 目标端是否有对应插件；
• 字段类型是否兼容；
• 读写方式是否满足任务要求；
• 当前同步场景是否在 DataX 能力范围内。

因此，不能仅根据数据量判断执行引擎，还需要结合数据源和处理逻辑共同评估。

---

可视化任务构建方式继续保留

选择 DataX 后，用户不需要离开 qData 单独维护另一套任务配置。

数据集成任务仍然可以在可视化画布中完成。

例如，一条常规同步流程可以由以下节点组成：

用户可以通过表输入组件读取来源数据，使用去重等转换组件处理数据，再通过表输出组件写入目标端。

完成流程配置后，继续进行：

• 任务检查；
• 保存任务；
• 设置调度；
• 启动运行；
• 查看状态；
• 定位日志；
• 验证结果。

此次更新将 DataX 纳入 qData 原有数据集成流程，使底层执行引擎的选择不会改变用户主要的任务建设方式。

---

一条DataX任务如何完成闭环？

• 创建任务：填写任务名称、任务类目、责任人及调度等基础信息。
• 选择运行方式：执行引擎选择 DataX，调度器可以根据实际场景选择 Quartz。
• 配置任务流程：在数据集成画布中添加并连接输入、转换和输出组件。
• 连接数据源：配置来源端和目标端的连接信息，并验证网络、账号和访问权限。
• 检查并保存：检查字段映射、数据读写配置及流程连接是否有效。
• 运行与观察：启动任务或等待周期触发，在任务列表和日志页面查看执行状态。
• 验证结果：检查目标端数据条数、关键字段及异常记录，确认同步结果是否符合预期。

---

04 从任务创建到运行观察，产品入口保持统一

轻量模式调整的是底层组件组合，并不会将任务管理拆分成多套系统。

用户仍然可以在 qData 中完成数据集成、数据开发和元数据采集任务的配置与管理。

数据集成任务

任务列表可以集中展示：

• 任务名称；
• 调度周期；
• 运行控制；
• 最近执行结果；
• 责任人；
• 相关操作入口。

在轻量模式下，用户可以通过 Quartz 与 DataX 组合建立常规批量同步任务，并在同一入口完成启停、查看详情和运行跟踪。

---

数据开发任务

数据开发任务继续保留：

• 任务基础信息；
• 执行引擎选择；
• 调度周期；
• 任务脚本；
• 属性配置；
• 执行日志。

对于不需要跨任务复杂编排的开发任务，可以通过 Quartz 完成周期触发。

---

元数据采集任务

元数据采集任务可以配置：

• 来源系统；
• 数据连接；
• 数据库类型；
• 网络与账号信息；
• 采集范围；
• 调度周期。

轻量模式下，可通过 Quartz 承担周期触发，用于验证从来源系统到元数据入库及后续治理入口的基础链路。

对外发布相关页面截图时，账号、地址、连接信息、任务名称和责任人等内容需要进行脱敏处理。

---

05 完整模式和轻量模式应该怎么选？

完整模式和轻量模式没有绝对的优劣，选择依据应当是当前项目所处阶段和实际任务要求。

对比维度	完整模式	轻量模式
组件组合	DolphinScheduler + Spark	内置 Quartz 调度器 + DataX
核心定位	复杂工作流编排、大规模数据处理及企业级生产运行	快速部署、功能验证及常规批量数据同步
调度能力	由 DolphinScheduler 提供复杂任务依赖与工作流编排	由 Quartz 提供任务启动、周期执行及基础运行管理
执行能力	由 Spark 承担适合其能力边界的数据处理任务	由 DataX 承担适合其插件范围的批量数据同步任务
部署依赖	组件体系更加完整，环境准备和运维项相对更多	轻量场景下必选外部依赖更少，部署链路更集中
适用阶段	正式生产、复杂项目建设和既有体系延续	首次体验、POC、开发测试和中小规模落地
选择前提	明确需要复杂编排、分布式处理或既有组件能力	暂不需要复杂编排，且数据源与任务适配 DataX 能力范围
后续演进	继续按现有生产架构扩展和治理	先完成验证，再根据规模和复杂度评估是否切换完整模式

---

选择模式前，可以先回答四个问题

• 是否存在复杂任务依赖？

如果存在跨任务前后置关系、复杂工作流或分支控制，应优先评估 DolphinScheduler。

• 是否明确需要Spark能力？

如果任务依赖大规模分布式处理或 Spark 相关能力，应继续采用完整模式。

• 数据源是否适配DataX？

需要根据 v1.6.0 已验证的插件范围，确认来源端、目标端和字段类型是否适配。

• 当前目标是验证还是生产？

首次体验、POC 和开发测试可以从轻量模式开始；生产上线还需要进一步评估稳定性、监控、容量、权限及回退方案。

---

适合使用轻量模式的场景

• 首次体验 qData，希望先完成部署和核心功能验证；
• 开展产品选型或 POC，需要跑通真实数据同步链路；
• 进行本地开发、接口联调和功能测试；
• 建设培训、演示或临时验证环境；
• 数据量相对可控，以常规周期性批量同步为主；
• 服务器资源有限，当前不需要复杂工作流和分布式计算。

---

适合继续使用完整模式的场景

• 存在复杂任务依赖和跨任务工作流；
• 需要分支控制和统一编排；
• 涉及大规模或分布式数据处理；
• 明确依赖 Spark 相关能力；
• 生产环境已有 DolphinScheduler 与 Spark 运行体系；
• 需要更完整的调度治理、容量规划和运行保障。

---

06 轻量模式解决的主要问题

轻量模式的价值，不在于用更少的组件覆盖所有场景，而在于为特定阶段提供更直接的起点。

1. 对首次体验和产品选型：

• 更快形成可验证结果
• 更适合真实POC
• 便于搭建标准体验环境

1. 对开发和运维

• 减少当前阶段不必要的依赖
• 保留统一任务管理入口
• 缩小开发测试的问题定位范围
• 提供逐步演进路径

1. 对开源使用和社区协作

• 更集中的部署和验证链路，有利于开发者及中小团队进行体验和反馈。
• 当出现问题时，也更便于复现运行环境、提交 Issue、补充数据源适配经验并整理部署文档。

---

写在最后

对于首次体验、POC、开发测试和常规批量同步，系统内置 Quartz 调度器与 DataX 执行引擎提供了一条相对集中的运行路径。

对于复杂工作流、大规模数据处理和已有企业生产体系，DolphinScheduler 与 Spark 完整模式继续保留。

用户可以从当前任务需求出发，综合判断任务依赖关系、数据处理规模、数据源适配范围和现有基础设施，再选择合适的组件组合。

这种方式既降低了前期验证阶段的组件准备要求，也保留了后续面向复杂项目继续扩展的空间。