qData 数据中台开源版 v1.6.6 发布，本次更新主要涉及 ETL 执行模块拆分，以及定时任务运行中的 JAR 包累积问题修复。

在社区使用反馈中，有开发者发现，数据集成定时任务持续运行后，服务器上的 ETL JAR 包不断累积，占用了较多磁盘空间。对于高频、长期运行的同步任务，这类问题需要持续关注。

• 围绕执行包体积和运行文件管理，本次更新包含两项调整：

• ETL 执行模块轻量化：调整 qdata-executor-etl 模块结构，拆分工具组件与 ETL 执行模块，减小 JAR 包体积。

• 定时任务文件管理修复：修复数据集成定时任务执行过程中 ETL JAR 包持续累积的问题，减少相关磁盘占用。

下面分别介绍这两项调整及其涉及的使用场景。

ETL 执行模块轻量化，改善任务运行环境

1. 拆分工具与 ETL 执行模块，减小 JAR 包体积

在数据集成过程中，ETL 执行组件承担着数据读取、转换和写入等工作，是数据处理链路中的重要组成部分。

随着功能不断完善，模块所依赖的工具组件也可能逐渐增加。

如果不同用途的组件都集中在同一个执行包中，构建生成的 JAR 包体积就可能随之增大。

对于需要部署、传输和加载执行包的环境而言，较大的文件体积会增加存储与管理负担，也不利于后续组件维护和依赖管理。

针对这一情况，qData 开源版 v1.6.6 对 qdata-executor-etl 模块进行了轻量化改造，将原先集中在 ETL 执行包中的工具组件与 ETL 执行部分进行拆分，调整模块组织结构，减少不必要的打包负担。

通过此次调整，ETL 执行包的组成更加清晰，执行组件也更加精简。

这不仅有助于降低执行包的存储与部署负担，也为后续组件维护、功能扩展和依赖管理提供了更合理的基础。

2. 优化定时任务 JAR 包累积问题，减少磁盘空间占用

除了单个执行包的体积，数据集成任务在长期运行过程中产生的文件，也可能成为服务器存储管理中的一个问题。

在此前的 qData 开源社区使用反馈中，有用户反映：

数据集成定时任务运行一段时间后，服务器磁盘中会不断产生 ETL JAR 包，文件持续累积，占用了较多磁盘空间。

以每 5 分钟执行一次的定时任务为例，一天大约会触发 288 次任务执行。

如果每次运行产生的执行包都持续保留，随着任务不断调度，磁盘中相关文件数量和占用空间也会逐渐增加。

这类情况在短时间测试中可能不容易显现，但对于连续运行数天甚至数周的任务来说，文件累积带来的存储压力会更加明显，严重时还可能影响服务器上其他任务的正常运行。

针对这一社区反馈，本次 v1.6.6 对数据集成定时任务相关的执行包管理问题进行了修复与优化，重点改善高频调度场景下 JAR 包重复产生或持续累积带来的磁盘占用问题。

这里需要区分两个容易混淆的优化方向：

• 减小单个 JAR 包的体积，关注的是 ETL 执行组件本身的轻量化；

• 解决执行包持续累积，关注的是任务运行过程中产生文件的管理。

二者针对的问题不同，但都与数据集成任务的长期运行和服务器存储资源使用有关。

3. 本次更新适合关注哪些使用场景？

对于使用 qData 开展周期性数据集成的团队，本次更新主要涉及两个值得关注的方面：

• 执行组件部署与维护： 当数据集成任务涉及 ETL 执行包的部署、传输和加载时，轻量化后的模块结构有助于减少执行包的存储与部署负担，也让组件维护和依赖管理更加清晰。

• 高频定时任务运行： 对于每隔数分钟执行一次、需要长期运行的数据集成任务，执行过程中产生的 JAR 包如果持续累积，就可能增加服务器磁盘压力，本次更新针对这一问题进行了修复与优化，有助于减少高频调度场景下的磁盘空间消耗。

从这两个场景可以看出，本次版本并不是对数据集成业务流程进行大幅调整，而是着眼于已有 ETL 执行能力的运行基础，进一步完善组件结构和任务执行过程中的文件管理。

写在最后

qData 数据中台开源版 v1.6.6 聚焦 ETL 执行模块轻量化与定时任务磁盘占用问题，完成了两项针对性的优化：

• 通过拆分工具组件与 ETL 执行模块，减小 JAR 包体积；

• 通过修复数据集成定时任务执行过程中 JAR 包持续累积的问题，改善服务器磁盘空间占用情况。

对于企业数据平台而言，数据任务的稳定运行不仅取决于功能是否完善，也与执行组件的组织方式、运行过程中的资源管理密切相关。

尤其在周期性数据集成场景下，这些看似细节的工程问题，往往会随着运行时间的延长逐渐显现。

此次更新也延续了 qData 开源版根据社区实际使用反馈持续迭代的方向。

后续，qData 将继续关注数据集成、数据开发、任务调度与运行管理等环节中的实际问题，逐步完善产品能力与运行体验。

欢迎开发者体验 qData 数据中台开源版 v1.6.6，并通过 Gitee Issue 和社区交流渠道反馈使用过程中遇到的问题与建议。

项目地址：

• Gitee：https://gitee.com/qiantongtech/qData

• GitHub：https://github.com/qiantongtech/qData