Apache SeaTunnel 正式发布 2.3.5 版本，功能增强及多个 Bug 修复

经过两个月的筹备，我们在 2.3.4 版本基础上进行了新一轮的迭代，本次更新不仅修复了多个关键问题，还引入了若干重要功能增强和性能优化。

在此，我们先提前感谢社区成员的贡献和支持，如果你想升级最新的版本，快跟我们一起来看看这次更新的亮点吧！

Release Note：https://github.com/apache/seatunnel/releases/tag/2.3.5

下载地址：https://seatunnel.apache.org/download/

主要新功能

支持作业事件通知功能，在此基础上支持实时 CDC 数据数据延迟事件通知（https://github.com/apache/seatunnel/pull/6634） 用户可以自定义通知消息发送的目标端，这样一旦实时同步数据发延迟，用户就会收到消息。

文件类型的连接器，支持定义读取和写入时使用的字符编码，这在源端和目标端使用不同的字符编码时非常有用。

优化了 Postgres CDC 创建 publication 的逻辑，在这个优化之前，添加 Postgres CDC 的表时创建的 publication 的范围是 ALL_TABLES，这会导致即使只同步少数的几张表也会创建一个针对所有表的发布，会造成 PG WAL 的无效增长。社区优化了 publication 的创建逻辑，只针对需要同步的表创建 publication，这极大的减小了 WAL 增长的范围，提交了稳定性。

Zeta 引擎支持设置任务的失败重试次数。之前 Zeta 引擎任务失败会自动重试 3 次，但有些场景下我们可能希望一但有错任务立即终止，由外部调度系统来进行重试。从 2.3.5 版本开始，用户可以通过在 env 中设置 job.retry.times = 0 来关闭自动重试。

关键 Bugfix

Zeta 引擎支持 classloader cache 功能，如果连接器已经加载到 jvm 中，Zeta 引擎会缓存该 classloader，下次再提交该种连接器对应的任务会使用缓存的 classloader 不再创建新的 classloader，这种方式解决了提交大量任务时 Zeta JVM metaspace 内存增长的问题，解决了 metaspace 内存溢出的 bug。

修复了 SQL Transform 精度丢失的问题，比如 timestamp 类型的字段可以保留之前的精度信息。

Bug fix

Core

• [fix] 修复获取 SeaTunnel 空指针异常问题 (#6681)
• [Hotfix] 解决默认表格问题 (#6352)
• [Chore] 修正文件拼写错误 (#6606)
• [BugFix][Spark-translation] 修复映射类型转换错误 (#6552)
• [Hotfix] 修复 Spark 示例问题 (#6486)
• [Hotfix] 解决编译错误 (#6463)

Transformer

• [Fix][SQLTransform] 修复 SQL 转换中的精度丢失问题 (#6553)
• [Bug] 修复 SQLTransform 中的负常量错误 (#6533)

Connectors

• [Fix][Kafka-Sink] 修复 Kafka Sink 端选项规则 (#6657)
• [Hotfix] 修复 HTTP 源无法正确读取 'yyyy-MM-dd HH🇲🇲ss' 格式并优化日期时间工具 (#6601)
• [Bug] 修复 OrcWriteStrategy/ParquetWriteStrategy 在 Kerberos 登录时的问题 (#6472)
• [Fix][Doc] 修正 FTP Sink 端配置中的 'username' 键为 'user' (#6627)
• [E2E] 修复 Amazon DynamoDB 集成测试的不稳定问题 (#6640)
• [Fix][Connector-V2] 当分区已存在时修正添加 Hive 分区的错误 (#6577)
• [Fix][Connector-V2] 修正 Doris/StarRocks 创建表 SQL 解析错误 (#6580)
• [Fix][Connector-V2] 修复 Doris Sink 端在流加载未读取任何数据时不能关闭的问题 (#6570)
• [Fix][Connector-V2] 修复连接器支持 SPI 但缺少无参构造器的问题 (#6551)
• [Fix][Connector-V2] 修复 Doris 源选择字段丢失主键信息 (#6339)
• [Fix][FakeSource] 修复模板随机生成不包含最新值的问题 (#6438)
• [Fix][Connector-V2] 修复 MongoDB CDC 启动模式选项值错误 (#6338)
• [BugFix][Connector-file-sftp] 修复 SFTPInputStream.close 未正确触发文件流关闭的问题 (#6323) (#6329)
• [Fix] 修复 Doris 流加载失败未报告错误的问题 (#6315)
• [fix][connector-rocketmq] 修复当 checkpoint.interval 设置过小导致的空指针异常问题 (#6624)
• [Bugfix][TDengine] 修复因多次调用提交作业 REST API 导致驱动丢失的问题 #6581 (#6596)
• [Fix][StarRocks] 修复上游 catalogtable 表路径仅有表名部分时的空指针异常 (#6540)

Formats

• [Bug] [formats] 修复内容包含文件分隔符时无法解析行的问题 (#6589)

Zeta(ST-Engine)

• [Hotfix] 修复 HTTP 源无法正确读取 'yyyy-MM-dd HH🇲🇲ss' 格式并优化日期时间工具 (#6601)
• [Fix][Zeta] 修复因保存点检查机制引起的线程卡死问题 (#6568)
• [Fix][Zeta] 改进本地模式下的 Hazelcast 连接 (#6521)
• [Fix][Zeta] 修复在使用缓存模式时线程类加载器被设置为 null 的问题 (#6509)
• [Bug] [zeta] 修复提交作业时的空指针异常 (#6492)
• [bugfix] [Zeta] 修复使用 REST API 提交作业时类加载器未释放的问题
• [BUG][Zeta] 工作名称显示错误 #6470
• [Hotfix][Zeta] 修复模式变更时的作业死锁 (#6389)

E2E

• [E2E] 启用 StarRocksCDCSinkIT (#6626)

Improve

• [Doc][Improve] 增加 seatunnel-engine 中文支持 (#6656)
• [Doc][Improve] 为 start-v2/locally/quick-start-flink.md 和 start-v2/locally/quick-start-spark.md 增加中文支持 (#6412)
• [Improve] 为 IDEA 添加图标 (#6394)
• [Improve] 为 ReadonlyConfig::toConfig 添加过时注释 (#6353)
• [Improve][RestAPI] 调用 getJobInfoById API 时始终返回 jobId (#6422)
• [Improve][RestAPI] 当作业完成时返回已完成的作业信息 (#6576)
• [Improve] 提升 MultiTableSinkWriter 准备提交性能 (#6495)
• [Improve] 增加保存模式的处理细节日志 (#6375)
• [Improve][API] 统一数据和类型系统 API (#5872)
• [Improve] 优化使用 Parquet 读取时的类型转换错误 (#6683)
• [Improve][Connector-V2] 支持 Redis 的多表汇出功能 (#6314)
• [Improve][Connector-V2] 优化 Oracle CDC 端到端测试 (#6232)
• [Improve][Connector-V2] 支持 HTTP Sink 端的多表功能 (#6316)
• [Improve][Connector-V2] 支持 INFINI Easysearch (#5933)
• [Improve][Connector-V2] 支持 Hadoop HA 和 Kerberos 的 Paimon Sink 端 (#6585)
• [Improve][CDC-Connector] 修复 CDC 选项规则 (#6454)
• [Improve][CDC] 优化快照分割读取时的内存分配 (#6281)
• [Improve][Connector-V2] 在 StarRocks 上支持 TableSourceFactory (#6498)
• [Improve][Jdbc] 使用 varchar2 数据类型在 Oracle 中存储字符串 (#6392)
• [Improve] StarRocksSourceReader 使用现有客户端 (#6480)
• [Improve][JDBC] 优化获取 JDBC 字段类型的代码风格 (#6583)
• [Improve][Connector-V2] 增加 ElasticSearch 类型转换器 (#6546)
• [Improve][Connector-V2] 支持使用架构配置读取 ORC 并进行类型转换 (#6531)
• [Improve][Jdbc] 支持大门数据库的自定义大小写敏感配置 (#6510)
• [Improve][Jdbc] 自动创建表时增加类型转换器 (#6617)
• [Improve][CDC] 优化增量阶段的分割状态内存分配 (#6554)
• [Improve][CDC] 优化记录中不包含架构字段时的读取性能 (#6571)
• [Improve][Jdbc] 为 SQL 添加引用标识符 (#6669)
• [Improve] 在 SelectDB 云 Sink 端禁用 2PC (#6266)
• [Doc][Improve] 为 Kafka 连接器增加 Kerberos 认证支持 #6653

CI

• [CI] 修复 CI 配置文件中仓库名称的错误 (#4795)

Zeta(ST-Engine)

• [Improve][Zeta] 增加类加载器缓存模式以修复元空间泄漏 (#6355)
• [Improve][Test] 修复 ResourceManager 和 EventReport 模块测试不稳定的问题 (#6620)
• [Improve][Test] 代码合并到开发分支时运行所有测试 (#6609)
• [Improve][Test] 使类加载器缓存测试更稳定 (#6597)
• [Improve][Zeta][storage] 更新 HDFS 配置，支持更多参数 (#6547)
• [Improve][Zeta] 优化 RestHttpGetCommandProcessor#getSeaTunnelServer () 的逻辑 (#6666)

Transformer

• [Improve][Transform] Sql transform 支持内部结构查询 (#6484)
• [Improve][Transform] 解析转换过程中移除后备操作 (#6644)
• [Improve][Transform] 移除找不到字段的异常 (#6691)

Feature

• [Feature][Tool] 增加连接器检查脚本，解决问题 #6199 (#6635)
• [Feature][Core] 支持在 CDC 源监听消息延迟事件 (#6634)
• [Feature][Core] 支持作业事件监听 (#6419)
• [Feature][connector-v2] 添加 XuguDB 连接器 (#6561)
• [Feature][Connector-V2] 支持 Paimon 的多表汇出功能 #5652 (#6449)
• [Feature][Connectors-V2][File] 支持为文件源 / Sink 端指定编码 (#6489)
• [Feature][Connector] 更新 PgSQL-CDC 发布以添加表 (#6309)
• [Feature][Paimon] 支持指定 Paimon 表写入属性、分区键和主键 (#6535)
• [Feature][Feature] 支持 Doris DateTimeV2 类型的 (#6358)
• [Feature][Feature] 支持 SelectDB DateTimeV2 类型的 (#6332)
• [Feature][Feature] 支持 Iceberg Sink 连接器 #6198 (#6265)

Zeta(ST-Engine)

• [Zeta] 支持在作业配置中设置作业重试次数 (#6690)

Docs

• [Docs] 修复 kafka 格式的拼写错误 (#6633)
• [Fix][Doc] 修正一些文档中的链接 (#6673)
• [Fix][Doc] 修正一些拼写错误 (#6628)
• [Fix][Doc] 修正 StarRocks Sink 端文档中的排版错误 (#6579)
• [Hotfix][Doc][Chinese] 修复关于配置日志相关参数的无效链接 (#6442)
• [Fix][Doc] 修正 Seatunnel Engine/checkpoint-storage.md 文档错误 (#6369)

贡献者名单

感谢所有为 2.3.5 版本做出贡献的社区成员，包括代码贡献者、文档撰写者和测试人员。Apache SeaTunnel 的成功离不开每一个人的努力！

 

Jetiaime	LeonYoah	TyrantLucifer
ponxu	EricJoy2048	sunxiaojian
xiaochen-zhou	CosmosNi	lightzhao
baicie	Hisoka-X	gitfortian
hailin0	ruanwenjun	shangeyao
corgy-w	liunaijie	dailai
taohaozhi1129	LeonYoah	nianhua99
xxzuo	YalikWang