Apache SeaTunnel 2.3.8版本正式发布！

2024-10-15 352

Apache SeaTunnel 2.3.8 版本现已正式发布！此次版本后，用户将可以使用期待已久的Docker镜像，还可以体验Job级别日志功能，以及其他更新优化的功能。本文将详细介绍 Apache SeaTunnel 2.3.8 版本中的关键更新内容，欢迎更多开发者和用户参与到我们的开源社区中来。

2.3.8版本下载： https://seatunnel.apache.org/download/
Release Note：https://github.com/apache/seatunnel/releases/tag/2.3.8

重点更新

Job级别日志

此次更新中，我们对日志功能进行了优化，在之前的版本中，多个任务的日志都在一个文件中打印，当同时运行多个任务后，多个任务的日志交织在一起，不便于排查问题。

此次更新支持两种方式的配置，以实现更加高效的日志查询。

第一种是在每行日志中添加JobId，从而可以过滤查询出每个日志单独的日志；

第二种是根据JobId拆分文件，只需修改日志配置文件，就可以每一个JobId打印单独的日志文件。

新增Docker镜像

此次更新中，添加了官方的镜像支持，在镜像中添加了全部的连接器，用户无需下载安装包，可以直接通过拉取镜像，更加方便地运行SeaTunnel，减小部署的复杂度，同时精简使用K8S部署的用户操作流程。

而对于有定制化需求，需要二次开发的用户，新版本也提供了一键式打包构建镜像的命令：

Flink/Spark引擎支持多表

之前的版本中，多表读取，写入的功能仅在Zeta引擎上进行了支持，此次更新后，Spark/Flink引擎也可以进行多表读取和写入。

适配 Prometheus 进行集群监控

此前，用户需要通过API来获取集群/任务的指标。现在，用户可以将指标进行导出到Prometheus上，Prometheus将定期拉取SeaTunnel的集群任务状态，并以可视化界面展示出来，以更便利地监控集群的状态，及时发现问题。

添加Typesense连接器支持

新增加对Typesense连接器的支持。

改进和优化

添加Embedding transform

通过Embedding transform，SeaTunnel支持将机器学习模型嵌入到数据转换过程中，把原始字段转换成向量值，再存储到相应的机器学习数据库。目前，SeaTunnel支持的机器学习模型提供商包括豆包、千帆、OpenAI，未来还将添加更多机器学习模型支持。

Kafka支持读取/写入Protobuf类型数据

增强了Kafka连接器对Protobuf数据格式的支持，在Kafka连接器下增加对Protobuf数据类型的定义，可以进行数据读取和写入。

文件支持读取压缩包

增加了对压缩文件格式的读取支持，省去了解压缩的步骤。

更加细粒度的资源加载隔离

支持将ClassLoader从任务组级别的隔离优化为任务级别，从而避免Source/Sink使用相同ClassLoader时可能造成的依赖冲突。

其他优化还包括：

Paimon流失读取和动态桶的写入支持
SQL嵌套查询支持查询Map结构字段
Iceberg的相关优化
支持Kerberos认证
SaveMode添加IGNORE类型
对于Redis不同版本的读取适配优化
MySQL 8.1/8.2/8/3版本的适配
支持TiDB的CDC读取
移除JDBC相关连接器中系统表的限制
为所有连接器添加事件通知功能
ES连接器支持多表读取的功能
HBase连接器添加多表写入的功能

关键问题修复

修复Hazelcast在非TCP连接时的组网问题
修复资源隔离的问题
修复Paimon Dynamic Bucket表，以及Decimal精度丢失的相关问题
修复Iceberg任务结束资源未关闭的问题

详细更新情况请参考Release Note：https://github.com/apache/seatunnel/releases/tag/2.3.8

致谢贡献者

感谢@liunaijie对本次发版工作的指导和帮助，同时感谢以下社区成员的共同努力，让本次发版工作顺利完成：

hailin0, hawk9821, cl0924, sunxiaojian, dailai, corgy-w, Hisoka-X, liunaijie, chl-wxp, zhangshenghang, ISADBA, loustler, chenqianwen, FuYouJ, xxsc0529, EricJoy2048, ZhangWeike2000, jw-itq, kevinjmh, Carl-Zhou-CN, FlechazoW, PeppaPage, liugddx, Cheun99, happyboy1024, CosmosNi, Anush008, BruceWong96, zqr10159, cloud456, Gxinge, xxsc0529, luzongzhu, jiamin13579, Zuhdan, yujian225

微信关注我们

原文链接：https://www.oschina.net/news/316237/apache-seatunnel-2-3-8-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Excelize 开源基础库 2.9.0 版本正式发布

Excelize 是 Go 语言编写的用于操作 Office Excel 文档基础库，基于 ECMA-376，ISO/IEC 29500 国际标准。可以使用它来读取、写入由 Microsoft Excel™ 2007 及以上版本创建的电子表格文档。支持 XLAM / XLSM / XLSX / XLTM / XLTX 等多种文档格式，高度兼容带有样式、图片 (表)、透视表、切片器等复杂组件的文档，并提供流式读写 API，用于处理包含大规模数据的工作簿。可应用于各类报表平台、云计算、边缘计算等系统。入选 2020 Gopher China - Go 领域明星开源项目 (GSP)、2018 年开源中国码云最有价值开源项目 GVP (Gitee Most Valuable Project)，目前已成为 Go 语言最受欢迎的 Excel 文档基础库。开源代码 GitHub:github.com/xuri/excelize Gitee:gitee.com/xurime/excelize 中文文档:xuri.me/excelize/zh-hans 版本说明 2024 年 10 月 15 日，社区...

2024-10-15

270

Solon 3.0 引入一个叫 HttpUtils 小插件，这是一个简单的同步 HTTP 客户端，基于 URLConnection 适配（也支持切换为 OkHttp 适配）。使得编写 HTTP 客户端代码更加直观和易于阅读。使用 URLConnection 适配时（大小为 40KB 左右）。默认使用 OkHttp 适配时（大小为 3.1MB 左右）。当引入 okhttp 包时，自动切换为 okhttp 适配。一、请求操作 HEAD 请求并返回 status code int code = HttpUtils.http("http://localhost:8080/hello").head(); GET 请求并返回 body string String body = HttpUtils.http("http://localhost:8080/hello").get(); GET 请求并返回 body as bean //for Bean Book book = HttpUtils.http("http://localhost:8080/book?bookId=1"...

2024-10-15

222

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。