Kyuubi 进入 Apache 孵化器后首次发布大版本
9月14日,Apache Kyuubi (Incubating) 社区发布了进入 Apache 孵化器后的第一个公开发行的正式版本,该版本的代号为 v1.3.0-incubating。
对于作为新晋 Apache 孵化器项目的 Kyuubi 而言,成为 Apache Top Level Project(TLP) 是其目标, 对于正式版本的发布我们需要深刻地践行 Apache Way,遵循社区的 RELEASE POLICY。和 TLP 们不同的是,孵化器项目需要通过两轮投票才能正式完成版本发布,首先是项目社区 dev mailing lists 的投票,决议通过之后需要在 general mailing lists 中发起新一轮的投票并接受并通过 Apache IPMC Member 的检查。在 RC7 经历一点小挫折后,在 Kyuubi 社区的共同努力下,v1.3.0-incubating RC9 最终获得了 Apache IPMC 的肯定,成功完成孵化以来的首次发布。
新版本主要更新
此次发布带来了 Lakehouse、Serverless Spark 等方面的多项增强,主要包括:
- 基于最新的 Spark 3.0/3.1 版本做了充分的验证
- 支持使用 JDK 8(默认),JDK 11 构建
- 在 Kyuubi Spark Extensions 模块中提供了增强的 AQE (目前支持 Spark 3.1)
- 提供了一些辅助的 SQL 函数作为 Spark 内置函数的补充
- 显著增强了 Spark 与 Kubernetes 的集成,涵盖文档、集成测试、工具等
- 支持配置 Engine/Session 级别的初始化 SQL 语句列表
- 支持自定义认证插件
- 支持从 Spark Web UI 上关停 engine
- 支持单引擎共享 SparkSession 模式
- 提供更多的指标和事件输出,增强可观测性
- 在数据湖平台 Delta 和 Iceberg 之上进行了充分的测试
- 在 MiniYARNCluster 之上进行了充分的测试
更多详情见发布公告:https://kyuubi.apache.org/release/1.3.0-incubating.html
践行社区驱动
Apache Kyuubi (Incubating) 是一款构建在 Apache Spark 之上的分布式多租户 Thrift JDBC/ODBC 服务,最初由网易数帆主导开源,并于今年6月21日正式进入 Apache 孵化器。自项目进入 Apache 孵化器并完成早期项目的迁库开始,Kyuubi 社区一方面在项目导师们的帮助下开始构建新版本的发布计划,完成了本次发布计划;另一方面也在 "Community Over Code" 理念指引下积极壮大社区,在这一个多月间,我们开发者人数完成了近倍数的增长。此外,在用户的驱动下,我们也完成了和其他 Apache 社区的初步合作,比如 Apache DolphinScheduler 及 Apache Iceberg 等,共同帮助用户解决问题。
如何下载使用最新版本?
如何参与社区?
Apache Kyuubi (Incubating) 项目是社区驱动的,我们致力于在 Apache Way 的指导下,为用户提供简单易用的大数据产品,我们强调社区协作,互相帮助,共同成长。
致谢
在社区驱动的模式下,Apache Kyuubi (Incubating) 1.3.0-incubating 的正式发布,是在 Kyuubi 的 Apache 孵化器之旅上前进的一小步。真诚地感谢每一位项目导师、社区贡献者及用户的信任、支持和帮助。也感谢 Apache 本土社区 ALC Beijing 给国内开源项目开辟的良好开源环境。
了解更多