快手开源向量化引擎 Auron 正式加入 Apache 孵化器

由快手开源并捐赠的向量化引擎Auron项目（原Blaze项目）近期正式进入全球最大开源基金会（ASF）的孵化器，移交到Apache软件基金会名下。

加入Apache软件基金会孵化，源于我们对开源生态的深刻认同，以及对项目长期可持续发展的考量。目前Auron已在多家公司应用落地，验证了其实用价值。然而，开源项目的生命力不仅依赖技术先进性，更需要通过开放的社区治理、多元的贡献者参与和透明的决策机制实现持续进化。我们始终相信，开源的价值在于“共享”与“共创”。

我们将严格遵守Apache的治理规范，推动项目代码、文档与社区的全面透明化，吸引更多开发者参与技术迭代，与Apache生态中的其他大数据项目（如Spark/Flink/Celeborn等）形成技术互补，共同推动大数据领域的技术持续创新。

Auron是基于向量化技术开发的一套Native执行引擎，可以充分利用Native代码和SIMD指令向量化优势，以实现减少资源开销、加速执行的目的。

其核心能力包括：

• 原生执行：采用Rust实现，消除JVM开销以取得更好的性能表现；
• 向量化计算：基于Apache Arrow列式格式构建，充分利用SIMD指令优化批处理；
• 可插拔架构：与Apache Spark无缝集成，同时设计上支持未来扩展至其他计算引擎；
• 生产环境强化优化：开发了多级内存管理、优化Shuffle格式及自适应执行策略等优化机制，并在生产环境大规模应用落地。

基于Auron，在TPC-DS上相比Spark可以取得2+倍的性能提升：

Auron 发展历史与现状

2022年1月，快手大数据Spark引擎团队正式启动了Blaze并开源。2023年9月，Blaze在TPC-H/TPC-DS等Beachmark上取得了显著的性能提升。同时，团队也围绕生产环境进行了大量优化，并在快手内部实现了大规模应用。目前，Blaze在快手日均运行数十万个任务、处理EB级别数据，展现出卓越的性能和稳定性，为快手每年节约数千万元服务器成本。

在社区运营方面，快手于2024年1月展开了开源社区的管理工作。自Blaze开源以来，已累计发布了10余个版本。目前，Blaze 已被滴滴、携程、汽车之家、58同城、OPPO等多个行业的公司广泛使用。

2025年8月，Blaze项目正式进入ASF孵化器，并更名为 Auron（发音： [ˈɔːrɑːn] ），其灵感来源 Aura（能量场）。Auron 寓意为大数据引擎所带来的强大性能，未来，Auron社区计划提供更多先进功能，如Flink引擎、数据湖系统、GPU/DPU硬件的集成等。