Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生
本文整理自网易数帆软件工程师潘成,在 ASF CommunityOverCode Asia 2023(北京)的分享。本篇内容主要为:1)Spark 云原生的收益和挑战;2) 如何基于 Apache Kyuubi 构建统一 Spark 任务网关;3)如何基于 Apache Celeborn (Incubating) 构建 Shuffle Service;4)网易在其他方面对 Spark on Kubernetes 方案的改进。 在过去数年中,网易在大数据云原生领域进行了长足的探索。本文围绕如何基于 Apache Kyuubi & Celeborn 等开源技术,构建企业级 Spark on Kubernetes 云原生离线计算平台展开,包含技术选型、架构设计、经验教训、缺陷改进、降本增效等内容,深入剖析网易在该领域的探索成果。 01 Spark on Kubernetes 的收益与挑战 Apache Spark 作为如今大数据离线计算领域事实标准,被广泛应用于网易内部以及数据中台等商业化产品中。目前,Spark on YARN 是业界最主流、也是最成熟的使用方式,但随着以 Kube...




