字节跳动开源自研 Shuffle 框架 —— Cloud Shuffle Service
今天，字节跳动宣布，正式开源 Cloud Shuffle Service。 Cloud Shuffle Service（以下简称CSS） 是字节自研的通用 Remote Shuffle Service 框架，支持 Spark/FlinkBatch/MapReduce 等计算引擎，提供了相比原生方案稳定性更好、性能更高、更弹性的数据 Shuffle 能力，同时也为存算分离/在离线混部等场景提供了 Remote Shuffle 解决方案。 目前，CSS 已在 Github 上开源，欢迎感兴趣的同学一起参与共建！ 项目地址：https://github.com/bytedance/CloudShuffleService 开源背景 在大数据计算引擎中，Pull-Based Sort Shuffle 是一种常见的 Shuffle 方案，比如 Spark/MapReduce/FlinkBatch (高于1.15版本)等都将 Sort Shuffle 作为引擎默认方案，但是 Sort Shuffle 实现机制有一定的缺陷，在大规模生产环境下经常因为 Shuffle 问题影响作业稳定性。 以 Spar...
