Curvine - 高性能分布式缓存系统
Curvine是一个用 Rust 编写的高性能、并发分布式缓存系统,专为低延迟和高吞吐量工作负载设计。 场景1: 训练加速 场景2: 模型分发 场景3: 热表数据加速 场景4: 大数据Shuffle加速 场景5: 多云数据缓存 核心特性 高性能 RPC 框架:基于 Tokio 的异步通信框架,支持高并发请求处理。 分布式架构:采用 Master-Worker 架构设计,支持水平扩展。 多级缓存:支持内存、SSD 和 HDD 的多级缓存策略。 FUSE 接口:提供 FUSE 文件系统接口,可无缝集成到现有系统中。 底层存储集成:支持与多种底层存储系统集成。 Raft 共识:采用 Raft 算法确保数据一致性与高可用性。 监控与指标:内置监控与性能指标收集功能。 Web 界面:提供 Web 管理界面,便于系统监控与管理。 模块化架构 Curvine 采用模块化设计,主要由以下核心组件构成: orpc: 一个支持异步 RPC 调用的高性能网络通信框架 curvine-common: 包含协议定义、错误处理和通用工具的共享库 curvine-server: 服务端组件,包含 Master 和...
