HeteroFlow 异构算力调度平台开源版:让每一块 GPU 都物尽其用
HeteroFlow 是国内领先的开源异构算力 GPU 统一调度平台,支持 NVIDIA、昇腾、海光、寒武纪、壁仞、AMD 等 9 种 GPU 芯片的统一调度管理,已服务多家 AI 算力中心与科研机构。
GPU 显存分片——一块卡当多块用
screen 0: claude@VM-0-3-opencloudos:~] Find incomplete tasks from memory
传统 GPU 调度以整卡为单位分配,推理任务只用了 4GB 显存却独占 80GB 的 A100,大量算力被浪费。HeteroFlow 开源版提供细粒度 GPU
显存分片能力,将单卡显存按需切分为多个独立分区,支持多任务并行共享同一张 GPU 卡。每个分片拥有独立的显存隔离,互不干扰,在保障任务安全的同时将 GPU 利用率从通常的 30%-40% 提升至 80%
以上。无论是大模型推理、批量数据处理还是开发调试,都能在同一张卡上高效并行,显著降低硬件成本。
插件系统——你的调度器你做主
每个团队的调度需求都不一样。HeteroFlow 开源版内置可扩展的插件架构,无需修改核心代码即可自定义调度策略与资源过滤器。通过插件机制,你可以接入自有调度算法、对接内部审批流程、添加自定
义资源指标、实现业务优先级规则。插件支持热加载,部署即生效,不影响在线服务。开源社区已提供多种现成插件,拿来即用,也可以基于 SDK 快速开发专属插件。
开源免费,开箱即用。
https://gitee.com/heteroflow/HeteroFlow
https://gitcode.com/HeteroFlow/HeteroFlow/
或在官网 http://www.heteroflow.com.cn 免费下载体验。