跑一个 3T 开源模型,到底要多少显卡?
月之暗面开源 Kimi K3 完整权重的第二天,Hacker News 上最热的那条评论不是 "恭喜" 也不是 "历史性时刻"—— 是一条算数题。 "MXFP4 原生精度,光权重就要 1.5TB 显存。8 块 B200 勉强装下,实际部署至少 16 块。" 下面立刻有人接着算:一台二手四路至强服务器,插满 3TB DDR5 内存,不到三万美元,能不能跑?回答是大概能到每秒五六个 token。另一个评论说没戏,"K3 想得特别多才会回复",思考阶段就耗掉几分钟,实际可用速度得按天算,不是按秒。...
