昆仑万维开源 2 千亿稀疏大模型天工 MoE，能用 4090 推理
昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE ， 性能强劲， 同时推理成本更低。Skywork-MoE 基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来， 是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE大模型，也是首个支持用单台 4090 服务器推理的开源千亿 MoE大模型。 “我们希望本次开源的 Skywork-MoE 模型、技术报告和相关的实验结果可以给开源社区贡献更多的 MoE 训练经验和 Know-how，包括模型结构、超参选择、训练技巧、训练推理加速等各方面， 探索用更低的训练推理成本训更大更强的模型，在通往 AGI 的道路上贡献一点力量。” Skywork-MoE 的模型权重、技术报告完全开源，免费商用，无需申请： 模型权重下载： https://huggingface.co/Skywork/Skywork-MoE-base https://huggingface.co/Skywork/Skywork-MoE-Base-FP8 模型开源仓库：https://github.com/Skywor...
