字节跳动发布开源大语言模型 Seed-OSS

字节跳动的 Seed 团队宣布推出一系列开源大型语言模型 ——Seed-OSS。该系列模型旨在满足国际化（i18n）应用场景的需求，专注于强大的长文本理解、推理能力和灵活的开发者友好特性。

Seed-OSS 系列模型基于流行的因果语言模型架构，采用了 RoPE、GQA 注意力机制、RMSNorm 和 SwiGLU 激活函数。最新发布的 Seed-OSS-36B 模型拥有360亿个参数，具备512K 的长上下文处理能力。尽管该模型仅使用了12万亿个训练数据，其在多个流行的基准测试中表现出色。

Seed-OSS 模型系列包括两种版本：带有合成指令数据的 Seed-OSS-36B-Base 和不带合成指令数据的 Seed-OSS-36B-Base-woSyn。这种设计不仅为开发者提供了高性能的基础模型，还为研究者提供了更为多样化的选择，以确保研究的有效性不受合成数据的影响。

该模型的关键特性之一是 “思考预算” 的灵活控制，允许用户根据需要动态调整推理的长度。这种能力在实际应用场景中大大提高了推理的效率。此外，Seed-OSS 特别优化了推理任务，确保在保持良好一般能力的同时，推理能力也得到了增强。

在发布会上，Seed 团队强调，Seed-OSS 模型不仅适用于学术研究，还可广泛应用于各类开发任务，例如工具使用和问题解决等代理智能任务。模型的训练和评估结果表明，Seed-OSS 在知识问答、数学推理、编程等任务中的表现达到了开源领域的领先水平。

对于希望参与的开发者，Seed 团队提供了详细的快速入门指南。用户只需通过 pip 安装相关依赖，即可轻松下载和使用 Seed-OSS 模型。此外，团队还支持多种量化方式以降低内存使用，提高模型的运行效率。