斯坦福团队开源端侧大模型 Octopusv2

斯坦福大学研究团队近日推出了一款全新的开源端侧大模型 Octopusv2。

• 论文：Octopus v2: On-device language model for super agent
• 论文地址：https://arxiv.org/abs/2404.01744
• 模型主页：https://huggingface.co/NexaAIDev/Octopus-v2

Octopusv2是一款拥有20亿参数的开源语言模型，专为在Android设备上运行而设计，同时也适用于汽车、个人电脑等其他端侧设备，并将实用性扩展到从 Android 系统管理到多个设备的编排等各种应用程序。

该模型在准确性和延迟方面的表现超越了GPT-4，并且在上下文长度上减少了95%，显示出了显著的性能优势。此外，Octopus v2 比 Llama7B + RAG 方案快 36 倍。

Octopus-V2-2B模型的开发过程中，研究团队采用了创新的函数token策略，这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。