谷歌发布高效运行语言模型的 C++ 库：LiteRT-LM

谷歌发布了LiteRT-LM早期版本，这是一个C++库，用于在边缘平台上高效运行语言模型。

LiteRT-LM支持跨平台高效运行Gemma-3N系列模型，支持2B和4B参数模型，适用于桌面环境（Mac/Windows/Linux）及物联网设备。

LiteRT-LM的README写道：

语言模型不再是一个单一模型，而是一个由多个模型和组件协同工作的流水线。LiteRT-LM 基于 LiteRT 构建，以支持这些流水线，包括：

• C++ API 高效运行语言模型
• 跨平台支持，通过便携式 C++实现广泛部署场景
• 灵活可定制，满足您的特定功能需求
• 硬件加速，释放设备硬件的全部潜能

开源地址

https://github.com/google-ai-edge/LiteRT-LM

https://huggingface.co/google/gemma-3n-E2B-it-litert-lm-preview