英伟达开源 Nemotron-Mini-4B-Instruct 小语言 AI 模型

英伟达近日开源了一款名为 Nemotron-Mini-4B-Instruct 的小语言模型 (small language model, SLM)。

地址：https://huggingface.co/nvidia/Nemotron-Mini-4B-Instruct

Nemotron-Mini-4B-Instruct 模型专为角色扮演、检索增强生成（RAG）及函数调用等任务设计，是一个小语言模型（SLM），通过蒸馏（distilled）和优化更大的 Nemotron-4 15B 获得。

该模型在 Minitron-4B-Base 模型上微调，采用了 LLM 压缩技术，最显著的特点之一是其能够处理 4096 个上下文窗口词元（token），能够生成更长且更连贯的回复。

Nemotron-Mini-4B-Instruct 以其强大的架构著称，确保了高效性与可扩展性。该模型的 Embedding Size（决定了转化后的向量的维度）尺寸为 3072，多头注意力（Multi-Head Attention）为 32 个，MLP 中间维度为 9216，在处理大规模输入数据集时，仍能以高精度和相关性作出响应。