NExT-GPT 是一个端到端通用的任意多模态大型语言模型（MM-LLM）系统。开发团队将 LLM 与多模态适配器和不同的扩散解码器连接起来，使 NExT-GPT 能够感知输入并以文本、图像、视频和音频的任意组合生成输出。

通过利用现有训练有素的高性能编码器和解码器，NExT-GPT仅使用某些投影层的少量参数（1％）进行调整，这不仅有利于低成本训练，而且便于方便地扩展到更多潜在的方式。

此外还引入了模态切换指令调整（MosIT）并为 MosIT 手动策划高质量的数据集，在此基础上，NExT-GPT 被赋予了复杂的跨模态语义理解和内容生成的能力。

NExt-GPT 建立在现有预训练的 LLM、多模态编码器和 SoTA 扩散模型之上，具有足够的端到端指令调整。

• 多模态编码阶段。利用已建立的编码器以各种模式对输入进行编码，其中这些表示通过投影层投影成法学硕士可以理解的类似语言的表示。
• LLM理解和推理阶段。利用现有的开源法学硕士作为核心来处理输入信息以进行语义理解和推理。LLM 不仅直接生成文本标记，还生成独特的“模态信号”标记，这些标记充当指示解码层是否相应输出模态内容以及输出什么模态内容的指令。
• 多模式生成阶段。从 LLM（如果有）接收具有特定指令的多模态信号，基于 Transformer 的输出投影层将信号标记表示映射为后续多模态解码器可以理解的表示形式。

NExT-GPT 推理过程。灰色表示模块已停用。