“复旦大学 GPT”MOSS 重新上线
复旦大学自然语言处理实验室开发的新版 MOSS 模型今日正式上线,成为国内首个插件增强的开源对话大语言模型。MOSS 相关代码、数据、模型参数已在 GitHub 和 Hugging Face 等平台开放,供科研人员下载。 体验地址:https://moss.fastnlp.top/ 从官方的介绍来看,MOSS 对硬件要求较高,本地部署的话需要非常大的开销,A100 或 A800 可以单卡运行,NVIDIA 3090 只能并行多卡运行,GPU 要至少 30GB。 MOSS 是一个支持中英文双语和多种插件的开源对话语言模型,moss-moon系列模型具备 160 亿参数,在 FP16 浓度下可在单张 A100/A800 或两张 3090 张 INT 卡显示下可在单张 3090 显卡运行。 MOSS 基座语言模型在约七千亿中英文以及代号单词上预习练得,之后继续经过对话指导微调和男生同学、好训练工具多轮对话能力及使用多种插件的能力。 局限性:由于模型参数量较小和自回归生成范式,MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容,请谨慎鉴别和使用MOSS生成的内容,请勿将M...

