阿里巴巴开源 1100 亿参数 Qwen1.5-110B 模型
阿里巴巴宣布开源 Qwen1.5 系列首个千亿参数模型 Qwen1.5-110B，该模型在基础能力评估中与 Meta-Llama3-70B 相媲美，在 Chat 评估中表现出色，包括 MT-Bench 和 AlpacaEval 2.0。 据介绍，Qwen1.5-110B 与其他 Qwen1.5 模型相似，采用了相同的 Transformer 解码器架构。它包含了分组查询注意力（GQA），在模型推理时更加高效。该模型支持 32K tokens 的上下文长度，同时它仍然是多语言的，支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。 阿里 Qwen1.5-110B 模型与最近的 SOTA 语言模型 Meta-Llama3-70B 以及 Mixtral-8x22B 进行了比较，结果如下： 上述结果显示，新的 110B 模型在基础能力方面至少与 Llama-3-70B 模型相媲美。在这个模型中，阿里巴巴没有对预训练的方法进行大幅改变，因此他们认为与 72B 相比的性能提升主要来自于增加模型规模。 阿里巴巴表示，与之前发布的 72B 模型相比，在两个 Chat 模型的基准评估中，110B 表现...
