高效MoE的扩展法则
摘要:混合专家(Mixture-of-Experts,MoE)已成为一种主导架构,通过将总参数与计算成本解耦,高效扩展大语言模型(Large Language Models,LLMs)。然而,这种解耦带来了一项关键挑战:预测给定MoE配置(专家激活比和粒度)的模型容量仍是一个未解决的问题。为填补这一空白,我们引入了效率杠杆(Efficiency Leverage,EL),这是一种量化MoE模型相对于等效稠密模型计算优势的指标。我们进行了一项大规模实证研究,训练了300多个模型,参数高达280亿,以系统地研究MoE架构配置与EL之间的关系。我们的研究结果表明,EL主要由专家激活比和总计算预算驱动...