腾讯公布大语言模型训练专利：可提高模型的准确性

天眼查App显示，腾讯科技（深圳）有限公司申请的“大语言模型的训练方法、装置、计算机设备及存储介质”专利正式公布。

摘要显示，在该方法中，通过在大语言模型的训练过程中引入第一摘要文本和第二摘要文本，为模型训练提供了更多可学习信息，同时由于第一摘要文本和第二摘要文本包含的信息量不同，且第一摘要文本中包含正确语句和错误语句，通过对同一样本文本的两个不同摘要文本进行对比学习，并区分学习第一摘要文本中的正确语句和错误语句，避免了由于摘要文本单一而导致的模型过拟合和生成不准确等问题，不仅提高了模型的泛化性能，还提高了模型的准确性。

有媒体分析称，腾讯的专利通过多样化摘要文本及对比机制，为模型提供了更贴近真实应用的学习环境，尤其对智能客服、内容生成等需高精度输出的领域具有直接意义。此外，该技术或能加速大模型落地进程。例如，在短文本对话场景中，腾讯曾推出基于混合注意力机制的对话模型专利，若结合新训练方法，有望进一步提升回复的相关性与丰富性。