软件所提出基于信息论的大模型强化学习微调框架
中国科学院软件研究所天基综合信息系统全国重点实验室研究团队聚焦大语言模型(LLMs)在复杂推理任务中的优化问题,提出了一种基于信息论的强化微调框架Learning to Think (L2T),旨在平衡模型的推理效果和效率,为大语言模型在实际应用中的推理优化提供新的技术路径。 近日,相关成果论文Learning to Think: Information-Theoretic Reinforcement Fine-Tuning for LLMs在人工智能领域顶级会议NeurIPS 2025上发表,第一作者为博士生王婧瑶、副研究员强文文、博士生宋泽恩。 随着LLMs能力的不断提升,其应用场景已从基础自然语言处理任务扩展到需要多步逻辑推理的复杂问题。研究团队分析发现,对于复杂推理任务,现有LLMs大多依赖推理计算的最终结果作为奖励信号,缺乏对中间推理步骤的及时反馈,这会导致模型产生冗余计算,造成资源浪费,甚至可能降低推理效果。 针对上述问题,L2T框架首先进行了问题重构,将推理过程建模为多回合层次化对话,同时引入一种基于信息论的稠密过程奖励机制。该机制通过评估每一推理回合带来的信息增益,并采...
