基于大语言模型的复杂任务认知推理算法 CogTree

近日，阿里云人工智能平台PAI与华东师范大学张伟教授团队合作在自然语言处理顶级会议EMNLP2023上发表了基于认知理论所衍生的CogTree认知树生成式语言模型。通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。

论文：
Junbing Yan, Chengyu Wang, Taolin Zhang, Xiaofeng He, Jun Huang, Wei Zhang. From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models. EMNLP 2023 (Findings)

背景

随着深度学习在自然语言处理、机器翻译等任务上的不断发展，人们对如何将深度学习应用到自然语言处理中越来越感兴趣，由此出现了大语言模型（例如GPT-3.5），并已在文本生成、情感分析、对话系统等多个任务上取得了重大突破。大语言模型通常基于大规模文本数据进行预训练，然后通过微调在特定任务上进行优化，以生成高质量的文本输出。然而，对于语言模型而言，复杂的逻辑推理问题和数学问题的求解仍然是很困难的。并且，传统的语言模型缺乏认知能力。在处理涉及冗长的推理链或多步解决方案的问题时，对于问题及其当前回答的评估是很重要的。然而，目前的方法例如Chain-of-thought等通常缺乏对于中间过程的验证。并且大型语言模型的部署和推理成本相对较高，特别是在利用无参数更新的推理增强技术时。这些技术需要大量的上下文和多步的答案生成，进一步增加了推理成本和时间。

因此，本文研究面向轻量化大模型的复杂任务推理，使用较小规模的模型（7B），构建双系统生成推理树，大大增强模型在复杂数学问题和逻辑推理问题上的回答能力。提出了一种大模型面向复杂数学问题的求解方法。该方法基于人类的认知理论，通过两个系统：直觉系统和反思系统来模仿人类产生认知的过程。直觉系统负责产生原始问题的多个分解假设，反思系统对直觉系统产生的假设进行验证，并选择更有可能的假设进行后续生成，直到达到最终结果。通过上述双系统的迭代式生成，可以提升大模型的解题准确度。

算法概述

为了解决上述大模型对复杂任务推理准确度不高且推理成本大的问题，CogTree采用双系统的方式，用大模型分别构建两个系统：直觉系统和反思系统，使用直觉系统生成原问题分解的假设，使用反思系统验证假设的正确性，引导直觉系统后续的生成。模型框架图如下所示：

通过双系统迭代式的生成一棵推理树，增强大模型的推理能力。本方法的创新性是面向大语言模型，设计了一套新的推理框架，增强大模型在复杂数学问题上的推理能力。

直觉系统

反思系统

训练

直觉系统

反思系统

算法精度评测

为了验证CogTree算法的有效性，我们在Entailment Bank逻辑推理数据集以及GSM8K数学问题数据集上进行了测试，效果证明CogTree对大模型复杂任务上的回答准确率提升明显：

我们也将算法与其他基于大模型微调的方法进行对比，证明了CogTree框架的有效性。

为了更好地服务开源社区，CogTree算法的源代码即将贡献在自然语言处理算法框架EasyNLP中，欢迎NLP从业人员和研究者使用。

EasyNLP开源框架：https://github.com/alibaba/EasyNLP

参考文献

• Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022
• Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. 2021a. Training verifiers to solve math word problems. CoRR, abs/2110.14168
• Denny Zhou, Nathanael Schärli, Le Hou, Jason Wei, Nathan Scales, Xuezhi Wang, Dale Schuurmans, Olivier Bousquet, Quoc Le, and Ed H. Chi. 2022. Least-to-most prompting enables complex reasoning in large language models. CoRR, abs/2205.10625
• Jonathan St B. T. Evans. 1984. Heuristic and analytic processes in reasoning. British Journal of Psychology, 75(4):451–468

论文信息

论文标题：From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models
论文作者：严俊冰、汪诚愚、张涛林、何晓丰、黄俊、张伟
论文pdf链接：https://arxiv.org/abs/2311.06754

原文链接

本文为阿里云原创内容，未经允许不得转载。