PTMs| 2020最新NLP预训练模型综述
本篇文章主要介绍邱锡鹏老师在2020年发表的一篇预训练模型的综述:「Pre-trained Models for Natural Language Processing: A survey」 [1]。 该综述系统地介绍了nlp中的预训练模型。主要的贡献包括: 1.深入盘点了目前主流的预训练模型,如word2vec,ELMo,BERT等。 2. 提出了一种预训练模型的分类体系,通过四种分类维度来划分目前已有的预训练模型。包括: 表征的类型,即:是否上下文感知 编码器结构,如:LSTM、CNN、Transformer 预训练任务类型,如:语言模型LM,带掩码的语言模型MLM,排列语言模型PLM,对比学习等 针对特定场景的拓展和延伸。如:知识增强预训练,多语言预训练,多模态预训练和模型压缩等 3. 如何将PTMs学到的知识迁移到下游的任务中。 4. 收集了目前关于PTMs的学习资料。 5. 指明PTMs未来的研究方向,如:局限、挑战、建议。 由于篇幅原因,本文主要针对前面两点进行梳理,即「目前主流的预训练模型」和「预训练模型的分类体系」。 我们建立了自然语言处理、机器学习等讨论组,欢迎大家加...