【作者】 笋江（林立翔）   驭策（龚志刚）   蜚廉（王志明）   昀龙（游亮）

一，背景——横空出世的BERT全面超越人类

2018年在自然语言处理（NLP）领域最具爆炸性的一朵“蘑菇云”莫过于Google Research提出的BERT（Bidirectional Encoder Representations from Transformers）模型。作为一种新型的语言表示模型，BERT以“摧枯拉朽”之势横扫包括语言问答、理解、预测等各项NLP锦标的桂冠，见图1和图2。

【图1】SQuAD是基于Wikipedia文章的标准问答数据库的NLP锦标。目前SQuAD2.0排名前十名均为基于BERT的模型（图中列出前五名），前20名有16席均是出自BERT 

【图2】GLUE是一项通用语言理解评估的benchmark，包含11项NLP任