艾伦人工智能研究院推出PyTorch上的NLP库 | 附paper+demo
微软联合创始人保罗·艾伦建立的艾伦人工智能研究院(AI2)今天发布了一个PyTorch上的开源自然语言处理(NLP)研究库:AllenNLP。
这个库提供灵活的数据API,能实现智能的batching和padding,对文本处理中的常见操作进行高层抽象,还提供了一个模块化、可扩展的实验框架。
AllenNLP包含3个模型:机器理解、语义角色标注和文本蕴含。
其中,机器阅读理解(MC)模型能够从一段文本中选择一段,来回答自然语言问题。AllenNLP中的MC模型是Seo et al, 2017论文提出的BiDAF(双向注意流)的实现。AllenNLP的BiDAF模型在SQuAD数据集上测试的EM成绩是68.7,略好于原始BiDAF模型的67.7分,训练速度也是原来的10倍。
语义角色标注(SRL)模型

