Span 抽取和元学习能碰撞出怎样的新火花，小样本实体识别来告诉你！

2022-12-09 382

作者：王嘉宁、汪诚愚、谭传奇、邱明辉、黄松芳、黄俊、高明

近日，阿里云机器学习平台PAI与华东师范大学高明教授团队、达摩院机器智能技术NLP团队合作在自然语言处理顶级会议EMNLP2022上发表基于Span和元学习的小样本实体识别算法SpanProto。这是一种面向命名实体识别的小样本学习算法，采用两阶段的训练方法，检测文本中最有可能是命名实体的Span，并且准确判断其实体类型，在仅需要标注极少训练数据的情况下，提升预训练语言模型在命名实体识别任务上的精度。

论文：

Jianing Wang, Chengyu Wang, Chuanqi Tan, Minghui Qiu, Songfang Huang, Jun Huang, Ming Gao. SpanProto: A Two-stage Span-based Prototypical Network For Few-shot Named Entity Recognition. EMNLP 2022

背景

大规模预训练语言模型的广泛应用，促进了NLP各个下游任务准确度大幅提升，然而，传统的自然语言理解任务通常需要大量的标注数据来微调预训练语言模型。例如，对于命名实体识别任务，模型的训练需要一定数量的语料来学习Token与Label之间的依赖关系。但是在实际应用中，标注数据资源比较稀缺，传统的序列标注方法很难达到较好的效果，因为其需要解决实体识别中的标签依赖（Label Depnedency）关系，同时也无法应对实体嵌套（Nested Entity）问题。因此，我们研究一种基于Span和元学习的小样本实体识别技术。特别地，我们关注于解决N-way K-shot的实体识别场景。下图所展示了一个2-way 1-shot实体识别任务：

在上述2-way 1-shot任务中，包含了若干个Support Set和Query Set，每个Support Set只包含2个类别的实体（即上图的PER和LOC，除了非实体的“O”类别），且每个类别的标注实体数量只有1个。

算法概述

为了解决上述小样本命名实体识别问题，SpanProto采用两阶段方法，即将实体识别任务分解为两个阶段，分别是Span Extraction和Mention Classification。模型框架图如下所示：

Span Extraction

首先，SpanProto使用与类别无关的Span抽取器，抽取出可能的命名区间。在这个工作中，我们参考了Baffine Decoder和Global Pointer的技术，设计了Global Boundary Matrix，显式让模型学习到实体区间的边界信息。在这个Matrix中，每一个坐标元素(i, j)恰好可以表示一个区间[i:j]，如果这个区间是一个实体，那么元素将对应于1，如果这个区间不是一个实体，那么元素将对应于0:

Span Extraction模型采用下述基于Span的Cross-Entropy损失函数进行训练：

通过上述模型，SpanProto可以利用Global Boundary Matrix抽取出所有可能的实体。

Mention Classification

在Mention Classification模块中，SpanProto采用标准的Prototypical Learning技术给每个Span分配标签，即最小化每个Span表征与对应类别的原型的欧式距离。与此同时，我们考虑到命名实体识别的False Positive问题，即存在一些抽取的Span在当前Episode内没有合适的类别可以分配的情况。例如，在上图中，Span Extraction阶段模型会抽取出August 15. 1954为一个Span，它可能是一个“Time”类别的实体，但是在当前episode任务中其实只有PER和LOC，没有合适的标签给到这个Span。针对False Positive，我们采用Margin Learning方法，最大化这些Span表征与所有实体类别的原型向量的欧式距离：

整体算法流程

SpanProto整体算法流程图如图所示：

算法精度评测

为了验证SpanProto算法的有效性，我们在Few-NERD这一标准评测数据集上进行了测试，效果证明SpanProto对精度提升明显：

我们也对算法的模块进行了详细有效性分析，我们可以发现Span Extraction和Mention Classification均对模型有一定贡献。

为了更好地服务开源社区，SpanProto算法的源代码即将贡献在自然语言处理算法框架EasyNLP中，欢迎NLP从业人员和研究者使用。

EasyNLP开源框架：https://github.com/alibaba/EasyNLP

参考文献

Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022 (accepted)
Juntao Yu, Bernd Bohnet, Massimo Poesio. Named Entity Recognition as Dependency Parsing. ACL 2020: 6470-6476
Ning Ding, Guangwei Xu, Yulin Chen, Xiaobin Wang, Xu Han, Pengjun Xie, Haitao Zheng, Zhiyuan Liu. Few-NERD: A Few-shot Named Entity Recognition Dataset. ACL/IJCNLP 2021: 3198-3213
GlobalPointer：用统一的方式处理嵌套和非嵌套NER. https://spaces.ac.cn/archives/8373

论文信息

论文名字：SpanProto: A Two-stage Span-based Prototypical Network For Few-shot Named Entity Recognition
论文作者：王嘉宁、汪诚愚、谭传奇、邱明辉、黄松芳、黄俊、高明
论文pdf链接：https://arxiv.org/abs/2210.09049

微信关注我们

原文链接：https://my.oschina.net/u/5583868/blog/5606484

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

华为开发者大会2022：HMS Core 3D建模服务再升级，万物皆可驱动

11月4日，HDC2022华为开发者大会在东莞松山湖举办。在本次大会的HMS Core创新图形能力分论坛中，HMS Core重点介绍了其在3D技术领域的创新应用方向，其中3D建模服务展示了创新的自动骨骼绑定功能，其具有高度自动化，超强鲁棒性，优质的蒙皮效果等优势，进一步助力开发者技术创新。 HMS Core 3D建模服务的自动骨骼绑定功能，基于AI技术，面向有商品展示、趣味教学、AR游戏、动画制作等诉求的开发者，提供骨骼绑定等服务。用户仅需基于普通手机相机拍摄二足人形物体的多张图像，即可在生成3D模型的同时自动绑定骨骼以及蒙皮权重，实现一键驱动。举例来说，在动画制作方面，传统建模团队在取得模型后，需单独创建人体骨骼，再由绑定师进行逐一骨骼点绑定，使骨骼在模型中起到支撑作用。而通过HMS Core的自动骨骼绑定功能，人体骨骼点在建模的同时实现无感化自动绑定，节省绑定时间，从而提高制作效率。目前，少数实现自动关节估计的方法都需要目标模型摆好标准姿态。HMS Core则利用AI算法减少了人为规则的需求，可以支持非对称的多种姿态。这是源于华为自主研发的3D角色数据生成框架，基于数十万的3D绑...

2022-12-09

337

有一个现象，让我印象很深刻：许多公司会聘请经验丰富的产品专家，希望他们能扩大产品规模。但在实际工作中，这些产品专家却有心无力，因为他们不是真正有决定权的人。高层管理者总觉得自己很了解应该做什么，并希望产品经理服从他们的命令。所以在现实场景里，产品专家们只能根据指令完成「废话管理 Bullshit Management」，而不是产品管理。没有决策权，产品经理就无法茁壮成长。可要小心了！有些公司「说的」和「做的」总是截然相反。说是扁平化管理，但你可能会发现公司内部有层层决策链，最终还会因此陷入分析瘫痪；你可能会被授予一定的决策自主权，但绝不会超出特定范围。比如你可以敲定如何更好地实施解决方案，但却无法决定先解决哪个问题。凭借主观想法和管理层级推动业务，是让人震惊的。我特想知道，领导层聘请产品经理究竟是为了执行废话，还是管理产品。下面我将举例说明什么是「废话管理」，以及产品经理们可以如何避免这些可怕的陷阱。一、一直被误解，从未被实践的产品管理随着公司的发展，内部政治化会逐渐加强，而敏捷性则越来越弱。有些时候，最重要事成了取悦内部的关键干系人，而不是弄清楚哪些终端用户的问题值得...

2022-12-09

388

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。