自然语言处理顶会 ACL 2018 参会见闻
2018 年 7 月 15 日至 20 日,自然语言处理领域的顶级会议 ACL 2018 在澳大利亚墨尔本举行。本次大会共收到了 1018 篇长文和 526 篇短文的提交,相比去年有显著的增长,在规模上是名副其实的学术界的盛会。其中,长文有 256 篇被录用,录用率为 25.1%;短文有 125 篇被录用,录用率为 23.8%;总体的录用率为 24.7%。
本次会议还是产业界的盛会,共得到了来自全世界 28 家赞助商的大力赞助。近些年来,来自中国的企业对人工智能领域学术会议的赞助热情和规模逐年上涨,ACL 2018 的主要赞助商中,有 7 家来自中国,如字节跳动(ByteDance)、百度、京东、腾讯等。其中字节跳动公司与 Apple、Google 等公司同为本届 ACL 的顶级赞助商,这也反应了中国企业和市场对于人工智能学术前沿和产业化应用的关注。
由于笔者有一篇发表在 TACL (Transaction of ACL)上的论文有机会在此次 ACL 展示,所以非常幸运地能来到墨尔本参加此次的大会。作为一个第一次参加学术会议的小白,笔者在墨尔本的这短短七天不仅经历了好多“第一次”,更得到了许许多多的收获。在会议期间,不仅有机会可以和来自世界各地优秀的研究者请教交流,还能近距离了解人工智能企业感兴趣的问题。笔者在此想结合自己的参会经历,和大家分享一下本次会议的见闻。
精彩的主会场
第一天是 Tutorial 环节。此次大会共设了 8 场 Tutorial,上午下午各 4 场。笔者参加了上午的 Neural Approaches to Conversational AI 和下午的 Deep Reinforcement Learning for NLP。两个 Tutorial 深入浅出,非常精彩,并且都公开了报告的 slides。
▲ Williams Wang 老师在报告《Deep Reinforcement Learning for NLP》Tutorial
第二天日程由大会开幕式开始。在开幕式中,大会主席 Marti Hearst 宣布成立 AACL(The Asia-Pacific Chapter of the ACL)的决定,引发现场一片欢呼。区别于现有的针对于欧洲地区的 EACL(The European Chapter of the ACL)和北美地区的 NAACL(The North American Chapter of the Association for Computational Linguistics),此次成立的 AACL 会主要聚焦于亚太地区。
新成立的 AACL 委员会由亚太地区该领域具有影响力的学者组成。其中,AACL 委员会主席(Chair)是来自百度公司的王海峰,候任主席(Chair-Elect)是来自台湾资讯科学研究所的 Keh-Yih Su,秘书(Secretary)是来自清华大学的刘洋等。相信 AACL 的成立将会给亚太地区的自然语言处理的研究者又一个促进交流和学习的机会。
笔者在本次会议中看到,深度学习继续在自然语言处理的领域中发挥着重要作用。正式会议的上午和下午是 Oral 报告。笔者和大家一样,在各个不同 Track的会场奔波。Oral 的报告都非常有启发性,如来自 Google AI 的工作 The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation,通过将 RNN 的时序建模能力和 Transformer 中的“块”的概念及最新的训练技术结合起来,再次刷新了机器翻译上的最佳性能,同时也给笔者很大启发:虽然 Transformer 的提出使人们惊讶于 Self-Attention 赋予模型的性能,但是这不一定代表 RNN 的表达能力是弱于 Self-Attention 的;而在结合了 Transformer 中的一些最新的技术后,RNN 也表现出了更优越的性能,使人重新思考模型的表达能力与训练之间关系。
▲ Google AI 的论文报告
虽然笔者的研究方向主要是机器翻译,但也非常希望能从其他方向上的一些优秀论文也会中得到对自己研究的启发。例如来自 FAIR 的工作 What you can cram into a single $&!#* vector: Probing sentence embeddings for linguistic properties,通过采用探测(probing)的方法,试图“探测”出30个不同模型学到神经网络句子表示中究竟蕴含了什么,比如句子的长度信息和句法树的深度等,给下游任务的研究者对句子表示的理解提供了新的视角。
和 Oral 报告一样,在 Poster 环节中,笔者也更关注其他 NLP 方向的工作,希望能从其他得到启发。笔者看到本次会议有许多工作都开始探索基于 Self-Attention 的方法来建模文本中的句子表示和依赖关系。如来自 Berkeley 的工作 Constituency Parsing with a Self-Attention Encoder,通过引入 Transformer 中的 Self-Attention 机制,并且发现原本的 Self-Attention 机制中将内容信息和位置信息结合起来建模可能存在问题,提出了一种将内容和位置信息分解的方式,在成分句法分析(Constituency Parsing)上得到了 state-of-the-art 的性能。笔者还向作者询问了有关位置信息编码的问题,也得到了耐心的解答。
除此之外,笔者还发现,生成对抗网络和强化学习在很多工作中得到应用,这也表现了未来一段时间的研究热点和趋势。另外,研究如何将人类总结的知识和自然语言处理中的深度学习模型结合起来,向模型提供更多的先验知识的工作也在逐渐增多。
笔者有幸在此有一篇论文 Modeling Past and Future for Neural Machine Translation 作为 Poster 展示。这篇工作主要的动机是源于在通常的神经机器翻译的翻译结果中观察到的漏翻译和重复翻译现象。于是我们试图在解码阶段更显式地建模和学习到翻译的历史和未来信息的表示,希望能为当前一步翻译的注意力机制和单词预测提供更加丰富的目标端上下文,从而希望能避免翻译模型做出遗漏或者重复的决策。
由于是作为小白的笔者第一次在学术会议上做 Poster,并且需要使用英语,对口语不是很自信的我一度非常紧张。当天中午笔者连午饭都来不及吃,就匆匆守到了我们的展板,内心十分忐忑,担心自己不能很好地向对我们工作感兴趣的研究者解答他们的疑惑和表达自己的观点。
本文的共同第一作者、现在在字节跳动人工智能实验室工作的师兄看出了笔者的紧张,就向我介绍了他的经验。在实验设计和论文撰写时,师兄就提出了非常多有深度的见解,为这篇工作做出了主要贡献。在他的鼓励下,我的情绪得以稍稍缓解。当真正开始向源源不断过来的人讲解自己的工作的时候,笔者反而就忘记了紧张这回事了,投入到了和大家的交流过程中。面对各种各样的问题,笔者只好不停地“freestyle”。幸运的是,每个人都很有耐心地和我进行反复的讨论。通过和大家的交流,不仅收获了很多启发和建议,也锻炼了自己的表达和胆量,为自己积累了宝贵的经验。
此次会议评选出了 3 篇最佳长论文和 2 篇最佳短论文,共计 5 篇,并在闭幕式前进行报告。其中,最佳长论文为:
- Finding syntax in human encephalography with beam search. John Hale, Chris Dyer, Adhiguna Kuncoro and Jonathan Brennan.
- Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information. Sudha Rao and Hal Daumé III.
- Let’s do it “again”: A First Computational Approach to Detecting Adverbial Presupposition Triggers. Andre Cianflone, Yulan Feng, Jad Kabbara and Jackie Chi Kit Cheung.
最佳短论文为:
- Know What You Don’t Know: Unanswerable Questions for SQuAD. Pranav Rajpurkar, Robin Jia and Percy Liang
- Lighter’ Can Still Be Dark: Modeling Comparative Color Descriptions. Olivia Winn and Smaranda Muresan
在闭幕式上,大会将 ACL 终身成就奖(Lifetime Achievement Award)颁发给了 University of Edinburgh 的 Mark Steedman 教授,感谢其对计算语言学、人工智能和认知科学作出的贡献。
▲ ACL终身成就奖获得者Mark Steedman教授
会场之外
在休息时走出报告的会场,可以看到有很多企业的展台,其中许多企业通过各种形式的 DEMO 来展示自己的技术和业务,让参会者们有机会了解到产业界的状况和关心的问题。 例如旗下有今日头条、抖音等产品的字节跳动(ByteDance)公司,他们以小明机器人(Xiaoming Bot) 为世界杯比赛自动写稿为例,展示了计算机视觉与自然语言处理技术的结合。其中,小明机器人首先通过基于计算机视觉的足球比赛理解技术能对视频中的球员、足球甚至人物的表情进行实时的追踪、分割和理解,而后结合自然语言处理技术自动生成图文并茂的新闻稿。
![image]
(https://yqfile.alicdn.com/83808408eb63fd701e2ce8f69a1dd7399477d114.png)
除此之外还看到相关人员在演示字节跳动支持多个语种的机器翻译系统。作为近些年来国内发展迅猛的 AI 企业,它的产品和机构也在积极地进行全球化运作。除了短视频软件抖音等在海外市场的惊人扩张外,它在美国硅谷、西雅图等地都设立了国际化的 AI 实验室,从而希望能招揽世界各地的行业精英。
笔者还有幸分别参加了百度公司和 CCF 青工委,以及字节跳动组织的晚宴。在百度公司和青工委组织的晚宴上,微软亚洲研究院副院长周明老师回顾了中国自然语言处理发展的历史,让我们这些晚辈对从那个年代的艰难起一路坚持走来的学术先行者们的敬意油然而生。展望未来,周明老师说:“在 NLP 的顶会上,中国和美国发表的论文数量很接近,我们下一步的目标,不光做更多的工作,还要做更好的工作,做更多有挑战的问题,为人类的文明作出贡献。”字节跳动晚宴邀请了很多国内外知名学者,李航老师现在在字节跳动人工智能实验室工作,这次晚宴是由他主持。从演讲了解到这是一个飞速发展的公司,在 NLP 领域已经有很多的应用,同时也正在招募更多技术人才加入他们。
除了在大会现场搭建展台和学者们交流外,笔者也看到多家中国企业,如阿里巴巴、百度、腾讯、京东、讯飞等,在主会场和最后两天的 Workshop 中积极展示来自企业的工作发表及研究成果。一段时间以来,这些 AI 相关的企业都在大力布局人工智能,通过对产业界中发现的实际问题进行研究和解决,表现出对前沿学术研究的空前热情,也使得学术界能更直接地了解到产业界关心的问题,对整个人工智能领域的健康发展起到了重要的作用。
写在最后
短短几日的 ACL 2018 之旅就要结束了,这几日经笔者历了无数的“第一次”:第一次参加学术会议,第一次在会议上作 Poster 展示,第一次鼓起勇气向 Christopher Manning 教授请教问题,第一次走在路上被墨尔本突如其来的冰雹袭击等。我感觉对我来说最大的收获除了各个学术上的报告外,就是学会倾听别人的想法和努力表达自己的想法。
相信很多小伙伴一开始的时候也向笔者一样,对自己的听力和表达不自信,担心无法和来自世界各地的研究者交流。但当笔者真正专注进这个事情,渴望就自己感兴趣的话题交换想法时,就发现这些都不再成为沟通的障碍了。在开会期间遇见了太多太多优秀的同龄人,他们对研究理解很深入,对问题的看法颇有远见,这也激励笔者要多多提高自己,努力向优秀的同龄人看齐。以上是笔者参加 ACL 2018 的一些见闻和浅薄的见解,希望自己将来也能做出有意义的工作,再次有机会和世界各地的学者交流。
原文发布时间为:2018-07-26
本文作者:郑在翔
本文来自云栖社区合作伙伴“PaperWeekly”,了解相关信息可以关注“PaperWeekly”。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
捷讯技术分享阿里云服务器系列之GPU服务器
之前陆陆续续给大家介绍了大家一些阿里云服务器的相关产品,今天我们继续一起来了解下另一款接触比较少,但有所耳闻的产品——GPU服务器。说到这个产品大家可能马上就会想到机器学习、挖矿等热门话题。下面就由阿里云湖北授权服务中心捷讯技术的小编给大家简单的分享下这个新产品吧。 首先,阿里云官方定义这个服务器:GPU云服务器是基于GPU应用的计算服务,多适用于AI深度学习,视频处理,科学计算,图形可视化,等应用场景,型号有AMD S7150, Nvidia M40, Nvidia P100,Nvidia P4,Nvidia V100阿里云成为中国首家与NGC GPU加速容器合作的云厂商。 一、GPU服务器应用场景 1、AI深度学习 a、深度学习训练和推理在线服务,图像识别; b、图像内容鉴别,语音识别。 2、科学计算 a、影视渲染制作,碰撞模拟; b、计算金融、基因工程、气象预测。 3、视频处理 a、大规模高清视频转码4K/8K高清直播; b、多人视频会议,片源修复。 4、图形可视化 a、工程设计,非线性编辑; b、远程教育应用,3D展示。 从上面的应用场景中,我们就会发现GPU服务器主要应用的四...
- 下一篇
智能语音自学习平台震撼发布!
摘要:虽然随着智能语音交互技术飞速发展,语音识别准确率不断提升,但在实际落地过程中很多业务场景仍需要针对性地进行语音识别优化。传统的语音识别优化方式需要依靠语音厂商的AI专家来进行,周期通常以周计甚至月计,环节多、周期长、风险高。为了解决传统语音智能识别优化的问题,使得智能识别优化不再依靠AI专家,而是让不懂技术的业务人员可以零门槛地进行识别优化,阿里云震撼发布了智能语音自学习平台。本讲中,让我们跟随阿里巴巴语音智能高级专家了解这款产品的特点、优化过程和效果。 演讲嘉宾简介: 周躜,阿里巴巴语音智能高级专家,来自阿里巴巴机器智能技术实验室。 以下内容根据演讲嘉宾视频分享以及PPT整理而成。 本次演讲视频观看,请戳这里! 本次的分享主要分为二部分: 一、智能语音交互:该部分主要介绍智能语音交互的相关情况。 二、智能语音自学习平台:该部分主要介绍智能语音学习平台概览、优势,同时简单演示了使用该平台进行自学习优化的过程和识别效果。 一、智能语音交互 随着LFR、DFSMN等自研语音关键技术的突破,阿里云智能语音交互产品的语音识别准确率在不断地提升,目前已经将全球最大的免费语音识别数据库的识别...
相关文章
文章评论
共有0条评论来说两句吧...