SQuAD，斯坦福在自然语言处理的野心-低调大师

SQuAD，斯坦福在自然语言处理的野心

2017-07-31 707

真英雄，成名于少林寺武侠大会；好算法，验证在斯坦福公开数据。

武侠小说中一个公平且有影响力的平台，可以让侠之大者脱颖而出，科研也是，一个优秀的公开数据集可以让好算法脱颖而出，并同时让那些靠吹的算法身败名裂。本文将详细叙述今年目前为止自然语言处理界最重量级的数据集 SQuad。

1. SQuAD是什么？

SQuAD 是斯坦福大学于2016年推出的数据集，一个阅读理解数据集，给定一篇文章，准备相应问题，需要算法给出问题的答案。此数据集所有文章选自维基百科，数据集的量为当今其他数据集(例如，WikiQA)的几十倍之多。一共有107,785问题，以及配套的 536 篇文章。数据集的贡献者为斯坦福Percy Liang等人，Percy Liang是自然语言处理界的一位全才，在Semantic Parsing, QA, Optimization等多

微信关注我们

原文链接：https://yq.aliyun.com/articles/177027

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

两场比赛，AlphaGo表现出了哪些计算和智能 | 硬创公开课

雷锋网(公众号：雷锋网)按：本文来自硬创公开课 | AlphaGo专场的分享。分享嘉宾，出门问问NLP工程师，李理。一、到底什么是深度学习？我认为深度学习相对于传统的机器学习，最大的特点就是不需要（太多）的feature engineering。在机器学习流行之前，都是基于规则的系统，因此做语音的需要了解语音学，做自然语言处理（NLP）的需要很多语言学知识，做深蓝需要很多国际象棋大师。而到后来统计方法成为主流之后，领域知识就不再那么重要，但是我们还是需要一些领域知识或者经验来提取合适的feature，feature的好坏往往决定了机器学习算法的成败。对于NLP来说，feature还相对比较好提取，因为语言本身就是高度的抽象；而对于Speech或者Image来说，我们人类自己也很难描述我们是怎么提取feature的。比如我们识别一

2017-08-01

511

将一块石子投向水中会发生什么？这个问题对人而言简单，对计算机却很难，因为答案有太多——可能是溅起水花，激起波纹，也可能惊动水中的鱼，击中池边的花……还可能是上面所有这些乃至更多。因此，计算机无无法作答。 “语言是不精确的，字面意思背后还有太多太多。”美国伊利诺伊大学芝加哥分校的计算机科学教授刘兵说。这也是为什么相较有着一对一表征的图像和语音，自然语言处理是一个如此艰巨的问题。人类理解语言是将左边的感受（sensation）转化为右边的行动（action），而中间有一个表征。自然语言与图像和语音不同的地方在于，中间表征并非一一对应。换句话说，语言是不精确的。要让计算机理解人类的语言，现在一般有两条路。一是从形式语言入手，将文本切割为单词、标点这些没有意义的 token，把知识“硬编码”给计算机。研究者会把各种 token 组合起来手动

2017-08-01

559

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。