Perseus-BERT——业内性能极致优化的BERT训练方案

2019-02-17 641

【作者】笋江（林立翔）驭策（龚志刚）蜚廉（王志明）昀龙（游亮）

一，背景——横空出世的BERT全面超越人类

2018年在自然语言处理（NLP）领域最具爆炸性的一朵“蘑菇云”莫过于Google Research提出的BERT（Bidirectional Encoder Representations from Transformers）模型。作为一种新型的语言表示模型，BERT以“摧枯拉朽”之势横扫包括语言问答、理解、预测等各项NLP锦标的桂冠，见图1和图2。

【图1】SQuAD是基于Wikipedia文章的标准问答数据库的NLP锦标。目前SQuAD2.0排名前十名均为基于BERT的模型（图中列出前五名），前20名有16席均是出自BERT

【图2】GLUE是一项通用语言理解评估的benchmark，包含11项NLP任

微信关注我们

原文链接：https://yq.aliyun.com/articles/690625

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

NLP自然语言处理中的hanlp分词实例

本篇分享的依然是关于hanlp的分词使用，文章内容分享自 gladosAI 的博客，本篇文章中提出了一个问题，hanlp分词影响了实验判断结果。为何会如此，不妨一起学习一下 gladosAI 的这篇文章。学习内容在之前的实验中得到了不在词向量里的词与分词结果，结果有500多个词不在词向量里，解决方案就是重新分词，或再追加训练这些词到词向量里。但后者相对麻烦且目前样本量不大。我跟据词向量的作者[6]所使用的分词工具来分词，会比不同工具（jieba）的效果要好，因为都是同一模式的分词，分出来的词应该都会存在于大型语料库中。实验证明思路是对的，最后结果是只有60几个词不在词向量里，其中大部分为名词，还有些为因语音翻译问题所造成的出错连词，所有这些词也只出现一次，这部分可以考虑最后删去也不会影响结果。改善未出现词是个关键步骤，因为此后模型会用到词向量，如果未出现词过多，会影响词向量效果。问题：不过最后HANLP分词影响了实验判断结果，准确率从93%（jieba分词，同模型同参数）下降到90%。实验：使用HanLP分词 1,前期准备，（环境ubuntu，python3）安装JAVA-...

2019-02-18

563

盘它！40篇+阿里技术经典案例，看完必收藏（上）

阿里妹导读：很多小伙伴在后台发信息，表示一天一篇技术干货看不过瘾。这里统一回复下：阿里妹去年偷偷开了个“小号”，叫做“阿里巴巴机器智能”（据说很多读算法的博士同学都在关注），平时会发AI领域的阿里经典案例，同样期待小伙伴们的关注。错过去年的干货也没事。今天，阿里妹就从“阿里巴巴机器智能”公众号搬了不少历史文章，包括计算机视觉、语音识别、文本处理、搜索推荐等AI干货，希望你会喜欢。计算机视觉篇点击标题即可直接阅读《蚂蚁实时视频通话技术和实践》《基于时间尺度选择的在线行为预测》《基于尺度空间变换的本征图像分解》《如何处理多种退化类型的卷积超分辨率？》《基于风格化对抗自编码器的图像生成算法》《所见所想所找：基于生成模型的跨模态检索》《用于行人重识别的多层相似度感知CNN网络》《如何检测视频异常事件？阿里工程师提出全新检测模型》《针对场景

2019-02-19

544

资源下载

更多资源

Oracle

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。