首页 文章 精选 留言 我的

精选列表

搜索[代码生成]，共10000篇文章
优秀的个人博客,低调大师

NLPprogress.com-随时跟进自然语言处理研究最新进展，34个NLP任务的数据、模型、论文与代码

【导读】自然语言处理有众多的研究子领域，很多仍然未解决达到可实用的性能。为此，NLP领域的研究者正致力于解决这些问题。那如何最终这些NLP任务的研究最新进展？作者 Sebastian Ruder开发了nlpprogress.com网站, 追踪自然语言处理（NLP）的研究进展，并简要介绍最常见 NLP 任务的当前最佳研究和相关数据集。 1.CCG 超级标记组合范畴语法（CCG; Steedman, 2000）是一种高度词汇化的形式主义。Clark 和 Curran 2007 年提出的标准解析模型使用了超过 400 个词汇语类（或超级标记（supertag）），典型的解析器通常只包含大约 50 个词性标注。 示例： CCGBankCCGBank 是 CCG 衍生物的语料库，以及从 Hockenmaier 和 Steedman 2007 年提出的 Penn Treebank 中提取的依存结构。第 2-21 部分用于训练，第 00 部分用于开发，第 23 部分用作域内测试集。其性能仅在 425 个最常用的标签上计算。模型基于准确率来评估。 2.分块 分块（chunking）是解析的浅层形式，可以识别构成合成单元（例如名词词组或动词词组）的标记的连续跨度。示例： Penn Treebank-分块Penn Treebank 通常用于评估分块。第 15-18 部分用于训练，第 19 部分用于开发，第 20 部分用于测试。模型基于 F1 评估。 3.选区解析 选区解析（constituency parsing）的目的是从根据词组结构语法来表征其合成结构的句子中提取基于选区的解析树。 示例： 近期发展出来的方法（《Grammar as a Foreign Language》）将解析树转换为按深度优先遍历的序列，从而能应用序列到序列模型到该解析树上。以上解析树的线性化版本表示为：(S (N) (VP V N))。 Penn Treebank-选区解析 Penn Treebank 的「Wall Street Journal」部分用于评估选区解析器。第 22 部分用于开发，第 23 部分用于评估。模型基于 F1 评估。以下大多数模型整合了外部数据或特征。要对比仅在 WSJ 上训练的单个模型，参见《Constituency Parsing with a Self-Attentive Encoder》。 4.指代消歧 指代消歧（coreference resolution）是聚类文本中的涉及相同潜在真实世界实体的提述的任务。示例： 「I」、「my」和「she」属于相同的聚类，「Obama」和「he」属于相同的聚类。 CoNLL 2012 实验是构建在《CoNLL-2012 shared task》的数据集之上的，其使用了 OntoNotes 的共指标注。论文使用官方 CoNLL-2012 评估脚本报告了精度、召回率和 MUC 的 F1、B3 以及 CEAFφ4 指标。主要的评估指标是三个指标的平均 F1。 5.依存解析 依存解析（dependency parsing）是从表征其语法结构中提取的依存解析，并定义标头词和词之间的关系，来修改那些标头词。示例： 词之间的关系在句子之上用定向、标记的弧线（从标头词到依存）展示，+表示依存。 Penn Treebank-依存解析 模型在《Stanford typed dependencies manual》中提出的 Penn Treebank 的 Stanford Dependency 变换和预测词类标记上进行评估。评估指标是未标记依附分数（unlabeled attachment score，UAS）和标记依附分数（LAS）。 6.对话 众所周知，对话任务是很难评估的。以前的方法曾经使用了人类评估。 第二对话状态追踪挑战赛对于目标导向的对话，第二对话状态追踪挑战赛（Second dialog state tracking challenge，DSTSC2）的数据集是一个常用的评估数据集。对话状态追踪涉及确定在对话的每个回合用户在当前对话点的目标的完整表征，其包含了一个目标约束、一系列请求机会（requested slot）和用户的对话行为。DSTC2 聚焦于餐厅搜索领域。模型基于单独的和联合的机会追踪的准确率进行评估。 7.领域自适应 多领域情感数据集多领域情感数据集（Multi-Domain Sentiment Dataset）是情感分析的领域自适应常用评估数据集。它包含了来自亚马逊的不同产品类别（当成不同领域）的产品评价。这些评价包括星级评定（1 到 5 颗星），通常被转换为二值标签。模型通常在一个和训练时的源域不同的目标域上评估，其仅能访问目标域的未标记样本（无监督域适应）。评估标准是准确率和对每个域取平均的分值。 8.语言建模 语言建模是预测文本中下一个词的任务。*表示模型使用了动态评估。 Penn Treebank-语言建模 语言建模的常用评估数据集是 Penn Treebank，已经过 Mikolov 等人的预处理（《Recurrent neural network based language model》）。该数据集由 929k 个训练单词、73k 个验证单词和 82k 个测试单词构成。作为预处理的一部分，单词使用小写格式，数字替换成 N，换行符用空格表示，并且所有其它标点都被删除。其词汇是最频繁使用的 10k 个单词，并且剩余的标记用一个标记替代。模型基于困惑度评估，即平均每个单词的对数概率（per-word log-probability），越低越好。 WikiText-2 WikiText-2（《Pointer Sentinel Mixture Models》）相比于 Penn Treebank，其在语言建模中是更接近实际的基准。WikiText-2 由大约两百万个从维基百科文章中提取的单词构成。 9.机器翻译 机器翻译是将句子从源语言转换为不同的目标语言的任务。带*的结果表示基于 21 个连续评估的平均验证集 BLEU 分数的平均测试分数，正如 Chen 等人的论文《The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation》所报告的。 WMT 2014 EN-DE 模型在第九届统计机器翻译研讨会（VMT2014）的 English-German 数据集上进行评估（根据 BLEU 分数）。 WMT 2014 EN-FR 类似的，在第九届统计机器翻译研讨会（VMT2014）的 English-French 数据集上进行评估（根据 BLEU 分数）。 10.多任务学习 多任务学习的目标是同时学习多个不同的任务，并最大化其中一个或全部任务的性能。 GLUE 通用语言理解评估基准（GLUE）是用于评估和分析多种已有自然语言理解任务的模型性能的工具。模型基于在所有任务的平均准确率进行评估。 当前最佳结果可以在公开 GLUE 排行榜上查看：https://gluebenchmark.com/leaderboard。 11.命名实体识别 命名实体识别（NER）是在文本中以对应类型标记实体的任务。常用的方法使用 BIO 记号，区分实体的起始（begining，B）和内部（inside，I）。O 被用于非实体标记。 示例： CoNLL 2003 CoNLL 2003 任务包含来自 Reuters RCV1 语料库的新闻通讯文本，以 4 种不同的实体类型进行标注（PER、LOC、ORG、MISC）。模型基于（基于跨度的）F1 评估。 12.自然语言推理 自然语言推理是给定一个「前提」，确定一个「假设」为真（蕴涵）、假（矛盾）或者不确定（中性）的任务。 示例： SNLI 斯坦福自然语言推理（SNLI）语料库包含大约 550k 个假设/前提对。模型基于准确率评估。 可以在 SNLI 的网站上查看当前最佳结果：https://nlp.stanford.edu/projects/snli/ MultiNLI 多语型自然语言推理（MultiNLI）语料库包含大约 433k 个假设/前提对。它和 SNLI 语料库相似，但覆盖了多种口头和书面文本的语型（genre），并支持跨语型的评估。数据可以从 MultiNLI 网站上下载：https://www.nyu.edu/projects/bowman/multinli/ 语型内（匹配）和跨语型（不匹配）评估的公开排行榜可查看（但这些条目没有对应已发表的论文）： https://www.kaggle.com/c/multinli-matched-open-evaluation/leaderboardhttps://www.kaggle.com/c/multinli-mismatched-open-evaluation/leaderboard SciTail SciTail（《SCITAIL: A Textual Entailment Dataset from Science Question Answering》）导出数据集包含 27k 个条目。和 SNLI、MultiNLI 不同，它不是众包数据集，但是从已有的句子中创建的，假设是从科学问题和对应答案候选中创建的，同时相关网站的来自大型语料库的句子被用作前提。模型基于准确率评估。 13.词性标注 词性标注（POS tagging）是一种标注单词在文本中所属成分的任务。词性表示单词所属的类别，相同的类别一般有相似的语法属性。一般英语的词性标注主要有名词、动词、形容词、副词、代词、介词和连词等。 示例： UD Universal Dependencies（UD）是一个跨语言语法标注的框架，它包含超过 60 多种语言的 100 多个 treebanks。模型一般通过 28 种语言中的平均测试准确率进行评估。 Penn Treebank—POS tagging 用于词性标注的标准数据集是华尔街日报（WSJ）分配的 Penn Treebank，它包含 45 个不同的词性标签。其中 0-18 用于训练、19-21 用于验证其它 22-24 用于测试。模型一般都通过准确率进行评估。 14.阅读理解/问答任务 问答是一种自动回答问题的任务。大多数当前的数据集都将该任务是为阅读理解，其中问题是段落或文本，而回答通常是文档之间的跨度。UCL 的机器阅读研究组还介绍了阅读理解任务的概览：https://uclmr.github.io/ai4exams/data.html。 ARC AI2 Reasoning Challenge（ARC）是一个问答数据集，其中它包含了 7787 个真实的小学水平多项选择科学问题。数据集分割为了困难集与简单集，困难集只包含那些基于词检索算法和词共现算法所无法正确回答的问题。模型同样通过准确率评估。 ARC 公开排行榜：http://data.allenai.org/arc/ 示例： QAngaroo QAngaroo 是两个阅读理解数据集，它们需要结合多个文档的多个推断步骤。第一个数据集 WikiHop 是一个开放领域，且专注于维基文章的数据集，第二个数据集 MedHop 是一个基于 PubMed 论文摘要的数据集。 该数据集的排行榜可参见：http://qangaroo.cs.ucl.ac.uk/leaderboard.html RACE RACE 数据集是一个从中国初中和高中英语测试收集的阅读理解数据集。该数据集包含 28000 多篇短文和近 100000 条问题。模型可基于中学测试（RACE-m）、高中测试（RACE-h）和完整数据集（RACE）使用准确率进行评估。 数据集下载地址：http://www.cs.cmu.edu/~glai1/data/race/ SQuAD 斯坦福问答数据集（SQuAD）是一个阅读理解数据集，它包含由众包基于维基文章提出的问题。回答为对应阅读短文的文本片段。最近 SQuAD 2.0 已经发布了，它引入了与 SQuAD 1.1 中可回答问题类似的不可回答问题，难度高于 SQuAD 1.1。此外，SQuAD 2.0 还获得了 ACL 2018 最佳短论文。 Story Cloze Test Story Cloze Test 是一个用于故事理解的数据集，它提供了 four-sentence 形式的故事和两个可能的结局，系统将尝试选择正确的故事结局。 Winograd Schema 挑战赛 Winograd Schema Challenge 是一个用于常识推理的数据集。它使用 Winograd Schema 问题以要求人称指代消歧：系统必须明确陈述中有歧义指代的先行词。模型同样基于准确率评估。 示例： 15.语义文本相似性 语义文本相似性在于推断两段文本之间的距离，例如我们可以分配 1 到 5 来表示文本有多么相似。对应任务有释义转换和重复识别。 SentEval SentEval 是一个用于评估句子表征的工具包，它包含 17 个下游任务，包括一般的语义文本相似性任务。语义文本相似性（STS）从 2012 到 2016（STS12、STS13、STS14、STS15、STS16、STSB）的基准任务基于两个表征之间的余弦相似性度量了两句子之间的相关性。评估标准一般是皮尔森相关性。 SICK 相关性（SICK-R）任务训练一个线性模型以输出 1 到 5 的分数，并指代两句子之间的相关性。相同数据集（SICK-E）能视为使用蕴含标签的二元分类问题。SICK-R 的度量标准也是皮尔森相关性，SICK-E 可以通过文本分类准确度度量。 Microsoft Research Paraphrase Corpus（MRPC）语料库是释义识别的数据集，其中系统旨在识别两个语句是否相互为释义句。评估标准为分类准确度和 F1 分数。 Quora Question Pairs Quora Question Pairs 数据集由 400000 对 Quora 问答组成，系统需要识别一个问题是不是其它问题的副本。模型也是通过准确率度量。 16.情感分析 情感分析是在给定文本下识别积极或消极情感的任务。 IMDb IMDb 是一个包含 50000 条评论的二元情感分析数据集，评论都来自与互联网电影数据库（IMDb），且标注为积极或消极两类。模型同样通过准确率进行评估。 Sentihood Sentihood 是一个用于针对基于方面的情感分析（TANSA）数据集，它旨在根据具体的方面识别细粒度的情感。数据集包含 5215 个句子，其中 3862 个包含单个目标，其它有多个目标。该任务使用 F1 分数评估检测的方面，而使用准确率评估情感分析。 SST Stanford Sentiment Treebank 包含 215154 条短语，且 11855 条电影评论语句都以解析树的方式有细粒度的情感标注。模型根据准确率评估细粒度和二元分类效果。 细粒度分类： 二元分类： Yelp Yelp 评论数据集包含超过 500000 条 Yelp 评论。它们同时有二元和细粒度（5 个类别）级别的数据集，模型通过误差率（1 - 准确率，越低越好）评估。 细粒度分类： 二元分类： 17.语义解析 情感解析是一种将自然语言转化为正式语义表征的任务。正式表征可能是 SQL 等可执行的语言，或更抽象的 Abstract Meaning Representation（AMR）表征等。 WikiSQL WikiSQL 数据集包含 87673 个问题样本、SQL 查询语句和由 26521 张表中建立的数据库表。该数据集提供了训练、开发和测试集，因此每一张表只分割一次。模型基于执行结果匹配的准确率进行度量。 示例： 语义功能标注 语义功能标注旨在建模语句的述词论元结构，它经常描述为回答「Who did what to whom」。BIO 符号经常用于语义功能标注。 示例： OntoNotes—语义功能标注 模型通常通过基于 F1 的 OntoNotes 基准进行评估（《Towards Robust Linguistic Analysis Using OntoNotes》）。 18.自动摘要 自动摘要是一种总结原文本语义为短文本的任务。 CNN/日常邮件摘要 CNN / Daily Mail 数据集是由 Nallapati et al. (2016) 处理并发布，它已经用于评估自动摘要。该数据集包含带有多句摘要（平均 3.75 个句子或 56 个词）的再现新闻文章（平均 781 个词）。经处理的版本包含 287226 个训练对、13368 个验证对和 11490 个测试对。模型基于 ROUGE-1、ROUGE-2 和 ROUGE-L 进行评估，* 表示模型在匿名数据集上进行训练与评估。 19.文本分类 文本分类是将句子或文本分配合适类别的任务。类别取决于选择的数据集，可以有不同的主题。 AG News AG News 语料库包含来自「AG's corpus of news articles」的新文章，在 4 个最大的类别上预训练。该数据集包含每个类别的 30000 个训练样本，以及每个类别的 1900 个测试样本。模型基于误差率评估。 DBpedia DBpedia ontology 数据集包含 14 个非重叠类别的每一个的 40000 个训练样本和 5000 个测试样本。模型基于误差率评估。 TREC TREC（《The TREC-8 Question Answering Track Evaluation》）是用于问题分类的数据集，包含开放域、基于事实的问题，并被分成广泛的语义类别。它有六类别（TREC-6）和五类别（TREC-50）两个版本。它们都有 4300 个训练样本，但 TREC-50 有更精细的标签。模型基于准确率评估。 TREC-6: TREC-50: 20.多模态处理 IEMOCAP（Busso等人，2008年）包含了10个说话者的行为，他们的双向对话被分割成话语。所有视频中对话的媒介都是英语。该数据库包含以下分类标签:愤怒、快乐、悲伤、中性、兴奋、沮丧、恐惧、惊讶等等Monologue： 会话:会话设置使模型能够捕捉谈话中说话者表达的情绪。在此设置中考虑说话人之间的依赖关系。 原文发布时间为：2018-07-22本文来自云栖社区合作伙伴“专知”，了解相关信息可以关注“专知”
2018-07-22
优秀的个人博客,低调大师

开发者论坛一周精粹(第四十九期) 代码实现阿里云免费邮箱SMTP发邮件教程

开发者论坛每周选取精华内容总结，精选论坛优质贴，每周更新一期，方便大家阅读！ 从本期开始，开发者论坛一周精粹进行细分，设置【技术教程&热门答疑】和【官方资讯】让开发者更加方便的查阅。 # 开发者论坛技术教程&热门答疑： 在 asp 中使用 cdo 通过远程邮件服务器发送邮件 dongshan8摘要：阿里云论坛资深版主“dongshan8”为大家分享一下如何在win服务器中使用cdo通过阿里云免费远程邮件服务器发送邮件实现教程>>https://bbs.aliyun.com/read/581722.html 免费又好用的阿里云Linux实例管理工具教程 （ECSforXshell+Xftp） 51干警网摘要：可能是最好用的PC端的linux实例管理工具了。使用教程>>https://bbs.aliyun.com/read/581587.html 【新手教程】手把手教你使用阿里云语音验证码、语音通知 whosoft摘要：为了验证用户身份，短信验证码已经非常普遍的被使用了。而语音验证码却很少见，阿里云论坛版主“whosoft”为大家大家分享一下，阿里云语音验证码的使用。 图文教程>>https://bbs.aliyun.com/read/581721.html 网站打开要等几分钟才能打开，ping通，阿里工单说是环境配置有问题 sgalaxy摘要：网站使用的是xampp搭建的wordprss，搭建了差不多一年，有时间更新一下。最近不知道是安装一些插件问题，还是其他原因，昨天开始就很难打开了，注意不是完全打不开，是打开至少要等几分钟。 版主答疑>>https://bbs.aliyun.com/read/581690.html 怎么在一个服务器搭建多个网站 呆狱长摘要：我想在一个服务器搭建2个网站怎么才能做到。多种方法>>https://bbs.aliyun.com/read/581621.html # 开发者论坛官方资讯： 1000篇干货好文！量子技术——入门、进阶、资讯、专家观点大汇总 云栖机器人https://bbs.aliyun.com/read/581500.htmlIT人必看！2018年上半年云栖大会300份干货免费开放！— 上海峰会 云栖机器人https://bbs.aliyun.com/read/581511.htmlIT人必看！2018年上半年云栖大会300份干货免费开放！— 武汉峰会 云栖机器人https://bbs.aliyun.com/read/581509.htmlIT人必看！2018年上半年云栖大会300份干货免费开放！— 南京峰会 云栖机器人https://bbs.aliyun.com/read/581508.htmlIT人必看！2018年上半年云栖大会300份干货免费开放！— 深圳峰会 云栖机器人https://bbs.aliyun.com/read/581507.html新增16条设计规约！阿里巴巴Java开发手册（详尽版）开放下载！ 云栖机器人https://bbs.aliyun.com/read/581594.html阿里云IoT极客馆入驻邀请 云栖青年https://bbs.aliyun.com/read/580975.html【漏洞公告】WordPress 任意文件删除漏洞 正禾https://bbs.aliyun.com/read/581599.html谷歌Android things接入阿里云IoT物联网套件 云栖机器人https://bbs.aliyun.com/read/581222.html消息服务实时消费设备状态变化和数据 云栖机器人https://bbs.aliyun.com/read/581227.htmlIoT终端设备数据流转到消息服务MNS队列 云栖机器人https://bbs.aliyun.com/read/581220.htmlGXIC选手福利：近期培训直播安排 云栖青年https://bbs.aliyun.com/read/581232.html10分钟虚拟设备接入阿里云IoT平台实战 云栖机器人https://bbs.aliyun.com/read/581228.html 开发者论坛一周精粹最近5期↓↓↓ 论坛一周精粹(第四十四期)>Https://bbs.aliyun.com/read/579208.html 论坛一周精粹(第四十五期)>Https://bbs.aliyun.com/read/579210.html 论坛一周精粹(第四十六期)>Https://bbs.aliyun.com/read/579686.html 论坛一周精粹(第四十七期)>Https://bbs.aliyun.com/read/579852.html 论坛一周精粹(第四十八期)>Https://bbs.aliyun.com/read/581492.html 开发者论坛一周精粹历史汇总↓↓↓ https://bbs.aliyun.com/read/576572.html
2018-07-03

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-04-11 大小: 1MB 下载: 9次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-04-24 大小: 189MB 下载: 6次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册