首页 文章 精选 留言 我的

精选列表

搜索[nlp],共1770篇文章
优秀的个人博客,低调大师

ideaseg 1.1 发布,基于 NLP 的中文分词器

ideaseg 1.1 刚刚发布,该版本主要增加了支持多语种混合内容的分词功能,ideaseg 分词器能识别文本内容中存在的不同语言的内容,分别使用不同的分词器进行处理,提升分词的准确度。 使用方法: POST _analyze { "analyzer": "ideaseg_multilang", "text": "你好我是中国人,,,,,,,дравствуйте я китаец,Hello word girls,早上好" } 你可以通过https://gitee.com/indexea/ideaseg/tree/v1.1/获取该版本源码进行构建。 ideaseg 是 Indexea 推出的一个基于最新的 HanLP 自然语言处理工具包实现的中文分词器, 包含了最新的模型数据,同时移除了 HanLP 所包含的非商业友好许可的 NeuralNetworkParser 相关代码和数据。 HanLP 相比其他诸如 IK、jcseg 等分词器而言,在分词的准确率上有巨大的提升,但速度上有所牺牲。 通过对 HanLP 进行优化配置,ideaseg 在准确度和分词速度上取得了最佳的平衡。 详细的介绍和使用方法请看https://gitee.com/indexea/ideaseg。

优秀的个人博客,低调大师

每日一博 | DeepWalk:图网络与 NLP 的巧妙融合

作者 | kaiyuan 整理 | NewBeeNLP公众号 最近这段时间一直在做图网络相关,也差不多收尾了,有空整体复盘了下,大致以下几个主题,不过没整理完全哈哈(下次一定) 顺手再安利几份资料吧 斯坦福的CS224W课程 清华大学唐杰老师的很多分享 清华大学 thunlp/GNNPapers 一些大佬们的新书:《Graph Representation Learning》、《Deep Learning on Graphs》 等等 ok,回到正题,今天要介绍的这篇是『Graph Embedding』系列第一篇,十分经典 论文:DeepWalk: Online Learning of Social Representations [1] 代码:https://github.com/phanein/deepwalk enjoy~ TL;DR DeepWalk是首次将深度学习技术(无监督学习)引入到网络分析(network analysis)中的工作,它的输入是一个图,最终目标就是获得网络图中每个结点的向量表示 。毕竟万物皆可向量,得到向量之后能做的事情就非常多了。如下所示是论文中给出的Karate network例子。 先验知识 说到生成向量表示,最有名的莫过于Word2Vec了,那么是不是可以将network embedding的问题转化为熟悉的word embedding形式呢?这样我们就可以借用word2vec的思想来解决了。 转化的方式就是Random Walk ,通过这种方式将图结构表示为一个个序列,然后我们就可以把这些序列当成一个个句子,每个序列中的结点就是句子中的单词。 简单的说,DeepWalk = RandomWalk + SikpGram, 下面我们来具体介绍下两种技术。 Random Walk 随机游走,顾名思义,就是从输入图中的任意一个结点 开始,随机选取与其邻接的下一个结点,直至达到给定长度 , 生成的序列 。在论文中,对于每一个顶点 , 都会随机游走出 条序列。 采用随机游走有两个好处: 「利于并行化」:随机游走可以同时从不同的顶点开始采样,加快整个大图的处理速度; 「较强适应性」:可以适应网络局部的变化; Skip Gram word2vec的skip-gram相信大家都非常熟悉了,这里就不再赘述,放一张图。 DeepWalk 结合上面两点, deepwalk其实就是首先利用random walk来表示图结构,然后利用skip-gram模型来更新学习节点表示。算法流程如下所示: 算法有两层循环,第一层循环采样 条路径,第二层循环遍历图中的所有结点随机采样一条路径并利用skip-gram模型进行参数更新。 其中第2步构建二叉树的目的是为了方便后续 SkipGram模型的层次softmax算法。 参数更新的流程如下: 一个小结 deepwalk可以说给网络学习方向打开了一个新思路,有很多优点: 支持数据稀疏场景 支持大规模场景(并行化) 但是仍然存在许多不足: 游走是完全随机的,但其实是不符合真实的社交网络的; 未考虑有向图、带权图 本文参考资料 [1]DeepWalk: Online Learning of Social Representations: https://arxiv.org/abs/1403.6652 -END- Graph-Bert:没有我Attention解决不了的 2020-08-17 ACL2020 | 什么时候值得用BERT上下文嵌入 2020-08-07 ICML2020研究趋势 2020-07-27 记得把NewBeeNLP设为星标哦 等你在看 本文分享自微信公众号 - NewBeeNLP(NewBeeNLP)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

优秀的个人博客,低调大师

NLPIR数据挖掘是AI技术在NLP上的应用

随着信息产业的迅猛快速的发展以及Internet/Web技术的快速普及,使海量数据不断产生。随之而来的问题是如此多的数据让人难以消化,无法从表面上看出他们所蕴涵的有用信息,从而不能有效地进行分析处理。 数据是进行信息化处理的基础,从数据中获取重要信息并将其转化为实际的生产和应用效果变得越来越广泛,也推动着社会生产和市场经济的快速发展。尽管现代的数据库技术已经相当优秀能够使我们使我们很容易的存储大量的数据流,但还没有一种成熟的技术帮助我们分析、理解并使数据以可理解的信息表示出来。以往,我们通常由知识工程师把专家经验知识经过分析、筛选、比较、综合、再提取出知识和规则来获取有用信息。但由于专家所拥有知识的有局限性,所以对于获取的信息是否完全表达了数据本身还不是很确定。传统的知识获取技术已经无法满足巨型数据仓库,数据挖掘技术就应运而生。 数据的迅速增加与数据分析方法的滞后之间的矛盾越来越突出,人们希望在对已有的大量数据分析的基础上进行科学研究、商业决策或者企业管理,但是目前所拥有的数据分析工具很难对数据进行深层次的处理,使得人们只能望“数”兴叹。数据挖掘正是为了解决传统分析方法的不足,并针对大规模数据的分析处理而出现的。 数据挖掘通过在大量数据的基础上对各种学习算法的训练,得到数据对象间的关系模式,这些模式反映了数据的内在特性,是对数据包含信息的更高层次的抽象。目前,在需要处理大数据量的科研领域中,数据挖掘受到越来越多的关注,同时,在实际问题中,大量成功运用数据挖掘的实例说明了数据挖掘对科学研究具有很大的促进作用。数据挖掘可以帮助人们对大规模数据进行高效的分析处理,以节约时间,将更多的精力投入到更高层的研究中,从而提高科研工作的效率。 数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。 NLPIR大数据语义智能分析平台平台根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。15年专业研究与工程积累,提供应用软件及各平台下的二次开发包。提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成,各个中间件API可以无缝地融合到客户的各类复杂应用系统之中。 NLPIR能够全方位多角度满足应用者对大数据文本的处理需求,包括大数据完整的技术链条:网络采集、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。 中文数据挖掘技术应时代的要求应运而生,在很大程度上满足了人们对自然语言处理的需要,解决了人和计算机交流中的一些障碍;但中文数据挖掘技术也存在很多困难,NLPIR大数据语义智能技术将对中文数据挖掘技术进行深入研究,必将提供出高质量、多功能的中文数据挖掘算法并促进自然语言理解系统的广泛应用。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

用户登录
用户注册