如何在java中去除中文文本的停用词-低调大师

如何在java中去除中文文本的停用词

2019-04-28 705

1. 整体思路

第一步：先将中文文本进行分词，这里使用的HanLP-汉语言处理包进行中文文本分词。

第二步：使用停用词表，去除分好的词中的停用词。

2. 中文文本分词环境配置

使用的HanLP-汉语言处理包进行中文文本分词。

·HanLP-汉语言处理包下载，可以去github上下载

·HanLP 的环境配置有两种方式：方式一、Maven；方式二、下载jar、data、hanlp.properties。

·官方环境配置步骤也可以在github上查询到。

·环境配置好后，java使用HanLP进行中文分词文档如下：hanlp.linrunsoft.com/doc.html

3. 下载停用词表

停用词表可以去百度或者其他搜索引擎检索一份，很容易就找到！

4. 去除停用词工具类

使用这个工具类的之前，请先完成中文文本分词环境配置，并测试一下。停用词 .txt 文件路径请修改为自己的本地路径。

5. 工具类测试

5.1 测试代码

public class test {

public static void main(String args[]) {

try {

System.out.println(FormatUtil.RemovalOfStopWords("床前明月光，疑是地上霜。举头望明月，低头思故乡。"));

} catch (IOException e) {

e.printStackTrace();

}

5.2 测试结果

微信关注我们

原文链接：https://yq.aliyun.com/articles/700614

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

JS常用正则表达式备忘录

摘要：玩转正则表达式。原文：JS常用正则表达式备忘录作者：前端小智 Fundebug经授权转载，版权归原作者所有。正则表达式或“regex”用于匹配字符串的各个部分下面是我创建正则表达式的备忘单。匹配正则使用 .test() 方法 let testString = "My test string"; let testRegex = /string/; testRegex.test(testString); 匹配多个模式使用操作符号 | const regex = /yes|no|maybe/; 忽略大小写使用i标志表示忽略大小写 const caseInsensitiveRegex = /ignore case/i; const testString = 'We use the i flag to iGnOrE CasE'; caseInsensitiveRegex.test(testString); // true 提取变量的第一个匹配项使用 .match() 方法 const match = "Hello World!".match(/hello/i); // ...

2019-04-29

509

1. 500px摄影师社区-写在前面今天要抓取的网站为 https://500px.me/ ，这是一个摄影社区，在一个摄影社区里面本来应该爬取的是图片信息，可是我发现好像也没啥有意思的，忽然觉得爬取一下这个网站的摄影师更好玩一些，所以就有了这篇文章的由来。基于上面的目的，我找了了一个不错的页面 https://500px.me/community/search/user 不过细细分析之后，发现这个页面并不能抓取到尽可能多的用户，因为下拉一段时间，就不能继续了，十分糟心，难道我止步于此了么，显然不可能的，一番的努力之后(大概废了1分钟吧)，我找到了突破口，任意打开一个用户的个人中心页，就是点击上述链接的任意用户头像，出现如下操作。用户个人中心页面，竟然有关注列表唉~~，nice啊，这个好爬啊，F12分析一下。哒哒哒，数据得到了。URL是 https://500px.me/community/res/relation/4f7fe110d4e0b8a1fae0632b2358c8898/follow?startTime=&page=1&size=10&type...

2019-04-29

614

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。