xmnlp —— 轻量级中文自然语言处理工具

2022-03-11 1068

xmnlp 是一个轻量级中文自然语言处理工具，提供中文分词, 词性标注, 命名体识别，情感分析，文本纠错，文本转拼音，文本摘要，偏旁部首等功能。

功能概览

中文简体词法分析 (RoBERTa + CRF finetune)
- 分词
- 词性标注
- 命名体识别
中文拼写检查 (Detector + Corrector SpellCheck)
文本摘要 & 关键词提取 (Textrank)
情感分析 (RoBERTa finetune)
文本转拼音 (Trie)
汉字偏旁部首 (HashMap)

安装

1. 安装库

方式 1

安装最新版 xmnlp

pip install -U xmnlp

国内用户可以加一下 index-url

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -U xmnlp

方式 2

git clone https://github.com/SeanLee97/xmnlp.git
cd /path/to/xmnlp
pip install -r requirements.txt
python setup.py install

2. 下载模型

下载地址

请下载 xmnlp 对应版本的模型，如果不清楚 xmnlp 的版本，可以执行python -c 'import xmnlp; print(xmnlp.__version__)' 查看版本

模型名称	适用版本	下载地址
xmnlp-onnx-models-v3.zip	v0.3.2	飞书 [o4bA] \| 百度网盘 [9g7e]

* 模型已切换至 onnx，先前 tensorflow 模型已不可用，请下载最新版本模型

* 如果下载地址失效了，烦请提 issue 反馈

模型设置

提供两种设置方式

方式 1：配置环境变量（推荐）

下载好的模型解压后，可以设置环境变量指定模型地址。以 Linux 系统为例，设置如下

export XMNLP_MODEL=/path/to/xmnlp-models

方式 2：通过函数设置

在调用 xmnlp 前设置模型地址，如下

import xmnlp

xmnlp.set_model('/path/to/xmnlp-models')

* 上述 /path/to/ 只是占位用的，配置时请替换成模型真实的目录地址。

微信关注我们

原文链接：https://www.oschina.net/p/xmnlp

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

每日一博 | 云原生时代的 Java 应用优化实践

Java从诞生至今已经走过了26年，在这26年的时间里，Java应用从未停下脚步，从最开始的单机版到web应用再到现在的微服务应用，依靠其强大的生态，它仍然占据着当今语言之争的“天下第一”的宝座。但在如今的云原生serverless时代，Java应用却遭遇到了前所未有的挑战。在云原生时代，云原生技术利用各种公有云、私有云和混合云等新型动态环境，构建和运行可弹性扩展的应用。而我们应用也越来越呈现出以下特点：基于容器镜像构建 Java诞生之初，靠着“一次编译，到处运行”的口号，以语言层虚拟化的方式，在那个操作系统平台尚不统一的年代，建立起了优势。但如今步入云原生时代，以Docker为首的容器技术同样提出了“一次构建，到处运行”的口号，通过操作系统虚拟化的方式，为应用程序提供了环境兼容性和平台无关性。因此，在云原生时代的今天，Java“一次编译，到处运行”的优势，已经被容器技术大幅度地削弱，不再是大多数服务端开发者技术选型的主要考虑因素了。此外，因为是基于镜像，云原生时代对镜像大小可以说是十分敏感，而包含了JDK的Java应用动辄几百兆的镜像大小，无疑是越来越不符合时代的要求。生命周期...

2022-03-12

528

2002 年 3 月 11 日， Arch Linux 发布了 0.1 (Homer) 版本，距离第一个版本至今已满 20 周岁。第一版的发布页面对 Arch Linux 作出如下介绍： Arch Linux 是一个 i686 优化的 Linux 发行版，基于 CRUX 的想法，由 Per Lidén 开发的出色的 Linux 发行版。它是轻量级的，包含最新的稳定版本的软件，它的包为 .tar.gz 格式，并由包管理器跟踪，该包管理器旨在允许轻松升级包。与其他一些发行版相比，Arch 非常精简，不会保留一些相对不常用的东西）。默认的 Arch 安装提供了坚实的基础；您可以添加包来创建您正在寻找的自定义安装。 Arch 有一个包构建系统，允许您轻松创建自己的包，这使得使用自己的自定义配置重新构建包变得非常容易。 Arch 还旨在使用 linux 用户可用的较新功能，例如 reiserfs/ext3 和 devfs。 20 年过去了，Arch Linux 仍在坚持它的特色：它只保留了一些重要软件，因此系统非常精简；此外，Arch Linux 从安装到管理的所有内容都由用户自己定制，...

2022-03-12

512

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。