首页 文章 精选 留言 我的

精选列表

搜索[自然语言生成],共10009篇文章
优秀的个人博客,低调大师

Jcseg 2.4.0 发布,Java 轻量级开源自然语言处理包

Jcseg是基于mmseg算法的一个轻量级中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同时提供了最新版本的lucene,solr和elasticsearch的分词接口! Jcseg 2.4.0更新如下: 1,修复时间组合实体识别的bug,有时候会出现错误组合的情况。 2,优化NLP模式的时间实体的识别,区分组合时间,例如:"米"实体为"length.m","3米"为"nuc_length.m"。 长度单位/null 米/n/length.m ,/w/null 例如/d/null 这/r/null 根/q/null 线/q/null 长/d/null 3米/q/nuc_length.m 3,依据百度的汉语数据修复词条中的部分拼音错误:https://gitee.com/lionsoul/jcseg/commit/4f08a01ea94828e4c4ac585a744b4755f33c8c4b 4,修复中文数字转阿拉伯数字后词条的offset错误。 5,依据百度的汉语数据修复词条中的部分拼音错误:https://gitee.com/lionsoul/jcseg/commit/3de95015056a7ea683c5955faef891fa68af36b5 6,修改Elasticsearch的资源访问为官网建议的安全资源访问形式,意味着es插件不需要再grant privileges。 7,Elasticsearch插件中增加插件级别的单例词库创建接口并且使用安全方式加载词库。 8,修改jcseg-server中的jetty版本为:9.3.24.v20180605 9,jcseg-server.properties配置文件增加自定义host支持,便于外网访问。 10,修复maven编译中的全部javadoc报错。 11,README中增加了jcseg的使用案例和链接,以及微信和QQ沟通账号。 下载地址: Gitee:https://gitee.com/lionsoul/jcseg/tree/v2.4.0-release Github:https://github.com/lionsoul2014/jcseg/releases/tag/v2.4.0-release maven仓库地址: <dependency> <groupId>org.lionsoul</groupId> <artifactId>jcseg-core</artifactId> <version>2.4.0</version> </dependency> 本文来自云栖社区合作伙伴“开源中国” 本文作者:狮子的魂 原文链接

优秀的个人博客,低调大师

面向机器学习的自然语言标注2.3 整合数据集

2.3 整合数据集 我们已经讨论整合数据集时需要考虑的一些问题:标注任务的范围、已有语料库是否含有对你有用的文档与标注信息、数据来源的多样化。 如果你计划将你的数据集公开,请确定你已经拥有对所标注信息向第三方重新发布的许可。有时可以仅发布独立的标注信息和从网站上收集数据的代码段,但最佳且最简单的方式是直接向内容提供者申请许可,尤其是当语料库和标注信息将用于商业而不是纯粹的教育目的时。 语料库构建指南 语料库语言学家John Sinclair(约翰·辛克莱尔)就构建语言学语料库提出了一些指南。尽管这些指南主要针对设计以语言现象研究为目的的语料库,但它们对任何构建语料库感兴趣的人都会有所帮助。论文全文可从http://www.ahds.ac.uk/creating/guides/linguistic-corpora/chapter1.htm下

优秀的个人博客,低调大师

docker生成tomcat镜像

应用场景 有时候docker公共镜像库中下载下来的镜像,可能不是自己想要的,没办法,自己也可以制作一个自己想要的镜像,然后发布到公共资源镜像中,也可以保存到私有仓库中,以防后期自己也需要使用。 操作步骤 试验环境为:windows7系统,内存8G,固态硬盘120G,硬盘450G,ip为192.168.117.66,在windows7系统上,安装VMware,创建两个虚拟机,安装centos7.1系统,两个虚拟机内存2G,硬盘30G,ip分别为192.168.199.31(docker1),192.168.199.32(docker2)。 在此试验中,只需要一个虚拟机就ok了,在此取192.168.199.32(docker2),在虚拟机上配置网络,安装docker。 1. 下载镜像 在docker部署tomcat应用试验中,需要下载一个虚拟机镜像,可以是ubuntu、centos、redhat,这里选取centos。 先搜索,centos有哪些镜像: # docker search centos 下载星级最多排名第一的docker镜像: # docker pull docker.io/centos 注:如果根据前面文档,配置了加速器,命令改为dao pull docker.io/centos,可能会出现网络问题,一次不能成功,多尝试几次。 查看下载的镜像: # docker images 可以看出一个centos镜像只有172.3M,完全不像centos虚拟机有几个G,镜像非常小巧,现在下载完镜像,可以使用镜像,启动容器了。此时记住镜像ID为ce20c473cd8a。 2. 启动容器 容器是在镜像的基础上来运行的,一旦容器启动了,我们就可以登录到容器中,安装自己所需的软件或应用程序。既然镜像已经下载到本地,那么如何才能启动容器呢? 只需使用以下命令即可启动容器: # docker run -i -t -v /root/software/:/mnt/software/ ce20c473cd8a /bin/bash 这条命令比较长,我们稍微分解一下,其实包含以下三个部分: docker run <相关参数> <镜像ID> <初始命令> 其中,相关参数包括: -i:表示以“交互模式”运行容器 -t:表示容器启动后会进入其命令行 -v:表示需要将本地哪个目录挂载到容器中,格式:-v <宿主机目录>:<容器目录> 假设我们的所有安装程序都放在了宿主机的/root/software/目录下,现在需要将其挂载到容器的/mnt/software/目录下。 在这其中挂载,书面的解释是数据卷,通俗的来说就是宿主机的/root/software/目录下的文件,文件夹,在容器的/mnt/software/目录下都能显示,并且实时更新。 需要说明的是,不一定要使用“镜像 ID”,也可以使用“仓库名:标签名”,例如:docker.cn/docker/centos:centos,这只是描述一下,这里对应的就是centos。 初始命令表示一旦容器启动,需要运行的命令,此时使用“/bin/bash”,表示什么也不做,只需进入命令行即可。 3. 安装相关软件 为了搭建 Java Web 运行环境,我们需要安装 JDK 与 Tomcat,下面的过程均在容器内部进行。我们不妨选择/opt/目录作为安装软件的目录,首先需要通过cd /opt/命令进入该目录。 在安装之前,我们需要把JDK安装包和Tomcat安装包,分别拷贝到虚拟机的/root/software/目录下,没有software文件夹的自行创建。 3.1 安装 JDK 首先,此时已在容器的/opt/目录下,解压 JDK 程序包: # tar -xzvf /mnt/software/jdk-7u79-linux-x64.tar.gz 然后,重命名 JDK 目录: # mv /mnt/software/jdk1.7.0_79/ jdk/ 3.2 安装 Tomcat 首先,解压 Tomcat 程序包: 把我们的应用放到tomcat目录下的,webapps目录中。这里,采用了以前本地的一个应用。 然后,重命名 Tomcat 目录: # mv /mnt/software/apache-tomcat-7.0.57_Linux_64bit/ tomcat/ 3.3 设置环境变量 首先,编辑.bashrc文件 # vi ~/.bashrc 然后,在该文件末尾添加如下配置: export JAVA_HOME=/opt/jdk export PATH=$PATH:$JAVA_HOME 最后,需要使用source命令,让环境变量生效: # source ~/.bashrc 3.4 编写运行脚本 我们需要编写一个运行脚本,当启动容器时,运行该脚本,启动 Tomcat,具体过程如下: 首先,创建运行脚本: # vi /root/run.sh 然后,编辑脚本内容如下: #!/bin/bash source ~/.bashrc sh /opt/tomcat/bin/catalina.sh run 注意:这里必须先加载环境变量,然后使用 Tomcat 的运行脚本来启动 Tomcat 服务,并且必须采用catalina.sh启动,如果用startup.sh启动,容器退出后tomcat会停掉。 最后,为运行脚本添加执行权限: # chmod u+x /root/run.sh 4. 退出容器 当以上步骤全部完成后,可使用exit命令,或者按ctrl+D退出容器。 随后,可使用如下命令查看正在运行的容器: # docker ps 此时,您应该看不到任何正在运行的程序,因为刚才已经使用exit命令退出的容器,此时容器处于停止状态,可使用如下命令查看所有容器: # docker ps -a 输出如下内容: 记住以上CONTAINER ID(容器 ID),随后我们将通过该容器,创建一个可运行 Java Web 的镜像。从上图中可以看出,此处容器ID为b4856714dc81。 5. 创建Java Web镜像 使用以下命令,根据某个“容器 ID”来创建一个新的“镜像”: # docker commit b4856714dc81 xubin/javaweb:03 该容器的 ID 是“b4856714dc81”,所创建的镜像名是“xubin/javaweb:03”,随后可使用镜像来启动 Java Web 容器。 6. 启动Java Web容器 可以使用docker images命令,查看当前所有的镜像,此时可以看到最新创建的镜像“xubin/javaweb:03”,当然也可以观察它的镜像ID。正如上面所描述的那样,我们可以通过“镜像名”或“镜像 ID”来启动容器,与上次启动容器不同的是,我们现在不再进入容器的命令行,而是直接启动容器内部的 Tomcat 服务。此时,需要使用以下命令: # docker run -d -p 8083:8080 --name javaweb3 xubin/javaweb:03 /root/run.sh 稍作解释: -d:表示以“守护模式”执行/root/run.sh脚本,此时 Tomcat 控制台不会出现在输出终端上。 -p:表示宿主机与容器的端口映射,此时将容器内部的 8080 端口映射为宿主机的 8083 端口,这样就向外界暴露了 8083 端口,可通过 Docker 网桥来访问容器内部的 8080 端口了。 –name:表示容器名称,用一个有意义的名称命名即可。 关于 Docker 网桥的内容,需要补充说明一下。实际上 Docker 在宿主机与容器之间,搭建了一座网络通信的桥梁,我们可通过宿主机 IP 地址与端口号来映射容器内部的 IP 地址与端口号, 在一系列参数后面的是“镜像名”或“镜像 ID”,怎么方便就怎么来。最后是“初始命令”,它是上面编写的运行脚本,里面封装了加载环境变量并启动 Tomcat 服务的命令。 当运行以上命令后,会立即输出一长串“容器 ID”,我们可通过docker ps命令来查看当前正在运行的容器。如下如所示: 在浏览器中,输入以下地址,即可访问应用: http://192.168.199.32:8083/BBS/article.jsp/ 注意:这里使用的是宿主机的 IP 地址,与对外暴露的端口号 8083,它映射容器内部的端口号 8080。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册