深入浅出jackrabbit之十五文档提取优化2.docx-低调大师

深入浅出jackrabbit之十五文档提取优化2.docx

2016-03-27 744

/**
*author:ahuaxuan
*2009-10-22
*/

在上一篇文章中，我们讲到为什么要优化jackrabbit中的文档提取，同时也分析了进程模型和线程模型在分布式文档提取中的优劣。

在本文中，ahuaxuan将会介绍分布式文档提取的架构模型，以及它在整个非结构化数据库中的地位。第二部分ahuaxuan将介绍几个用来提取文本的工具，然后将这些工具用在分布式文档提取中，以减轻jackrabbit的负担，从这个角度看，本文是对上文的补充，这样从原因，到解决方案，以及所用到的技术工具基本上都涉及到了。

一，分布式文档提取系统的结构模型。
首先来看一张文档提取系统部署的结构模型：

从上面一张图中可以看出每台lighttpd下面都挂着很多的flup, 之前我们讲过，文档提取系统是cpu密集型应用，而非io密集型应用，所以这里不用担心client->lighttpd->fastcgi这部分流程会出现瓶颈。

从进程模型上，我们可以得到另外一张图：

这个图表示，当一个提取任务发过来的时候， lighttpd会把请求交给flup处理，而flup会将这个任务分给一个子进程。这个子进程中有一些其他的字符串，比如catdoc, catppt等等，在文章的后半部分会介绍这些工具的作用。

而上面这张图是分布式文档提取系统在整个系统层次上的位置，其实它的主要功能就是分离计算，在下面这张图中，我们可以看到，index, extraction这样的高消耗cpu和内存的操作都从jackrabbit群组中分离出去了，将这些高消耗性能的非数值计算分离出去可以有效的提高主应用程序的稳定性和扩展性。

看过这三幅图之后，相信大家对分布式文档提取的在整套系统中的地位已经有了一定的了解。下面我们来看看一些常见的文档提取工具。

Xpdf(GNU General Public License (GPL), version2)
Xpdf是用来提取pdf中text的工具

pyPdf(modified BSD license)
pyPdf用来提取pdf中text的工具

Htmllib
用来提取html中的文本

UnRtf(GNU)
用来其他RTF文件中的文本

pyRtf(GPL & LGPL)
pyRTF目前只支持生成rtf文件

Catdoc(GNU Public License)
用来提取word2003的文本

Catppt(GNU Public License)
用来提取ppt2003中的文本

Xls2csv(GNU Public License)
将xls转成csv, 而csv其实就是纯文本，对于做索引来说csv和纯文本基本没有区别

others for 2003
还有就是一些收费的，就不帮他们做广告了

openxmllib(lxml)
GNU General Public License, Version 2.0 (GPL).
Openxmllib是用来提取office2007中word, excel, ppt中的纯文本的，不过需要注意的是它有一个缺陷，它提取出来的文本是无序的，也就是句子的顺序会被打乱，如果你只是做索引，那么这个特性对你来说没有影响，但是如果你想把提取之后的文档保存起来，以后作高亮只用，那么就必须扩展一下openxmllib，还好它比较简单，ahuxuan只用了个把小时就完成了改造。

说到这里分布式文档提取也就基本结束了，当然ahuaxuan并没有把一些细节全盘托出，因为考虑到在完成这项改造之前，同学们必须了解jackrabbit已有的文档提取逻辑，而如果已经了解了那些逻辑，那么我也没有必要将这些细节全盘托出了。阿弥陀佛。

微信关注我们

原文链接：https://yq.aliyun.com/articles/11063

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hbase shell 常用命令1

下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count '表名称' 删除记录 delete '表名' ,'行名称' , '列名称' 删除一张表先要屏蔽该表，才能对该表进行删除，第一步 disable '表名称' 第二步 drop '表名称' 查看所有记录 scan "表名称" 查看某个表某个列中所有数据 scan "表名称" , ['列名称:'] 更新记录就是重写一遍进行覆盖下面是一些常见命令的说明，在hbaseshell中输入help的帮助信息，在本文中，我们先介绍前3个，后面2个，将在下一篇博文中介绍。点击(此处)折叠或打开输入help,查看命令帮助 hbase(main):001:0> help HBase Shell, version 1.2.0, r25b281972d...

2016-03-26

726

同df命令一样，du命令也是Linux中磁盘管理常用的三个命令之一，它的主要作用就是对指定文件或目录磁盘使用的空间的查看，如果没有指定，则默认为对当前路径磁盘使用的空间的查看。这一点还是同df命令有一定区别的。作用：对指定文件或目录磁盘使用的空间的查看语法 du [-ahsSkm] 文件或目录名称示例当前路径为/opt/storm/examples 执行du命令 du命令显示的是当前路径下个目录磁盘使用情况，.表示当前路径占用磁盘总大小。参数解释： -a ：列出所有的文件与目录容量，因为默认仅统计目录底下的文件量而已。 -h ：以人们较易读的容量格式 (G/M) 显示； -s ：列出总量而已，而不列出每个各别的目录占用容量； -S ：不包括子目录下的总计，与 -s 有点差别。 -k ：以 KBytes 列出容量显示； -m ：以 MBytes 列出容量显示。示例 du -a du -h du -sh ...

2016-03-27

634

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。