Nutla-全文检索千亿数据检索框架-低调大师

Nutla-全文检索千亿数据检索框架

2017-11-13 549

全文检索千亿数据检索框架-nutla

参考资料：http://code.google.com/p/nutla/

核心结构： lucene + hadoop 分布式搜索运行框架
概述
不管程序性能有多高，机器处理能力有多强，都会有其极限。能够快速方便的横向与纵向扩展是Nut设计最重要的原则，以此原则形成以分布式并行计算为核心的架构设计。以分布式并行计算为核心的架构设计是Nut区别于Solr、Katta的地方。

Nut是一个Lucene+Hadoop分布式并行计算搜索框架，能对千G以上索引提供7*24小时搜索服务。在服务器资源足够的情况下能达到每秒处理100万次的搜索请求。 Nut开发环境：jdk1.6.0.23+lucene3.0.3+eclipse3.6.1+hadoop0.20.2+zookeeper3.3.2+hbase0.20.6+memcached+mongodb+linux
特新
a、热插拔 b、可扩展 c、高负载 d、易使用,与现有项目无缝集成 e、支持排序 f、7*24服务 g、失败转移
搜索流程 Nut由Index、Search、Client、Cache和DB五部分构成。(Cache实现了对memcached的支持,DB实现了对hbase,mongodb的支持) Client处理用户请求和对搜索结果排序。Search对请求进行搜索，Search上只放索引，数据存储在DB中，Nut将索引和存储分离。Cache缓存的是搜索条件和结果文档id。DB存储着数据，Client根据搜索排序结果,取出当前页中的文档id从DB上读取数据。
用户发起搜索请求给由Nut Client构成的集群，由某个Nut Client根据搜索条件查询Cache服务器是否有该缓存，如果有缓存根据缓存的文档id直接从DB读取数据，如果没有缓存将随机选择一组搜索服务器组(Search Group i),将查询条件同时发给该组搜索服务器组里的n台搜索服务器，搜索服务器将搜索结果返回给Nut Client由其排序，取出当前页文档id，将搜索条件和当前文档id缓存，同时从DB读取数据。
索引流程 Hadoop Mapper/Reducer 建立索引。再将索引从HDFS分发到各个索引服务器。对索引的更新分为两种：删除和添加（更新分解为删除和添加）。 a、删除在HDFS上删除索引，将生成的.del文件分发到所有的索引服务器上去或者对HDFS索引目录删除索引再分发到对应的索引服务器上去。 b、添加新添加的数据用另一台服务器来生成。删除和添加步骤可按不同定时策略来实现。
Nut分布式并行计算特点 Nut分布式并行计算虽然也是基于M/R模型，但是与Hadoop M/R模型是不同的。在Hadoop M/R模型中 Mapper和Reducer是一个完整的流程，Reducer依赖于Mapper。数据源通过Mapper分发本身就会消耗大量的I/O，并且是消耗I/O最大的部分。所以Hadoop M/R 并发是有限的。 Nut M/R模型是将Mapper和Reducer分离，各自独立存在。在Nut中索引以及索引管理构成M,搜索以及搜索服务器组构成 R。以一个分类统计来说明Nut分布式并行计算的流程。假设有10个分类，对任意关键词搜索要求统计出该关键词在这10个分类中的总数。同时假设有10组搜索服务器。索引以及索引管理进行索引数据的Mapper，这块是后台独自运行管理的。Nut Client将这10个分类统计分发到10组搜索服务器上，每组搜索服务器对其中一个分类进行Reducer，并且每组搜索服务器可进行多级Reducer。最后将最终结果返回给Nut Client。
Zookeeper服务器状态管理策略
在架构设计上通过使用多组搜索服务器可以支持每秒处理100万个搜索请求。每组搜索服务器能处理的搜索请求数在1万—1万5千之间。如果使用100组搜索服务器，理论上每秒可处理100万个搜索请求。

假如每组搜索服务器有100份索引放在100台正在运行中搜索服务器(run)上，那么将索引按照如下的方式放在备用中搜索服务器(bak)上：index 1,index 2,index 3,index 4,index 5,index 6,index 7,index 8,index 9,index 10放在B 1 上，index 6,index 7,index 8,index 9,index 10,index 11,index 12,index 13,index 14,index 15放在B 2上。。。。。。index 96,index 97,index 98,index 99,index 100,index 5,index 4,index 3,index 2,index 1放在最后一台备用搜索服务器上。那么每份索引会存在3台机器中（1份正在运行中，2份备份中）。尽管这样设计每份索引会存在3台机器中，仍然不是绝对安全的。假如运行中的index 1,index 2,index 3同时宕机的话，那么就会有一份索引搜索服务无法正确启用。这样设计，作者认为是在安全性和机器资源两者之间一个比较适合的方案。

备用中的搜索服务器会定时检查运行中搜索服务器的状态。一旦发现与自己索引对应的服务器宕机就会向lock申请分布式锁，得到分布式锁的服务器就将自己加入到运行中搜索服务器组，同时从备用搜索服务器组中删除自己，并停止运行中搜索服务器检查服务。

为能够更快速的得到搜索结果，设计上将搜索服务器分优先等级。通常是将最新的数据放在一台或几台内存搜索服务器上。通常情况下前几页数据能在这几台搜索服务器里搜索到。如果在这几台搜索服务器上没有数据时再向其他旧数据搜索服务器上搜索。优先搜索等级的逻辑是这样的：9最大为搜索全部服务器并且9不能作为level标识。当搜索等级level为1，搜索优先级为1的服务器，当level为2时搜索优先级为1和2的服务器，依此类推。

来源网址：http://blog.csdn.net/yjflinchong/article/details/8158024

lucene + hadoop 分布式搜索引擎——nutla

本文转自yjflinchong 51CTO博客，原文链接：http://blog.51cto.com/yjflinchong/1164938，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/526286

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从传统运维到云运维演进历程之软件定义存储（五）上

数据资料是整个系统运作的核心，而人为或非人为引起的数据丢失将对的企业造成无法估量的影响。因此系统管理员都会考虑通过数据备份手段对业务数据进行保护。但在现在云数据中心的兴起带来的是海量数据被集中起来。相较于传统备份行业常见的小容量（小于500GB）RTO、RPO敏感型场景，在云数据中心带来的挑战下完全无法作到有效保护。关卡五：PB级数据中心灾备设计关卡上画难度：四颗星传统的备份方式通常面向应用来做保护，依靠代理来调用应用端的接口。数据一致性能得到完全的保证。但传统备份由于要建立索引表，面对海量小文件时或者是云计算中心的PB级数据量时无论是备份速度还是存储效率都及其有限。而且从安全性的角度来说，仅仅通过在数据的生产端做到数据的备份尚无法为客户也提供有效保护。对于一些关键业务系统（比如：网上交易系统、医疗数据）而言，数据资料是整个系统运作的核心。一旦由于系统硬件的功能失效，存储介质的老化损坏，人为的错误操作，以及各种难以预料的外界因素导致数据意外丢失或损坏，那么将会对于业务造成无法估量的影响。为避免这种情况，一般通过在本地异地都一份完全副本来做到数据的有效恢复或数据的实时可用。本文简...

2017-11-14

585

在架构语言ArchiMate － ArchiMate提供的基本视角（Viewpoints）介绍一中介绍了前半部分ArchiMate视角，本篇将继续说明一下剩下的部分。基础设施视角（Infrastructure Viewpoint）基础设施视角包含支持应用层的软件和硬件基础设施元素，例如物理设备、网络或者系统软件（操作系统、数据库和中间件）描述 Infrastructure Viewpoint Stakeholders Infrastructure architects, operational managers Concerns Stability, security, dependencies, costs of the infrastructure Purpose Designing Abstraction Level Details Layer Technology layer Aspects Behavior, structure 概念和关系示例基础设施使用视角（Infrastructure Usage Viewpoint）基础设施使用视角现实软件和硬件基础设施如何...

2017-11-14

859

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。