HBASE+Solr实现详单查询-低调大师

HBASE+Solr实现详单查询

2017-10-01 641

背景

某电信项目中采用HBase来存储用户终端明细数据，供前台页面即时查询。HBase无可置疑拥有其优势，但其本身只对rowkey支持毫秒级的快速检索，对于多字段的组合查询却无能为力。针对HBase的多条件查询也有多种方案，但是这些方案要么太复杂，要么效率太低，本文只对基于Solr的HBase多条件查询方案进行测试和验证。

原理

基于Solr的HBase多条件查询原理很简单，将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引，通过Solr的多条件查询快速获得符合过滤条件的rowkey值，拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。

HBase与Solr系统架构设计

使用HBase搭建结构数据存储云，用来存储海量数据;使用SolrCloud集群用来搭建搜索引擎，将要查找的结构化数据的ID查找出来，只配置它存储ID。

wd代表用户write data写数据，从用户提交写数据请求wd1开始，经历wd2，写入MySQL数据库，或写入结构数据存储云中，wd3，提交到Solr集群中，从而依据业务需求创建索引。

rd代表用户read data读数据，从用户提交读数据请求rd1开始，经历rd2，直接读取MySQL中数据，或向Solr集群请求搜索服务，rd3，向Solr集群请求得到的搜索结果为ID，再向结构数据存储云中通过ID取出数据，最后返回给用户结果。

实现方法有两种

手工编码，直接用HBASE的API，可以参考下文：http://www.cnblogs.com/chenz/articles/3229997.html 可以使用HBASE/Solr的LUNA接口，就不用自己管理两者。

本文作者：朱洁

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/229613

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

AMAX发布基于OCP平台的CloudMax方案

本文讲的是<strong>AMAX发布基于OCP平台的CloudMax方案，</strong> AMAX中国成为国内首家具备OCP整体方案设计、生产能力于一体的解决方案提供商 AMAX于上月美国圣荷西举行的2014年开放计算峰会上面向全球客户同步发布基于开放计算项目（OCP）设计的CloudMax™数据中心及云计算解决方案。会上AMAX还于IO Data Centers，世界智能数据中心领导企业，同步发布了数据中心推荐设计方案。随着此次全球范围的产品发布，AMAX中国成为国内首家具备设计、生产及整体方案设计能力于一体的OCP解决方案提供商。通过两年来与OCP组织的积极合作和酝酿，AMAX此次推出的OCP整体解决方案集开源硬件、开源网络、以及开源云平台于一体，从真正意义上为企业用户及数据中心提供了开源、高效、低成本的完整组合。该方案的开源硬件部分除了固有的Winterfell计算节点和KNOX存储节点外，还包含最新的OCP标准SSD缓存计算节点、KNOX冷存储、以及ATOM平台的存储服务器，极大地丰富了硬件平台的选择和方案搭配。在网络部分AMAX开创性地采用基于...

2017-10-02

626

本文讲的是从IBM SCE+落地中国看IDC的转型，运营成本高、系统利用率低下、可用性不一致以及灵活性不佳都是云计算的关键推动因素。随着云计算的出现，IT部门有了新的选择，不仅可以降低成本，还能提高弹性和灵活性。虽然企业对按用量付费和合理精简这一观念产生了浓厚兴趣，但合规性和服务的重要性使他们只能将商品化程度最高的服务转移到公有云上。亚马逊在IaaS领域所获得的成功，也带动了国内传统IDC向云计算转型的第一波热潮，包括电信运营商在内的IDC厂商推出了大量的云主机、云存储等标准化云服务，来迎合IDC向云计算转型的第一波趋势。然而，对于企业来说，云主机、云存储等标准化云服务，并不能满足他们高可用性的需求，企业需要与传统IT架构具备同样效率甚至更高效率的云解决方案，来提供高度可靠的服务、合理精简的基础架构、响应迅速的操作模型、定制化的业务流程契合度。而对于以上需求，传统IDC能够解决的问题相对局限，公有云的实用性和匹配性也逐渐降低。传统互联网数据中心的第二波转型正是按照企业的需求应运而生。这也是IBM SCE+落地中国的需求基础。IBM SCE+本土的合作伙伴选择了世纪互联，中国最大的第三方...

2017-10-02

495

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。