Hbase 学习（八）使用MapReduce&华为二级索引（原理）-低调大师

Hbase 学习（八）使用MapReduce&华为二级索引（原理）

2016-09-08 664

在hbase的demo里面有个IndexBuilder的例子，它就是使用了MapReduce来操作hbase的，例子也比较简单，但是只包括了Mapper。

另外网上还有另外一个例子，也是说明这个的，这个例子更为全面一点，包括了Mapper和Reducer。

http://www.cnblogs.com/chenli0513/archive/2012/01/06/2314886.html

这里就不说什么了，很简单，一看就懂。

这个是 华为的二级索引方案，已经开放源代码了,下面是网上的一篇讲解原理的帖子，发出来和大家共享一下。

经过本人认真阅读了一下代码，发现这个源码仅供参考，想要集成到原有的集群当中是有点儿难度的，它对hbase的源码进行不少的修改。

源码地址： https://github.com/Huawei-Hadoop/hindex

下面来对其方案做一个分析。

1.整体架构

这个架构在Client Ext中设定索引细节，在Balancer中收集信息，在Coprocessor中管理二级索引数据。

e2b693c9330a03e08af51a90582fcc299995d420

2.表创建

在创建表的时候，在同一个region server上创建索引表，且一一对应。

e00375dca62a84d3ed9b9680f1ed3e93d127211a

3.插入操作

在主表中插入某条数据后，用Coprocessor将索引列写到索引表中去，写道索引表中的数据的主键为：region开始key+索引名+索引列值+主表row key。这么做，是为了让其在同一个分布规则下，索引表会跟主表在通过region server上，在查询的时候就可以少一次rpc。

a4ee58c939a7375cc822741a3c87b8f006ed4cf8

4.scan操作

一个查询到来的时候，通过coprocessor钩子，先从索引表中查询范围row，然后再从主表中相关row中扫描获得最终数据。

f777e45f4ccff7486584eb212b1e43be12fbefd7

5. split操作处理

为了使主表和索引表在同一个RS上，要禁用索引表的自动和手动split，只能由主表split的时候触发，当主表split的时候，对索引表按其对应数据进行划分，同时，对索引表的第二个daughter split的row key的前面部分修改为对应的主键的row key。

0851b924d13f1bd15297acb7a13b2c45b51fad2c

6. 性能

查询性能极大提升,插入性能下降10%左右

6060d7daddfa3ef6b99810ae0c7b8c1520a80819

802f2fed48c2cd28a9457cf79a3b42da91e03c32

总结：

本文对华为hbase使用coprocessor进行二级索引的方案的创建表，插入数据，查询数据的步骤进行了一个粗略分析，以窥其全貌。在使用的时候，可以作为一个参考。

转载自： http://www.dengchuanhua.com/167.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/60284

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

通过ambari安装hadoop集群（二）

开始安装，输入主机名字，然后选择私钥。注意java_home那里需要改为/usr/jdk64/jdk1.6.0_31，然后点击确认，它会出一个警告提示，别管他就行。等待安装完毕之后，就会出现成功的提示，下面出现黄字的，查看一下warning，除了有mysql账户的问题之外，别的都要处理掉，否则安装过程会出问题的。搞定了，要再检查一遍！关闭它，然后进入下一步。全选吧，都要，然后进入下一步，哈哈！因为是小集群，所以我就随便弄了，实际上不能这么搞的，然后点下一步。在HDFS这一页的高级设置里面，找到这个参数，我设置为2，也可以设置成1，但是不能大于前面设置的datanode的数量，比如我只有两个datanode，我就不能设置为2分，否则会出错的。把这个安全认证也禁用了，否则用api访问的时候会说没权限的。在HIVE页签点击下一步，下一步，进入安装过程的等待界面，如下：成功安装的界面，之后在主界面查看如下，全是绿的，行情一片大好啊！注意：ambari-server和ambari-agent不会开机启动，ambari-server是通过ambari-agent来控制每一台机...

2016-09-09

595

今天终于开始上手导入数据到hadoop了，哈哈，过程蛮崎岖的，和官方文档的还不太一样。 OK,let's go！试验对象是我第一个名为ST_Statistics的一张表，我要把我表里的数据导入到hdfs、hive以及hbase当中，然后试验才算完成。 1.导入数据到hdfs sqoop import --connect 'jdbc:sqlserver://192.168.1.105:1433;username=sa;password=cenyuhai;database=SAMS' \ --query "SELECT * FROM ST_Statistics WHERE BigReason='OfficeSoftwareFault' AND \$CONDITIONS " \ --split-by ResponseTime --target-dir /user/cenyuhai/sams 这里面有几个需要注意的点：（1）--connect 后面的字符带上了'',为毛？其实我也不知道，官方文档上可不是这么说的，加上才可以跑。（2）--split-by 后面跟的字段必须是整形的，因为sqo...

2016-09-09

567

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。