Spring Boot 整合 HBase

一、HBase 介绍

HBase是一个分布式的、面向列的开源数据库，Hadoop 数据库。搭建基于 Hadoop 和 ZK 。

历史是基于 Google 的 Bigtable 、Google 文件系统等论文。HBase 在Hadoop 之上提供了类似于 Bigtable 的能力。 HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase 特性：

大：一个表可以有数十亿行，上百万列, PB级别的水平扩展能力

无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要- - 动态的增加，同一张表中不同的行可以有截然不同的列

稀疏:空列不占用存储空间，表可以很稀疏

可靠性高:系统无单点，容忍任意两台物理节点故障，数据无风险

数据多版本:每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳

HBase 适用场景：

海量数据场景，天然支持数据水平扩展，处理 TB 到 PB 数据

写性能突出，轻松打满网卡，增量数据抓取、批处理

源于Hadoop生态，和hadoop生态各个大数据系统天然集成

HBase 运行模式

单机

伪分布式

分布式

实战小提示：如果 DB 数据大，想要同步到 HBase 怎么做？用数据同步工具：DataX、binlog 等

二、HBase 安装

brew 一键安装即可：

brew install hbase

等安装好后，安装目录如下：

/usr/local/Cellar/hbase/1.2.6

/libexec/conf 是目录，在配置目录配置 JDK 环境如下：

vim libexec/conf/hbase-env.sh

配置 JAVA_HOME 到本机的 JDK 安装目录。

然后打开 hbase-site.xml 文件，里面是对应的两个文件目录：

// HBase 存储文件地方 file:///usr/local/var/hbase // ZooKeeper 存储文件地方 /usr/local/var/zookeeper

进入 bin ，里面是运行和关闭的 sh 脚本。 启动 HBase ，简单如下：

sudo ./start-hbase.sh

控制台中出现如下信息，说明启动 HBase 成功：

Java HotSpot(TM) 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release. starting master, logging to /usr/local/var/log/hbase/hbase-root-master-BYSocketdeMacBook-Pro-2.local.out Java HotSpot(TM) 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release. Java HotSpot(TM) 64-Bit Server VM warning: Ignoring option PermSize; support was removed in 8.0 Java HotSpot(TM) 64-Bit Server VM warning: Ignoring option MaxPermSize; support was removed in 8.0

三、Spring Boot 整合 HBase

在 pom.xml 文件中加入对应的依赖：

<dependency>       <groupId>com.spring4all</groupId>       <artifactId>spring-boot-starter-hbase</artifactId>       <version>${spring-boot-habse}</version>       <exclusions>         <exclusion>           <groupId>org.slf4j</groupId>           <artifactId>slf4j-log4j12</artifactId>         </exclusion>         <exclusion>           <groupId>log4j</groupId>           <artifactId>log4j</artifactId>         </exclusion>       </exclusions>     </dependency>

需要解决日志包依赖冲突，所以排除日志相关依赖包

在 application.properties 添加对应的 HBase 配置：

## HBase 数据源配置 spring.data.hbase.quorum=127.0.0.1:2181 spring.data.hbase.rootDir=/hbase spring.data.hbase.nodeParent=

nodeParent 适用于集群，目前是单机模式，不需要配置。

创建一个 Dto 对象：

public class PeopleDto {     private String name;     private int age;     public String getName() {         return name;     }     public PeopleDto setName(String name) {         this.name = name;         return this;     }     public int getAge() {         return age;     }     public PeopleDto setAge(int age) {         this.age = age;         return this;     } }

定义该对象的 RowMapper：

import com.jthink.skyeye.data.hbase.api.RowMapper; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.util.Bytes; public class PeopleRowMapper implements RowMapper<PeopleDto> {     private static byte[] COLUMNFAMILY = "f".getBytes();     private static byte[] NAME = "name".getBytes();     private static byte[] AGE = "age".getBytes();     @Override     public PeopleDto mapRow(Result result, int rowNum) throws Exception {         PeopleDto dto = new PeopleDto();         // TODO: 设置相关的属性值         String name = Bytes.toString(result.getValue(COLUMNFAMILY, NAME));         int age = Bytes.toInt(result.getValue(COLUMNFAMILY, AGE));         return dto.setName(name).setAge(age);     } }

CRUD 服务层操作：

@Service public class QueryService {     @Autowired     private HbaseTemplate hbaseTemplate;     public List<PeopleDto> query(String startRow, String stopRow) {         Scan scan = new Scan(Bytes.toBytes(startRow), Bytes.toBytes(stopRow));         scan.setCaching(5000);         List<PeopleDto> dtos = this.hbaseTemplate.find("people_table", scan, new PeopleRowMapper());         return dtos;     }     public PeopleDto query(String row) {         PeopleDto dto = this.hbaseTemplate.get("people_table", row, new PeopleRowMapper());         return dto;     }     public void saveOrUpdates() {         List<Mutation> puts = new ArrayList<>();         // 设值         this.hbaseTemplate.saveOrUpdates("people_table", puts);     }     public void saveOrUpdate() {         Mutation delete = new Delete(Bytes.toBytes(""));         this.hbaseTemplate.saveOrUpdate("people_table", delete);     }     public void saveOrUpdate() {         List<Mutation> saveOrUpdates = new ArrayList<>();         Put put = new Put(Bytes.toBytes("135xxxxxx"));         put.addColumn(Bytes.toBytes("people"), Bytes.toBytes("name"), Bytes.toBytes("JThink"));         saveOrUpdates.add(put);         Delete delete = new Delete(Bytes.toBytes("136xxxxxx"));         saveOrUpdates.add(delete);         // 继续add         this.hbaseTemplate.saveOrUpdates("people_table", saveOrUpdates);     } }

四、小结

在实践演进中，不可能一下次就用上高大上的 HBase。所以，同步数据这块强烈推荐 DataX。