本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第2章，第2.2节，作者： 王晓华 责编： 陈冀康，更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.2　数据操作

HBase实战
HBase表的行有唯一标识符，叫做行键（rowkey）。其他部分用来存储HBase表里的数据，但是行键是第一重要的。就像关系型数据库的主键，HBase表中每行的行键值都是不同的。每次访问表中的数据都从行键开始。TwitBase中每个用户是唯一的，所以users表使用用户名字作为行键很方便，一会儿就这么用。

和数据操作有关的HBase API称为命令（command）。有5个基本命令用来访问HBase，Get（读）、Put（写）、Delete（删除）、Scan（扫描）和Increment（递增）。用来存储数据的命令是Put。为了往表里存储数据，你需要创建一个Put实例。根据行键创建Put实例，如下所示：

为什么不能直接存储用户名字呢？HBase中所有数据都是作为原始数据（raw data）使用字节数组的形式存储的，行键也是如此。Java客户端函数库提供了一个公用类Bytes，用来转换各种Java数据类型，所以你不必担心。注意，这个Put实例还没有插入到表中。现在只是创建了对象。

2.2.1　存储数据

既然我们准备好了一个命令往HBase里添加数据，你还需要提供要存储的数据。先存储一个叫Mark的用户的基本信息，如他的邮件地址和密码。如果还有另外一个用户也叫Mark Twain会发生什么呢？它们的名字会冲突，数据不能存储到TwitBase里。所以我们必须使用一个独一无二的用户名作为行键，用户的真实名字不做行键而是存储在一个列里面。把前面的Put命令放在一起编写代码如下：

往单元“info:password”存入“Langhorne”

往单元 “info:email”存入“samuel@clemens.org”

记住，HBase使用坐标来定位表中的数据。行键是第一个坐标，下一个是列族。列族用做数据坐标时，表示一组列。再下一个坐标是列限定符（column qualifier），如果你熟悉HBase术语，它经常简称为列（column）或标志（qual）。本例子中列限定符是name、email和password。因为HBase是无模式的，你不需要事先定义列限定符或者设定数据类型。它们是动态的，你所需要做的只是在写入数据时给出列的名字。3个坐标确定了单元（cell）的位置。HBase中数据作为值（value）存储在单元里。表中确定一个单元的坐标是[rowkey, column family, column qualifier]。上面的代码在一行中存储3个单元的3个值。其中存储Mark名字的单元坐标是[TheRealMT, info, name]。

写数据到HBase的最后一步是提交命令给表。这一步很简单：

2.2.2　修改数据

HBase中修改数据使用的方式与存储新数据一样：创建Put对象，在正确的坐标上给出数据，提交到表。我们来给Mark修改一个更安全的密码。

2.2.3　工作机制：HBase写路径

在HBase中无论是增加新行还是修改已有的行，其内部流程都是相同的。HBase接到命令后存下变化信息，或者写入失败抛出异常。默认情况下，执行写入时会写到两个地方：预写式日志（write-ahead log，也称HLog）和MemStore（见图2-1）。HBase的默认方式是把写入动作记录在这两个地方，以保证数据持久化。只有当这两个地方的变化信息都写入并确认后，才认为写动作完成。

MemStore是内存里的写入缓冲区，HBase中数据在永久写入硬盘之前在这里累积。当MemStore填满后，其中的数据会刷写到硬盘，生成一个HFile。HFile是HBase使用的底层存储格式。HFile对应于列族，一个列族可以有多个HFile，但一个HFile不能存储多个列族的数据。在集群的每个节点上，每个列族有一个MemStore。1

大型分布式系统中硬件故障很常见，HBase也不例外。设想一下，如果MemStore还没有刷写，服务器就崩溃了，内存中没有写入硬盘的数据就会丢失。HBase的应对办法是在写动作完成之前先写入WAL。HBase集群中每台服务器维护一个WAL来记录发生的变化。WAL是底层文件系统上的一个文件。直到WAL新记录成功写入后，写动作才被认为成功完成。这可以保证HBase和支撑它的文件系统满足持久性。大多数情况下，HBase使用Hadoop分布式文件系统（HDFS）来作为底层文件系统。

如果HBase服务器宕机，没有从MemStore里刷写到HFile的数据将可以通过回放WAL 来恢复。你不需要手工执行。Hbase 的内部机制中有恢复流程部分来处理。每台HBase服务器有一个WAL，这台服务器上的所有表（和它们的列族）共享这个WAL。

你可能想到，写入时跳过WAL应该会提升写性能。但我们不建议禁用WAL，除非你愿意在出问题时丢失数据。如果你想测试一下，如下代码可以禁用WAL：

注意：
不写入WAL会在RegionServer故障时增加丢失数据的风险。关闭WAL，出现故障时HBase可能无法恢复数据，没有刷写到硬盘的所有写入数据都会丢失。

2.2.4　读数据

从HBase读取数据和写入数据一样简单。创建一个Get命令实例，告诉它你感兴趣的单元，提交到表：

该表会返回一个包含数据的Result实例。实例中包含行中所有列族的所有列。这可能大大超过你所需要的。你可以在Get实例中放置限制条件来减少返回的数据量。为了返回列password，可以执行命令addColumn()。对于列族同样可以执行命令addFamily()，下面的例子可以返回指定列族的所有列：

检索特定值，从字节转换回字符串，如下所示：

2.2.5　工作机制：HBase读路径

如果你想快速访问数据，通用的原则是数据保持有序并尽可能保存在内存里。HBase实现了这两个目标，大多情况下读操作可以做到毫秒级。HBase读动作必须重新衔接持久化到硬盘上的HFile和内存中MemStore里的数据。HBase在读操作上使用了LRU（最近最少使用算法）缓存技术。这种缓存也叫做BlockCache，和MemStore在一个JVM堆里。BlockCache设计用来保存从HFile里读入内存的频繁访问的数据，避免硬盘读。每个列族都有自己的BlockCache。

掌握BlockCache是优化HBase性能的一个重要部分。BlockCache中的Block是HBase从硬盘完成一次读取的数据单位。HFile 物理存放形式是一个Block的序列外加这些Block的索引。这意味着，从HBase里读取一个Block需要先在索引上查找一次该Block然后从硬盘读出。Block是建立索引的最小数据单位，也是从硬盘读取的最小数据单位。Block大小按照列族设定，默认值是64 KB。根据使用场景你可能会调大或者调小该值。如果主要用于随机查询，你可能需要细粒度的Block索引，小一点儿的Block更好一些。Block变小会导致索引变大，进而消耗更多内存。如果你经常执行顺序扫描，一次读取多个Block，大一点儿的Block更好一些。Block变大意味着索引项变少，索引变小，因此节省内存。

从HBase中读出一行，首先会检查MemStore等待修改的队列，然后检查BlockCache看包含该行的Block是否最近被访问过，最后访问硬盘上的对应HFile。HBase内部做了很多事情，这里只是简单概括。读路径如图2-2所示。

注意，HFile存放某个时刻MemStore刷写时的快照。一个完整行的数据可能存放在多个HFile里。为了读出完整行，HBase可能需要读取包含该行信息的所有HFile。

2.2.6　删除数据

从HBase中删除数据和存储数据工作方式类似。基于一个行键创建一个Delete命令实例：

也可以指定更多坐标删除行的一部分：

deleteColumns()方法从行中删除一个单元。这和deleteColumn()方法不同（注意方法名字尾部少了s）。deleteColumn()方法删除单元的内容。

2.2.7　合并：HBase的后台工作

Delete命令并不立即删除内容。实际上，它只是给记录打上删除的标记。就是说，针对那个内容的一条新“墓碑”（tombstone）记录写入进来，作为删除的标记。墓碑记录用来标志删除的内容不能在Get和Scan命令中返回结果。因为HFile文件是不能改变的，直到执行一次大合并（major compaction），这些墓碑记录才会被处理，被删除记录占用的空间才会释放。

合并分为两种：大合并（major compaction）和小合并（minorco mpaction）。两者将会重整存储在HFile里的数据。小合并把多个小HFile合并生成一个大HFile，如图2-3所示。因为读出一条完整的行可能引用很多文件，限制HFile的数量对于读性能很重要。执行合并时，HBase读出已有的多个HFile的内容，把记录写入一个新文件。然后，把新文件设置为激活状态，删除构成这个新文件的所有老文件2。HBase根据文件的号码和大小决定合并哪些文件。小合并设计出发点是轻微影响HBase的性能，所以涉及的HFile的数量有上限。这些都可以设置。

大合并将处理给定region的一个列族的所有HFile。大合并完成后，这个列族的所有HFile合并成一个文件。可以从Shell中手工触发整个表（或者特定region）的大合并。这个动作相当耗费资源，不要经常使用。另一方面，小合并是轻量级的，可以频繁发生。大合并是HBase清理被删除记录的唯一机会。因为我们不能保证被删除的记录和墓碑标记记录在一个HFile里面。大合并是唯一的机会，HBase可以确保同时访问到两种记录。

在NGDATA博客的帖子里更加详细地介绍了合并过程，以及增量图解。3

2.2.8　有时间版本的数据

HBase除了是无模式数据库以外，还是有时间版本概念（versioned）的数据库。例如，你可以按照时间回溯最初的密码：

每次你在单元上执行操作，HBase都隐式地存储一个新时间版本。单元的新建、修改和删除都会同样处理，它们都会留下新时间版本。Get请求根据提供的参数调出相应的版本。时间版本是访问特定单元时的最后一个坐标。当没有设定时间版本时，HBase以毫秒为单位使用当前时间4，所以版本数字用长整型long表示。HBase默认只存储3个版本，这可以基于列族来设置。单元里数据的每个版本提交一个KeyValue实例给Result。你可以使用方法getTimestamp()来获取KeyValue实例的版本信息：

如果一个单元的版本超过了最大数量，多出的记录在下一次大合并时会扔掉。

除了删除整个单元，你也可以删除一个或几个特定的版本。之前提到的方法deleteColumns()（带s）处理小于指定时间版本的所有KeyValue。不指定时间版本时，默认使用当前时间now。方法deleteColumn()只删除一个指定版本。小心你调用的方法，它们的调用方式相似，含义略有不同。

2.2.9　数据模型概括

本节讨论了很多基础知识，包括数据模型和实现细节。现在暂停，复习一下到目前为止我们讨论了哪些东西。HBase模式里的逻辑实体如下。

• 表（table）—HBase用表来组织数据。表名是字符串（String），由可以在文件系统路径里使用的字符组成。
• 行（row）—在表里，数据按行存储。行由行键（rowkey）唯一标识。行键没有数据类型，总是视为字节数组byte[]。
• 列族（column family）—行里的数据按照列族分组，列族也影响到HBase数据的物理存放。因此，它们必须事前定义并且不轻易修改。表中每行拥有相同列族，尽管行不需要在每个列族里存储数据。列族名字是字符串（String），由可以在文件系统路径里使用的字符组成。
• 列限定符（column qualifier）—列族里的数据通过列限定符或列来定位。列限定符不必事前定义。列限定符不必在不同行之间保持一致。就像行键一样，列限定符没有数据类型，总是视为字节数组byte[]。
• 单元（cell）—行键、列族和列限定符一起确定一个单元。存储在单元里的数据称为单元值（value）。值也没有数据类型，总是视为字节数组byte[]。
• 时间版本（version）—单元值有时间版本。时间版本用时间戳标识，是一个long。没有指定时间版本时，当前时间戳作为操作的基础。HBase保留单元值时间版本的数量基于列族进行配置。默认数量是3个。

上述6个概念构成HBase的基础。用户最终看到的是通过API展现的上述6个基本概念的逻辑视图，它们是对HBase物理存放在硬盘上数据进行管理的基石。在学习HBase的过程中请牢牢记住这6个概念。

HBase的每个数据值使用坐标来访问。一个值的完整坐标包括行键、列族、列限定符和时间版本。下一节将详细介绍这些坐标。