关于hbase 的一些基本概念

2016-05-12 589

Hbase主要部件组成

Cilent

包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如regione的位置信息。

MasterServer

为Region server分配region
负责region server的负载均衡
发现失效的region server并重新分配其上的region
HDFS上的垃圾文件回收
处理schema更新请求

Region Server

Region server维护Master分配给它的region，处理对这些region的IO请求
Region server负责切分在运行过程中变得过大的region

Zookeeper

保证任何时候，集群中只有一个master
存贮所有Region的寻址入口。
实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master
存储Hbase的schema,包括有哪些table，每个table有哪些column family

HBase的压缩

当由内存将文件flush到硬盘上时，会创建很多的hfile文件，对这些hfile文件需要压缩，包含minor compactions and major compactions

minor压缩，是将多个小的文件合并成大的文件，执行n路合并。

major压缩，是指将一个column family的文件都存储为一个大文件，同时他还扫描删除标示，或者过期的版本信息。

HBASE的删除

HBASE的删除意义

hbase的delete命令，并不是真的删除了文件，而是设置一个标记（delete marker）。用户在检索数据的时候，会过滤掉这些标示的数据。

HBASE的删除种类

HBase的删除标记有三种：

1. version delete marker 删除指定version的某个qualifier对应的value

2. column delete marker 删除某个qualifier的所有version的数据

3. family delete marker 删除column family 下所有qualifier对应的所有version的数据

如何基于时间查询已经查询的数据

还可以再column和family delete marker上打上时间戳，这时，只有小于这个时间戳的version才会被影响到。

HBase允许进行基于时间的查询从而得到指定时间段的历史数据。查询时间T的数据即查询[0,T+1)的数据。这样就带来了一个潜在的问题。当一个delete marker被set上，所有被它影响到的数据都不再可见。如果你在时间T put了一个qualifier为C的数据，接着在T+X的时间点删除这个qualifier，此时查询[0,T+1)时间段的数据将不会返回qualifier为C的这个KV对。

HBASE-4536 https://issues.apache.org/jira/browse/HBASE-4536解决了这个问题，可以通过在shell里建表时加上 KEEP_DELETED_CELLS=>true或在java client上调用时加上HColumnDescriptor.setKeepDeletedCells(true)。这样，被删除的数据在基于时间的历史数据查询中依然可见(当然要保证delete marker的时间戳不在历史查询的时间范围内)。就刚才的例子来说，加上这个支持后，查询[0,T+1)时间段的数据将会返回C，而查询[0,T+X+1)时间段的数据将不会返回C，因为在该时间点，C也已经被删除了。

将表的属性KEEP_DELETED_CELLS设置为on,是为了使 flashback queries能返回正确的结果

微信关注我们

原文链接：https://yq.aliyun.com/articles/43538

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop RPC使用方法示例

定义RPC协议 importjava.io.IOException; importorg.apache.hadoop.ipc.VersionedProtocol; /** *DateTime:2014年12月28日上午9:32:12 * */ publicinterfaceClientProtocolextendsVersionedProtocol{ //版本号，默认情况下，不同版本号的RPC客户端与Server之间不能相互通信 publicstaticfinallongversionID=1L; publicStringhello(Stringmsg)throwsIOException; } 实现RPC协议 importjava.io.IOException; importorg.apache.hadoop.ipc.ProtocolSignature; /** *DateTime:2014年12月28日上午9:41:38 * */ publicclassClientProtocolImplimplementsClientProtocol{ @Override publiclongge...

2016-05-13

956

在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性。在一个region中有一个或多个stroe，每个stroe对应一个column families(列族)。一个store中包含一个memstore 和 0 或多个store files。每个column family 是分开存放和分开访问的。 Pre-splitting 当一个table刚被创建的时候，Hbase默认的分配一个region给table。也就是说这个时候，所有的读写请求都会访问到同一个regionServer的同一个region中，这个时候就达不到负载均衡的效果了，集群中的其他regionSe...

2016-05-13

572

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。