HBase的Rowkey设计（mark）

2016-12-10 526

在HBase中细节上的设计，最最最重要的就是我该选取什么做Rowkey，Rowkey的选择，最直接的影响就是对你之后分析数据的影响了。

Rowkey是不可分割的字节数，按照字典排序由低到高存储在表中。一个空的数组用来标识表空间的起始或结尾。

在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能，原因有两个：Region基于Rowkey为一个区间的行提供服务，并且负责区间的每一行；HFile在硬盘上存储有序的行。当Region将内存数据刷写为HFile时，这些行已经排过序了，也会有序的写到硬盘上。Rowkey的有序特性和底层存储格式可以保证HBase表在设计Rowkey之后的良好性能。

关系型数据库可以在多列上建立索引，但是HBase只能在Rowkey上建立索引。访问数据库的最主要方式就是使用Rowkey。非Rowkey访问，即在不清楚Rowkey前提下访问表，可以使用全表扫描。设计Rowkey有各种技巧，而且可以针对不同访问模式进行优化。

Rowkey是HBase的KeyValue存储中的Key,通常将用户要查询的字段作为Rowkey,查询结果作为Value。

设计Rowkey之前，要注意一下几点：

1，Rowkey是以字典顺序从大到小排序

原生HBase只支持从小到大的排序

2,尽量散列Rowkey设计

散列之后的数据，就能保证所有的数据都不是在一个Region上，从而避免读写的时候负载会集中在个别Region上。

3，RowKey的长度尽量短

如果Rowkey太长，第一存储开销会增加，影响存储效率；第二内存中Rowkey字段过长，会导致内存的利用率降低，进而减低索引命中率。

一般做法：

时间使用Long来表示；

尽量使用压缩编码；

微信关注我们

原文链接：https://yq.aliyun.com/articles/240679

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop中基于文件的数据格式（1）SequenceFile

1 概述 1 SequenceFile是Hadoop为例存储二进制的<k,v>而设计的一种平面文件。 2 SequenceFile的key和value是writable或者writable子类。 3 SequenceFile的存储不按照key排序，内部类Writer提供了append方法。 4 SequenceFile作为一个容器，可以将小文件打包到SequenceFile，高效对小文件进行存储和处理。 2 压缩类型根据CompressionType的不同，有如下压缩类型 NONE：不压缩。每个记录有key长度、value长度、key、value组成，长度字段分别为4字节。 RECORD: 记录压缩。结构与NONE非常类似，用定义在头部的编码器压缩value，key不压缩。 BLOCK:块压缩。一次压缩多条记录，当记录字节数达到一个阈值则天际到块，io.seqfile.compress.blocksize控制。格式为：记录数，键长度，键，值长度，值。分别对应Writer： Writer : Uncompressed recordsRecordCompressWriter...

2016-12-11

547

一、HealthMonitor是什么 HealthMonitor是一个周期性工作的后台线程，它在一个循环中周期性的同HA服务进行心跳，负责跟踪NameNode服务的健康状况，并在健康状况变化时调用failover控制器的回调方法。二、HealthMonitor是如何实现的 1、成员变量 HealthMonitor内部有如下主要成员变量： 1）后台工作线程：真正卖力干活的 private Daemon daemon;// 后台工作线程 2）一些时间间隔、rpc超时参数等配置信息，见注释 // 重连、周期性检查、失连后的睡眠时间等时间间隔 private long connectRetryInterval; private long checkIntervalMillis; private long sleepAfterDisconnectMillis; // rpc超时时间 private int rpcTimeout; // 配置信息 private final Configuration conf; 3）连接代理相关 /**...

2016-12-11

709

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。