HBase数据结构（读书笔记）

2016-12-09 632

背景：

最近在做一些跟大数据相关的东西，涉及到数据的存储和分析，考虑各个方面，选择使用HBase进行存储，使用原生Java API进行数据分析，之后会陆续写一系列来说明最近做的东西，给像我这样未曾涉及过这个领域的人一点儿idea。

引言：

HBase以表的方式组织数据源，这一点跟关系型数据库时一样的，在我们的application里面，通过API/Thrift、或者各种SQL引擎，将数据存入库里面或者进行查询；Hbase的表由行（Row）和列（Column）共同构成，与关系型数据库不同的是，HBase有一个列族（Column Family）的概念，它将一列或者多列组织在一起，HBase的列必须属于某一个列族。

行和列的交叉点称为单元格（Cell）,单元格是版本化的。单元格的内容也就是列的值是不可分割的字节数组，以二进制的形式存储。HBase没有数据类型，任何列值都被转换成字符数组进行存储。HBase表中的行是通过行键（Rowkey）来进行区分的，行健也是用来唯一确定一行的标识，不同的行健嗲表不同的行，行健也是一段字节数组，不论是字符串还是数字，最终都会被转换成自己数组进行存储。HBase表中的行是按照RowKey排序的，排序方式采用字典顺序，所有表中的行都必须有RowKey。

逻辑模型

HBase是一个类似GoogleBigTable的开源分布式数据库，它最基本的单位是列，一列或者多列组成行，行有行健，每一行的行健都是唯一的，相同的行健的插入操作被认为是对同一行的操作，也就是说如果做了两次写入操作，而行健是同一个，那么后面的操作可以认为是对改行的某些列的更新操作。

列名是右列族前缀和修饰符连接而成，分隔符是应为冒号。

物理模型

在逻辑模型中，表可以被看成一个稀疏的行的集合。但是在物理上，表是按照列分开存储的。HBase的列是按照列族分组的，HFile是面向列的，存放行的不同的列的物理文件，一个列族的数据存放在多个HFile中，最重要的是一个列族的数据会被同一个Region管理，物理上存放在一起。Region是管理HFile的一种机制。

微信关注我们

原文链接：https://yq.aliyun.com/articles/240681

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

SparkStreaming（源码阅读十二）

要完整去学习spark源码是一件非常不容易的事情，但是咱可以积少成多嘛~那么，Spark Streaming是怎么搞的呢？本质上，SparkStreaming接收实时输入数据流并将它们按批次划分，然后交给Spark引擎处理生成按照批次划分的结果流： SparkStreaming提供了表示连续数据流的、高度抽象的被称为离散流的Dstream,可以使用kafka、Flume和Kiness这些数据源的输入数据流创建Dstream,也可以在其他Dstream上使用map、reduce、join、window等操作创建Dsteram。Dstream本质上呢，是表示RDD的序列。 Spark Streaming首先将数据切分为一定时间范围(Duration)的数据集，然后积累一批(Batch)Duration数据集后单独启动一个任务线程处理。Spark核心提供的从DAG重新调度任务和并行执行，能够快速完成数据从故障中恢复的工作。那么下来就从SparkStreaming 的StreamingContext初始化开始： StreamingContext传入的参数：1、SparkContext也就...

2016-12-10

600

经常需要查阅，做一下笔记 http://hadoop.apache.org/docs/ http://hadoop.apache.org/docs/current1/api/ http://hadoop.apache.org/docs/current2/api/

2016-12-10

695

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

HBase数据结构（读书笔记）

逻辑模型