通用数据存储格式: Hadoop SequenceFile、HFile

2017-11-11 546

Hadoop SequenceFile

详见：http://hadoop.apache.org/docs/r1.0.4/api/org/apache/hadoop/io/SequenceFile.html

3个概念：记录(Record)、块(Block)、文件(File)。

记录（Record）: Hadoop SequenceFile的存储格式是通用的KV数据存储格式，key和value都是变长二进制数据。Record Len 表示的是key 和value 的占用的byte之和，Record压缩方式中 key 是不压缩。同步点Sync 作用数据恢复和扫描。当指定读取的位置不是记录首部的时候，通过读取一个同步点的记录，不至于读取数据的reader “迷失”。 (hadoop实现：每2000byte 就插入一个同步点，这个同步点占16 byte ，包括同步点标示符：4byte ，一个同步点的开销是20byte 。）对二进制数据，任何字符都可出现，故采用单字节的Sync标识难于区分数据和同步点，需要采用多字节的Sync(什么样的多个字节常被用来所Sync标识？0xFFFFFFFFFFFFFFFF？)。

块（Block）：存储Block header和多个record数据。Hadoop SequenceFile可认为没有块概念，只有Block-Compressed SequenceFile才会将多个record压缩后一起存储，详见hadoop文档。

文件(File): 文件头+数据。存储如下信息：文件标识SEQ，key和value的格式说明，压缩相关信息，metadata(二级索引，The sequence file also can contain a “secondary” key-value list that can be used as file Metadata. This key-value list can be just a Text/Text pair, and is written to the file during the initialization that happens in the SequenceFile.Writer constructor, so you can’t edit your metadata.)，Sync。常规的文件头需要的数据：文件标识、Sync标识、数据格式说明(含压缩)、文件元数据(时间、owner、权限等)、检验信息等。

HBase

Hbase MapFile

Hbase最初直接使用Hadoop的MapFile实现有序的Key存储(将数据和索引分别存成Hadoop SequenceFile)。用MapFile实现有序Key存储需要解决2个问题：1）如何删除数据？2）如何保证数据有序？解决方案：1）使用删除标志Type；2）内存中排序，达到阈值后写成MapFile(MemStore实现)。

MemStore 的方案意味这存在多个MapFile，这样对于读数据意味着可能需要扫描多个文件。为了减少需要读取的文件数，Hbase的设计者引入compaction：1) 将多个小文件合并成大文件；2）将所有的文件合并成一个大文件。

HFile V1

引入版本：HBase 0.20。核心特性：1）将index和数据合成一个文件(为减少index量，可只对每个块的首个key做索引)；2）增加metadata特性。

The Meta block is designed to keep a large amount of data with its key as a String, while FileInfo is a simple Map preferred for small information with keys and values that are both byte-array. Regionserver’s StoreFile uses Meta-Blocks to store a Bloom Filter, and FileInfo for Max SequenceId, Major compaction key and Timerange info. This information is useful to avoid reading the file if there’s no chance that the key is present (Bloom Filter), if the file is too old (Max SequenceId) or if the file is too new (Timerange) to contain what we’re looking for.

HFile V2

引入版本：HBase 0.92。核心特性：1）引入多级索引；2）引入基于块的索引和Bloom Filter(解决问题：无需载入所有索引和Bloom Filter数据)。

从图上可知，HFileV2有3种索引：Root Index记录每个块首个key极其索引；Leaf Index记录块内每个record的索引；intermediate index记录每个块最后的key极其索引。(Since the index is moved to block level you then have a multi-level index, meaning each block has its own index (leaf-index). The last key of each block is kept to create the intermediate/index that makes the multilevel-index b+tree like.)

前向扫描和后向扫描：The block header now contains some information: The “Block Magic” field was replaced by the “Block Type” field that describes the content of the block “Data”, Leaf-Index, Bloom, Metadata, Root-Index, etc. Also three fields (compressed/uncompressed size and offset prev block) were added to allow fast backward and forward seeks.

前缀压缩和差异压缩（Prefix and Diff Encoding）:HBase的数据是有序的，因此Key差异不大，为了提高压缩比，引入2种针对性的压缩算法。

HFile V3

为了进一步提高压缩率：1）将块内的key和value分开存储, key存在块前面，value存在块后面。2）Compress timestamps。

附录 oceanbase(类似HFile)

记录：oceanbase的记录value是有结构的二进制数据。格式为：keyLen(2B)+keyData+valueData。其中valueData由一个或多个common::ObObj对象串化而成。详见：oceanbase\src\sstable\ob_sstable_row.h

块(Block)格式：block header + serialized rows + row index。详见：oceanbase\src\sstable\ob_sstable_block_builder.h

文件格式：详见：oceanbase\src\sstable\ob_sstable_writer.h

Leveldb 实现原理：http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html
leveldb源代码分析: http://blog.nosqlfan.com/tags/leveldb

本文转自 zhenjing 博客园博客，原文链接：http://www.cnblogs.com/zhenjing/archive/2012/11/02/File-Format.html ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/569792

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop系列之一：hadoop部署安装

简述：一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。官方网站：http://hadoop.apache.org/ 环境： CentOS 6.0 x64 IP配置：主机名 IP 角色 ha01 10.0.0.232 namenode&jobtracker ha02 10.0.0.233 datanode&tasktracker ha03 10.0.0.234 datanode&tasktrack...

2017-11-12

519

相关软件版本： jdk-6u32-linux-x64.bin tar xzvf hadoop-1.0.2.tar.gz tar xzvf hbase-0.92.1-security.tar.gz jdk-6u32-linux-x64.bin 注：目前已经有更高版本，建议使用高版本的hadoop和hbase。环境：suse10 64位机器单机版参考：HDFS+MapReduce+Hive+HBase十分钟快速入门步骤 0. 设置集群机器的hostname； 1. 建立hadoop用户，如hadoop； 2. 配置ssh(简单办法：先在单机上生成ssh key pair文件，将授权文件拷贝到相应的机器上) 3. 安装java、hadoop、hbase。 4. 配置hadoop：core-site.xml 、core-site.xml 、mapred-site.xml 、taskcontroller.cfg、master、slavers、hadoop-env.sh、/etc/hosts、环境变量（/etc/profile）: # hadoop env export JAVA_HOM...

2017-11-12

498

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。