Hadoop中基于文件的数据格式（1）SequenceFile

2016-12-10 548

1 概述

1 SequenceFile是Hadoop为例存储二进制的<k,v>而设计的一种平面文件。
2 SequenceFile的key和value是writable或者writable子类。
3 SequenceFile的存储不按照key排序，内部类Writer提供了append方法。
4 SequenceFile作为一个容器，可以将小文件打包到SequenceFile，高效对小文件进行存储和处理。

2 压缩类型

根据CompressionType的不同，有如下压缩类型
NONE：不压缩。每个记录有key长度、value长度、key、value组成，长度字段分别为4字节。
RECORD: 记录压缩。结构与NONE非常类似，用定义在头部的编码器压缩value，key不压缩。
BLOCK:块压缩。一次压缩多条记录，当记录字节数达到一个阈值则天际到块，io.seqfile.compress.blocksize控制。格式为：记录数，键长度，键，值长度，值。

分别对应Writer：

Writer : Uncompressed records
RecordCompressWriter : Record-compressed files, only compress values
BlockCompressWriter : Block-compressed files, both keys & values are collected in 'blocks' separately and compressed. The size of the 'block' is configurable

3 特点

优点

1 支持基于record和block的压缩

2 支持splittable，能够为Mapreduce作为输入分片

3 修改简单，只需要按照业务逻辑修改，不要考虑具体存储格式

缺点

合并后的文件不易查看。hadoop fs -cat看不到，hadoop fs -text可以看到。

4 代码

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.util.ReflectionUtils;

public class SequenceTest {

	public static final String Output_path = "hdfs://192.x.x.x:9000/a.txt";
	private static final String[] DATA = { "a", "b", "c", };

	@SuppressWarnings("deprecation")
	public static void write(String pathStr) throws IOException {
		Configuration conf = new Configuration();
		Path path = new Path(pathStr);
		FileSystem fs = path.getFileSystem(conf);
		
		SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, path,
				Text.class, IntWritable.class);
		Text key = new Text();
		IntWritable value = new IntWritable();
		for (int i = 0; i < DATA.length; i++) {
			key.set(DATA[i]);
			value.set(i);
			System.out.printf("[%s]\t%s\t%s\n", writer.getLength(), key, value);
			writer.append(key, value);
		}
		IOUtils.closeStream(writer);
	}

	@SuppressWarnings("deprecation")
	public static void read(String pathStr) throws IOException {
		Configuration conf = new Configuration();
		Path path = new Path(pathStr);
		FileSystem fs = path.getFileSystem(conf);
		SequenceFile.Reader reader = new SequenceFile.Reader(fs, new Path(
				pathStr), conf);
		
		Writable key = (Writable) ReflectionUtils.newInstance(
				reader.getKeyClass(), conf);
		Writable value = (Writable) ReflectionUtils.newInstance(
				reader.getValueClass(), conf);

		while (reader.next(key, value)) {
			System.out.printf("%s\t%s\n", key, value);
		}
		IOUtils.closeStream(reader);
	}

	public static void main(String[] args) throws IOException {
		write(Output_path);
		read(Output_path);
	}
}

微信关注我们

原文链接：https://yq.aliyun.com/articles/67305

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

从Hadoop IOUtils closeStream方法看如何安全关闭流

使用方法 IOUtils.closeStream(writer); 进入代码 public static void closeStream(java.io.Closeable stream) { cleanup(null, stream); } public static void cleanup(Log log, java.io.Closeable... closeables) { for (java.io.Closeable c : closeables) { if (c != null) { try { c.close(); } catch(IOException e) { if (log != null && log.isDebugEnabled()) { log.debug("Exception in closing " + c, e); } } } } }

2016-12-11

803

在HBase中细节上的设计，最最最重要的就是我该选取什么做Rowkey，Rowkey的选择，最直接的影响就是对你之后分析数据的影响了。 Rowkey是不可分割的字节数，按照字典排序由低到高存储在表中。一个空的数组用来标识表空间的起始或结尾。在设计HBase表时，Rowkey设计是最重要的事情，应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能，原因有两个：Region基于Rowkey为一个区间的行提供服务，并且负责区间的每一行；HFile在硬盘上存储有序的行。当Region将内存数据刷写为HFile时，这些行已经排过序了，也会有序的写到硬盘上。Rowkey的有序特性和底层存储格式可以保证HBase表在设计Rowkey之后的良好性能。关系型数据库可以在多列上建立索引，但是HBase只能在Rowkey上建立索引。访问数据库的最主要方式就是使用Rowkey。非Rowkey访问，即在不清楚Rowkey前提下访问表，可以使用全表扫描。设计Rowkey有各种技巧，而且可以针对不同访问模式进行优化。 Rowkey是HBase的KeyValu...

2016-12-11

526

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。