Hadoop 序列化的研究-低调大师

Hadoop 序列化的研究

2017-11-21 598

Hadoop和java自带的序列化机制不同，它自己提供了一组序列化体系接口和类。

对于基本数据类型,Writable接口就代表了可以被序列化的数据，这个接口定义了2个方法，其中write方法可以吧这个数据序列化到参数给出的DataOutput的字节数组中，而readField方法则可以从DatInput中读取被序列化后的字节数组，并且反序列化为Hadoop数据：

public interface Writable {
/**
* Serialize the fields of this object to <code>out</code>.
*
* @param out <code>DataOuput</code> to serialize this object into.
* @throws IOException
*/
void write(DataOutput out) throws IOException;
/**
* Deserialize the fields of this object from <code>in</code>.
*
* <p>For efficiency, implementations should attempt to re-use storage in the
* existing object where possible.</p>
*
* @param in <code>DataInput</code> to deseriablize this object from.
* @throws IOException
*/
void readFields(DataInput in) throws IOException;
}

但是在Hadoop中，序列化过程一般用于Map-Reduce，我们看不到序列化的中间产物。为了捕捉到序列化的轨迹，我们自己写了一个工具方法，让其序列化到字节数组中，这样我们可以把字节数组的内容打印出来得到序列化后的产物：

/*
*/
package com.charles.hadoop.serial;
import java.io.ByteArrayOutputStream;
import java.io.DataOutputStream;
import java.io.IOException;
import org.apache.hadoop.io.Writable;
/**
*
* Description: 这个类提供了工具方法来记录序列化的轨迹
* 因为，在hadoop中序列化和反序列化都是在Writable接口中进行的，Writable是被序列化的Hadoop对象
* 所以我们把序列化的产物存到字节数组中从而可以捕捉到内容
*
* @author charles.wang
* @created Jun 2, 2012 9:32:41 AM
*
*/
public class HadoopSerializationUtil {
//这个方法可以把Hadoop的对象(Writable表示这个是可以序列化的）序列化到字节数组中，
//然后把字节数组中的内容返回出来
//入参，被序列化的数值对象
//返回值：序列化后的字节数组
public static byte[] serialize(Writable writable) throws IOException {
//创建一个字节数组
ByteArrayOutputStream out = new ByteArrayOutputStream();
//创建一个DataOutputStream，并且包装字节数组，用于存放序列化后的字节流
DataOutputStream dataout = new DataOutputStream(out);
//让Hadoop对象序列化到字节数组对应的字节流中
writable.write(dataout);
dataout.close();
//返回序列化后的字节流
return out.toByteArray();
}
}

为了显示序列化前的Hadoop基本数据值和序列化后的字节数组，我们写了另一个工具类，这个工具类可以在包装序列化前后的信息到字符串对象中：

/*
*/
package com.charles.hadoop.serial;
import org.apache.hadoop.io.BooleanWritable;
import org.apache.hadoop.io.ByteWritable;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Writable;
import org.apache.hadoop.util.StringUtils;
/**
*
* Description: 这个工具类用于帮助我们做实验,
* 它可以在封装序列化前的基本数据类型值和序列化后的字节数组的内容到字符串对象中
*
* @author charles.wang
* @created Jun 2, 2012 9:58:44 AM
*
*/
public class HadoopExperimentUtil {
public static String displaySerializationExperimentResult(Writable writable) throws Exception{
String typeInfo = null;
String primaryValueInfo = null;
byte[] serializedHadoopValue = null;
String lengthInfo = null;
String serializeValueInfo = null;
//获取参数对象的类名
String className=writable.getClass().getName();
if(className.equals("org.apache.hadoop.io.BooleanWritable")){
typeInfo = "被测试的Hadoop类型为: " + "org.apache.hadoop.io.BooleanWritable" +"\n";
primaryValueInfo = "初始值为： "+((BooleanWritable)writable).get()+"\n";
}
else if(className.equals("org.apache.hadoop.io.ByteWritable")){
typeInfo = "被测试的Hadoop类型为: " + "org.apache.hadoop.io.ByteWritable" +"\n";
primaryValueInfo = "初始值为： "+((ByteWritable)writable).get()+"\n";
}
else if(className.equals("org.apache.hadoop.io.IntWritable")){
typeInfo = "被测试的Hadoop类型为: " + "org.apache.hadoop.io.IntWritable" +"\n";
primaryValueInfo = "初始值为： "+((IntWritable)writable).get()+"\n";
}
else if(className.equals("org.apache.hadoop.io.FloatWritable")){
typeInfo = "被测试的Hadoop类型为: " + "org.apache.hadoop.io.FloatWritable" +"\n";
primaryValueInfo = "初始值为： "+((FloatWritable)writable).get()+"\n";
}
else if(className.equals("org.apache.hadoop.io.LongWritable")){
typeInfo = "被测试的Hadoop类型为: " + "org.apache.hadoop.io.LongWritable" +"\n";
primaryValueInfo = "初始值为： "+((LongWritable)writable).get()+"\n";
}
else if(className.equals("org.apache.hadoop.io.DoubleWritable")){
typeInfo = "被测试的Hadoop类型为: " + "org.apache.hadoop.io.DoubleWritable" +"\n";
primaryValueInfo = "初始值为： "+((DoubleWritable)writable).get()+"\n";
}
//使用我们自定义的工具类方法，这个方法最终会调用Writable接口的write方法执行序列化动作
serializedHadoopValue =HadoopSerializationUtil.serialize(writable);
//获取序列化后的自己数组的长度信息
lengthInfo= "序列化后的字节数组长度为： "+serializedHadoopValue.length+"\n";
//使用hadoop的StringUtils工具类来读取以16进制显示的字节数组的值
serializeValueInfo= "序列化后的值为: " +StringUtils.byteToHexString(serializedHadoopValue)+"\n";
//返回全部信息
return "\n"+typeInfo+primaryValueInfo+lengthInfo+serializeValueInfo+"\n";
}
}

最终，我们还需要一个实验类，我们传入各种Hadoop数据对象(都要是Writable的），然后我们依次调用实验工具类的方法，最终把这些序列化过程前后的信息打印在控制台上：

/*
*/
package com.charles.hadoop.serial;
import org.apache.hadoop.io.BooleanWritable;
import org.apache.hadoop.io.ByteWritable;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.FloatWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
/**
*
* Description: 这里做实验
*
* @author charles.wang
* @created Jun 2, 2012 9:43:57 AM
*
*/
public class HadoopSerializationMain {
/**
* @param args
*/
public static void main(String[] args) throws Exception {
BooleanWritable hadoopBooleanValue = new BooleanWritable(false);
System.out.println(HadoopExperimentUtil.displaySerializationExperimentResult(hadoopBooleanValue));
byte b = 3&0x0f;
ByteWritable hadoopByteValue = new ByteWritable(b);
System.out.println(HadoopExperimentUtil.displaySerializationExperimentResult(hadoopByteValue));
IntWritable hadoopIntValue = new IntWritable(100);
System.out.println(HadoopExperimentUtil.displaySerializationExperimentResult(hadoopIntValue) );
FloatWritable hadoopFloatValue = new FloatWritable(73.54f);
System.out.println(HadoopExperimentUtil.displaySerializationExperimentResult(hadoopFloatValue) );
LongWritable hadoopLongValue = new LongWritable(82l);
System.out.println(HadoopExperimentUtil.displaySerializationExperimentResult(hadoopLongValue) );
DoubleWritable hadoopDoubleValue = new DoubleWritable(100.302d);
System.out.println(HadoopExperimentUtil.displaySerializationExperimentResult(hadoopDoubleValue) );
}
}

最终控制台显示如下：

被测试的Hadoop类型为: org.apache.hadoop.io.BooleanWritable
初始值为： false
序列化后的字节数组长度为： 1
序列化后的值为: 00
被测试的Hadoop类型为: org.apache.hadoop.io.ByteWritable
初始值为： 3
序列化后的字节数组长度为： 1
序列化后的值为: 03
被测试的Hadoop类型为: org.apache.hadoop.io.IntWritable
初始值为： 100
序列化后的字节数组长度为： 4
序列化后的值为: 00000064
被测试的Hadoop类型为: org.apache.hadoop.io.FloatWritable
初始值为： 73.54
序列化后的字节数组长度为： 4
序列化后的值为: 4293147b
被测试的Hadoop类型为: org.apache.hadoop.io.LongWritable
初始值为： 82
序列化后的字节数组长度为： 8
序列化后的值为: 0000000000000052
被测试的Hadoop类型为: org.apache.hadoop.io.DoubleWritable
初始值为： 100.302
序列化后的字节数组长度为： 8
序列化后的值为: 40591353f7ced917

我们从实验结果不难看出，Hadoop的序列化后的字节数组的长度和Java基本类型本身占用的字节数是完全匹配的。

本文转自 charles_wang888 51CTO博客，原文链接：http://blog.51cto.com/supercharles888/885400，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/427977

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

自定义Hadoop的可序列化类

java原生语言中要想一个自定义类可序列化，很简单，只要让这个类实现java.io.Serializable接口就可以了，但是在Hadoop框架中，要想让自定义类可以被序列化，我们必须手动让其实现WritableCompable接口并且实现write(),readFields(),compareTo()方法。下面就是一个我们自定义的可序列化的类： /* */ packagecom.charles.writable; importjava.io.DataInput; importjava.io.DataOutput; importjava.io.IOException; importorg.apache.hadoop.io.IntWritable; importorg.apache.hadoop.io.Text; importorg.apache.hadoop.io.WritableComparable; /** * *Description:这是自定义的Hadoop序列化类，它可以用Hadoop序列化反序列化这个类 * *@authorcharles.wang *@creat...

2017-11-22

508

Hadoop中的FileStatus类可以用来查看HDFS中文件或者目录的元信息，任意的文件或者目录都可以拿到对应的FileStatus, 我们这里简单的演示下这个类的相关API： /* */ packagecom.charles.hadoop.fs; importjava.net.URI; importjava.sql.Timestamp; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.FileStatus; importorg.apache.hadoop.fs.FileSystem; importorg.apache.hadoop.fs.Path; /** * *Description:这个类演示如何通过FileSystem的getFileStatus()方法来获得FileStatus对象 *进而查询文件或者目录的元信息 * *我们这里做2个实验，依次是获取HDFS中的某文件的元信息，获取HDFS中某目录的元信息 * *@authorcharles.wang *@createdMa...

2017-11-22

587

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。