关于Java序列化和Hadoop的序列化-低调大师

关于Java序列化和Hadoop的序列化

2017-11-13 528

 1 import java.io.DataInput;
 2 import java.io.DataOutput;
 3 import java.io.DataOutputStream;
 4 import java.io.FileOutputStream;
 5 import java.io.IOException;
 6 import java.io.ObjectOutputStream;
 7 import java.io.Serializable;
 8 
 9 import org.apache.hadoop.io.Writable;
10 
11 public class Test2 {
12     public static void main(String[] args) throws IOException {
13         Student stu = new Student(1, "张三");
14         FileOutputStream fileOutputStream = new FileOutputStream("d:/111");
15         ObjectOutputStream objectOutputStream = new ObjectOutputStream(fileOutputStream);
16         objectOutputStream.writeObject(stu);
17         objectOutputStream.close();
18         fileOutputStream.close();
19         //我们一般只关注stu对象的id和name两个属性总共12个字节.但是Java的序列化到硬盘上的文件有175个字节.
20         //Java序列化了很多没有必要的信息.如果要序列化的数据有很多,那么序列化到磁盘上的数据会更多,非常的浪费.
21         //Hadoop没有使用Java的序列化机制.如果采用会造成集群的网络传输的时间和流量都集聚的增长.
22         //Hadoop中自己定义了一个序列化的接口Writable.
23         //Java序列化中之所以信息多是因为把 类之间的的继承多态信息都包含了.
24         
25         StuWritable stu2 = new StuWritable(1, "张三");
26         FileOutputStream fileOutputStream2 = new FileOutputStream("d:/222");
27         DataOutputStream dataOutputStream2 = new DataOutputStream(fileOutputStream2);
28         stu2.write(dataOutputStream2);
29         fileOutputStream2.close();
30         dataOutputStream2.close();
31     }
32 }
33 
34 class Student implements Serializable{
35     private Integer id;
36     private String name;
37     
38     public Student() {
39         super();
40     }
41     public Student(Integer id, String name) {
42         super();
43         this.id = id;
44         this.name = name;
45     }
46     public Integer getId() {
47         return id;
48     }
49     public void setId(Integer id) {
50         this.id = id;
51     }
52     public String getName() {
53         return name;
54     }
55     public void setNameString(String name) {
56         this.name = name;
57     }
58     
59 }
60 
61 
62 class StuWritable  implements Writable{
63     private Integer id;
64     private String name;
65     
66     public StuWritable() {
67         super();
68     }
69     public StuWritable(Integer id, String name) {
70         super();
71         this.id = id;
72         this.name = name;
73     }
74     public Integer getId() {
75         return id;
76     }
77     public void setId(Integer id) {
78         this.id = id;
79     }
80     public String getName() {
81         return name;
82     }
83     public void setNameString(String name) {
84         this.name = name;
85     }
86 
87     public void write(DataOutput out) throws IOException {
88         out.writeInt(id);
89         out.writeUTF(name);        
90     }
91 
92     public void readFields(DataInput in) throws IOException {
93         this.id = in.readInt();
94         this.name = in.readUTF();
95     }
96     
97 }

使用Java序列化接口对应的磁盘上的文件: 共175个字节

使用Hadoop序列化机制对应的磁盘文件: 共12字节

如果类中有继承关系:

 1 import java.io.DataInput;
 2 import java.io.DataOutput;
 3 import java.io.DataOutputStream;
 4 import java.io.FileOutputStream;
 5 import java.io.IOException;
 6 import java.io.ObjectOutputStream;
 7 import java.io.Serializable;
 8 
 9 import org.apache.hadoop.io.Writable;
10 
11 public class Test2 {
12     public static void main(String[] args) throws IOException {
13         //我们一般只关注stu对象的id和name两个属性总共12个字节.但是Java的序列化到硬盘上的文件有175个字节.
14         //Java序列化了很多没有必要的信息.如果要序列化的数据有很多,那么序列化到磁盘上的数据会更多,非常的浪费.
15         //Hadoop没有使用Java的序列化机制.如果采用会造成集群的网络传输的时间和流量都集聚的增长.
16         //Hadoop中自己定义了一个序列化的接口Writable.
17         //Java序列化中之所以信息多是因为把 类之间的的继承多态信息都包含了.再重新构建的时候可以保持原有的关系.
18         
19         StuWritable stu2 = new StuWritable(1, "张三");
20         stu2.setSex(true);
21         FileOutputStream fileOutputStream2 = new FileOutputStream("d:/222");
22         DataOutputStream dataOutputStream2 = new DataOutputStream(fileOutputStream2);
23         stu2.write(dataOutputStream2);
24         fileOutputStream2.close();
25         dataOutputStream2.close();
26     }
27 }
28 
29 
30 
31 class StuWritable extends Person implements Writable{
32     private Integer id;
33     private String name;
34     
35     public StuWritable() {
36         super();
37     }
38     public StuWritable(Integer id, String name) {
39         super();
40         this.id = id;
41         this.name = name;
42     }
43     public Integer getId() {
44         return id;
45     }
46     public void setId(Integer id) {
47         this.id = id;
48     }
49     public String getName() {
50         return name;
51     }
52     public void setNameString(String name) {
53         this.name = name;
54     }
55 
56     public void write(DataOutput out) throws IOException {
57         out.writeInt(id);
58         out.writeBoolean(super.isSex());
59         out.writeUTF(name);        
60     }
61 
62     public void readFields(DataInput in) throws IOException {
63         this.id = in.readInt();
64         super.setSex(in.readBoolean());
65         this.name = in.readUTF();
66     }
67     
68 }
69 
70 class Person{
71     private boolean sex;
72 
73     public boolean isSex() {
74         return sex;
75     }
76 
77     public void setSex(boolean sex) {
78         this.sex = sex;
79     }
80     
81 }

这样序列化到磁盘上的文件: 13个字节多了一个boolean属性,相比上面多了一个字节.

如果实例化对象中含有类对象.

 1 import java.io.DataInput;
 2 import java.io.DataOutput;
 3 import java.io.DataOutputStream;
 4 import java.io.FileOutputStream;
 5 import java.io.IOException;
 6 import java.io.ObjectOutputStream;
 7 import java.io.Serializable;
 8 
 9 import org.apache.hadoop.io.Writable;
10 
11 public class Test2 {
12     public static void main(String[] args) throws IOException {
13         //我们一般只关注stu对象的id和name两个属性总共12个字节.但是Java的序列化到硬盘上的文件有175个字节.
14         //Java序列化了很多没有必要的信息.如果要序列化的数据有很多,那么序列化到磁盘上的数据会更多,非常的浪费.
15         //Hadoop没有使用Java的序列化机制.如果采用会造成集群的网络传输的时间和流量都集聚的增长.
16         //Hadoop中自己定义了一个序列化的接口Writable.
17         //Java序列化中之所以信息多是因为把 类之间的的继承多态信息都包含了.再重新构建的时候可以保持原有的关系.
18         
19         StuWritable stu2 = new StuWritable(1, "张三");
20         stu2.setSex(true);
21         FileOutputStream fileOutputStream2 = new FileOutputStream("d:/222");
22         DataOutputStream dataOutputStream2 = new DataOutputStream(fileOutputStream2);
23         stu2.write(dataOutputStream2);
24         fileOutputStream2.close();
25         dataOutputStream2.close();
26     }
27 }
28 
29 class StuWritable extends Person implements Writable{
30     private Integer id;
31     private String name;
32     private Student student;
33     
34     public StuWritable() {
35         super();
36     }
37     public StuWritable(Integer id, String name) {
38         super();
39         this.id = id;
40         this.name = name;
41     }
42     public Integer getId() {
43         return id;
44     }
45     public void setId(Integer id) {
46         this.id = id;
47     }
48     public String getName() {
49         return name;
50     }
51     public void setNameString(String name) {
52         this.name = name;
53     }
54 
55     public void write(DataOutput out) throws IOException {
56         out.writeInt(id);
57         out.writeBoolean(super.isSex());
58         out.writeUTF(name);    
59         out.writeInt(student.getId());
60         out.writeUTF(student.getName());
61     }
62 
63     public void readFields(DataInput in) throws IOException {
64         this.id = in.readInt();
65         super.setSex(in.readBoolean());
66         this.name = in.readUTF();
67         this.student = new Student(in.readInt(),in.readUTF());
68     }
69     
70 }
71 
72 class Person{
73     private boolean sex;
74 
75     public boolean isSex() {
76         return sex;
77     }
78 
79     public void setSex(boolean sex) {
80         this.sex = sex;
81     }
82     
83 }

如果我们Student中有个字段是Writable类型的.
怎么样序列化?

本文转自SummerChill博客园博客，原文链接：http://www.cnblogs.com/DreamDrive/p/5476300.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/376533

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop概念学习系列之Hadoop源代码组织结构（十）

想说的是，当学了Hadoop一段时间之后，很有必要去官网上去下载源代码来进行学习。如hadoop-***.src.tar.gz。 **************************学习************************** 直接解压 Hadoop 压缩包后，可看到下图所示的目录结构，其中，比较重要的目录有 src、conf、lib、bin等。下面分别介绍这几个目录的作用： src：Hadoop 源代码所在的目录。最核心的代码所在子目录分别是 core、hdfs 和mapred，它们分别实现了 Hadoop 最重要的三个模块，即基础公共库、HDFS 实现和 MapReduce 实现。 conf：配置文件所在目录。Hadoop 的配置文件比较多，其设计原则可概括为如下两点。 1尽可能模块化，即每个重要模块拥有自己的配置文件，这样使得维护以及管理变得简单。 2 动静分离，即将可动态加载的配置选项剥离出来，组成独立配置文件。比如， Hadoop 1.0.0 版本之前，作业队列权限管理相关的配置选项被放在配置文件 mapred- site.xml 中，而该文件...

2017-11-14

636

1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok 1.1修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 两种方式：第一种：通过Linux图形...

2017-11-14

452

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。