首页 文章 精选 留言 我的

精选列表

搜索[dubbo],共2668篇文章
优秀的个人博客,低调大师

源码分析Dubbo序列化-源码分析kryo序列化实现原理

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 本文主要梳理 Kryo 序列化基本实现。重点剖析 Kryo # writeClassAndObject、Kryo # readClassAndObject 方法。 1、源码分析Kryo#writeClassAndObject public void writeClassAndObject (Output output, Object object) { if (output == null) throw new IllegalArgumentException("output cannot be null."); beginObject(); // @1 try { if (object == null) { writeClass(output, null); // @2 return; } Registration registration = writeClass(output, object.getClass()); // @3 if (references && writeReferenceOrNull(output, object, false)) { // @4 registration.getSerializer().setGenerics(this, null); return; } if (TRACE || (DEBUG && depth == 1)) log("Write", object); registration.getSerializer().write(this, output, object); // @5 } finally { if (--depth == 0 && autoReset) reset(); // @6 } } 代码@1:开始序列化,将dept自增,表示当前深度,因为在序列化一个对象时,该方法有可能会被递归调用,每递归调用增加1,一次调用结束后在finally字句中自减。 代码@2:如果对象为空,则调用 writeClass ( DefaultSerializers $ ClassSerializer ),序列化为空。 代码@3:如果对象不为空,首先序列化对象所属的 Class 实例,从这里可以看出,Kryo 在序列化时,首先先序列化类型。 代码@4:如果 references 为 true (默认为 true,可以序列化循环依赖),则调用 writeReferenceOrNull 序列化。 代码@5:如果 references 为 false,则调用 write 序列化,此时如果对象存在循环依赖,则会抛出 throw new KryoException("Max depth exceeded: " + depth ) 异常,如果 object 为基本类型,也将通过该方法完成值的序列化。 代码@6:完成序列化后,恢复相关数据。也就是说 Kryo 实例并不是线程安全的。 默认 references 为 true,表示支持循环嵌套,我们接下来重点跟踪一下 writeReferenceOrNull 方法。 1.1 源码分析writeReferenceOrNull方法 /** @param object May be null if mayBeNull is true. * @return true if no bytes need to be written for the object. */ boolean writeReferenceOrNull (Output output, Object object, boolean mayBeNull) { // @1 if (object == null) { // @2 if (TRACE || (DEBUG && depth == 1)) log("Write", null); output.writeVarInt(Kryo.NULL, true); return true; } if (!referenceResolver.useReferences(object.getClass())) { // @3 if (mayBeNull) output.writeVarInt(Kryo.NOT_NULL, true); return false; } // Determine if this object has already been seen in this object graph. int id = referenceResolver.getWrittenId(object); // @4 // If not the first time encountered, only write reference ID. if (id != -1) { // @5 if (DEBUG) debug("kryo", "Write object reference " + id + ": " + string(object)); output.writeVarInt(id + 2, true); // + 2 because 0 and 1 are used for NULL and NOT_NULL. return true; } // Otherwise write NOT_NULL and then the object bytes. id = referenceResolver.addWrittenObject(object); // @6 output.writeVarInt(NOT_NULL, true); if (TRACE) trace("kryo", "Write initial object reference " + id + ": " + string(object)); return false; // @7 } 代码@1:参数说明:Output output:输出流;Object object:待序列化的对象; 代码@2:如果对象为空,写入 Kryo.NULL(0),然后返回 true,表示需要设置 generic,后续会讲解一下 generic(泛型支持)。 代码@3:如果是基本类型,如果 maybe (值可能为空),但该方法不为空,则设置为 Kryo.NOT_NULL ,然后返回 false,表示非引用类型,需要持久化值。 代码@4:判断该对象是否在对象图中已被序列化一次。(其实现方式 ListReferenceResolver、MapReferenceResolver)。 代码@5:如果 writtenId 不等于 -1,表示该对象已被序列化,直接序列化 ID,直接返回 true,然后结束 writeClassAndObject该方法,表示该对象实例完成。 代码@6:为 object 构建一 个 ID,这个 ID 数据是在一次嵌套调用 writeClassAndObject 内有效,然后 writeClassAndObject 结束后,会调用 reset 方法,将其清空,然后先写入为空标识,并返回 false,也就是第一次序列化对象时,返回 false,会进入到 writeClassAndObject 的代码@5中。 Kryo#writeClassAndObject 代码@5registration.getSerializer().write(this, output, object); // @5复制代码其实其重点关键,还是 writeClassAndObject # writeClass 也就是上文说的代码 @3,在序列化对象之前,首先先序列化该对象的类型,然后需要返回对应的字段序列器。例如,如果类的类型为 java.util.Map,则首先先要记录类型为 Map,然后返回可以序列化 Map 的序列器,再例如类型如果是 java.lang.String,则先序列化类型,然后序列化值,序列化值的序列器则为 DefaultSerializers$StringSerializer,那如果是一个对象类型,例如 cn.uce.demo.Student,自然,第一步是先序列化类型 cn.uce.demo.Student,接下来就需要序列化 Student 的各个字段的信息,返回的序列化为 DefaultSerializers$FieldSerializer,然后可以通过 FieldSeriaizer 返回 Student 的属性列表,然后单独一个字段一个字段的序列化,其顺序也就是,先类型,再序列化值。这样就递归完成了一个对象的序列化操作。 Kryo序列化实现原理: 1、先序列化类型(Class实例),然后根据类型返回相应的序列化器(上一篇详细介绍了各种类型的序列化器)。 2、再序列化该类型的值。 3、如果自定义类型,例如(cn.uce.demo.Student),则返回的值序列化器为DefaultSerializers$FieldSerializer,然后一个字段一个字段的序列化,当然其序列化类型也是,先类型再值的模式,递归进行,最终完成。 4、引入了对象图的概念来消除循环依懒的序列化,已序列化的对象,在循环引用时,只是用一个int类型来表示该对象值,类似一种缓存的概念。 Kryo与java 序列化的区别 kryo 的设计目的是指对象值的序列化,关注的是数据有效数据的传输,减少需要序列化的元数据信息。 这一点通过 Kryo 对 Class 对象的序列化,也就是类型的序列化就能看出端倪。 Kryo 对 Class 的序列化只需要化 Class 的全路径名,在反序列化时根据 Class 通过类加载进行加载,大大减少了序列化后的文件大小,能极大提高性能。 Kryo 的核心设计理念就是尽最大可能减少序列化后的文件大小,其举措1就是通过对long,int等数据类型,采用变长字节存储来代替java中使用固定字节(4,8)字节的模式,因为在软件开发中,对象的这些值基本上都是小值,能节省很多空间,第二个举措是使用了类似缓存的机制,在一次序列化对象中,在整个递归序列化期间,相同的对象,只会序列化一次,后续的用一个局部int值来代替。 【云栖号在线课堂】每天都有产品技术专家分享!课程地址:https://yqh.aliyun.com/live 立即加入社群,与专家面对面,及时了解课程最新动态!【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK 原文发布时间:2020-04-24本文作者:中间件兴趣圈本文来自:“掘金”,了解相关信息可以关注“掘金”

优秀的个人博客,低调大师

微服务架构Dubbo之Zookeeper安装测试和zookeeper的集群搭建说明

Zookeeper介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。 ZooKeeper包含一个简单的原语集,提供Java和C的接口。 ZooKeeper代码版本中,提供了分布式独享锁、选举、队列的接口,代码在zookeeper-3.4.3\src\recipes。其中分布锁和队列有Java和C两个版本,选举只有Java版本。 总结:Zookeeper负责服务的协调调度.当客户端发起请求时,返回正确的服务器地址。 1. Zookeeper安装 1.1测试JDK 1.2上传压缩包 zookeeper官网:https://zookeeper.apache.org/releases.html 1.3解压压缩包 tar -xvf zookeeper-3.4.14.tar.gz 1.4 删除压缩包,将解压文件改名为zookeeper(自定义) 1.5 创建data和log文件 1.6 修改zoo.cfg配置文件 1.6.1 进入data文件,pwd,复制其路径 1.6.2更改zoo_sample.cfg文件名为zoo.cfg 1.6.3 修改dataDir路径,也就是刚才的data路径(dataLogDir类似) 1.7 检测Zooleeper是否安装成功 1.7.1 进入bin文件目录下,通过sh zkServer.sh start 开启 1.7.2 开启后 ,通过 sh zkServer.sh status 检测状态 , 状态显示为standalone说明开启成功,你的Zookeeper安装成功!!! 2.Zookeeper集群搭建 2.1 准备工作 2.1.1创建zkCluster文件再zookeeper的根目录下,再其中创建zk1/zk2/zk3三个文件夹 2.1.2在三个文件夹中创建data和log文件 -- mkdir {zk1,zk2,zk3}/{data,log} 2.2创建myid 2.2.1根据不同的文件有不同myid-----zk1的myid中内容为1,zk2为2,zk3为3 2.3编辑配置文件 2.3.1 复制zk1的路径 2.3.2 在conf文件目录下将zoo_sample.cfg 复制为zoo1.cfg之后修改配置文件. 2.3.3 vim zoo1.cfg -->> 更改配置 dataDir和dataLogDir的路径就用data和log所对应的路径 clientPort 所对应的2181的最后一位数,只需按照myid中的数字所配置,其余三位不用修改 server.1/2/3 是属于叠加一的方式,便于记忆 zoo2.cfg/zoo3.cfg只需按照我上文所述更改即可 记住server.1/2/3不需要更改,只用配置一次 2.4 测试集群搭建是否成功 sh zkServer.sh start zoo1.cfg 开启 sh zkServer.sh stop zoo1.cfg 关闭 sh zkServer.sh status zoo1.cfg 检测状态 2.4.1 在图中我只开启了zoo1.cfg/zoo2.cfg---->> 从我框住的可以看出,zoo2.cfg为主机,zoo1.cfg为从机,如果zoo3.cfg开启,依旧是zoo2.cfg的从机 Zookeeper集群搭建成功!!!

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册
修改密码
忘记密码