一次JSF上线问题引发的MsgPack深入理解，保证对你有收获

2023-02-03 316

作者：京东零售肖梦圆

前序

某一日晚上上线，测试同学在回归项目黄金流程时，有一个工单项目接口报JSF序列化错误，马上升级对应的client包版本，编译部署后错误消失。

线上问题是解决了，但是作为程序员要了解问题发生的原因和本质。但这都是为什么呢？

第一个问题：为什么测试的时候没有发现问题呢？

首先预发环境中，所有项目中的JSF别名和client包都是beta，每天都有项目进行编译部署，这样每个项目获取的都是最新的client包，所以在预发环境测试没有发现

第二个问题：为什么会出现序列化问题？

JDer的开发们都知道JSF接口如果添加字段需要在类的最后进行添加，对此我检查了自己的代码发现我添加的代码也是在类的最后进行添加的，但是特殊之处在于这是一个父类，有子类进行继承

第三个问题：如果在父类上添加一个字段有什么影响呢？

说实话，猛的这么一问，我犹豫了，JDer们都知道JSF的默认序列化使用的是MsgPack，一直都是口口相传说如果client类添加字段必须在类的最后，但是也没人告诉父类添加字段咋办呀，父子类这种场景MsgPack是如何处理序列化和反序列化的？

第四个问题：MsgPack是什么？MsgPack的序列化和反序化是怎么实现的？

对此问题我坦白了，我不知道；是否有很多JDer跟我对于MsgPack的认识仅限于名字的吗，更别提是如何实现序列化和反序列化了

到此我已经积累了这么多问题了，是时候努力了解一下MsgPack了，看看什么是MsgPack，为什么JSF的默认序列化选择MsgPack呢？

msgpack介绍

官网地址： https://msgpack.org/

官方介绍：

It's like JSON. but fast and small.

翻译如下：

这就像JSON，但更快更小

MessagePack 是一种高效的二进制序列化格式。它允许您在多种语言（如 JSON）之间交换数据。但是速度更快，体积更小。小整数被编码成一个字节，而典型的短字符串除了字符串本身之外只需要一个额外的字节。

JSON格式占用27字节，msgpack只占用18字节

msgpack 核心压缩规范

msgpack制定了压缩规范，这使得msgpack更小更快。我们先了解一下核心规范：

format name	first byte (in binary)	first byte (in hex)
positive fixint	0xxxxxxx	0x00 - 0x7f
fixmap	1000xxxx	0x80 - 0x8f
fixarray	1001xxxx	0x90 - 0x9f
fixstr	101xxxxx	0xa0 - 0xbf
nil	11000000	0xc0
(never used)	11000001	0xc1
false	11000010	0xc2
true	11000011	0xc3
bin 8	11000100	0xc4
bin 16	11000101	0xc5
bin 32	11000110	0xc6
ext 8	11000111	0xc7
ext 16	11001000	0xc8
ext 32	11001001	0xc9
float 32	11001010	0xca
float 64	11001011	0xcb
uint 8	11001100	0xcc
uint 16	11001101	0xcd
uint 32	11001110	0xce
uint 64	11001111	0xcf
int 8	11010000	0xd0
int 16	11010001	0xd1
int 32	11010010	0xd2
int 64	11010011	0xd3
fixext 1	11010100	0xd4
fixext 2	11010101	0xd5
fixext 4	11010110	0xd6
fixext 8	11010111	0xd7
fixext 16	11011000	0xd8
str 8	11011001	0xd9
str 16	11011010	0xda
str 32	11011011	0xdb
array 16	11011100	0xdc
array 32	11011101	0xdd
map 16	11011110	0xde
map 32	11011111	0xdf
negative fixint	111xxxxx	0xe0 - 0xff

示例解读：

json串：{"compact":true,"schema":0}

对应的msgpack为：82 a7 63 6f 6d 70 61 63 74 c3 a6 73 63 68 65 6d 61 00

第一个82，查看规范表，落在fixmap上，fixmap的范围：0x80 - 0x8f，表示这是一个map结构，长度为2

后面一个为a7，查看规范表，落在fixstr的范围：0xa0 - 0xbf，表示是一个字符串，长度为7，后面7个为字符串内容：63 6f 6d 70 61 63 74 将16进制转化为字符串为：compact

往后一个为：c3，落在true的范围：oxc3

再往后一个为：a6，查看规范表，落在fixstr的范围：0xa0 - 0xbf，表示是一个字符串，长度为6，后面6个字符串内容为：

73 63 68 65 6d 61，将16进制转化为字符串为：schema

最后一个为：00，查看规范表，落在positive fixint，表示一个数字，将16进制转为10进制数字为：0

拼装一下{ "compact" : true , "schema" : 0 }

我们看一下官方给出的stringformat示意图：

对于上面的问题，一个长度大于15（也就是长度无法用4bit表示）的string是这么表示的：用指定字节0xD9表示后面的内容是一个长度用8bit表示的string，比如一个160个字符长度的字符串，它的头信息就可以表示为D9A0。

举一个长字符串的例子：

{"name":"fatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfatherfather","age":10,"childerName":"childer"}

83 A4 6E 61 6D 65 DA 03 06 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 66 61 74 68 65 72 A3 61 67 65 0A AB 63 68 69 6C 64 65 72 4E 61 6D 65 A7 63 68 69 6C 64 65 72

一起解析一下看看

83:这个大家都已经知道了，一个固定的map，长度为3

A4：fixstr(长度4)，然后找到后面四位

6E 61 6D 65：16进制转为字符串：name

DA：str 16 ，后面两个字节为长度

03 06：16进制转化为10进制：774

后面774个字节转化为字符串：

A3： fixstr(长度3)，然后找到后面三位

61 67 65 ：16进制转为字符串：age

0A ：16进制转10进制：10

AB :fixstr(长度11)，然后找到后面11位

63 68 69 6C 64 65 72 4E 61 6D 65 :16进制转为字符串：childerName

A7 ： fixstr(长度7)，然后找到后面七位

63 68 69 6C 64 65 72 ：16进制转为字符串：childer

问题原因解析

先还原事件过程，我们在父类的最后添加一个字段，然后创建一个子类继承父类，然后进行模拟序列化和反序化，查找问题

第一步：模拟父子类，输出16进制数据

先声明一个父子类，然后进行序列化

父类：

public class FatherPojo implements Serializable {    
    /**     
    * name     
    */    
    private String name;
}

子类：

public class ChilderPojo  extends FatherPojo implements Serializable {    
    private String childerName;
}

使用官方的序列化包进行序列化

<dependency>
  <groupId>org.msgpack</groupId>
  <artifactId>jackson-dataformat-msgpack</artifactId>
  <version>(version)</version>
</dependency>

测试代码如下：

public class Demo {    

    public static void main(String[] args) throws JsonProcessingException {  
          
        ObjectMapper objectMapper = new ObjectMapper(new MessagePackFactory());        
        ChilderPojo pojo = new ChilderPojo();        
        pojo.setName("father");        
        pojo.setChilderName("childer");        
        System.out.println(JSON.toJSON(pojo));        
        byte[] bytes = objectMapper.writeValueAsBytes(pojo);   
        //输出16进制     
        System.out.println(byteToArray(bytes));    
    }    
    
    
    /**
    *  byte数组转化为16进制数据
    */
    public static String byteToArray(byte[]data) {        
        StringBuilder result = new StringBuilder();        
        for (int i = 0; i < data.length; i++) {            
            result.append(Integer.toHexString((data[i] & 0xFF) | 0x100).toUpperCase().substring(1, 3)).append(" ");        
        }        
        return result.toString();    
   }
   
}

输入结果如下：

{"name":"father","childerName":"childer"}

82 A4 6E 61 6D 65 A6 66 61 74 68 65 72 AB 63 68 69 6C 64 65 72 4E 61 6D 65 A7 63 68 69 6C 64 65 72

拿着json数据去messagepack官网也获取一下16进制数据，跟如上代码输出的结果是一样的。

第二步：在父类的结尾增加一个字段，然后输出16进制数组

修改父类，增加一个age字段

public class FatherPojo implements Serializable {    
    /**     
    * name     
    */    
    private String name;    
    /***     
    * age     
    */    
    private Integer age;
}

修改测试代码，给父类的age赋值

public class Demo {    

    public static void main(String[] args) throws JsonProcessingException {  
          
        ObjectMapper objectMapper = new ObjectMapper(new MessagePackFactory());        
        ChilderPojo pojo = new ChilderPojo();        
        pojo.setName("father");        
        pojo.setChilderName("childer");  
        pojo.setAge(10);
              
        System.out.println(JSON.toJSON(pojo));        
        byte[] bytes = objectMapper.writeValueAsBytes(pojo);   
        //输出16进制     
        System.out.println(byteToArray(bytes));    
    }    
    
    
    /**
    *  byte数组转化为16进制数据
    */
    public static String byteToArray(byte[]data) {        
        StringBuilder result = new StringBuilder();        
        for (int i = 0; i < data.length; i++) {            
            result.append(Integer.toHexString((data[i] & 0xFF) | 0x100).toUpperCase().substring(1, 3)).append(" ");        
        }        
        return result.toString();    
   }
   
}

输入结果如下：

{"name":"father","age":10,"childerName":"childer"}

83 A4 6E 61 6D 65 A6 66 61 74 68 65 72 A3 61 67 65 0A AB 63 68 69 6C 64 65 72 4E 61 6D 65 A7 63 68 69 6C 64 65 72

拿着json数据去messagepack官网也获取一下16进制数据，跟如上代码输出的结果是一样的。

先对比json数据

父类没加字段之前：{"name":"father","childerName":"childer"}

父类加字段之后： {"name":"father","age":10,"childerName":"childer"}

对比一下前后两次16进制数组，我们进行对齐后进行对比一下

82 A4 6E 61 6D 65 A6 66 61 74 68 65 72 AB 63 68 69 6C 64 65 72 4E 61 6D 65 A7 63 68 69 6C 64 65 72

83 A4 6E 61 6D 65 A6 66 61 74 68 65 72 A3 61 67 65 0A AB 63 68 69 6C 64 65 72 4E 61 6D 65 A7 63 68 69 6C 64 65 72

对比发现在红色部分是多出来的一部分数据应该就是我们添加的age字段，现在我们进行解析对比一下。

拼装一下{ "name": "father", "childerName" : "childer" }

拼装一下{ "name": "father", “age”: 10 "childerName" : "childer" }

第三步：直接对二进制数据解包

1、先用正确的顺序解包

public static void analyze(byte[] bytes) throws IOException {    
    MessageUnpacker unpacker = MessagePack.newDefaultUnpacker(bytes);    
    int length =  unpacker.unpackMapHeader();    
    String name = unpacker.unpackString();    
    String nameValue = unpacker.unpackString();    
    String age = unpacker.unpackString();    
    Integer ageValue = unpacker.unpackInt();    
    String childerName = unpacker.unpackString();    
    String childerNameValue = unpacker.unpackString();    
    System.out.println("{""+name+"":""+nameValue+"",""+age+"":"+ageValue+",""+childerName+"":""+childerNameValue+""}");
}

输出结果为：

{"name":"father","age":10,"childerName":"childer"}

2、如果我们客户端没有升级client包版本，使用了错误的解包顺序

public static void analyze(byte[] bytes) throws IOException {        
    MessageUnpacker unpacker = MessagePack.newDefaultUnpacker(bytes);        
    int length =  unpacker.unpackMapHeader();        
    String name = unpacker.unpackString();        
    String nameValue = unpacker.unpackString();
    String childerName = unpacker.unpackString();        
    String childerNameValue = unpacker.unpackString();       
    System.out.println("{""+name+"":""+nameValue+"",""+childerName+"":""+childerNameValue+""}");    
}

解析报错：反序列化失败

从上述案例中发现在父类中增加数据，相当于在子类中间增加数据导致子嘞反序列化失败。需要注意的是解包顺序必须与打包顺序一致，否则会出错。也就是说协议格式的维护要靠两端手写代码进行保证，而这是很不安全的。

JSF为什么选择MsgPack以及官方FAQ解释

为什么JSF会选择MsgPack作为默认的序列化

JDer的开发们用的RPC基本上都是JSF，在远程调用的过程中字节越少传输越快越安全(产生丢包的可能性更小)，咱们回过头去看看MsgPack；我们了解了MsgPack的压缩传输可以看到，MsgPack序列化后占用的字节更小，这样传输的更快更安全；所以这应该就是JSF选择Msgpack作为默认序列化的原因了。我理解MsgPack是采用一种空间换时间的策略，减少了在网络传输中的字节数，使其更安全，然后在接到序列化后的数据后按照压缩规范进行反序列化(这部分增加了cpu和内存的使用，但是减少了网络传输中时间且提高了传输安全性)。

JSF对父子类序列化的FQA解释

是时候进行总结和说再见了

总结：

1、MessagePack 是一种高效的二进制序列化格式。它允许您在多种语言（如 JSON）之间交换数据。但是速度更快，体积更小。

此去经年，江湖再见

微信关注我们

原文链接：https://my.oschina.net/u/4090830/blog/7180682

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

利用 Addax 异构迁移数据到 Databend

作者：邰翀 (https://github.com/TCeason) Databend 研发工程师现在互联网应用越来越复杂，每个公司都会有多种多样的数据库。通常是用最好的硬件来跑 OLTP，甚至还在 OLTP 中进行分库分表来足业务，这样对于一些分析，聚合，排序操作非常麻烦。这也有了异构数据库的数据同步需求，今天重点给大家介绍两个利器：异构数据迁移：Addax 结合云原生数仓 Databend 实现异构数据库数据合并及分析。 Addax (https://github.com/wgzhao/Addax) 是一个异构数据源离线同步工具，最初来源于阿里的 DataX ，致力于实现包括关系型数据库(MySQL、PostgreSQL、Oracle等)、HDFS、Hive、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Databend (https://github.com/datafuselabs/databend) 是一个开源、弹性、负载感知的现代云数仓库，赋能企业降本增效。在之前的文章中介绍了如何快速部署 Databend (https://www.databend...

2023-02-03

538

写在前面：面对全面放开后多样的消费机会，开发者们如何在保障品质生活的同时，借助开源工具，全面、科学地规划和管理个人财务，把握资金动向，避开消费陷阱？ LigaAI特邀我司Nerd4me 大佬分享其个人财务管理经验，系列共分「概念篇」和「实战篇」。本篇「概念篇」，将详细介绍复式记账法的基本框架。一、为什么要记账？关于「为什么要记账？」，常见回答有这些：掌控收支情况，以便更好地制定理财计划；单纯地作为一种生活记录，以承载记忆；希望通过记账，改变或调整消费习惯；鼠鼠穷，希望通过记账寻找可削减的开支；在我看来，记账所带来的好处远不止这些。记账能让我们更清晰宏观地了解自身的财务状况，通过合理的财富资源配置（让钱去该去的地方），更好地应对/规避风险，规划投资行为。一个维护良好的账本能够生成许多有用的账务报表，其中最有用的两个是：损益表- Income Statement: 周期性地审阅损益表有助于了解周期时间内的资金流向和盈亏情况。也就是我们常说的：钱从哪来？到哪去？亏了还是赚了？资产负债表 -Balance Sheet：用于呈现我们拥有多少钱？钱分布在哪里？想要更...

2023-02-03

374

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。