高性能动态 Thrift 编解码器 — CloudWeGo 子项目 Frugal 正式开源-低调大师

高性能动态 Thrift 编解码器 — CloudWeGo 子项目 Frugal 正式开源

2022-06-01 580

CloudWeGo 子项目 Frugal 已正式开源。

Frugal 是一款不用生成编解码代码的基于 JIT 编译技术的高性能动态 Thrift 编解码器。

项目地址：https://github.com/cloudwego/frugal

Thrift 作为一个高性能编解码协议，在 CloudWeGo 里被广泛使用。由于其必须生成数量较大的编解码代码，给项目开发管理和代码 Review 带去了诸多不便。 Thrift 编解码库和 Go 语言编译器的使用，也给性能优化造成了阻碍。

因此，CloudWeGo 团队开发了 Frugal 项目。

在性能上，通过使用 JIT 编译技术，Frugal 带来了更强的编解码性能，可以达到传统编解码方式的 5 倍；在易用性上，Frugal 不需生成编解码代码，极大地改善了用户的使用体验。

1. Frugal 的特点

无需生成代码

传统的 Thrift 编解码方式，要求用户必须要先生成编解码代码，不仅增加了用户使用负担，而且后续的变更可能带来大量的改动，导致代码 Review 难度大增。

通过 JIT 技术在运行时动态生成编解码机器代码， Frugal 能帮助开发者避免这一问题。

高性能

在多核场景下，Frugal 的性能可以达到传统编解码方式的 5 倍！

用户通过使用 Frugal 不再需要生成编解码代码。团队基于 JIT 技术生成了比 Go 语言编译器性能更好的机器代码，使得 Frugal 在进行 Thrift 编解码时，比传统通过生成代码进行编解码的方式性能表现更佳。

稳定性

Frugal 的稳定性已经通过了团队内部的严格验证。

团队使用了 Thrift 大仓库中的 Thrift 文件进行测试，总计 21307 个 Thrift 文件，全部通过了编解码测试。

2. 用 Frugal 可以做什么？

配合 Kitex 使用

搭配 Kitex 框架使用，用户不需再生成大量的编解码代码，使仓库变得干净整洁，Review 时也不用再带上一堆无意义的 Diff，性能也更加优越。

配合 Thriftgo 做 Thrift IDL 的编解码

如果只需要使用 Thrift 的编解码能力，同时也定义好了 IDL，那么只需要用 Thriftgo 生成 IDL 对应的 Go 语言 Struct，就可以轻松使用 Frugal 的编解码能力。

直接定义 Struct 进行编解码

更简单的使用方式，可以直接定义好 Go 语言 Struct 后，给每个 Field 带上 Frugal 所需的 Tag，就可以直接使用 Frugal 进行编解码了。

3. 使用手册

配合 Kitex 使用

更新 Kitex 到 Frugal_test 分支。

带上 -thrift frugal_tag 参数重新生成一次代码。

初始化 Client 和 Server 时使用 WithPayloadCodec(thrift.NewThriftFrugalCodec()) Option。

Client 示例：

Server 示例：

配合 Thriftgo 做 Thrift IDL 的编解码

编写 Thrift 文件。

现在假设我们有如下 Thrift 文件，My.thrift:

使用 Thriftgo 生成代码。

定义好需要的 Thrift 文件后，在使用 Thriftgo 生成 Go 语言代码时使用 frugal_tag 参数。

示例：

使用 Frugal 进行编解码。

生成所需要的结构体后，直接使用 Frugal 进行编解码即可。

示例：

直接定义 Struct 进行编解码

定义 Struct。

现在假设我们需要如下 Struct ：

给结构体字段添加 Tag。

Frugal 中所需要的 Tag 是形如 frugal:"1,default,string"，其中 1 为字段 ID， default 为字段的 Requiredness， string 表示字段的类型。上述的 MyStruct 可以添加如下 Tag：

下面是完整的类型示例：

使用 Frugal 进行编解码。

直接使用 Frugal 进行编解码即可。

示例：

4. 展望

下一个版本 Kitex 将默认集成 Frugal，用户不再需要使用 Feature 分支来进行使用。
Frugal 将持续进行 SSA 后端，包括 SIMD 指令优化等特性的实现，预计在后续版本，将会带来性能更大幅度的提升。

活动预告

5 月，CloudWeGo 社区第一期源码解读活动已经上线，欢迎大家持续关注并积极参与！

活动地址：[CSG 第一期] kitex 源码解析学习活动・Issue #24・cloudwego/community (github.com)

微信关注我们

原文链接：https://my.oschina.net/u/4843764/blog/5533905

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HMS Core机器学习服务，高效助力跨语种沟通

5月24日， HUAWEI Developer Day（简称HDD）线上沙龙·创新开发专场活动成功举办。HMS Core机器学习服务（ML Kit）产品经理在会上围绕机器翻译的技术优势、使用场景和接入指导等为开发者们做了详细解读。ML Kit将助力开发者更快更好地开发翻译类应用，帮助用户轻松跨越语种障碍。近年来，以机器学习为代表的人工智能技术快速融入生产生活场景，推动科技更好地服务于人。机器翻译作为人工智能关键技术之一，越来越受到人们的关注。随着国内企业、应用出海加速，机器翻译作为有效增强全球化信息的能力，通过对文本、图片、语音、文档的翻译，在开拓海外市场、提升客户体验、获取海外洞察、支持公司策略等应用场景下都将为企业赋能。丰富的应用场景，为用户体验锦上添花 ML Kit的文本翻译能力是以机器学习、大数据、自然语言和云计算等前沿技术为基础打造的自动翻译服务，它提供了丰富多样的使用场景，解决了用户由于语言不通而导致交流不畅的痛点。比如通话场景下说中文，实时语音识别后，文本翻译能力可以快速将识别的文字转化为目标语言文字；阅读场景下，支持提词翻译器功能，帮助用户快捷看到译文；视频类App...

2022-06-01

442

之前我们已经看过了 Golang 常见设计模式中的装饰和选项模式，今天要看的是 Golang 设计模式里最简单的单例模式。单例模式的作用是确保无论对象被实例化多少次，全局都只有一个实例存在。根据这一特性，我们可以将其应用到全局唯一性配置、数据库连接对象、文件访问对象等。Go 语言实现单例模式的方法有很多种，下面我们就一起来看一下。饿汉式饿汉式实现单例模式非常简单，直接看代码： package singleton type singleton struct{} var instance = &singleton{} func GetSingleton() *singleton { return instance } singleton 包在被导入时会自动初始化 instance 实例，使用时通过调用 singleton.GetSingleton() 函数即可获得 singleton 这个结构体的单例对象。这种方式的单例对象是在包加载时立即被创建，所以这个方式叫作饿汉式。与之对应的另一种实现方式叫作懒汉式，懒汉式模式下实例会在第一次被使用时被创建。需要注意的是，尽管饿汉式实...

2022-06-01

414

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。