如何在 ShardingSphere 中开发自己的 DistSQL-低调大师

如何在 ShardingSphere 中开发自己的 DistSQL

2021-12-01 555

在《DistSQL：像数据库一样使用 Apache ShardingSphere》和《SCTL 涅槃重生：投入 RAL 的怀抱》中，已经为大家介绍了 DistSQL 的设计初衷和语法体系，并通过实战操作展示了 DistSQL 创建分布式数据库表的强大能力，展现了 Apache ShardingSphere 在新形态下的交互体验。

为了让大家对 DistSQL 有更深入的了解，同时能根据需要定制自己的 DistSQL 语法，本篇将为大家解析 DistSQL 的设计开发流程，同时通过实际的场景案例，带领大家实现一个全新的 DistSQL 语法，完成从需求到设计、开发和测试的完整过程。

兰城翔

SphereEx 中间件研发工程师，Apache ShardingSphere contributor，目前专注于 DistSQL 的设计和研发。

何为 DistSQL

DistSQL（Distributed SQL）是 Apache ShardingSphere 特有的操作语言，它与标准 SQL 的使用方式完全一致，用于提供增量功能的 SQL 级别操作能力，以此达到对资源和规则的管理的目的。关于 DistSQL 更多信息参考《DistSQL：像数据库一样使用 Apache ShardingSphere》。

DistSQL 的意义

DistSQL 设计的目的是 打破中间件和数据库之间的界限，让开发者像使用数据库一样使用 Apache ShardingSphere。 因此 DistSQL 的设计会尽可能契合已有的数据库语法，进而降低学习成本；此外 DistSQL 的作用是对资源和规则进行 SQL 级别的管理，完全替代配置文件也是其优点之一。

开发 DistSQL

准备

* 在开发之前需要对以下工具有所了解 1. ANTRL4 作为解析工具是开发 DistSQL 的基础，关于 ANTLR 4 的使用可以参考【 ANTRL4简明教程】： https://wizardforcel.gitbooks.io/antlr4-short-course/content/

2. 在 IntelliJ IDEA 开发时还需要使用到插件 ANTLR v4，（ https://plugins.jetbrains.com/plugin/7358-antlr-v4 ）作用是对 ANTRL4 定义的语法规则进行测试，使用方式如下：

a. 在对应的规则上选择 Test Rule

b. 在 ANTLR preview 中输入需要校验的语句

在了解语法和插件的基础之上，还需要对 DistSQL 执行流程有一定认识。但 DistSQL 完整的执行流程较为繁琐，而 ShardingSphere 的良好的架构使得开发者不用关注整个流程也能完成 DistSQL 功能的开发。

开发 DistSQL 需要关注的核心流程如下，此处以分片功能为例，不同的功能对应的 Visitor 不同：

实战

在了解 DistSQL 执行流程之后，接下来将实战演示如何开发一条自己的 DistSQL。

在《DistSQL：像数据库一样使用 Apache ShardingSphere》一文中实战演示了使用 DistSQL 创建分片规则，同时使用 show sharding table rules 对分片规则进行了展示。

现在，让我们提出一个新的需求：通过 DistSQL 快速查询各个分片表的分片数量。设计语法如下：

show sharding tables count [from schema] ;

环境准备
MySQL 服务，包含用于分片的数据库和表
Zookeeper 服务，作为注册中心
ShardingSphere-Proxy 5.0.0
实战演示

1. 创建语法定义

在 src/main/antlr4/imports/sharding/RQLStatement.g4 文件中添加如下的语法定义，添加完成后可以使用 ANTLR v4 对语法定义进行测试。

在添加语法定义时需要考虑该语法中的关键字是否已经定义，此处的 COUNT 为未定义的关键字，需要在 src/main/antlr4/imports/sharding/Keyword.g4 中定义。在语法定义之后还需将其添加到 ShardingDistSQLStatement.g4 文件中，该文件可以理解为解析的路由。

在完成以上步骤之后，对 shardingsphere-sharding-distsql-parser 进行编译生成语法对应的上下文对象。

2. 完成对语法定义的解析

在处理语法之前还需要在 shardingsphere-distsql-statement 添加一个与该语法定义对应的 DistSQLStatement 对象用于保存语句中的变量属性，例如当前语法定义中的 schemaName 需要保存至 DistSQLStatement 对象中。

在 ShardingSphere 中使用的是 ANTLR 的 Visitor 模式，因此对语法定义的处理需要在 ShardingDistSQLStatementVisitor 中重写 visitShowShardingTableCount 方法，该方法的目的为创建 ShowShardingTablesCountStatement 对象，并将语法中的变量属性保存到 DistSQLStatement 对象中。

shardingsphere-distsql-statement 存在 shardingsphere-sharding-distsql-parser 依赖关系，因此需要对 shardingsphere-distsql-statement 进行编译。

3. 数据处理以及结果返回

数据的处理主要由 Handler 或者 Executor 中的 execute 方法处理，结果主要由 getRowData 方法返回，但是对应不同类型的语法定义在侧重点上可能有所差异。其中结果返回的语法定义使用 DistSQLResultSet 作为结果存储的对象，会在 execute 方法中对结果数据进行组装。

本示例便是这种处理方式，以下为该示例对应的 DistSQLResultSet 。

在 ShardingTablesCountResultSet 中 init 方法负责数据的获取与组装， getRowData 方法负责对行数据的返回。此外不难发现该类中还有 getType 方法，该方法属于 TypedSPI 接口，所以 ShardingTablesCountResultSet 还需要在当前模块的 src/main/resources/META-INF/services 目录下增加 org.apache.shardingsphere.infra.distsql.query.DistSQLResultSet 文件来完成 SPI 的注入才能使用，路径与内容如下：

至此该语法定义的功能开发已基本完成。

4. 单元测试以及解析测试

在完成基本的功能开发之后为了保证其持续的可用性需要对新增的类或者方法添加测试用例，对新增的语法添加解析测试，以下为 ShardingTablesCountResultSet 的单元测试。

除了单元测试以外还需要在 shardingsphere-parser-test 中添加对语法定义的解析测试，将输入的 DistSQL 解析成 DistSQLStatement 然后与预期的 TestCase 对象进行比较，步骤如下。

a. 在 src/main/resources/sql/supported/rql/show.xml 中添加测试的 SQL；

b. 在 src/main/resources/case/rql/show.xml 添加测试的 case；

c. 添加 TestCase 对象用于保存 case 中定义的预期结果；

d. 使用 SQLParserTestCases 类将 TestCase 进行加载；

e. 添加对应的 Assert 对象，并将其加入到 ShowRulesStatementAssert 判断中；

f. 执行 DistSQLParserParameterizedTest 中的测试方法，至此测试告一段落。最后可以在命令行工具中去执行开发完成的 DistSQL 检验功能。

结语

DistSQL 作为 5.0.0 版本发布的新特性之一，将会在此版本基础上持续发力，也希望更多的社区伙伴加入，构造更加完善的语法体系，提供更强大的功能，真正打破中间件与数据库之间的界限。

最后，DistSQL SIG 近日已成立，致力于 DistSQL 特性持续优化，拓展新的使用场景以及宣传答疑，欢迎大家点击这里链接关注，了解 DistSQL 以及 ShardingSphere 项目最新进展。

欢迎添加社区经理微信（ ss_assistant_1 ）进入交流群，与众多 ShardingSphere 爱好者一同交流进步

微信关注我们

原文链接：https://my.oschina.net/u/5137513/blog/5336318

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

完整过一遍axios，再也不怕写请求

axios请求方法主要有get，post，put，patch，delete get 获取数据 post 提交数据（表单提交+文件上传） put 更新数据（将所有数据均推放到服务端） patch 更新数据（只将修改的数据推送到后端） dlelete 删除数据 get方法写法调用型 axios.get('/data.json').then((res)=>{ console.log(res) }) 复制代码 axios()型 axios({ method:'get', url:'/data.json' }).then((res)=>{ console.log(res) }) 复制代码 params 如果我们需要加载 : http://localhost:8080/data.json?id=12,应该如何去获取呢？调用型 axios.get('/data.json',{ params:{ id:12 } }).then((res)=>{ console.log(res) }) 复制代码 axios()方法型 axios({ metho...

2021-12-01

591

前言上周六有个群友@我说Gitee的反馈模块新增了截图功能，我就去体验了下，发现他们用的就是我的插件😁，本文就跟大家分享下这个插件，欢迎各位感兴趣的开发者阅读本文。插件地址与实现原理本插件采用原生js实现，可以集成在任意一个web项目中，插件npm地址与GitHub地址请移步： js-screen-shot（npm） js-screen-shot（GitHub）插件的实现原理请移步：实现Web端自定义截屏实现Web端自定义截屏(JS版) 在线体验本插件，可移步我的开源项目chat-system进行体验，插件的运行效果视频请移步实现web端自定义截屏功能-效果视频。 Gitee产品经理的青睐月初的时候，Gitee的产品经理在掘金看到我的截图插件js-screen-shot觉得还不错，他们最近在做这方面的功能，就打算将我的插件直接集成进去，跟我沟通了下版权相关的事情。沟通完成后，他问我要不要把插件在Gitee也放一份，可以帮我推荐下，我毫不犹豫的抱住了大腿，就把插件搬过去了，得到一波首页推荐😂 Gitee的反馈模块需要登录后，点页面右侧的发送反馈图标。影响体验的一些小...

2021-12-01

481

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。