把复杂交给我们，把简单还给你丨TiVP 让 SQL 执行计划可视化-低调大师

把复杂交给我们，把简单还给你丨TiVP 让 SQL 执行计划可视化

2022-01-27 475

通过 TiDB Hackathon 重新认识了自己的潜力。当你想做一件事情，你会发现自己特别专注在上面，然后一些你觉得不会成功、不可能的事情也会变得可能。

——TiVP 团队

在刚刚结束的 TiDB Hackathon 2021 赛事中，TiVP 赛队的作品 TiDB Visual Plan 实现了 SQL 执行计划的可视化，有利于快速定位及解决执行计划相关的各类问题。由于项目的实用性和从用户角度出发（无论是外部 TiDB 用户，还是 PingCAP 内部研发工程师），摘得了 “三等奖” 和 “用户之选奖”。

项目非常聚焦，有效提升了执行计划的可读性，具备一定的索引推荐能力。

——评委冯光普

当我终于看到可视化的执行计划时，我几乎流下了激动的泪水。毕竟我们之前诊断慢 SQL 实在是太苦了，那么一大屏的执行计划，几乎叫做没法看，而且如果要对比两个执行计划的异同，就更崩溃了。有了可视化，至少分析到底哪里慢的效率会提升很多。

——PingCAP 研发副总裁唐刘

为什么做这个项目？

TiVP 是一支由 PingCAP 员工和社区小伙伴临时组成的队伍。在 PingCAP 入职不到半年的 Yves 看到 Hackathon 的宣传，抱着体验下的心态报了个名。作为产研消防队的一员，Yves 在日常工作中会经常看客户执行计划方面的问题，最开始他只有一个朴素的想法：TiDB SQL 调优的需求很大，客户申请的原厂支持里，与执行计划（Plan）相关的问题就过半；SQL 作为一种声明性语言，观察执行计划是排查执行效率的唯一手段，慢 SQL Explain 出来的执行计划异常复杂难懂影响分析效率。在强调软件“可观测性”的今天，能不能做 SQL 执行计划的可视化？

于是他私底下找到身边优化器大佬 Chrysan 聊这个想法，没想到刚聊两分钟就一拍即合，然后大佬拉来了 QA Tammyxia，于是阵容突然就庞大了。但是仨人都是做数据库后端的，可视化可视化，没有前端可不行。抱着试试看的心态，Yves 就在 AskTug 上发了个队友招募贴。

TiDB 开源生态强大的感召力，让第二天就有好几位小伙伴找 Yves 交换了联系方式，其中 92hacker（陈元，在深圳的一个前端开发大牛，尽管其工作内容与数据库不强相关，但一直关注 PingCAP 公众号，了解 TiDB 进展）与他进行了第一次友好深入的交流，于是队伍就这么拉出来了。

团队的名称 TiVP 是 TiDB Visual Plan 的缩写，大家觉得 VP 也很霸气，且 PingCAP 有许多以 Ti 打头的工具，于是团队就一致通过了这个队名。组完队后距离提交 RFC 还有一段时间，团队浏览了 Hackathon 2020 的获奖项目，还跟往届选手做了经验交流，正如 TiVP 团队所言，dream big、冠军心，这次首次参赛就获奖，一个原因就是目标定得高。

项目解决了什么问题？

TiDB Visual Plan，通过收集 TiDB 数据库侧 SQL 的执行计划和运行时信息，基于开源组件 dalibo/pev2 开发了一个显示界面用于图像化呈现 SQL 的执行计划，对庞杂数据库输出的信息做分类梳理，帮助技术人员更便捷地了解、分析 SQL 语句及其执行逻辑，并可对问题关键高亮提示，从而快速定位以及解决执行计划相关的各类问题，如慢 SQL 优化、执行计划选错等。

如下图所示，TiDB Visual Plan 会将左侧执行的 SQL 语句，进行 JSON 转换和相应算子的统计，并以树形的结构清晰展示执行计划。每个算子点击展开后，会显示其具体的耗时、条数及所使用的资源。算子右上角还会用各类图标对一些问题进行提示，如耗时比较长、资源消耗比较高、执行计划预估和实际执行条数出现较大偏差等，通过这些提示，DBA 就能很方便地定位问题模块进行细节排查。

针对复杂的 SQL 执行计划，TiDB Visual Plan 还将提供 Advisor 功能，通过 Hint 提示（如下图的 use_index）和后台计算，对比优化前后的变动情况，并可通过 “Apply” 一键应用优化，实现智能辅助调优【注：该功能为蓝图规划，本次 Hackathon 仅演示交互流程】。

此外，TiDB Visual Plan 还可通过耗时分析、代价分析等不同维度对 SQL 执行计划进行可视化，提供树形图和经典横向扩展模式，总之你想要的，这里都有。

比赛中的挑战与趣事

TiVP 团队的 4 名成员都是首次参加 TiDB Hackathon，作为混编队伍，整个参赛过程充满了挑战与欢乐。如 92hacker 谈到的，非常荣幸通过社区找到三个 P 社小伙伴，让他对 PingCAP 的整个印象更好了，决赛前就想不论 TiDB Visual Plan 这个项目能不能拿奖，在比赛后都会尽力把它给融入到 TiDB 的 Dashboard 里面，把技术迁移的事情做完。

挑战

TiDB Dashboard 是 TiDB 自 4.0 版本起提供的图形化界面，用于监控及诊断 TiDB 集群。团队刚开始想把 TiDB Visual Plan 的可视化融入到 Dashboard 里面，但在前端选型后，发现一个很大的问题，就是两个技术栈是不兼容的，整个迁移的成本会非常大。由于团队成员日常工作就很忙，当时留给前端开发这边的时间大概只有一两天，但如果迁移至少得一个星期才能完成。最后团队就讨论决定与其把工作重心放在融入到 Dashboard 上，还不如换个方向，对执行计划的可视化本身进行优化，比如跑最复杂的测试 SQL、集成 index recommendation 等。从最后的结果来看，当时做这样一个决策还是相当成功的。

趣事

初赛的时候，Demo 演示的那段视频只有队长 Yves 能听得到声音，其他人都听不到声音，而团队成员还非常淡定地坐在那里没有打断（答辩时 Yves 戴着降噪耳机，答辩完之后没拔耳机就信心满满地给评委放 demo 视频直到结束——如下图），以至于让线上的评委们看了一段无声版的 Demo（远在深圳的 92hacker 还以为这个视频本来就是无声的），但其实视频是有精心准备的语音讲解。不过没有讲解大家也能看懂，也验证了团队的产品哲学，大道至简。

未来工作展望

除了获得三等奖，对于被评为 “用户之选” 奖，TiVP 团队觉得非常意外。在做这个项目的时候，团队并不是从一个很大的 scope 着手，而是发现了目前执行计划存在的痛点。在解决执行计划可视化的同时，又发现有很多可以改进的地方，包括易用性、交互性，以及未来的一些智能化等。整个项目的思路就是从用户的角度去想问题，切中用户的痛点，团队猜测也许这是打动 TiDB 用户代表评委的一个重要原因。

尽管 Hackathon 2021 比赛已经落幕，但 TiVP 团队还在为 TiDB Visual Plan 的技术栈迁移到 Dashboard 而持续努力，推动 TiDB 尽快融入这个新功能，让 DBA 从满屏密密麻麻的执行计划代码中得到解放。

目前 TiDB Visual Plan 主要是做执行计划的可视化，未来不仅希望进一步提升内核的可诊断性：如优化器优化流程的可视化；还希望能在深度和广度兼容上做更多的探索：譬如赋予优化器以 whatif 的思考能力，提供给用户一键调优的极佳体验；再譬如通过定义接口协议，把 SQL 调优工具从 TiDB 拓展到 MySQL、PostgreSQL、Oracle 以及 SQL Server 等，做成一个更加通用的云服务版本。正如 TiVP 团队的宣言 “把复杂交给我们，把简单还给你”，云化后兼具易用性、扩展性和智能化的 SQL 执行计划可视化服务会是星辰大海。

微信关注我们

原文链接：https://my.oschina.net/zhaiyuan/blog/5417030

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

高并发环境下，6个构建缓存服务需要注意的问题

摘要：高并发环境下如何构建缓存服务，你知道吗？本文分享自华为云社区《【高并发】高并发环境下构建缓存服务需要注意哪些问题？》，作者：冰河。缓存特征（1）命中率：命中数/(命中数+没有命中数) （2）最大元素（空间）：代表缓存中可以存放的最大元素的数量，一旦缓存中元素的数量超过这个值，或者缓存数据所占的空间超过了最大支持的空间，将会触发缓存清空策略。根据不同的场景，合理设置最大元素（空间）的值，在一定程度上可以提高缓存的命中率，从而更有效的使用缓存。（3）清空策略：FINO（先进先出）、LFU（最少使用）、LRU（最近最少使用）、过期时间、随机等。 FINO（先进先出）：最先进入缓存的数据，在缓存空间不够或超出最大元素限制的情况下，会优先被清除掉，以腾出新的空间来接收新的数据。这种策略的算法主要是比较缓存元素的创建时间，在数据实时性较高的场景下，可以选择这种策略，优先保证最新策略可用。 LFU（最少使用）：无论元素是否过期，根据元素的被使用次数来判断，清除使用次数最少的元素来释放空间。算法主要是比较元素的命中次数，在保证高频数据有效的场景下，可以选择这种策略。 LRU（最近最少使...

2022-01-26

442

奎钩粲粲光华动，群玉森森气象新。国产数据库行业在经历了2021年的躬行实践之后，产品、服务、生态等取得了蓬勃发展。从2022年1月份的国产数据库流行度排行榜上，我们可以看到，相较于去年12月份，榜单上又增加了新成员。目前，共有194家数据库参与排名。排行榜前十五名的数据库中，80%的产品流行度分数实现上涨，但总体排名未发生变化。下面，我们来看看各数据库产品分数的具体涨跌情况。 2022年1月排行榜Top15 PingCAP的TiDB依然稳居榜首。1月份，TiDB分数略微下跌7.57，总分611.97。相较于去年1月份，总分上涨了72.69，涨幅为13.5%。实际上，从2020年1月到2022年1月的两年时间里，TiDB都稳坐流行度排行榜头把交椅。回顾过去的一年，TiDB技术创新能力有目共睹。TiDB5.0版本，计算效能和并发能力大幅提升。截止2021年底，TiDB在最能体现企业技术研发能力的GitHub上获得逾3万颗星。此外，TiDB社区建设成绩斐然。共有418个公司/组织参与到了TiDB的研发中，Asktug社区网站注册用户超过13,000人，互助问答帖子数量约13,000篇，问题...

2022-01-27

794

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。