State of DevOps DORA 2022 报告深度解读

前言

上月 Google 旗下的 DORA 发布了一年一度的 State of DevOps 2022 报告。Bytebase 作为一家面向 DevOps 团队，研发数据库 CI / CD 开源工具的厂商，每年都会对 DORA 进行深度解读。去年的解读见「State of DevOps DORA 2021 报告解读和评注」。

背景

DORA 在国内不像 Gartner 有那么高的知名度，它的全称是 DevOps Research and Assessments，从 2014 年开始，每年会出一份关于整个 DevOps 行业的报告，2020 因为疫情的原因没有出，所以加上今年的一共有 8 份报告。DORA 一开始是一家独立的研究机构，不过在 2018 年底加入了 Google Cloud。总体来讲 DORA 的报告是整个 DevOps 行业里面最为专业和客观的，这也应该是他当初受到 Google 青睐的原因。即使是加入 Google 后，它的报告也基本可以保持中立性，所以 DORA 的报告可以当作整个行业权威的风向标。好了，让我们正式进入报告。

和 2021 年报告的不同

相比于去年的报告，今年的报告有不小的变化：

1. 首先是侧重点上，今年是 DORA 历史上首次重点突出一个主题，软件供应链 Software Supply Chain。
2. 今年受访人群工作经验分布出现了很大的变化，小于 5 年经验的占比达到 35% (相比于 21 年的 14%)，而超过 16 年经验的占比只有 13% (相比于 21 年的 41%)。
3. 评定团队软件交付表现 (Software delivery performance) 的等级从 4 大类变成了 3 大类，取消了精英级 (Elite)。
4. 结合软件交付表现和运行稳定性表现，又引入了一个新的等级划分，有 4 大类，Starting/Flowing/Slowing/Retiring - 启动/流动/缓动/止动。

主旨

今年的报告更加突出了三大 Performance 主题， Software delivery performance (软件交付表现)， Operational performance (运行表现，主要是稳定性)，Organizational performance (组织表现，指公司业绩)，而去年只是一句话带过。

赞助商

今年的赞助商相比于去年有了一些变化，这是去年的阵容，红色的是今年不在的。 今年的阵容，框起来的是新增的：

去年的老面孔

1. armory 和 circleci 是做 CI/CD，其中前者是开源项目 Spinnaker 背后的商业化公司。
2. Deloitte， IT 实施咨询。
3. GitLab 是一站式 DevOps 平台。
4. Liquibase 和 Bytebase 一样，是做 Database DevOps 的开源商业化公司。
5. sysdig 是做 Secure DevOps 这块的，这块现在缩写成 DevSecOps，也是 GitLab/GitHub 近来发力的重点。

今年的新面孔

1. Broadcom Software ，有点意外的面孔，Broadcom 算是一家比较传统的软件厂商，和 DevOps 相关的产品线多来自于 2018 年对 CA 的收购。总部在硅谷，当年 CA 大大的 Logo 还挂在 Highway 101 旁的唯一一栋高楼上。
2. JetBrains ，大名鼎鼎的 IDE 厂商，因为推出 JetBrains Space，所以也切入了软件交付领域。JetBrains Space 的 slogan 是 「A complete software development platform」，和 GitLab 的 「The One DevOps Platform」针锋相对。总部在捷克。
3. JFrog ， Software Supply Chain 领域的领导者，和今年的主题很贴切。他的总部在硅谷，门面很低调，隐形冠军，当年开车时经常路过。
4. Octopus Deploy ，专门做持续交付 CD 的厂商，也是这个领域的领导者。总部在澳大利亚。

可以看到 DevOps 领域的公司分布在全球，毕竟面向开发者的工具共性很强，没有太多的地域性差异。

消失的面孔

1. redgate ，和  Bytebase，Liquibase 类似的 Database DevOps 工具商。和 Liquibase 重复了，所以今年不出现也合理。
2. PagerDuty ，故障应急领域的领导者。这次没有来，让赞助商阵容失色了一些。
3. CD Foundation ，持续交付的民间组织。

总体来讲今年赞助商阵容在整个 Software Development Life Cycle (SDLC) 里覆盖的领域更全面了。要说缺席的领域还有这么几个：

1. 故障应急 (代表性公司 PagerDuty)
2. 监控告警 (代表性公司 Datadog)
3. Feature Flag (代表性公司 LaunchDarkly)
4. API 生命周期管理 (代表性公司 Postman)
5. 云基础设施 (代表性公司 HashiCorp)

Cloud

前段时间 DHH 「Why we're leaving the cloud」(https://world.hey.com/dhh/why-we-re-leaving-the-cloud-654b47e0) 的文章又引起了一轮上云下云之间的讨论。不过这次 DORA 的报告则再一次呈现了，云的增长势不可挡，公有云，多云，混合云，私有云使用率都在加速增长，蚕食的都是非云的份额。 在决策是否使用云服务时，像 DHH 文章里提到的成本因素只是其中的一部分。云最核心的优势是其代表的是一种更先进的工作方式，采用了这种方式的组织虽然在纯原材料单位成本上是付出了更多，但从其他方面可以找回来。 翻译一下

使用任何云计算平台，无论是公有云还有私有云，都能对于公司文化和工作环境产生积极的影响（比如说，自发式的文化，更低的过劳度，更加稳定，更加高的员工满意度）。使用云的用户在文化方面的得分比非云用户高出 16% 。

使用云计算服务对于整个组织的绩效有积极的影响。使用云的受访者相比于不使用云的受访者，有高出 14 % 的可能性能达到组织绩效的目标。

算经济账需要看对于整体业绩指标的影响，而这点 DORA 的报告中也明确指出了，使用 Cloud 的组织相对于不使用 Cloud 的组织，在业绩指标 (Organizational Performance) 上是有更好的表现。贵的往往是划算的。

SDO Performance

Software Delivery and Operational Performance 的 4 大核心指标没变： 但今年的调研发现 Elite 和 High 的差异并不足够明显，所以就取消了 Elite 这档，报告给出的一个假设

Software development has seen reduced innovation in terms of practices, tooling, and information sharing. This could be the result of the ongoing pandemic hampering the ability to share knowledge and practices across teams and organizations

我也认同 reduced innovation 这点，但我感觉更可能的原因是 Software Delivery / DevOps 经过那么多年的发展，最佳实践开始大规模普及了，所以头部差距缩小，而不是疫情的关系。 今年的报告还引入了一个新的分级，Staring/Flowing/Slowing/Retiring - 启动/流动/缓动/止动。 这很容易让人联想到 Tuckman 的组织发展模型 (https://en.wikipedia.org/wiki/Tuckman%27s_stages_of_group_development)。 这是一个按照团队发展阶段维度进行的切分，或者说加上了一个时间的维度，使得比较也更加全面了。

SRE and DevOps

今年报告的一个亮点在于更加辩证地阐述了 Reliability 的重要性：

Across this breadth of teams, the data reveal a nuanced relationship between reliability, software delivery, and outcomes: when reliability is poor, software delivery performance does not predict organizational success. However, with better reliability, we begin to see the positive influence of software delivery on business success.

这段颇为精妙

广泛的团队数据呈现了，在稳定性，软件交付和业务结果之间的一种微妙关系：当稳定性糟糕的时候，快的交付速度无法带来组织的业务成功。然而，当稳定性提升后，我们就会看到快的交付速度和业务成功是正相关的。

光快不行，要快而不乱，才能获得业务上的成功。 报告里还重申了 2018 年报告里的 J-Curve 概念，引入 SRE 实践在获得一点早期成功后，便会进入一段瓶颈期甚至倒退，需要能坚持下去，摸到 inflection point。

as teams adopt more SRE, they reach an inflection point where the use of SRE starts to strongly predict reliability, and in turn, organizational performance.

Software Supply Chain

DORA 是第一次在报告里着重突出一个主题，我推测这次专讲 Supply chain security 的原因有这么几个：

• 相对于传统的 CI/CD 确实是一个更加新颖的话题，也是行业接下来的一个热点，比如 GitLab 也从讲 DevOps 到讲 DevSecOps 。
• 是一个很好的角度去评估其他主题。
  • 比如可以看出 CI/CD 的情况：Software Supply Chain 做的不好，多少也反映了 CI/CD 系统有很大问题。
  • 还比如通篇报告一直在讲 people, process and tooling，而在 Supply Chain 这个专题的最后，把这三者串在了一起。 当然也有可能这份报告在 Google Cloud 和各大商业赞助商的影响下，往大客户/CSO/CIO/CTO 更关注的安全方向倾斜了。

一些遗憾

今年报告的最大问题应该是样本分布出现了大的变动，受访者中初级/资深的分布和去年采样比例完全对调。这导致了不少数据出现了异常，而因为又是第一年，所以也不容易下明确的结论。 第二点是 DORA 作为 DevOps 领域的权威报告，缺少了一些前瞻性的观察，CI/CD, Version Control 这些能力确实还是核心，但像 Platform Engineering 这样更加底层的生产关系演进却只字未提。 最后一点是今年的报告因为把重心放在了 Software Supply Chain 这一点上，相对地就忽略了其他技术能力 (Technical Capability)，其他点就只放在了官网上。 像比如影响研发效能权重更高的 Database Change Management，去年报告里有好几处提及，今年的报告里却完全没提，而业界最近这一年恰恰在 Database Change Management 领域有了很多的创新，比如从数据库引擎角度切入的 PlanetScale, Neon，以及从数据库工具角度切入的 Bytebase, Prisma。 从 DORA 作者的背景看，这支团队长于做系统分析，但相对的缺乏最一线的实战经验，这使得他们无法跟上业界最新的趋势，也就无法在问卷中设计出相关问题，进而就无法体现在报告中。DORA 的报告进行到第 8 个年头，从一开始系统性分析 DevOps 领域给人耳目一新的感觉，到现在逐渐有点在象牙塔里做研究的感觉。这点上 Gartner 和工业界的结合就比较紧密，比如 8 月出的 2022 Gartner Hype Cycle for Emerging Technologies：

结语

当样本量足够大的时候，总会出现不同的声音。而这其中有两类人可以帮助我们做更好的决策，一类是和自身背景相近的，另一类则是和自身背景相对的。前者可以告诉我们适合做什么，而后者能告诉我们不适合做什么，而许多时候不适合做什么的反向信号要清晰强烈的多。我们来看看前文提到的主张离开Cloud 的 DHH 的个人背景： 行业确实需要 DHH 这样的 KOL 不时提出尖锐的观点引发讨论，但 DORA 这样通过大规模采样，分析数据，再提炼观点的行业报告，对于研发团队来说更具有指导实际工作的价值。DORA 也正是依靠他的这份专业度能在各种行业报告漫天飞的当下，依然享有权威的声誉。而 DORA 要告诉研发团队的事情也像他数年来撰写报告的风格一样，一直也没有变 - 关注基本面。研发团队要提高效能，就还是围绕那 4 个指标：

• Lead Time for Changes (变更上线周期)
• Deployment Frequency (部署频率）
• MTTR - Medium Time to Recovery (故障恢复时间)
• 以及 Change Failure Rate (变更失败率)

今年 DORA 报告的解读就到此结束了 ，我们的产品 Bytebase 提供了围绕数据库 DevOps 的完整解决方案，通过审核 (review)，变更 (change)，留档 (version)，回滚 (rollback)的一站式能力，帮助团队提高这 4 个研发效能的核心指标，也进而如 DORA 报告中所指出的一样，最终帮助组织拿到更好的业务结果。Bytebase 也是唯一一款被 CNCF Landscape 收录的数据库 CI/CD 工具，感兴趣的同学可以直接去我们的官网 bytebase.com 5 秒钟下载试用，或者关注 Bytebase 微信公众号获取加入用户群方式，和我们的产品同学实时沟通。

明年再见。