简介

在过去一年的社区观察中发现，越来越多的企业开始关注 Apache Pulsar 表现出来的强大能力，诸如云原生、统一消息与流、可扩展性和可靠性及其他强大且操作简便的内置功能，这也使得 Apache Pulsar 的使用和社区参与度急剧上升。

推动使用 Apache Pulsar 的最大因素是行业需要向容器化和云服务进行迁移的战略，他们需要解决前所未有的规模和管理复杂性，从纯粹的流处理向批流融合转变，以及解锁以往消息和流系统无法支持的新场景。下图为 API7[1] 的活跃用户数据，Apache Pulsar 社区的月活跃贡献者数量已经超过了 Apache Kafka，并且 Apache Pulsar 的参与度还在持续上升。

为了更好地了解 Apache Pulsar 增长，以及各组织如何使用该项目的相关情况，Apache Pulsar 项目管理委员会（PMC）在 2020 年 11 月至 2021 年 1 月期间面向 Apache Pulsar 用户发起一份调查问卷。最终，超过 260 名 Apache Pulsar 用户参与了本次年度调查。

90% 的受访者调查对象担任架构师、数据科学家、开发人员、工程师和 DevOps 工程师等技术职务。他们来自 20 多个行业，包括计算机软件/硬件、互联网、金融、电子商务、商业服务、教育等等，并且横跨北美、欧洲和亚洲。

本报告详细介绍了企业目前部署 Apache Pulsar 的相关情况。由于今年的调查是第二次年度 Pulsar 用户调查，我们正好把结果与去年报告进行了对比，并强调一些关键趋势。

除了《 2021 年 Apache Pulsar 用户调查报告》全文外，你还可以查看博文《 2021年 Apache Pulsar 用户调查亮点》。在这篇博客中，我们对 Pulsar 以及整个消息和流生态系统的趋势进行了深入探讨分析。

研究结果

问题 1: 请问 Apache Pulsar 在你组织中处于哪个使用阶段？

在过去的一年里，使用采用 Apache Pulsar 的公司数量有所增加。Apache Pulsar 在生产环境部署的数量增长尤为显著。在 2020 年的 Pulsar 用户调查中，31% 的受访者在生产环境中使用 Apache Pulsar，而今年则是 51%。生产环境使用的用例增加表明 Apache Pulsar 有能力在真实场景承载运行核心业务应用。

问题 2 : 请问你们组织每天用 Pulsar 处理多少条信息？

我们还看到大型企业部署 Apache Pulsar 的整体规模在不断增加。事实上，12% 的受访者分享了他们组织每天使用 Apache Pulsar 处理超过 1 万亿条消息。腾讯、Splunk、新大陆软件、金山云和文思海辉只是这些公司中的一小部分。如此大规模环境下运行 Apache Pulsar 的全球公司不断增加，说明其有能力满足现如今公司对可扩展性、可靠性和灵活性的要求。

问题3: 请问你们组织如何部署和管理 Apache Pulsar ？

62% 的受访者表示在 Kubernetes 上部署 Apache Pulsar，这比去年的 38% 比例有所上升。整个行业向云服务和 Kubernetes 的大规模迁移正在推动 Apache Pulsar 的落地部署，因为企业正在寻求可以在云中运行、扩展性良好、并且能够在 Kubernetes 上良好运行的技术。

Apache Pulsar 是为容器而生，落地公司可借助这一特性充分发挥云生态的优势。例如：Apache Pulsar Functions 支持 Kubernetes 容器运行时（ 如 Docker 等），这使用户能够使用庞大的 Kubernetes 生态所提供的工具。我们可以预见，行业将会持续向 Kubernetes 迁移，并且推动更多的组织采用 Apache Pulsar 。

问题4：请问你们组织在什么环境下使用 Pulsar ？

近 80% 的受访者表示他们在云服务中运行 Apache Pulsar 。其中，26% 的受访者使用多个云服务商。正如我们在接下来所看到的，Apache Pulsar 的云原生能力是其被采用的主要原因之一。Apache Pulsar 将逐渐成为企业向云服务迁移以及采用混合云和多云战略的首选。

问题5：请问影响你们决定采用 Apache Pulsar 的前 3 个优点是什么？

几乎 ⅔ 的受访者（ 66% ）称 "可扩展性"是他们选择 Apache Pulsar 的首要原因。如今许多公司正在寻求解决前所未有的规模、管理复杂性和成本问题。许多公司决定迁移到 Apache Pulsar 是因为他们以往的消息或流系统方案无法进行扩展以满足其业务需求，导致 SLA 缺失，操作越来越复杂。采用 Apache Pulsar 是为了满足他们扩展需求并降低运维的复杂性。

"在评估了几个消息系统之后，我们决定使用在可扩展性、可靠性和功能方面提供了良好平衡的 Apache Pulsar，以取代 Iterable 原先运行的 RabbitMQ，并最终取代 Kafka 和 Amazon SQS 等其他消息系统。" Iterable 的高级软件工程师 Greg Methvin 在他发表在 InfoQ 上的文章中提到[2]。

“ 可靠性与可用性 ”（50%）和 “ 云原生 ” 架构（49%）也是企业选择采用 Apache Pulsar的首要原因。Apache Pulsar 的分层架构、利用云和容器的弹性能力以及自动扩展资源的能力是 Pulsar 与以往传统消息和流平台的最主要区别。

问题 6：请问你们一般用 Pulsar 的流处理特性来做什么？

在采集的用户调查报告中，最主要的 Pulsar 用例包括 Pulsar + Flink（38%）、异步应用（38%）、构建业务核心应用（34%）、ETL（28%）、应用监控（27%）、后端分析（24%）。

值得注意的是，使用 Pulsar 和 Flink 的企业比例在去年增加了将近 2 倍。企业越来越多地寻求完整的流处理解决方案，这需要流存储和流计算。Pulsar 的分层存储模型提供了支持 Flink 批流融合所需的批流存储能力。

同时，为了简化这两者之间的整合，由 Apache Pulsar 创始团队成员创立的 StreamNative 与 Flink 团队强力合作，建立了一个在 Pulsar 上运行 Flink 的全套平台。在 2021 年 4 月，StreamNative 在 StreamNative Cloud 上推出 Flink SQL ，它提供了一个简单的 SQL 界面，降低了在 Pulsar 上构建实时数据查询的复杂性。

问题 7 ：请问，Pulsar 的哪些功能是你们经常使用的或者是计划使用的？

62% 的受访者在使用或计划使用 Pulsar 的 ”Pub/Sub” 功能。因为 Pulsar 提供了一个灵活的 ”Pub/Sub” 模型，可广泛适用于各种应用，这也使得 “Pub/Sub” 成为 Pulsar 一个流行的落地场景。

更有趣的是，39% 的用户还提出了”多租户” ，这表明了企业用户们正在其内部的许多不同团队中使用 Pulsar 。

“多租户” 使用户能够在单集群上维护数以百万计的主题（有些人称之为 topic-as-a-service “主题即服务”），从而简化操作的复杂性并落地新的业务场景。

调查结果还表示，其中包括连接器、跨地域复制和主题压缩等在内的大量 Pulsar 功能的使用有所增加。这种采用情况证明了 Pulsar 解决广泛场景的能力，例如直接将 Pulsar 与其他系统集成，跨地域使用 Pulsar 以及可灵活压缩以优化流处理。

问题 8：请问，除了 Pulsar 之外，你们团队还使用过哪些其他的消息队列？

用户调查的一个重要发现是，有多少 Kafka 用户正在使用 Pulsar 。事实上，68% 的受访者表示，除了 Pulsar 他们还在使用 Kafka。鉴于 Kafka 是一种更早且被广泛采用的技术，我们可以推断这些公司已经在使 Kafka ，然后决定采用 Pulsar （与采用 Kafka 的 Pulsar 用户比较）。我们在《 2021 用户调查亮点 》博文中分享了更多这方面的内容。

问题 9：请问，如果你使用 Pulsar 的连接器，哪些是你会使用的或者是计划去使用的呢？

Kafka On Pulsar （即 KoP）的流行进一步证明了 Kafka 用户对于 Pulsar 的采用。作为 StreamNative 和 OVHCloud 在 2020 年联合推出的项目，KoP 使得 Kafka 用户无须修改代码即可将现有的 Kafka 应用和服务迁移到 Pulsar 中，从而减少了 Kafka 用户采用 Pulsar 的阻碍。2021 的调查显示，三分之一的用户使用或者计划使用 KoP。

哪些人参与了调查？

来自计算机软件/硬件行业群体占比 13%，互联网和金融行业各占比 8 %，参与调研的行业还包括教育、商业服务、通讯、媒体与娱乐。

Pulsar 的社区成长

Apache Pulsar 社区自成立以来取得了令人瞩目的增长。事实上，最近 Pulsar 项目在 2021 年 5 月全球贡献者超过 400 名。以下是我们整理的 Pulsar 关键里程碑的概览。

Apache Pulsar 贡献者增长里程碑

Apache Pulsar 的 GitHub Star 数里程碑

全球落地企业

Pulsar 峰会

前两届 Pulsar 全球峰会于 2020 年举行，汇聚了 80 余名演讲者和 1600 余名与会者参加，其中参会成员或演讲嘉宾所在公司包括：

如想深入了解关于 Pulsar 的用户案例以及消息及流生态系统的更为广泛的趋势，请查看 《 2021 Pulsar 用户调查亮点》