完整版 | 2021 年 Apache Pulsar 用户调查报告

2021-07-22 625

简介

在过去一年的社区观察中发现，越来越多的企业开始关注 Apache Pulsar 表现出来的强大能力，诸如云原生、统一消息与流、可扩展性和可靠性及其他强大且操作简便的内置功能，这也使得 Apache Pulsar 的使用和社区参与度急剧上升。

推动使用 Apache Pulsar 的最大因素是行业需要向容器化和云服务进行迁移的战略，他们需要解决前所未有的规模和管理复杂性，从纯粹的流处理向批流融合转变，以及解锁以往消息和流系统无法支持的新场景。下图为 API7[1] 的活跃用户数据，Apache Pulsar 社区的月活跃贡献者数量已经超过了 Apache Kafka，并且 Apache Pulsar 的参与度还在持续上升。

为了更好地了解 Apache Pulsar 增长，以及各组织如何使用该项目的相关情况，Apache Pulsar 项目管理委员会（PMC）在 2020 年 11 月至 2021 年 1 月期间面向 Apache Pulsar 用户发起一份调查问卷。最终，超过 260 名 Apache Pulsar 用户参与了本次年度调查。

90% 的受访者调查对象担任架构师、数据科学家、开发人员、工程师和 DevOps 工程师等技术职务。他们来自 20 多个行业，包括计算机软件/硬件、互联网、金融、电子商务、商业服务、教育等等，并且横跨北美、欧洲和亚洲。

本报告详细介绍了企业目前部署 Apache Pulsar 的相关情况。由于今年的调查是第二次年度 Pulsar 用户调查，我们正好把结果与去年报告进行了对比，并强调一些关键趋势。

除了《 2021 年 Apache Pulsar 用户调查报告》全文外，你还可以查看博文《 2021年 Apache Pulsar 用户调查亮点》。在这篇博客中，我们对 Pulsar 以及整个消息和流生态系统的趋势进行了深入探讨分析。

研究结果

问题 1: 请问 Apache Pulsar 在你组织中处于哪个使用阶段？

在过去的一年里，使用采用 Apache Pulsar 的公司数量有所增加。Apache Pulsar 在生产环境部署的数量增长尤为显著。在 2020 年的 Pulsar 用户调查中，31% 的受访者在生产环境中使用 Apache Pulsar，而今年则是 51%。生产环境使用的用例增加表明 Apache Pulsar 有能力在真实场景承载运行核心业务应用。

问题 2 : 请问你们组织每天用 Pulsar 处理多少条信息？

我们还看到大型企业部署 Apache Pulsar 的整体规模在不断增加。事实上，12% 的受访者分享了他们组织每天使用 Apache Pulsar 处理超过 1 万亿条消息。腾讯、Splunk、新大陆软件、金山云和文思海辉只是这些公司中的一小部分。如此大规模环境下运行 Apache Pulsar 的全球公司不断增加，说明其有能力满足现如今公司对可扩展性、可靠性和灵活性的要求。

问题3: 请问你们组织如何部署和管理 Apache Pulsar ？

62% 的受访者表示在 Kubernetes 上部署 Apache Pulsar，这比去年的 38% 比例有所上升。整个行业向云服务和 Kubernetes 的大规模迁移正在推动 Apache Pulsar 的落地部署，因为企业正在寻求可以在云中运行、扩展性良好、并且能够在 Kubernetes 上良好运行的技术。

Apache Pulsar 是为容器而生，落地公司可借助这一特性充分发挥云生态的优势。例如：Apache Pulsar Functions 支持 Kubernetes 容器运行时（如 Docker 等），这使用户能够使用庞大的 Kubernetes 生态所提供的工具。我们可以预见，行业将会持续向 Kubernetes 迁移，并且推动更多的组织采用 Apache Pulsar 。

问题4：请问你们组织在什么环境下使用 Pulsar ？

近 80% 的受访者表示他们在云服务中运行 Apache Pulsar 。其中，26% 的受访者使用多个云服务商。正如我们在接下来所看到的，Apache Pulsar 的云原生能力是其被采用的主要原因之一。Apache Pulsar 将逐渐成为企业向云服务迁移以及采用混合云和多云战略的首选。

问题5：请问影响你们决定采用 Apache Pulsar 的前 3 个优点是什么？

几乎 ⅔ 的受访者（ 66% ）称 "可扩展性"是他们选择 Apache Pulsar 的首要原因。如今许多公司正在寻求解决前所未有的规模、管理复杂性和成本问题。许多公司决定迁移到 Apache Pulsar 是因为他们以往的消息或流系统方案无法进行扩展以满足其业务需求，导致 SLA 缺失，操作越来越复杂。采用 Apache Pulsar 是为了满足他们扩展需求并降低运维的复杂性。

"在评估了几个消息系统之后，我们决定使用在可扩展性、可靠性和功能方面提供了良好平衡的 Apache Pulsar，以取代 Iterable 原先运行的 RabbitMQ，并最终取代 Kafka 和 Amazon SQS 等其他消息系统。" Iterable 的高级软件工程师 Greg Methvin 在他发表在 InfoQ 上的文章中提到[2]。

“ 可靠性与可用性 ”（50%）和 “ 云原生 ” 架构（49%）也是企业选择采用 Apache Pulsar的首要原因。Apache Pulsar 的分层架构、利用云和容器的弹性能力以及自动扩展资源的能力是 Pulsar 与以往传统消息和流平台的最主要区别。

问题 6：请问你们一般用 Pulsar 的流处理特性来做什么？

在采集的用户调查报告中，最主要的 Pulsar 用例包括 Pulsar + Flink（38%）、异步应用（38%）、构建业务核心应用（34%）、ETL（28%）、应用监控（27%）、后端分析（24%）。

值得注意的是，使用 Pulsar 和 Flink 的企业比例在去年增加了将近 2 倍。企业越来越多地寻求完整的流处理解决方案，这需要流存储和流计算。Pulsar 的分层存储模型提供了支持 Flink 批流融合所需的批流存储能力。

同时，为了简化这两者之间的整合，由 Apache Pulsar 创始团队成员创立的 StreamNative 与 Flink 团队强力合作，建立了一个在 Pulsar 上运行 Flink 的全套平台。在 2021 年 4 月，StreamNative 在 StreamNative Cloud 上推出 Flink SQL ，它提供了一个简单的 SQL 界面，降低了在 Pulsar 上构建实时数据查询的复杂性。

问题 7 ：请问，Pulsar 的哪些功能是你们经常使用的或者是计划使用的？

62% 的受访者在使用或计划使用 Pulsar 的 ”Pub/Sub” 功能。因为 Pulsar 提供了一个灵活的 ”Pub/Sub” 模型，可广泛适用于各种应用，这也使得 “Pub/Sub” 成为 Pulsar 一个流行的落地场景。

更有趣的是，39% 的用户还提出了”多租户” ，这表明了企业用户们正在其内部的许多不同团队中使用 Pulsar 。

“多租户” 使用户能够在单集群上维护数以百万计的主题（有些人称之为 topic-as-a-service “主题即服务”），从而简化操作的复杂性并落地新的业务场景。

调查结果还表示，其中包括连接器、跨地域复制和主题压缩等在内的大量 Pulsar 功能的使用有所增加。这种采用情况证明了 Pulsar 解决广泛场景的能力，例如直接将 Pulsar 与其他系统集成，跨地域使用 Pulsar 以及可灵活压缩以优化流处理。

问题 8：请问，除了 Pulsar 之外，你们团队还使用过哪些其他的消息队列？

用户调查的一个重要发现是，有多少 Kafka 用户正在使用 Pulsar 。事实上，68% 的受访者表示，除了 Pulsar 他们还在使用 Kafka。鉴于 Kafka 是一种更早且被广泛采用的技术，我们可以推断这些公司已经在使 Kafka ，然后决定采用 Pulsar （与采用 Kafka 的 Pulsar 用户比较）。我们在《 2021 用户调查亮点》博文中分享了更多这方面的内容。

问题 9：请问，如果你使用 Pulsar 的连接器，哪些是你会使用的或者是计划去使用的呢？

Kafka On Pulsar （即 KoP）的流行进一步证明了 Kafka 用户对于 Pulsar 的采用。作为 StreamNative 和 OVHCloud 在 2020 年联合推出的项目，KoP 使得 Kafka 用户无须修改代码即可将现有的 Kafka 应用和服务迁移到 Pulsar 中，从而减少了 Kafka 用户采用 Pulsar 的阻碍。2021 的调查显示，三分之一的用户使用或者计划使用 KoP。

哪些人参与了调查？

来自计算机软件/硬件行业群体占比 13%，互联网和金融行业各占比 8 %，参与调研的行业还包括教育、商业服务、通讯、媒体与娱乐。

Pulsar 的社区成长

Apache Pulsar 社区自成立以来取得了令人瞩目的增长。事实上，最近 Pulsar 项目在 2021 年 5 月全球贡献者超过 400 名。以下是我们整理的 Pulsar 关键里程碑的概览。

Apache Pulsar 贡献者增长里程碑

Apache Pulsar 的 GitHub Star 数里程碑

全球落地企业

Pulsar 峰会

前两届 Pulsar 全球峰会于 2020 年举行，汇聚了 80 余名演讲者和 1600 余名与会者参加，其中参会成员或演讲嘉宾所在公司包括：

如想深入了解关于 Pulsar 的用户案例以及消息及流生态系统的更为广泛的趋势，请查看《 2021 Pulsar 用户调查亮点》

微信关注我们

原文链接：https://www.oschina.net/news/151687

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

openLooKeng 招募社区布道师 & 优秀开发者

如果您对openLooKeng开源社区有兴趣，愿意付出一点时间与社区一起成长，那么欢迎您加入openLooKeng社区，成为社区优秀开发者或布道师，一起探索大数据技术，玩转开源社区，让大数据更简单。社区优秀开发者如果您关注openLooKeng，愿意为社区发声，贡献一些力量，无论是原创文章、视频、代码还是演讲直播等，我们欢迎您申请加入社区团队，成为社区优秀开发者。招募要求至少发布过1篇openLooKeng相关原创技术文章。至少在openLooKeng开源社区(Gitee、GitHub)反馈或提交过至少10个Issue以及1条bug/优化建议/pr。至少参加过1场线上/线下openLooKeng。活动线上人气值平均每场次不少于100人，线下人数每场次不少于30人技术分享，并主讲议题年龄不限。优秀开发者权益优秀开发者名单官网展示。获取专属礼品。（开源认证、社区专属礼品等，学生人群可提供证书）官方大会门票、线下meetup等。 HC/HDC大会邀请。布道师如果您热爱钻研大数据技术，愿意分享您的技术见解与经验，让朋友们获益匪浅；如果您经常笔画白板讲架构，深入理论与...

2021-07-22

597

摘要：语义分割的数据集是比较大的，因此训练的时候需要非常强大的硬件支持。本文分享自华为云社区《【云驻共创】基于迁移学习的语义分割算法分享》，原文作者：启明。此篇文章是分享两篇基于迁移学习的语义分割算法论文。第一篇：《Learning to adapt structured output space for semantic segmentation》，第二篇《ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation》。 Part 1：迁移分割的背景介绍语义分割，与检测和分类，是机器视觉领域的三个主流方向。但是语义分割相对于检测和分类来说，它面临着2个非常困难的问题：一是它缺少数据集。分类的数据集是指标注一个类别，检测的数据集是指标注一个检测框，而分割的话，它的目的是要做语义级的预测。这就意味着它的标注也需要是像素级别的标注。我们知道，标注一个像素级别的数据集是十分耗时耗力的，以自动驾驶里面的Cityspaces举例，此数据集标注一幅图需要1.5个小时。在这种情况...

2021-07-21

526

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。