关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址：http://github.com/apache/pulsar/

导语

各位小伙伴们，Pulsar 社区周报更新来啦！

本次 Pulsar 社区周报，为大家呈现 Pulsar client、broker、transactions 等内容，帮助社区小伙伴们掌握 Pulsar 项目及社区每周进展，也方便大家更好地参与到 Pulsar 社区中来！

感谢本周以下小伙伴为 Apache Pulsar 添砖加瓦（排名不分先后，看看你有没有上榜）：

eolivelli、linlinnn、devinbost、merlimat、lhotari、freeznet、cdbartholomew、hangc0276、315157973、abhilashmandaliya、congbobo184、BewareMyPower、aahmed-se、Shoothzj、yangl、odmarkj、lbenc135、jangwind、MarvinCai、rdhabalia、KannarFr、wangjialing218、david-streamlio

接下来，一起看看 5 月 10 日 ～ 5 月 16 日有哪些值得你关注的进展吧！

本周亮点

Transaction：处理 transaction 待处理的 ack 持久性。
https://github.com/apache/pulsar/pull/8881
贡献者：@congbobo184

Broker：将 schema 存储元数据迁移到 MetadataStore。
https://github.com/apache/pulsar/pull/10545
贡献者：@merlimat

Docker：添加一个包含所有 Pulsar 组件的新的 Docker Compose。
https://github.com/apache/pulsar/pull/10409
贡献者：@odmarkj

重要进展

[PIP-85] 将 schema 信息添加到 Java Client API 的消息中。
https://github.com/apache/pulsar/pull/10476
贡献者：@eolivelli

重要特性

•因为 PR 较多，仅列举较大 PR 进展，不包括当周全部动态
•下面 PR 均已合入 Pulsar 主分支

Python Client：用 PulsarExceptions 替换 Exceptions。
https://github.com/apache/pulsar/pull/7600
贡献者：@lbenc135

Enhancement：支持 reader 从单独的消息 ID 或时间中查找消息。
https://github.com/apache/pulsar/pull/10348
贡献者：@315157973

CLI：支持通过 CLI 设置基于时间限制的积压配额。
https://github.com/apache/pulsar/pull/10401
贡献者：@MarvinCai

Pulsar IO：在可能的情况下，在 Pulsar sink connector 中使用 Message.getReaderSchema()。
https://github.com/apache/pulsar/pull/10557
贡献者：@eolivelli

Broker：将 topic 级别的 averageMsgSize 暴露给指标。
https://github.com/apache/pulsar/pull/10553
贡献者：@315157973

增强功能：支持在不中断 producer 和 consumer 的情况下截断 topic 的所有数据。
https://github.com/apache/pulsar/pull/10326
贡献者：@jangwind

Enhancement：支持使用自定义 SerDe 创建 MetadataCache。
https://github.com/apache/pulsar/pull/10543
贡献者：@merlimat

Broker：在无需处理 startMessageRollbackDurationSec 的情况下获得持久订阅。
https://github.com/apache/pulsar/pull/10520
贡献者：@linlinnn

Auth：在 Pulsar broker 和 Pulsar proxy 中为 Jetty 启用 Conscrypt。
https://github.com/apache/pulsar/pull/10541
贡献者：@lhotari

Broker：当 broker 内一个 consumer 的订阅数到达顶峰时，允许其他尚未达到订阅数的consumer 消费消息。
https://github.com/apache/pulsar/pull/10417
贡献者：@rdhabalia

Enhancement：支持禁用 producer 的最大队列大小。
https://github.com/apache/pulsar/pull/9650
贡献者：@merlimat

Auth：在 HTTP 身份验证中支持可选的身份验证方法名称标头。
https://github.com/apache/pulsar/pull/6799
贡献者：@KannarFr

重要 Bug 修复

•因修复内容较多，仅列举较重要修复内容，不包括本周全部动态
•下面修复均已合入 Pulsar 主分支

Broker：修复 PusarService 和 conf. 中的 AdvertisedAddress 不一致的问题。
https://github.com/apache/pulsar/pull/10312
贡献者：@315157973

Client：修复 ACK 分组跟踪器检查重复的消息 ID 时抛出的 NPE 问题。
https://github.com/apache/pulsar/pull/10586
贡献者：@BewareMyPower

Test：修复 GracefulExecutorServicesShutdownTest 的 flaky test。
https://github.com/apache/pulsar/pull/10599
贡献者：@lhotari

Function：修复 sink 或 source 异常统计信息。
https://github.com/apache/pulsar/pull/10549
贡献者：@linlinnn

Client：修复默认的重试主题名称和死信主题名称。
https://github.com/apache/pulsar/pull/10129
贡献者：@wangjialing218

代理：修复检查分区主题是否为系统主题时发生的错误。
https://github.com/apache/pulsar/pull/10529
贡献者：@hangc0276

Broker：加固 OpAddEntry.toString() 到 null 以防止 NPE。
https://github.com/apache/pulsar/pull/10548
贡献者：@devinbost

Transaction：修复 transaction 缓冲区删除标记的问题。
https://github.com/apache/pulsar/pull/10525
贡献者：@congbobo184

Test：重构 function 集成测试以更易于维护。
https://github.com/apache/pulsar/pull/10140
贡献者：@david-streamlio

活动和新闻

• 报名：本周日直播 TGIP-CN 033｜Apache Pulsar 在拉卡拉的技术实践
• 报名：Pulsar Virtual Summit North America 2021[1]
• [英文社区] TGIP：Pulsar 及其生态系统[2]
• [中文社区] TGIP-CN：Pulsar 及其生态系统[3]

博文推荐

• 博文推荐｜如何使用Apache Pulsar + Hudi 构建 Lakehouse
• 译文｜基于 Pulsar 的事件驱动铁路网
• Apache Pulsar — Development Setup -- alpha2phi[4]
• 7 Reasons to Choose Apache Pulsar over Apache Kafka -- Chris Bartholomew[5]
• Pulsar Virtual Summit North America 2021 议程出炉[6]

作为全球性开源项目，截至 2021 年 5 月 16 日，Apache Pulsar 已拥有 395 名贡献者、8.5 K+ Star 、2.1 K+ Fork 。正是由于分布在全球各地的社区开发者的贡献，才使得 Apache Pulsar 项目不断发展与前进。

让我们期待下一周的 Apache Pulsar 周报！

如果你也想为 Apache Pulsar 项目出一份力、成为我们的 Contributor，参考下面链接，来加入我们吧：

•Apache Pulsar 官方贡献指南[7]

引用链接

[1] 报名：Pulsar Virtual Summit North America 2021: https://hopin.com/events/pulsar-summit-north-america-2021
[2] TGIP：Pulsar 及其生态系统: https://streamnative.io/resource#tgip
[3] TGIP-CN：Pulsar 及其生态系统: https://www.slidestalk.com/ApachePulsar/list/meetup/
[4] Apache Pulsar — Development Setup -- alpha2phi: https://alpha2phi.medium.com/apache-pulsar-development-setup-bbdc82314cf
[5] 7 Reasons to Choose Apache Pulsar over Apache Kafka -- Chris Bartholomew: https://datastax.medium.com/7-reasons-to-choose-apache-pulsar-over-apache-kafka-cb111087eadb
[6] Pulsar Virtual Summit North America 2021 议程出炉: https://streamnative.io/en/blog/community/2021-05-12-pulsar-virtual-summit-north-america-2021-speakers-announced
[7] Apache Pulsar 官方贡献指南: http://pulsar.apache.org/en/contributing/

Pulsar 周报由 StreamNative 翻译整理。原文内容来自 StreamNative 官网 Pulsar 周报模块 https://streamnative.io/weekly。