首页 文章 精选 留言 我的

云原生 Kafka AutoMQ 1.1.0 正式发布

2024-06-20 281

AutoMQ 介绍

Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，很快成为了流系统领域的事实标准。它不仅定义了现代流系统的架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态并被广泛应用于各种生产场景。
 
然而，随着云计算和云原生技术的飞速发展，Kafka 面临的挑战也日益严峻。传统的存储架构已难以适应云环境下用户对更优成本、弹性的诉求，这引发了大家对 Kafka 存储模型的重新思考。分层存储（Tiered Storage）一度被视为可能的解决方案，它试图通过将数据分层存储在不同的介质上，来降低成本并延长数据的生命周期。但实践表明，这种方法并没有彻底解决 Kafka 的痛点，反而增加了系统的复杂性和运维难度。
 
AutoMQ 是一个源代码开放的 Kafka 分叉项目，通过存算分离的方式将 Kafka 的存储层替换成了基于 S3 和 EBS 的共享存储架构，并且复用了 Kafka 100% 的计算层代码，保证了对 Kafka API 协议和生态的完全兼容。如下图所示，通过这种创新的共享存储架构，不仅获得了共享存储带来的技术和成本优势，彻底解决了原有 Kafka 在成本、弹性等方面的弊病，同时不会牺牲延迟。

与其他流系统的对比

特性
AutoMQ
Apache Kafka
Confluent
Apache Pulsar
Redpanda
Warpstream
Apache Kafka 兼容性[1]
原生 Kafka
原生 Kafka
原生 Kafka
非 Kafka
Kafka 协议兼容
Kafka 协议兼容
是否开源
是
是
否
是
是
否
无状态 Broker
是
否
否
是
否
是
P99 延迟
单位数毫秒延迟
单位数毫秒延迟
单位数毫秒延迟
单位数毫秒延迟
单位数毫秒延迟
持续自平衡
是
否
是
是
是
是
扩展/缩减效率
以秒计
以小时/天计
以小时计
以小时计(缩减);
以秒计(扩展)
以小时计
以秒计 (仅限企业版)
以秒计
Spot 实例支持
是
否
否
否
否
是
分区重新分配
以秒计
以小时/天计
以小时计
以秒计
以小时计
以秒计 (仅限企业版)
以秒计
组件
代理
代理
ZooKeeper
(非 KRaft)
代理
ZooKeeper
(非 KRaft)
代理
ZooKeeper
BookKeeper
代理
(可选)
代理
代理元数据服务器
持久性
由 S3/EBS 保证[2]
由 ISR 保证
由 ISR 保证
由 BookKeeper 保证
由 Raft 保证
由 S3 保证
跨可用区网络费用
否
是
是
是
是
否
 
[1] Apache Kafka 兼容性的定义来自这篇 博客。
 
[2] EBS 持久性：在 Azure、GCP 和阿里云上，区域 EBS 副本跨多个可用区。在 AWS 上，通过在不同可用区的 EBS 和 S3 Express One Zone 进行双写来确保持久性。

创新的存储架构

更新内容

 

关于我们

AutoMQ 是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队，曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念，重新设计并实现了 Apache Kafka 和 Apache RocketMQ，带来高达 10 倍的成本优势和百倍的弹性效率提升。
🌟 GitHub 地址： https://github.com/AutoMQ
💻 官网： https://www.automq.com
👀 B 站： AutoMQ 官方账号
🔍 视频号：AutoMQ
上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://www.oschina.net/news/298199/automq-1-1-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Tails 6.4 发布，隐私性极高的 Linux 发行版

Tails 6.4 现已发布，具体更新内容包括： Changes and updates 切换到使用 HTTPS 地址而不是 onion 地址作为 Debian 和 Tails APT repositories。这将使Additional Software功能更加可靠。 将 Tor 浏览器更新至13.0.16。 将 Tor 客户端更新至 0.4.8.12。 将 Thunderbird 更新至115.12.0。 已修复的问题 修复解锁持久存储时出现的更多问题。（#20020、#20344、#19913） 修复某些硬件上连接移动宽带网络的问题。（#20291） 再次启用在Tails 6.3中出于安全原因禁用的 Thunderbird PDF 阅读器。 改进 Tails Cloner 在目标 U 盘因被使用而无法卸载时的错误信息。(#19253) 修复使用新身份功能时 Tor 浏览器的主页。这将消除错误信息Tor Browser blocked your homepage from loading。（#20381） 使用解锁 VeraCrypt Volumes实用程序解锁 VeraCrypt...
2024-06-20
249
上一篇

Spring data mybatis mini 更新 v2.5 版本，支持 jpa 方法名

spring data jdbc 扩展 mybatis 动态sql能 底层 jdbcTemplate 复杂SQL才需要mybatis动态模板能力 无QueryDSL 提供crudClient 和jdbcClient 和spring data jdbc一样的追求简单,使用jdbcTemplate,调用jdbc。不提供缓存、延迟加载、QueryDSL等JPA或mybatis的许多特性。一个简单、有限、固执己见的ORM 扩展mybatis动态sql能力(不依赖mybatis!提取了动态sql代码),可以应对复杂sql,如果换其他模板引擎也是可以的,但有学习成本 复杂的SQL写在Markdown的代码片段中,不提供@Query和QueryDSL写法,但按方法名查找和扩展的findByExample可以应付大部分单表查询需求 简化mybatis动态sql写法easy-dynamic-sql.md
2024-06-20
255
下一篇

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-17 大小: 1MB 下载: 2次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-21 大小: 189MB 下载: 2次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
OpenAi Redis Service Mesh DeepSeek SpringCloud Gemini3 Jdk25 Docker SpringBoot4 Nacos3 Rocky Kubernetes HarmonyOS6

欢迎您！

登录后，您将获得更多功能！

热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273