消息队列 Kafka学习总结
分享的目的 更深入了解消息中间件Kafka的系统架构; 更好的使用消息中间件Kafka解决实际项目中的问题; 通过Kafka的设计架构原理,和使用场景,能够更快速掌握研究其它类似的消息中间件,如RocketMQ, Notify, ActiviteMQ, 能够在实际的业务中更好使用这些消息中间件 分享大纲 Kafka系统架构; Kafka开发; Kafka参数调优; Kafka系统架构 Kafka介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以海量的消息存储也能够保持长时间的稳定性能(高性能); 高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息(高并发); 支持通过Kafka服务器和消费机集群来分区消息(高可靠); 支持Hadoop并行数据加载; 支持各种语言丰富的客户端(java, C++, python, erlang, .Net, go, Clojure, Scala); Kafka架构 Kafka基本概念介绍 Broker: Kafka集群包含一个或多个服务器,这种服务器被称为...