java B2B2C 源码多租户电子商城系统-Kafka基本使用介绍
一、Kafka概述Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 需要JAVA Spring Cloud大型企业分布式微服务云构建的B2B2C电子商务平台源码 以时间复杂度为O(1)的方式提供消息持久化能力,并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消息消费,同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处理 二、Kafka的架构和核心概念 可以看出来: 1.Kafka可以作为集群运行在一台或者多个服务器上面; 2.Kafka集群可以分类地存储记录流,以打标签的方式,就是采用topics,每个broker可以打个topic,这样能保证消费者可以根据topic选择性消费; 3.每个记录由Key、Value、timestamp构成。 Kafka四个核心的API 1.ProducerAPI:允许一个应用向一个或多个topic里发布记录流; 2.ConsumerAPI:允许一个应用订阅一个或多个topics,处理topic里的数据流,就相当于消费; 3.StreamAPI:允许应用扮演流处理的作用,从一个或多个topic里消费数据流,然后产生输出流数据到其他一个或多个topic里,对输入流数据有效传输到输出口; 4.ConnectorAPI:允许运行和构建一个可重复利用的生产者和消费者,能将kafka的topic与其他存在的应用和数据库设备相连接,比如链接一个实时数据库,可以捕捉到每张表的变化。 这四个API,主要应用在IDEA上对应用程序的开发中,通过代码的形式管理Kafka。在第四部分将会对前两个API写个简单DEMO演示。 大型企业分布式互联网电子商务平台,推出PC+微信+APP+云服务的云商平台系统,其中包括B2B、B2C、C2C、O2O、新零售、直播电商等子平台,框架源码下载地址