kafka基本架构和概念-低调大师

kafka基本架构和概念

2017-11-15 577

一、基本概念

1、Topic：特指kafka处理的消息源

2、Partition（分区）：Topic物理上的分组。一个Topic可以有多个Patition，每个Partition是一个有序的队列

3、Message：消息，通信的基本单位

4、Producer：生产者。向kafka的一个topic发布消息的过程叫做生产

5、Consumer：消费者，订阅Topic并处理其发布的消息的过程叫做消费

6、Broker：缓存代理，kafka集群中的一台或者多台服务器

二、kafka消息系统基本架构

三、kafka的应用场景

Message（消息系统）

Website Activity Tracking（网站活性跟踪）

Log Aggregation（日志收集中心）

本文转自曾哥最爱 51CTO博客，原文链接：http://blog.51cto.com/zengestudy/2049281，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/484063

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

现代IM系统中消息推送和存储架构的实现

前言 IM全称是『Instant Messaging』，中文名是即时通讯。在这个高度信息化的移动互联网时代，生活中IM类产品已经成为必备品，比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品，但其核心功能还是IM。还有一些非以IM系统为核心的应用，最典型的如一些在线游戏、社交应用，IM也是其重要的功能模块。可以说，带有社交属性的应用，IM功能一定是必不可少的。 IM系统在互联网初期即存在，其基础技术架构在这十几年的发展中更新迭代多次，从早期的CS、P2P架构，到现在后台已经演变为一个复杂的分布式系统，涉及移动端、网络、安全和存储等技术的方方面面。其支撑的规模也从早期的少量日活，到现在微信这个巨头最新公布的达到9亿的日活的体量。 IM系统中最核心的部分是消息系统，消息系统中最核心的功能是消息的同步和

2017-11-16

575

Openfire是一个强大的即时消息（IM）和聊天服务器，它实现了XMPP协议,可以使用它轻易的构建高效率的即时通信服务器. 其安装和部署都十分简单，并利用Web进行管理。单台服务器可支持上万并发用户，由于是采用开放的XMPP协议，可以使用各种支持XMPP协议的IM客户端软件登陆服务。一：建立数据库 a.建立数据库，记下数据库名，如OpenfireServer。 b.在数据库管理系统下建立新用户，如OpenfireUser。选择SQL server身份验证，把强制密码过期的勾去掉，只勾上强制实施密码策略。在下面的数据库下拉列表中选择OpenfireServer，然后确定即可。 c.然后在OpenfireServer数据库目录下，在其安全性中，新建一个用户，用户名任取。登录名选择上面创建的OpenfireUser，架构选择 db_owner,数据库角色成员身份选择db_owner, 二：安装Openfire a.到官方下载最新版的Openfire安装包官方网址为：http://www.ig...cts/openfire/ b.双击Openfire安装包开始安装安装完毕后...

2017-11-16

627

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。