Kafka-0.10.0.0 集群高可靠实验-低调大师

Kafka-0.10.0.0 集群高可靠实验

2018-08-15 646

记录实验过程之前，先谈一谈学习Kafka过程的心得。
大数据包含一个生态，需众多组件配合使用。逐个学习各个组件非常费力，想摸索出一种快速入门的方法，可能是每个学习大数据的同学都想要的。
我的方法是，每个组件遵循以下步骤：
（1）介绍文档，Getting Start,Introduction等，通常1个小时内可以搞定。
（2）安装配置，下载Tar包，配置Config。半小时。
（3）用官方Api，实现几个Demo。1个小时。
这样，入门过程差不多花上半天时间。但是学习kafka时，把精力放在了zookeeper的机制原理上，大大延长了整个实验的时间。

感谢kelgon发布的实验教程，我的实验过程也是按照这位牛人的文章做的，在此感谢。

kafka系统示意图

一、zookeeper安装

实验环境：三台计算机（用本机docker安装镜像，OS:ubuntu 16.04）

hbase：172.18.0.71
datanode2:172.18.0.12
datanode3:172.18.0.13
解压zookeeper 3.4.9 到/opt/zookeeper文件夹中

配置zoo.cfg，每台zookeeper采用同样的配置文件

dataDir=/opt/zookeeper/zootmp 
##存放zookeeper 全部数据
clientPort=2181 #zookeeper 默认端口
server.0=172.18.0.71:4001:4002 #配置zookeeper 集群
server.1=172.18.0.12:4001:4002
server.2=172.18.0.13:4001:4002
##4001是node通信使用的端口，4002是node选举使用的端口

2.在dataDir中，创建myid文件，写入此台机器的变化，对应server.X。

##myid
0

3.启动命令。

bin/zkServer.sh start

zookeeper状态和高可靠

bin/zkServer.sh status

命令输出

ZooKeeper JMX enabled by default
Using config: /opt/zookeeper/bin/../conf/zoo.cfg
Mode: follower/leader

证明zookeeper依靠zoo.cfg配置文件中集群配置，实现了主从模式。
关闭leader节点

bin/zkServer.sh stop

查看其它节点状态，一个follow节点会变成leader节点。

至此，完成zookeeper的安装、集群配置以及集群可靠性验证。

二、Kafka安装

解压kafka-0.10.0.0到/opt/kafka路径中，3个主机组成Kafka集群。

hbase：172.18.0.71
datanode2:172.18.0.12
datanode3:172.18.0.13

1.修改配置文件config/server.properties

broker.id=0 ##每一个kafka 设置单独id
advertised.listeners=PLAINTEXT://hbase:9092 
##hbase填写域名或ip地址，kafka监听该端口。
log.dirs=/opt/kafka/kafkatmp 
##kafka保存数据的位置
zookeeper.connect=hbase:2181,datanode2:2181,datanode3:2181
##zookeeper地址，集群用逗号分隔
num.partitions=1 ##默认情况topic的partion个数

2.启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

创建topic，设置10个partition

kafka自带系统工具创建topic

bin/kafka-topics.sh --create \
--zookeeper 172.18.0.12:2181\
--replication-factor 2 \ ##2个副本
--partitions 10 \ ##10个partition
--topic exam2 ##

2.查看topic信息

Topic:exam2 PartitionCount:10 ReplicationFactor:2 Configs:
Topic: exam2 Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1
Topic: exam2 Partition: 1 Leader: 1 Replicas: 1,2 Isr: 1,2
Topic: exam2 Partition: 2 Leader: 2 Replicas: 2,0 Isr: 0,2
Topic: exam2 Partition: 3 Leader: 0 Replicas: 0,2 Isr: 0,2
Topic: exam2 Partition: 4 Leader: 1 Replicas: 1,0 Isr: 0,1
Topic: exam2 Partition: 5 Leader: 2 Replicas: 2,1 Isr: 1,2
Topic: exam2 Partition: 6 Leader: 0 Replicas: 0,1 Isr: 0,1
Topic: exam2 Partition: 7 Leader: 1 Replicas: 1,2 Isr: 1,2
Topic: exam2 Partition: 8 Leader: 2 Replicas: 2,0 Isr: 0,2
Topic: exam2 Partition: 9 Leader: 0 Replicas: 0,2 Isr: 0,2

10个partition分布到3个broker上，每个partition拥有2个副本。

三、Kafka可靠性验证

1.关闭broker0

bin/kafka-server-stop.sh

2.查看topic信息

Topic:exam2 PartitionCount:10 ReplicationFactor:2 Configs:
Topic: exam2 Partition: 0 Leader: 1 Replicas: 0,1 Isr: 1
Topic: exam2 Partition: 1 Leader: 1 Replicas: 1,2 Isr: 2,1
Topic: exam2 Partition: 2 Leader: 2 Replicas: 2,0 Isr: 2
Topic: exam2 Partition: 3 Leader: 2 Replicas: 0,2 Isr: 2
Topic: exam2 Partition: 4 Leader: 1 Replicas: 1,0 Isr: 1
Topic: exam2 Partition: 5 Leader: 2 Replicas: 2,1 Isr: 1,2
Topic: exam2 Partition: 6 Leader: 1 Replicas: 0,1 Isr: 1
Topic: exam2 Partition: 7 Leader: 1 Replicas: 1,2 Isr: 2,1
Topic: exam2 Partition: 8 Leader: 2 Replicas: 2,0 Isr: 2
Topic: exam2 Partition: 9 Leader: 2 Replicas: 0,2 Isr: 2

由于关闭了broker0，所以partition-0的leader由broker0变为broker1，lsr同步节点也去掉了broker0。
partion3 6 9发生同样的变化。

重启broker0，查看topic信息

Topic:exam2 PartitionCount:10 ReplicationFactor:2 Configs:
Topic: exam2 Partition: 0 Leader: 1 Replicas: 0,1 Isr: 1,0
Topic: exam2 Partition: 1 Leader: 1 Replicas: 1,2 Isr: 2,1
Topic: exam2 Partition: 2 Leader: 2 Replicas: 2,0 Isr: 2,0
Topic: exam2 Partition: 3 Leader: 2 Replicas: 0,2 Isr: 2,0
Topic: exam2 Partition: 4 Leader: 1 Replicas: 1,0 Isr: 1,0
Topic: exam2 Partition: 5 Leader: 2 Replicas: 2,1 Isr: 1,2
Topic: exam2 Partition: 6 Leader: 1 Replicas: 0,1 Isr: 1,0
Topic: exam2 Partition: 7 Leader: 1 Replicas: 1,2 Isr: 2,1
Topic: exam2 Partition: 8 Leader: 2 Replicas: 2,0 Isr: 2,0
Topic: exam2 Partition: 9 Leader: 2 Replicas: 0,2 Isr: 2,0

此时，lsr节点已经恢复broker0的同步规则。

4.触发负载均衡
partition的读写都是leader broker负责。当重启broker后，虽然加入了数据同步节点，但partition的leader没有发生转换，可以通过命令触发负载均衡。

bin/kafka-preferred-replica-election.sh --zookeeper hbase:2181

Topic:exam2 PartitionCount:10 ReplicationFactor:2 Configs:
Topic: exam2 Partition: 0 Leader: 0 Replicas: 0,1 Isr: 1,0
Topic: exam2 Partition: 1 Leader: 1 Replicas: 1,2 Isr: 2,1
Topic: exam2 Partition: 2 Leader: 2 Replicas: 2,0 Isr: 2,0
Topic: exam2 Partition: 3 Leader: 0 Replicas: 0,2 Isr: 2,0
Topic: exam2 Partition: 4 Leader: 1 Replicas: 1,0 Isr: 1,0
Topic: exam2 Partition: 5 Leader: 2 Replicas: 2,1 Isr: 1,2
Topic: exam2 Partition: 6 Leader: 0 Replicas: 0,1 Isr: 1,0
Topic: exam2 Partition: 7 Leader: 1 Replicas: 1,2 Isr: 2,1
Topic: exam2 Partition: 8 Leader: 2 Replicas: 2,0 Isr: 2,0
Topic: exam2 Partition: 9 Leader: 0 Replicas: 0,2 Isr: 2,0

结果上看，partition 0 3 6 9的leader换成了broker0，实现了重新选举。

四、总结

本文通过搭建Kafka集群，验证了kafka系统中topic broker leader Replicas等概念。

通过手动关闭进程的方式，实现了kafka高可用性、负载均衡。

微信关注我们

原文链接：https://yq.aliyun.com/articles/635550

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

12分钟即达背后的智能支撑

2017年11月11日凌晨0 点12分，中通物流的快递员敲响了上海嘉定区刘先生家的门，请他签收之前提交的订单。从零点下单，到收到包裹，短短12分钟，凝结的是阿里巴巴的技术智慧。这是阿里巴巴将人工智能应用到实际电商业务系统中的一次重要实践。人工智能是阿里巴巴从电商企业逐步走向世界级科技先驱的关键技术选择。阿里巴巴应用各种机器学习技术来实现人工智能，包括高维统计、在线学习、转换学习、深度学习等，并在图像、视频、自然语言处理等方面取得创新性突破。开放的计算平台刘先生的包裹是这一年双11当天产生的8.12亿个包裹中的一个，他这笔订单的金额是当天1682亿元成交额的一部分。在他提交订单的那一秒，同时还有32.5万笔订单产生。而他点击支付后确认成功的那一秒，有25.6万笔同时支付成功。这一切正是依托于开放的云计算平台——阿里云。阿

2018-08-14

640

版权声明：本文由董可伦首发于https://dongkelun.com，非商业转载请注明作者及原创出处。商业转载请联系作者本人。 https://blog.csdn.net/dkl12/article/details/81747908 我的原创地址：https://dongkelun.com/2018/08/14/sparkEmptyDataFrame/ 前言本文主要给出Spark创建空的DataFrame的代码示例，这里讲的空的DataFrame主要指有列名（可以自己随意指定），但是没有行的DataFrame，因为自己在开发过程中有这个需求，之前并不知道怎么创建，就查了一下，发现资料并不多，不知道因为太简单还是用的人少~，至于具体什么需求就不阐述了，主要给有这方面需求的小伙伴参考一下。还有另一种空的DataFrame就是没有任何行任何列的DataFrame，不知道有什么用，反正贴在代码里，万一有人用呢~ 1、代码代码较简单，如下 package com.dkl.leanring.spark.df import org.apache.spark.sql.SparkSession i...

2018-08-15

601

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。