实战Kafka ACL机制
1.概述
在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后,连接到Kafka集群,就可以操作集群上的所有主题了。由于没有权限控制,集群核心的业务主题时存在风险的。
2.内容
2.2 身份认证
Kafka的认证范围包含如下:
- Client与Broker之间
- Broker与Broker之间
- Broker与Zookeeper之间
当前Kafka系统支持多种认证机制,如SSL、SASL(Kerberos、PLAIN、SCRAM)。
2.3 SSL认证流程
在Kafka系统中,SSL协议作为认证机制默认是禁止的,如果需要使用,可以手动启动SSL机制。安装和配置SSL协议的步骤,如下所示:
- 在每个Broker中Create一个Tmp密钥库
- 创建CA
- 给证书签名
- 配置Server和Client
执行脚本如下所示:
#! /bin/bash # 1.Create rsa keytool -keystore server.keystore.jks -alias dn1 -validity 365 -genkey -keyalg RSA # 2.Create CA openssl req -new -x509 -keyout ca-key -out ca-cert -days 365 # 3.Import client keytool -keystore client.truststore.jks -alias CAROOT -import -file ca-cert # 4.Import server keytool -keystore server.truststore.jks -alias CAROOT -import -file ca-cert # 5.Export keytool -keystore server.keystore.jks -alias dn1 -certreq -file cert-file # 6.Signed openssl x509 -req -CA ca-cert -CAkey ca-key -in cert-file -out cert-signed -days 365 -CAcreateserial -passin pass:123456 # 7.Import ca-cert keytool -keystore server.keystore.jks -alias CARoot -import -file ca-cert # 8.Import cert-signed keytool -keystore server.keystore.jks -alias dn1 -import -file cert-signed
2.4 SASL认证流程
在Kafka系统中,SASL机制包含三种,它们分别是Kerberos、PLAIN、SCRAM。以PLAIN认证为示例,下面给大家介绍PLAIN认证流程。
2.4.1 配置Server
首先,在$KAFKA_HOME/config目录中新建一个文件,名为kafka_server_jaas.conf,配置内容如下:
KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="smartloli" password="smartloli-secret" user_admin="smartloli-secret"; }; Client { org.apache.kafka.common.security.plain.PlainLoginModule required username="smartloli" password="smartloli-secret"; };
然后在Kafka启动脚本(kafka-server-start.sh)中添加配置文件路径,设置内容如下:
[hadoop@dn1 bin]$ vi kafka-server-start.sh # Add jaas file export KAFKA_OPTS="-Djava.security.auth.login.config=/data/soft/new/kafka/config/kafka_server_jaas.conf"
接下来,配置server.properties文件,内容如下:
# Set ip & port listeners=SASL_PLAINTEXT://dn1:9092 advertised.listeners=SASL_PLAINTEXT://dn1:9092 # Set protocol security.inter.broker.protocol=SASL_PLAINTEXT sasl.enabled.mechanisms=PLAIN sasl.mechanism.inter.broker.protocol=PLAIN # Add acl allow.everyone.if.no.acl.found=true auto.create.topics.enable=false delete.topic.enable=true advertised.host.name=dn1 super.users=User:admin # Add class authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
2.4.2 配置Client
当Kafka Server端配置启用了SASL/PLAIN,那么Client连接的时候需要配置认证信息,Client配置一个kafka_client_jaas.conf文件,内容如下:
KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret"; };
然后,在producer.properties和consumer.properties文件中设置认证协议,内容如下:
security.protocol=SASL_PLAINTEXT sasl.mechanism=PLAIN
最后,在kafka-console-producer.sh脚本和kafka-console-producer.sh脚本中添加JAAS文件的路径,内容如下:
# For example: kafka-console-producer.sh hadoop@dn1 bin]$ vi kafka-console-producer.sh # Add jaas file export KAFKA_OPTS="-Djava.security.auth.login.config=/data/soft/new/kafka\ /config/kafka_client_jaas.conf"
2.5 ACL操作
在配置好SASL后,启动Zookeeper集群和Kafka集群之后,就可以使用kafka-acls.sh脚本来操作ACL机制。
(1)查看:在kafka-acls.sh脚本中传入list参数来查看ACL授权新
[hadoop@dn1 bin]$ kafka-acls.sh --list --authorizer-properties zookeeper.connect=dn1:2181
(2)创建:创建待授权主题之前,在kafka-acls.sh脚本中指定JAAS文件路径,然后在执行创建操作
[hadoop@dn1 bin]$ kafka-topics.sh --create --zookeeper dn1:2181 --replication-factor 1 --partitions 1 --topic kafka_acl_topic
(3)生产者授权:对生产者执行授权操作
[hadoop@dn1 ~]$ kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=dn1:2181 --add --allow-principalUser:producer --operation Write --topic kafka_acl_topic
(4)消费者授权:对生产者执行授权后,通过消费者来进行验证
[hadoop@dn1 ~]$ kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=dn1:2181 --add --allow-principalUser:consumer --operation Read --topic kafka_acl_topic
(5)删除:通过remove参数来回收相关权限
[hadoop@dn1 bin]$ kafka-acls.sh --authorizer-properties zookeeper.connect=dn1:2181 --remove --allow-principal User:producer --operation Write --topic kafka_acl_topic3
3.总结
在处理一些核心的业务数据时,Kafka的ACL机制还是非常重要的,对核心业务主题进行权限管控,能够避免不必要的风险。
4.结束语
这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!
邮箱:smartloli.org@gmail.com
Twitter: https://twitter.com/smartloli
QQ群(Hadoop - 交流社区1): 424769183
温馨提示:请大家加群的时候写上加群理由(姓名+公司/学校),方便管理员审核,谢谢!
热爱生活,享受编程,与君共勉!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
基于MaxCompute构建Noxmobi全球化精准营销系统
摘要:大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。在本文中北京多点在线高级架构师杨洋分享了基于MaxCompute构建Noxmobi全球化精准营销系统。 本文内容根据演讲视频以及PPT整理而成。 多点在线属于泛娱乐行业的公司,主打产品是Nox夜神模拟器,其主要用于在PC端玩手游,该产品目前已经稳居国内市场占有率第一两年多的时间了,处于行业领导者的地位。Nox下面主要有两个品牌:Noxmobi和Influencer。 PPT材料下载地址:https://yq.aliyun.com/download/2727 视频地址:https:
- 下一篇
asp.Net Core免费开源分布式异常日志收集框架Exceptionless安装配置以及简单使用图文教程
最近在学习张善友老师的NanoFabric框架的时了解到Exceptionless :https://exceptionless.com/!因此学习了一下这个开源框架!下面对Exceptionless的学习做下笔记! Exceptionless是什么?能做什么呢? “Exceptionless”这个词的定义是:没有异常。Exceptionless可以为您的ASP.NET、Web API、WebFrm、WPF、控制台和MVC应用程序提供实时错误、特性和日志报告。它将收集的信息组织成简单的可操作的数据,这些数据将帮助你很方便的查看异常信息。还有最重要的是,它是开源的! Exceptionless的使用方式有哪些? 1.官网创建帐号,并新建应用程序以及项目,然后生成apikey(数据存储在Exceptionless) 2.自己搭建Exceptionless的环境,部署在本地(数据存储在本地) Exceptionless的运行环境有哪些要求?需要安装哪些软件,进行什么配置呢? .NET 4.6.1(安装了.net core 或者vs2017的话环境应该都没问题,不需要额外安装) Java JD...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果