Spring Boot + Spring Kafka配置公网接入阿里云Kafka

场景说明

今天接到的一个任务是做公网接入阿里云的kafka。不推荐通过公网访问。

由于通过公网问，需要配置为客户端接入配置SASL_SSL的鉴权，设置证书，协议，访问模式的账号密码等参数。

自己的应用采用的是spring boot + spring kafka来接入kafka。

因此，在配置上需要做一些适配和调整。

官方文档

https://help.aliyun.com/knowledge_detail/99958.html

原生的配置，主要有几个点：

• 在控制台下载ssl证书 ---- kafka.client.truststore.jks，放在机器的某个路径上，不要跟着应用打包
• 构建 kafka_client_jaas.conf，它包含着登录模式，登录用账号密码等的信息，账号密码信息在控制台上能找到。将应用启动参数java.security.auth.login.config设置为kafka_client_jaas.conf的绝对路径，可以通过代码或者启动参数设置。

注意 ： spring boot配置中可以不需要的这个kafka_client_jaas.conf，它通过读取application.yaml中的配置生成了一个，设置到应用中，具体见下。

• 根证书是有密码，阿里云kafka证书统一的解析密码为KafkaOnsClient。
• 接入协议为SASL_SSL, 鉴权方式为PLAIN。

配置适配

由于采用spring boot + spring kafka来接入kafka，配置的时候需要做一下适配调整。

spring boot读取kafka属性的类为org.springframework.boot.autoconfigure.kafka.KafkaProperties，其中也包含有SSL, JAAS的配置项，这些是我们需要配置的。

当然也有一些额外的配置，需要通过通用的properties给设置进去，让spring读取到，转换成kafka-client的配置。

SSL

主要是设置证书文件的绝对路径和证书解密密码。

这里是分别都为producer, consumer设置ssl的参数

JAAS

主要是配置属性，然后构建一个类似kafka_client_jaas.conf的文件，设置到应用中，最终的实质也仍然是将生成的文件路径设置给java.security.auth.login.config这个应用变量。

spring: kafka: jaas: enabled: true loginModule: org.apache.kafka.common.security.plain.PlainLoginModule controlFlag: REQUIRED options: username: aliyun-kafka-username password: aliyun-kafka-password ...

其中各个属性的值可以对照阿里云官方接入文档中kafka_client_jaas.conf文件内容进行配置

额外参数

通过producer, consumer的properties属性可以添加额外自定义的属性，这里主要设置了

• sasl.mechanism: PLAIN
• security.protocol: SASL_SSL

配置例子

spring: kafka: bootstrap-servers: kafka-server1, kafka-server2, kafka-server3 jaas: enabled: true loginModule: org.apache.kafka.common.security.plain.PlainLoginModule options: username: aliyun-kafka-username password: aliyun-kafka-password consumer: ssl: truststorePassword: KafkaOnsClient truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks properties: sasl.mechanism: PLAIN security.protocol: SASL_SSL group-id: consumer-group max-poll-records: 2 producer: ssl: truststorePassword: KafkaOnsClient truststoreLocation: file:/etc/kafka/kafka.client.truststore.jks retries: 3 acks: 1 compression-type: lz4 buffer-memory: 33554432 batch-size: 51200 properties: send.buffer.bytes: 262144 sasl.mechanism: PLAIN security.protocol: SASL_SSL