实用 | 从Apache Kafka到Apache Spark安全读取数据-低调大师

实用 | 从Apache Kafka到Apache Spark安全读取数据

2017-08-01 555

引言

随着在CDH平台上物联网(IoT)使用案例的不断增加，针对这些工作负载的安全性显得至关重要。本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据，以及针对物联网(IoT)使用案例的两个关键组件进行了说明。

Cloudera Distribution of Apache Kafka 2.0.0版本(基于Apache Kafka 0.9.0)引入了一种新型的Kafka消费者API，可以允许消费者从安全的Kafka集群中读取数据。这样可以允许管理员锁定其Kafka集群，并要求客户通过Kerberos进行身份验证。此外，也可以允许客户在与Kafka brokers(通过SSL/TLS)通信时加密数据随后，在Cloudera Distribution of Apache Kafka 2.1.0版本中，Kafka通过Apache Sentry引入了支持授权功能。这样可以允许Kafka管理员锁定某些主题，并针对特定角色和用户授予权限，充分发挥基于角色的访问控制功能。

而现在，从Cloudera Distribution of Spark 2.1的第一次发行版开始，我们已经具备了从Spark中的Kafka内安全读取数据的功能。

要求

Cloudera Distribution Spark 2.1第一次发行版或更高版本。
Cloudera Distribution Kafka 2.1.0版本或更高版本。

体系架构

使用Spark中新的直接连接器可以支持从安全的Kafka集群中获取消息。直接连接器不使用单独的进程(亦称为接收器)读取数据。相反，Spark驱动程序将跟踪各种Kafka主题分区的偏移量，并将偏移量发送到从Kafka中直接读取数据的执行程序中。直接连接器的简单描述如下所示。

图1：Spark中的Kafka直接连接器

Spark节点和Kafka 代理人(broker)不一定在同一地点。
一个Spark分区对应一个Kafka主题分区。
如果出于某种原因，多个主题分区位于单个Kafka节点上，则有多个Spark执行程序可能会命中该节点(不过没关系)。
上图只是一个简单的说明。

非常值得注意的一点是，Spark是以分布式的方式访问Kafka中的数据。Spark中的每一个任务都会从某个Kafka主题的特定分区中读取数据，该特定分区称为主题分区。主题分区理想地均匀分布在Kafka 代理人(broker)之间。

但是，为了以分布式的方式从安全的Kafka中读取数据，我们需要在Kafka(KAFKA-1696)中使用Hadoop风格的授权令牌，在写本篇博文时(2017年春季)还不支持这一功能。

我们已经考虑了各种解决这个问题的方法，但是最终决定采用从Kafka中安全读取数据的建议解决方案(至少应实现Kafka授权令牌的支持)将是Spark应用程序分发用户的keytab，以便执行程序可以访问。然后，执行程序将使用共享的用户密钥表，与Kerberos密钥分发中心(KDC)进行身份验证，并从Kafka 代理人(broker)中读取数据。YARN分布式缓存用于从客户端(即网关节点)向驱动程序和执行程序发送和共享密钥表。下图显示了当前解决方案的一览图。

图2：当前解决方案(假设YARN集群模式)

这种方法存在以下一些常见的问题：

a. 这不能被认为是发送钥匙表的最佳安全实践

b.在具有大量Kafka主题分区的情况下，所有执行程序可能会同时尝试登录KDC，存在导致重送攻击的潜在风险(类似于DDOS攻击)。

关于问题a)，Spark已经使用分布式缓存将用户的密钥表从客户端(亦称为网关)节点发送到驱动程序，并且由于缺少授权令牌，所以没有办法绕过。管理员可以选择自己在Spark外部将密钥表分发到Spark执行程序节点(即YARN节点，因为Spark在YARN上运行)，并调整优化共享的示例应用程序以缓解该问题。

关于问题b)，我们在Kafka主题中测试了1000多个主题分区，并且在增加分区数量后未见对KDC服务器产生不利影响。

与Apache Sentry集成

例应用程序假设没有使用任何Kafka授权。如果使用了Kafka授权的话(通过Apache Sentry)，则必须确保应用程序中指定的消费者小组已经获得Sentry授权。例如，如果应用程序的消费者小组的名称是my-consumer-group，则必须同时对my-consumer-group和spark-executor-my-consumer-group授予访问权限(即您的消费者小组名称前缀为spark-executor-)。这是因为Spark驱动器使用是该应用程序指定的消费者小组，但spark执行程序在此集成中使用的是不同的消费者小组，该集成在驱动程序消费者小组的名称前指定的前缀是spark-executor-。

结论

简而言之，您可以使用Cloudera Distribution of Apache Kafka 2.1.0 版本(或更高版本)和Cloudera Distribution of Apache Spark 2.1第一次发行版(或更高版本)，以安全的方式从Kafka中使用Spark内的数据——包括身份验证(使用Kerberos进行身份认证)、授权(使用Sentry进行授权)以及线上加密(使用SSL/TLS进行加密)。

本文作者：Cloudera中国

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/179565

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

当精准广告遇到大数据

从互联网广告诞生开始，精准的概念就一直为业界所讨论，因为互联网的技术性特征使得网络广告具备了实时投放管理优化以及针对海量数据挖掘的基础。目前，在美国精准广告已经由最初基于媒体主题频道和页面内容定向，演进到基于Cookie交换等数据分析服务，实现统一平台管理跨网络媒体并通过大数据技术实现精准广告投放的阶段。精准广告营销已经成为主流的营销手段。而在中国，精准广告营销方兴未艾。根据相关数据统计，广告精准程度、受众覆盖规模和广告平台拥有的媒体资源是广告主考量广告平台的三大关键要素，而广告精准程度以69%的比例位列广告主考量广告平台的要素之首，精准广告的重要性由此可见一斑。（资料来源，媒介360，2015广告主投放数据报告）要实现精准广告营销，通常需要借助DSP来进行。由于DSP可大幅提升投放的精准度，为广告主提供跨媒介、跨平台、跨终端的广告投放平台，通过数据整合、分析实现基于受众的精准投放，并且实时监控不断优化，因此所有对广告的真实效果有追求的行业都适合DSP。但随着广告主对精准广告的要求越来越高，以及大数据技术对精准广告的巨大推动作用，DSP平台对实时数据处理效率的要求和对大数据技术...

2017-08-02

667

Hadoop并不完全代表云计算，所以，要用Hadoop搭建完整的云计算平台，答案是不够。我们常说云计算，实际上还是通过计算机的大规模或者说海量处理来为生活中各式各样的人和各行各业服务——所以，核心在“服务”。关于服务，展开来就是常用的那3种(也是事实上的标准)：SaaS,PaaS,IaaS。对云计算来说，公有和私有，虚拟和存储，这其实是相对讨论的核心。回头说Hadoop。在Google三大论文的直接刺激下，Hadoop社区兴起，而在众多的开源实现中，Hadoop(主项目)可以说是所有已知云计算方面开源项目的一个Top项目。云计算中有哪些构件?发展到目前的技术与规模，并没有一个确切的定论，今天的说的话明天可能就不一样了。但对Hadoop来说，实现了的部分，就是大部分企业在不断发展中所遇到的大部分问题。直接上图：从整体生态系统的角度，从底层存储，到中间的计算模型和框架，再到上层的逻辑处理和流、显示，都有相应开源的实现。这就是你说的构件了。包括我们看到的Hadoop2.0中，引入的新的处理框架，Spark，Storm，YARN(取代MR)，都是Hadoop生态系统的完善与实现。 Ha...

2017-08-02

466

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。