大数据集群被窃取数据怎么办？透明加密可以一试-低调大师

大数据集群被窃取数据怎么办？透明加密可以一试

2021-11-01 520

摘要：传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。

本文分享自华为云社区《FusionInsight MRS透明加密方案》，作者：一枚核桃。

概述

传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。

FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。

HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通过HadoopKMS从第三方KMS获取。
对于Kafka、Redis等业务数据直接持久化存储到本地磁盘的组件，通过基于LUKS的分区加密机制保护用户数据安全。

HDFS透明加密

HDFS透明加密支持AES、SM4/CTR/NOPADDING加密算法，Hive、HBase使用HDFS透明加密做数据加密保护。SM4加密算法由A-LAB基于OpenSSL提供。
加密使用的密钥从集群内的KMS服务获取，KMS服务支持基于Hadoop KMS REST API对接第三方KMS。
一套FusionInsight Manager内部署一个KMS服务，KMS服务到第三方KMS使用公私钥认证，每个KMS服务在第三方KMS对应拥有一个CLK。
在CLK下可以申请多个EZK，与HDFS上的加密区对应，用于加密数据加密密钥，EZK在第三方KMS中持久化保存。
DEK由第三方KMS生成，通过EZK加密后持久化保存到NameNode中，使用的时候使用EZK解密。
CLK和EZK两层密钥可以轮转。CLK作为每个集群的根密钥，在集群侧不感知，轮转完全由第三方KMS控制管理。EZK可通过FI KMS管理，轮转在FI KMS可控制管理，同时第三方KMS管理员拥有KMS内密钥的管理能力，也可以做EZK的轮转。

LUKS分区加密

对于Kafka、Redis等业务数据直接持久化存储到本地磁盘的组件，FusionInsight集群支持基于LUKS的分区加密进行敏感信息保护。

FusionInsight安装过程的脚本工具使用Linux统一密钥设置（Linux Unified Key Setup，简称LUKS）分区加密方案，该方案加密分区时会在集群每个节点生成或者从第三方KMS获取访问密钥，用于加密数据密钥，以保护数据密钥安全性。磁盘分区加密后，重启操作系统或者更换磁盘场景下，系统能够自动获取密钥并挂载或创建新的加密分区。

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/5292349

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

看动画学算法之:双向队列dequeue

简介 dequeue指的是双向队列，可以分别从队列的头部插入和获取数据，也可以从队列的尾部插入和获取数据。本文将会介绍一下怎么创建dequeue和dequeue的一些基本操作。双向队列的实现和普通队列项目，双向队列可以分别在头部和尾部进行插入和删除工作，所以一个dequeue需要实现这4个方法： insertFront(): 从dequeue头部插入数据 insertLast(): 从dequeue尾部插入数据 deleteFront(): 从dequeue头部删除数据 deleteLast(): 从dequeue尾部删除数据同样的我们也需要一个head和一个rear来指向队列的头部和尾部节点。也就是说实现了这四个方法的队列就是双向队列。我们不管它内部是怎么实现的。接下来我们来直观的感受一下dequeue的插入和删除操作：在头部插入在尾部插入在头部删除在尾部删除双向队列也可以有很多种实现方式,比如循环数组和链表。双向队列的数组实现因为数组本身已经有前后关系，也就是说知道head可以拿到它后面一个数据，知道rear也可以拿到它前面一个数据。所以数组的实现中，存...

2021-11-01

638

摘要：保障人才储备是企业人力资源管理中非常重要的工作，而招聘是快速补充人才资源的快速有效的方式之一，但往往在招聘过程中会遇到各种问题。本文分享自华为云社区《唰唰唰，上线一个微招聘小应用丨【玩转应用魔方】》，作者：胡琦。随着企业的不断发展和壮大，保障人才储备是企业人力资源管理中非常重要的工作，而招聘是快速补充人才资源的快速有效的方式之一，但往往在招聘过程中会遇到以下痛点：招聘平台繁多，多个平台的信息存在壁垒，经常在多个平台能刷到同一个面试者的简历，导致还需进行信息的二次过滤，增加了获取有效信息的成本多个平台信息也比较分散，无法仅依赖单一平台搭建人才资源库；信息的获取也受制于平台。针对以上痛点，我们发现搭建自有的招聘应用势在必行，因此便有了这次基于 AppCube 开发的初步尝试。功能点介绍用人需求方录入岗位信息并发布，面试候选人可查看已发布上线的岗位列表，根据自身条件进行对应岗位的面试申请，提交的申请信息涵盖简历信息的方方面面。用人需求侧接收到面试候选人的申请之后可进行面试邀请操作。岗位录入虽然 AppCube 中有完善的用户体系,鉴于此次开发是简单的模板开发,因此不涉...

2021-11-01

454

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。