【数据库审计】Hadoop架构下的数据库审计
——大数据渗透到各个行业领域,逐渐成为一种生产要素发挥着重要作用,成为未来竞争的制高点。
在大数据时代下,信息和数据的分析处理都会变得比以前更加繁杂,管理起来也更加麻烦。大数据发展仍旧面临着众多问题,最受大众关注的就是安全与隐私问题——大数据在收集、存储和使用的过程中,都面临着一定的安全风险,一旦大数据产生隐私泄露的情况,会对用户的安全性造成严重威胁。
Hadoop是什么?
Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算,是目前市场上最受欢迎的一种大数据解决方案之一。
(Hadoop架构业务及审计逻辑)
Hadoop 由许多元素构成,其核心是分布式文件系统(HDFS)和MapReduce 引擎,并涵盖众多提供Hadoop应用的子项目,如:数据仓库工具(HIVE)、NOSQL数据库(HBASE)、大数据分析平台(PIG,为用户提供多种接口)等以及众多的编程接口。
Hadoop架构下数据库的审计难在哪里?
为了满足Hadoop架构下各种应用需求,引入了数据库仓库工具(HIVE)、非结构化数据库(HBase)等子项目解决数据的处理分析与数据实时交互需求,同时为了简化Hadoop管理工作,HUE、Phoenix等UI工具也被引入协同工作。
各种多样化的工具带来最直接的问题便是多样化的程序设计语言,多样性的程序编程接口,增大了大数据安全审计覆盖面,增强了大数据的数据解析难度。因此,在Hadoop大数据架构环境下要实现有效审计,必须同时对各种UI管理界面、编程接口同时审计,具备Hadoop架构各种协议解析、编程语言解析能力。
其审计难点可总结为:
1、Hadoop大数据非结构化数据(NO SQL),传统方案无法实现此类数据的综合安全监控;
2、Hadoop中数据库连接工具的多样化,传统方案只能对典型的C/S客户端访问方式进行安全监控,缺乏综合管理手段;
3、Hadoop开放的接口和平台,加之信息网络共享导致数据风险点增加,窃密、泄密渠道增加;
4、安全模型和配置的复杂性导致数据流量复杂化。
更多数据库审计内容详见商业新知-数据库审计

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
阿里云HBase Ganos在海量实时轨迹中的应用(一)
场景需求 在移动对象轨迹监控与分析的项目中,收集了数十万的车辆信息,每个车辆会定时的上报当前位置、事件、状态等信息,每天约数亿条轨迹点,需要能够存储。且前端用户在查询时,要能快速返回目标船舶的信息。 入库需求: 轨迹数据,每日新增10亿条左右,包括时间点、经纬度坐标、对象当前的属性信息基本不涉及到数据的修改(不断的追加数据) 查询需求: 区域回放:根据时间和空间范围两个维度共同查询。例如:查询东经110°~120°,北纬25°~35°空间范围内,2019.3.1~2019.3.10时间范围内的所有轨迹点。 轨迹线查询:根据某个移动对象的id,查出某段时间内的轨迹。例如:查询编号为"205073000"的船舶在2019.3.1~2019.3.10时间范围内的所有轨迹点。 要求: 要能支撑每日10亿量级的写入,要能承载千亿轨迹规模的存储 时空查询(区域
- 下一篇
java转大数据的学习路线
一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划 大数据介绍 大数据本质也是数据,但是又有了新的特征,包括数据来源广、数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等。 针对以上主要的4个特征我们需要考虑以下问题: 数据来源广,该如何采集汇总?,对应出现了Sqoop,Cammel,Datax等工具。 数据采集之后,该如何存储?,对应出现了GFS,HDFS,TFS等分布式文件存储系统。 由于数据增长速度快,数据存储就必须可以水平扩展。 数据存储之后,该如何通过运算快速转化成一致的格式,该如何快速运算出自己想要的结果? 对应的MapReduce这样的分布式运算框架解决了这个问题;但是写MapReduce需要Java代码量很大,所以出现了Hive,Pig等将SQL转化成MapReduce的解析引擎; 普通的MapReduce处理数据只能一批一批地处理,时间延迟太长,为了实现每输入一条数据就能得到结果,于是出现了Storm/JStorm这样的低时延的流式计算框架; 但是如果同时需要批...
相关文章
文章评论
共有0条评论来说两句吧...