Gartner:自建大数据安全分析平台恐难逃失败厄运!
就在2017年4月11日,Gartner的著名分析师Anton Chuvakin在其Gartner官方博客上称“企业和组织如果打算自建安全数据湖或者定制自己的大数据安全分工具的话,那么基本上肯定会失败”!
Anton以自己在跟客户沟通中了解到的信息作为佐证,说包括一些财富50强在内的企业在几年前自建的所谓安全分析项目耗费了大量资源,但收效甚微。有的客户表示“我宁愿希望我们从未听说过Hadoop这个东东,我们浪费了数年时间在企图基于Hadoop构建安全分析能力之上”(we wish we’d never discovered Hadoop – we wasted years of trying to make a security analytics capability out of it.)
Anton进一步探讨了可能的失败原因,包括:
1)大数据池中充斥者垃圾数据;【我注:安全数据湖变成了安全数据臭水塘】
2)收集数据其实是个坑;【我注:没错,要知道,SIEM/SOC厂商用了N年时间才差不多掌握收集数据的种种坑,自建大数据安全分析平台,那么这些坑还要重走一遍,flume, logslash并不像看上去那么easy】
3)数据访问有问题。好不容易将数据导入湖中了,但是如何调出这些数据去进行分析?基本做的很失败,包括hadoop自身存在的问题。所以Facebook的人说“是时候停止用hadoop来做分析了”!hadoop做存储和批处理是OK的,但是不适合用于做分析。这篇文章进行了详细的论证。
4)大部分项目止步于收集完数据,填满了大数据湖。后续的分析工作举步维艰。
5)如果说还有什么分析功能的话,其实基本就是关键字全文搜索【注:当初说好的高级安全分析呢?】
6)没有检测出什么威胁。大部分平台搭建好后,集成了各种分析工具,ML库,但是安全分析场景呢?对不起,没有。安全分析场景的构建远比想象中的更难。
7)安全分析师匮乏【注:别指望什么AI,自动分析,没有安全分析师,平台的价值难以体现】
结果呢,很多所谓成功的大数据安全分析项目其实就是装个ELK,把日志装进去,做个全文检索。这与当初的设想相去甚远。
Anton对于在今年内自建大数据安全分析或者基于开源大数据安全分析平台(metron,spot等)的尝试都不看好。【我基本赞同这个观点,metron是从Cisco的OpenSOC而来,还处于孵化阶段,远未成熟。而自建平台需要通晓大数据技术和安全领域知识的跨界人才,要能将复杂的工程技术与深厚的***对抗能力结合起来,目前来看,这个要求太高】
-----------------以下是我的观点--------------
Anton的这个论断一出,立即引发了很多争论。我觉得Anton这么提也是为了振聋发聩,引起业界的重视。但无论如何,我们看看上面那些失败的可能因素分析,的确足够引起我们深思。
放眼中国,我有些许“欣慰”,原来国内企业和组织的遭遇老外们甚至财富50强们也都正愁着呢。也许有些互联网公司会说自己就有自建的大数据安全分析平台,那么,请对照上面的内容自我检讨一下,无则加勉。
那么怎样才是建设大数据安全分析平台的正确姿势呢?Anton没有明确提出来。不过,我个人认为,在近几年内,开放的混合架构可能是一个稳妥的选择。混合,也就是指混合商业的软件和开源的软件,有的部分用开源的,有的部分用商业化产品/组件,各施所长。开放,也就是说这个平台软件架构必须是开放可扩展的架构,能够将开源的组件和商业化的组件进行组合、扩展、替换。
此外,在底层技术支撑架构的设计方面,要慎用Hadoop,千万不要觉得有个hadoop就多么牛掰,“言大数据必称hadoop”的思想很危险,spark也不是什么善茬儿。hadoop到底需要不需要?It depends,放到安全分析的情境之下,其实还有很多细致的考量。
还有,大数据安全分析平台的工程化远比画一张设计图纸要难得多。从验证到投产更是对工程化的严峻考量。
别忘了,构建这个平台本身不是目标,用起来,分析出安全问题才行。而这不是仅有平台就Ok的,还需要配套的组织和流程,以及——人!大数据安全分析非但没有降低对人的技能要求,反而大大提升了对人的能力要求。
最后,其实不仅是将大数据应用于安全分析遇到的阻碍,在大数据的各个应用领域,都不是一帆风顺。之前Gartner已经警告过:大数据泡沫可能即将破裂。而在年初的Gartner数据与分析峰会上,同样也表达了对大数据项目的悲观预测,称“2017年部署的Hadoop系统中有多达70%将无法实现预期的成本节省或创造营收的目标”。
Anyway,大数据安全分析平台必须做,做下来才能发现问题,才能去解决问题,系统才能不断进化,这是大势所趋,困难都将被克服。但是具体落地需要谨慎,don't boil the whole ocean,不要盲目求新,要在继承的基础上去发展,以往其实有很多好的实践经验,不要扔掉。
各位对此有何想法,欢迎交流。
【参考】
Why Your Security Data Lake Project Will FAIL!
Gartner:伙计们,你们搞错Hadoop和Spark了,它们可能会失败!
It's Time to Stop Using Hadoop for Analytics
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
关于丢失.bansh_profile配置文件造成-bansh-4.2#问题
首先是描述一下问题的产生过程吧:不小心cp了很多的文件到/root/下面去了,去/root/下执行ll发现好多好多文件,这样对我要查找需要的文件来说实在是太麻烦了,没有一目了然的感觉了,于是我rm –rf /root/ 和rm –f /root/将/root/目录下的所有文件都删除了,当时以为这样式正常的删除,没有什么副作用。但是,以后问题就来了,发现只要su到root用户下面去就会出现-bash-4.2#开头的命令行,以前的是[root@localhost~]#,这肯定有问题啊,虽然后面的命令不会受影响,但是前面的路径看不到了,这是很难受的! 于是百度,发现了原来是因为/root/下面的隐藏文件“.bash_profile”文件丢掉了,到这儿才发现是删除/root/下的文件的时候,是全部删掉了的,没有注意到隐藏文件。到了这儿问题就明显了,好了,接下来就是修复这个问题了!但是在修复前有个问题就是网上一些说直接从普通用户家目录下面复制.bash_profile文件到/root/目录下面就可以了,但是测试后不可以,原先很简单,就是两个文件不一样。我们先来看看普通用户user1和user2 ...
- 下一篇
Python正则表达式re模块
正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具,拥有自己独特的语法以及一个独立的处理引擎,效率上可能不如str自带的方法,但功能十分强大。得益于这一点,在提供了正则表达式的语言里,正则表达式的语法都是一样的,区别只在于不同的编程语言实现支持的语法数量不同;但不用担心,不被支持的语法通常是不常用的部分。如果已经在其他语言里使用过正则表达式,只需要简单看一看就可以上手了。 正则表达式概念 使用单个字符串来描述匹配一系列符合某个句法规则的字符串 是对字符串操作的一种逻辑公式 应用场景:处理文本和数据 正则表示是过程:依次拿出表达式和文本中的字符比较,如果每一个字符都能匹配,则匹配成功;否则匹配失败 字符匹配 字符 描述 . 匹配任意一个字符(除了\n) \d \D 数字/非数字 \s \S 空白/非空白字符 \w \W 单词字符[a-zA-Z0-9]/非单词字符 \b \B 单词边界,一个\w与\W之间的范围,顺序可逆/非单词边界 匹配任意一个字符 #匹配字符串abc,.代表b>>>re.match('a.c','abc').group()'ab...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS6,CentOS7官方镜像安装Oracle11G
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7,8上快速安装Gitea,搭建Git服务器
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,CentOS8安装Elasticsearch6.8.6