漏洞预警：Hadoop 未授权访问可导致数据泄露-低调大师

漏洞预警：Hadoop 未授权访问可导致数据泄露

2017-06-01 949

近日，国外媒体报道全球Hadoop服务器因配置不安全导致海量数据泄露，涉及使用Hadoop分布式文件系统（HDFS）的近4500台服务器，数据量高达5120 TB （5.12 PB），经分析，这批数据泄露的近4500台HDFS服务器中以美国和中国为主。

事件原因：

互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响，攻击者针对HDFS的攻击删除了大多数目录，并会添加一个名为“NODATA 4U_SECUREYOURSHIT”的新目录和“PLEASE_README”的目录，攻击者可能备份业务数据后在服务器上删除这部分数据，然后直接发送勒索邮件并索要勒索赎金。

风险等级：高危

漏洞原因：

该问题产生是由于管理员在配置失误所致，由于直接在云上开放了Hadoop机器HDFS的50070web端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如进行删除操作，安全风险高。

检测方式:

手工检查Hadoop 50070/50075端口是否开放到了公网，例如:http://ip:50070或http://ip:50075

修复措施：

强烈建议您安装完Hadoop集群后，进行安全加固：

建议按照安全最小化原则，禁止公网对这部分端口访问，如果因业务需要必须对外开放，请使用ECS提供的安全组策略指定访问源IP访问端口业务，如无必要，关闭Hadoop Web管理页面；

开启服务级别身份验证，如Kerberos认证；

部署Knox、Nginx之类的反向代理系统，防止未经授权用户访问；

使用交换机或防火墙策略配置访问控制策略(ACL)，将Hadoop默认开放的多个端口对公网全部禁止或限制可信任的IP地址才能访问包括50070以及WebUI等相关端口。

本文来自开源中国社区 [http://www.oschina.net]

微信关注我们

原文链接：https://yq.aliyun.com/articles/116684

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop分布式部署

1.硬件环境共有 3 台机器,均使用的 linux 系统,Java 使用的是 jdk1.6.0。配置如下: hadoop1.example.com:192.168.2.1(NameNode) hadoop2.example.com:192.168.2.2(DataNode) hadoop3.example.com:192.168.2.3 (DataNode) hadoop4.example.com:192.168.2.4 主机与IP之间有正确解析对于 Hadoop 来说,在 HDFS 看来,节点分为 Namenode 和 Datanode,其中Namenode 只有一个, Datanode 可以是很多;在 MapReduce 看来,节点又分为Jobtracker 和 Tasktracker,其中 Jobtracker 只有一个,Tasktracker 可以是很多。我是将 namenode 和 jobtracker 部署在 hadoop1 上, hadoop2, hadoop3 作为 datanode和 tasktracker 。当然你也可以将 namenode ,datanode...

2017-06-01

717

据 WSJ消息，Tachyon日前获得了硅谷风投 A16Z 750 万美元 A 轮投资。A16Z 的普通合伙人 Peter Levine 加入 Tachyon 董事会。根据该项目官网的介绍，Tachyon 是一个以内存为中心的分布式文件系统，能够为集群框架（如 Spark、MapReduce）提供可靠的内存级速度的文件共享服务，具有类 Java 的文件 API、兼容 Hadoop MapReduce 和 Spark、底层文件系统可插拔等特性。 Tachyon 最初出现是为了解决如下问题：大数据分析流水线中数据共享通过基于磁盘文件系统（HDFS等）性能比较缓慢；大数据计算引擎的处理进程（Spark的Executor，MapReduce的Child JVM等）崩溃出错后，缓存的数据也会全部丢失；基于内存的系统存储数据冗余，对象太多会导致Java GC时间过长。 Tachyon 整体架构如下图所示（移步了解 Tachyon）， https://yqfile.alicdn.com/95fcdb8c77648e3033299cb5f6f9cf39aed7a101.png" > 据悉...

2017-06-01

664

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。