首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/432450

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop概念学习系列之Hadoop 产生背景(四)

 Hadoop 最早起源于 Apache Nutch 。Nutch 是一个开源的网络搜索引擎,由 Doug Cutting 于 2002 年创建。Nutch 的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、 查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题,即不能解决数十 亿网页的存储和索引问题。之后,谷歌发表的两篇论文为该问题提供了可行的解决方案。一篇是2003 年发表的关于谷歌分布式文件系统(GFS)的论文 。该论文描述了谷歌搜索引擎网页相关数据的存储架构,该架构可解决 Nutch 遇到的网页抓取和索引过程中产生的超大文件存储需求的问题。但由于谷歌仅开源了思想而未开源代码,Nutch 项目组便根据论文完成了一个开源实现,即 Nutch的分布式文件系统(NDFS)。另一篇是2004 年发表的关于谷歌分布式计算框架MapReduce 的论文 。该论文描述了谷歌内部最重要的分布式计算框架 MapReduce 的设计艺术,该框架可用于处理海量网页的索引问题。同样,由于谷歌未开源代码,Nutch 的开发人员完成了一个开源实现。由于 NDFS 和 MapReduce ...

12.Azure应用程序网关(下)

接下来我再把标准应用程序网关升级到WEB应用程序防火墙 Web 应用程序防火墙 (WAF) 是应用程序网关的功能,可以对 Web 应用程序进行集中保护,避免其受到常见的攻击和漏洞伤害。  无需修改后端代码即可保护 Web 应用程序免受 Web 漏洞和攻击的威胁。  在应用程序网关背后同时保护多个 Web 应用程序。 应用程序网关支持在单个网关背后托管最多 20 个网站,并使用 WAF 防止所有这些网站受到 Web 攻击的威胁。 Web 应用程序防火墙防范的某些常见 Web 安全漏洞包括:  SQL 注入保护  跨站点脚本保护  常见 Web 攻击保护,例如命令注入、HTTP 请求走私、HTTP 响应拆分和远程文件包含攻击  防止 HTTP 协议违反行为  防止 HTTP 协议异常行为,例如缺少主机用户代理和接受标头  防止自动程序、爬网程序和扫描程序  检测常见应用程序错误配置(即 Apache、IIS 等) 架构如下: 选择我们之前的标准应用程序网关,选择升级到WAF,开启WAF防火墙,模式选择保护(检测只是记录事件,保护是记录事件的同时,遏制恶意流量),我开启所有...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。