天泰OpenWAF开源防恶意爬虫模块

2017-04-11 743

天泰OpenWAF开源防恶意爬虫模块

最近在网上看到一个有趣的问题：整个互联网的流量中，真人的占比有多少？根据 Aberdeen Group在近期发布的以北美几百家公司数据为样本的爬虫调查报告显示，最近三年网站流量中的真人访问平均仅为总流量的50%，剩余的流量由28.11%的善意爬虫和21.89%的恶意爬虫构成，可见爬虫数量是多么惊人。
什么是网络爬虫？
网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
如何定义恶意爬虫？
正常的爬虫，会先访问/robots.txt文件，看哪些路径允许爬，哪些路径禁爬。恶意的爬虫，会无视禁爬路径，依然对那些路径进行访问，甚至都不去访问/robots.txt文件

恶意爬虫的危害
可能很多人认为，恶意爬虫只会威胁到少数以文本为核心价值的网站，其实这些能改变自己请求路径和请求方式的伪装者可能潜伏在任何一个网站的每一个角落，文本、图片、价格、评论、接口、架构等方方面面均有可能成为爬虫的囊中物。
核心文件被爬不说，商品信息，价格或者注册账号被扫描等都将会给运营者带来大量的麻烦和损失。
为什么恶意爬虫屡禁不止？
爬与反爬的斗争从未间断。过去的初级爬虫能很明显从异常的Headers信息甄别，但爬虫制造者从一次次爬与反爬中总结出可能被封的原因，通过不断的测试和改善爬虫程序，更新换代后的高持续性恶意爬虫通常具有以下特点中的某几个：
1.模仿真人行为
2.加载 JavaScript 和外部资源
3.模拟cookie和 useragent
4.浏览器自动化操作
5.变化的IP地址池
这些，无疑都给防恶意爬虫带来了巨大的麻烦。

天泰OpenWAF的防爬虫功能
针对恶意爬虫，OpenWAF针对以下行为进行分析，有效拦截恶意爬虫
1.访问禁爬路径（暗链陷阱）
2.访问过/robots.txt文件，且访问除了GET和HEAD还有其他方法，如POST请求
3.携带恶意爬虫cookie进行访问
OpenWAF行为分析引擎中，包含恶意爬虫检测模块。针对不访问/robots.txt文件的爬虫，OpenWAF设置暗链陷阱，凡是访问此暗链的均为恶意爬虫。对于没有/robots.txt文件的站点也不用担心，OpenWAF会自动生成一个/robots.txt文件，供他人访问。
有些爬虫工具不带有js模块，OpenWAF返回的恶意爬虫cookie，下次请求时不会携带此cookie。针对这类工具，OpenWAF会在内存中将此工具进行标记（默认5分钟），即使不带有此cookie，再次访问时，依然会被识别出来。
其实防扫描也是一个道理，我们会在第一次访问的时候辨别是否为扫描。如果OpenWAF认为请求不合法，会在内存中标记该行为，并在他再次访问时进行阻止。

我们始终坚信“愈分享，愈安全”，希望有更多人能够尝试OpenWAF，并加入防护WEB安全的队伍，并给我们提出您的宝贵意见。附阿里云上OpenWAF的Docker链接https://cr.console.aliyun.com/?spm=5176.2020520152.209.d103.l60zo5#/imageDesc/33565/detail

如您需要获取安全建议，可以通过以下方式联系我们：
400服务热线：4006786569
企业支持QQ：4006786569
技术支持邮箱：support@titansec.com.cn

想要了解更多安全资讯，请用微信扫下方二维码

微信关注我们

原文链接：https://yq.aliyun.com/articles/73643

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Spring Cloud与Docker微服务架构实战》配套代码

不才写了本使用Spring Cloud玩转微服务架构的书，书名是《Spring Cloud与Docker微服务架构实战》 - 周立，已于2017-01-12交稿。不少朋友想先看看源码，现将代码放出。本次放出的代码：共计70+个DEMO 覆盖Eureka、Ribbon、Feign、Hystrix、Zuul、Spring Cloud Config、Spring Cloud Bus、Spring Cloud Sleuth、Docker、Docker Compose等。 1-11章代码地址： https://github.com/itmuch/spring-cloud-docker-microservice-book-code http://git.oschina.net/itmuch/spring-cloud-docker-microservice-book-code 12-14章配套代码地址： https://github.com/itmuch/spring-cloud-docker-microservice-book-code-docker http://git.oschina.ne...

2017-04-12

679

一、概述网络虚拟化是云计算的最重要部分，本文详细讲述 Linux 抽象出来的各种网络设备的原理、用法、数据流向。您通过此文，能够知道如何使用 Linux 的基础网络设备进行配置以达到特定的目的，分析出 Linux 可能的网络故障原因。二、linux抽象网络设备简介和磁盘设备类似，Linux用户使用网络功能，不能通过直接操作硬件完成，而需要直接或间接的操作一个Linux为用户抽象出来的设备即通用的Linux网络设备; 三、相关网络设备工作原理 Bridge： Bridge（网桥）是Linux上用来做TCP/IP二层协议交换的设备，与物理交换机功能相似。Bridge设备实例可以和Linux上其他网络设备实例连接即attach一个从设备，类似于在物理交换机上和用户终端之间连接一个网线。当数据到达时，Bridge会根据报文中的MAC信息进行广播、转发、丢弃处理。【为什么是MAC信息？因为是二层协议交换设备】　 Bridge设备工作过程 Bridge的功能主要是在内核中实现，当一个从设备被attach到Bridge上时，相当于物理交换机的端口被插入了一个连有终端的网线。这时在内核程序里，...

2017-04-12

658

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。