【51CTO.com原创稿件】近日，51CTO记者采访了Akamai中国区企业事业部总经理何铭及Akamai大中华区产品市场经理刘炅，就恶意爬虫攻击演进、危害以及如何防御等话题进行了深入交流。
什么是爬虫?
首先，我们来解读下，什么是爬虫(BOT)?BOT，意为搜索引擎抓取机器人，也称爬虫。互联网中的数据是海量的，如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解决这些问题而生的。
“其实，在互联网流量中，有40%的流量是爬虫的流量。当然，爬虫有好有坏，善意的爬虫主要用于网络索引、内容聚合以及提取市场或价格信息。而恶意的爬虫由恶意攻击者操纵，用于针对所有行业、地区和渠道的Web内容搜刮、交易欺诈、垃圾邮件以及DDoS和撞库攻击。针对这些爬虫，企业机构需要进行识别和管理，进行有效防范。”刘炅说道。
恶意爬虫是一种自动化的恶意软件，通过远程互联网对目标站点进行攻击，以达到商业欺诈的目的。常见的攻击方式有凭证滥用、账户滥用、银行卡攻击、库存囤积、薅羊毛。凭证滥用类攻击是撞库攻击最主要的方式，它将从黑市上获取的大量用户数据和账户信息在不同的网站进行登录尝试，从而得到有效账户，最终把这些账户非法贩卖给其他人。账户接管或称为账户盗用是另一种撞库攻击的常见类型，指对包括电商、游戏账户在内的互联网账户的盗取。这种攻击通常也是通过登陆尝试或蛮力手段得到账户，在接管账户后进行信息窃取或进一步攻击。
![Akamai大中华区产品市场经理刘炅]( "Akamai大中华区产品市场经理刘炅")
Akamai大中华区产品市场经理刘炅
爬虫攻击的演进历程
回顾爬虫攻击的演进历程，刘炅将其划分为四个阶段：
最开始，爬虫比较简单，都是通过单IP或者是极少的IP搭建一个恶意攻击点。此外，针对客户端攻击的恶意软件也比较简单，均是采用命令行的攻击方式。在这个阶段，外部浏览器还没有Cookie值，也没有添加Script的可执行脚本。所以防护这些爬虫比较简单，企业在找到攻击源后实施访问控制(采取黑名单限制等手段)，就可以进行防护。
第二阶段，随着浏览器引入Cookie功能和具备Script脚本执行能力，爬虫采用简易浏览器实施攻击，因而此前简单的防护方式已经无法识别爬虫。相应地，防护手段需要加入对Script值的验证等能力(包括JS变量的验证)来探测攻击端浏览器的真假。
第三阶段，此时的爬虫攻击基于真实浏览器，并开始模拟人的行为，因此企业需要更进一层的检测方式。比如，Akamai的Bot Manager Premier(爬虫管理器)产品可以通过键盘敲击、鼠标滑动等操作来有效识别爬虫流量。
第四阶段，也是现在所处阶段的特点是爬虫攻击点呈现分布式、且可利用更多的僵尸网络发起攻击，从而导致企业对爬虫流量的判断更加困难。其次，爬虫也在模拟更多的真实人类行为，因此对爬虫的攻击检测和防护模式需要采用机器学习等技术加以识别。
![Akamai中国区企业事业部总经理何铭]( "Akamai中国区企业事业部总经理何铭")
Akamai中国区企业事业部总经理何铭
“三年前，我发现大部分中国客户对爬虫没有特别的概念，且对爬虫危害的认识较浅。但从2018年开始，Akamai的中国客户基本上都采取了多种反爬虫手段。由此可见，国内企业对爬虫危害的认识提升很快。”何铭也回忆并举例说，“很多年轻人喜欢购买限量款鞋子，因此品牌网站需要通过摇号排队的方式才能售卖。但是黑客可以使用爬虫来瞬间预定所有限量款鞋子，从而转售盈利。类似的案例还有很多，侵占、抢占库存，甚至发动DDoS攻击堵塞网络，而很多小网站是经受不住这种打击的。所以，从2018年开始，各个行业对爬虫管理越发重视。”
同时，何铭也注意到了另外一个现象：在对恶意爬虫管理更加重视的同时，很多网站开始引入善意爬虫，通过内嵌搜索引擎来促进物品销售。“这也是现在爬虫管理市场值得注意的方向。我们需要阻止恶意爬虫、放行善意爬虫，一刀切地阻止所有爬虫会影响企业商品销量和业务。”
爬虫攻击次数居高不下，手段日益复杂
谈及近年来爬虫攻击的趋势，刘炅告诉记者，凭借每日交付超过50 Tbps的Web流量，Akamai对互联网上的攻击流量有着极大的可视性，特别是对于爬虫攻击趋势的研究。据Akamai今年二月发布的《2020年互联网安全状况报告：金融服务——恶意接管尝试》，爬虫攻击呈现出以下趋势：
第一，攻击次数居高不下。在报告统计的约两年内，Akamai共发现了超过850亿次攻击，日均攻击量达到1.2亿次之多。
第二，攻击手段越发复杂。攻击者会通过多合一的工具、利用僵尸网络发起分布式攻击。鉴于当前API协议的广泛使用，攻击者便利用API的自动化特性、采用API作为主要攻击手段。Akamai发现近20%的凭证滥用攻击都是基于API的登录方式。
第三，金融业已成为攻击重灾区。根据Akamai的数据，在针对金融服务业发起的撞库攻击中，高达75%的攻击直接以API为目标。
何铭表示：“其实各行各业都会受到爬虫攻击，零售业是受到爬虫攻击最为严重的行业之一，除此之外，爬虫攻击的主要目标还包括媒体、金融、酒店及旅游业。在零售业中，服装类、电商门户类以及百货类的网站更易遭到爬虫攻击。”
Akamai和Ponemon Institute的联合研究显示，由爬虫引起的“撞库”攻击每年会给企业带来高达270万美元的损失。爬虫攻击给企业造成的损失可见一斑。
抵御爬虫攻击，Akamai一直在行动
那么，究竟该如何应对爬虫攻击?何铭认为：“对于爬虫的管理，企业首先要做的是甄别，包括规则和策略的制定。”以电商行业为例，电商网站构建起来较为复杂，一方面需要第三方爬虫的支持来实现引流、实现让用户能够访问库存，保证在库存充足的前提下销售产品。同时，也要防范竞争对手恶意爬取其库存信息，抢走库存而影响对外销售。因此，企业IT团队既要识别恶意爬虫、进行阻挡，又要甄别出善意爬虫、予以放行，还要做好DDoS攻击等防护工作。
随着爬虫攻击方式的演进，Akamai爬虫管理产品和解决方案也在不断升级迭代。就在三月，Akamai对爬虫管理产品进行了升级，全面提升攻防能力。具体而言，实现了更多更精准的爬虫检测方法，加入了POW(Proof of Work)挑战检测方法;基于人工智能的威胁评分机制，根据分值可实施部署灵活的防护策略;增加更多场景支持，尤其对于跨域场景的支持，为了使跨域请求的检测更加精准，Akamai定义了新的攻击检测方式，从而扩展更多的应用防护场景;另外实现了与真实用户监控(RUM)页面性能检测产品集成，分析和判断爬虫对业务性能的影响，并进行可视化管理。
今年二月，Forrester发布了“Forrester New Wave™：2020年第一季度爬虫程序管理评估”报告，并认定Akamai为“领导者”。显然，这是对Akamai爬虫管理能力的充分肯定。目前，无论是从产品功能特性还是市场占有率上，Akamai在爬虫管理界都处于前列。从最初单一的IP攻击到模拟浏览器和人类行为，爬虫的攻击方式不停变化。鉴于此，Akamai针对爬虫的检测方案也是多种多样，包括IP拦截、速率控制、Cookie和Java参数检测以及用户行为的深度分析。而对于爬虫的缓解方案，除了最基本的监控和拦截，Akamai还会进行限速、延缓和疏导。
“有的企业希望一、两天就能实现对爬虫的管理，这是不现实的。但爬虫管理解决方案部署过程的快慢，仰仗于安全厂商在业内的技术沉淀和经验积累。高效的爬虫管理需要长期积累的经验和能力。一旦客户选择了Akamai，我们就可以立即开启甄别模式、预警模式，快速进入策略的制定和防护的开启，这也是Akamai引以为豪之处。”何铭表示，据某电商客户反馈，在部署Akamai爬虫管理解决方案一段时间后，他们发现自己网站的大部分流量都是爬虫流量，而以前他们对此根本没有感知。此外，他们在部署Akamai方案前对爬虫攻击流量的发现率大概为10%，但部署后的识别率达到约99%。
综上可以看出，由于与生俱来的边缘属性和优势，Akamai的爬虫管理解决方案可以很好地应用于多种环境，包括用户本地的数据中心和多云环境中的防护场景。Akamai的爬虫防护方案并非一个单点方案，而是一个分层次的、全栈的防护方案，即从DDoS和网页防护到爬虫管理乃至API攻击都可进行防护。基于边缘的安全能力，Akamai提供了一整套防护解决方案来帮助企业抵御目前最复杂的网络攻击。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
【责任编辑：
蓝雨泪 TEL：（010）68476606】
