反击爬虫,前端工程师的脑洞可以有多大?
1. 前言
对于一张网页,我们往往希望它是结构良好,内容清晰的,这样搜索引擎才能准确地认知它。
而反过来,又有一些情景,我们不希望内容能被轻易获取,比方说电商网站的交易额,教育网站的题目等。因为这些内容,往往是一个产品的生命线,必须做到有效地保护。这就是爬虫与反爬虫这一话题的由来。
2. 常见反爬虫策略
但是世界上没有一个网站,能做到完美地反爬虫。
如果页面希望能在用户面前正常展示,同时又不给爬虫机会,就必须要做到识别真人与机器人。因此工程师们做了各种尝试,这些策略大多采用于后端,也是目前比较常规单有效的手段,比如:
- User-Agent + Referer检测
- 账号及Cookie验证
- 验证码
- IP限制频次
而爬虫是可以无限逼近于真人的,比如:
- chrome headless或phantomjs来模拟浏览器环境
- tesseract识别验证码
- 代理IP淘宝就能买到
所以我们说,100%的反爬虫策略?不存在的。
更多的是体力活,是个难易程度的问题。
不过作为前端工程师,我们可以增加一下游戏难度,设计出一些很(sang)有(xin)意(bing)思(kuang)的反爬虫策略。
3. 前端与反爬虫
3.1 FONT-FACE拼凑式
例子:猫眼电影
猫眼电影里,对于票房数据,展示的并不是纯粹的数字。
页面使用了font-face定义了字符集,并通过unicode去映射展示。也就是说,除去图像识别,必须同时爬取字符集,才能识别出数字。
并且,每次刷新页面,字符集的url都是有变化的,无疑更大难度地增加了爬取成本。
3.2 BACKGROUND拼凑式
例子:美团
与font的策略类似,美团里用到的是background拼凑。数字其实是图片,根据不同的background偏移,显示出不同的字符。
并且不同页面,图片的字符排序也是有区别的。不过理论上只需生成0-9与小数点,为何有重复字符就不是很懂。
页面A:
页面B:
3.3 字符穿插式
例子:微信公众号文章
某些微信公众号的文章里,穿插了各种迷之字符,并且通过样式把这些字符隐藏掉。
这种方式虽然令人震惊…但其实没有太大的识别与过滤难度,甚至可以做得更好,不过也算是一种脑洞吧。
对了,我的手机流量可以找谁报销吗?
3.4 伪元素隐藏式
例子:汽车之家
汽车之家里,把关键的厂商信息,做到了伪元素的content里。
这也是一种思路:爬取网页,必须得解析css,需要拿到伪元素的content,这就提升了爬虫的难度。
3.5 元素定位覆盖式
例子:去哪儿
还有热爱数学的去哪儿,对于一个4位数字的机票价格,先用四个i
标签渲染,再用两个b
标签去绝对定位偏移量,覆盖故意展示错误的i
标签,最后在视觉上形成正确的价格…
这说明爬虫会解析css还不行,还得会做数学题。
3.6 IFRAME异步加载式
例子:网易云音乐
网易云音乐页面一打开,html源码里几乎只有一个iframe
,并且它的src是空白的:about:blank
。接着js开始运行,把整个页面的框架异步塞到了iframe里面…
不过这个方式带来的难度并不大,只是在异步与iframe处理上绕了个弯(或者有其他原因,不完全是基于反爬虫考虑),无论你是用selenium还是phantom,都有API可以拿到iframe里面的content信息。
3.7 字符分割式
例子:全网代理IP
在一些展示代理IP信息的页面,对于IP的保护也是大费周折。
他们会先把IP的数字与符号分割成dom节点,再在中间插入迷惑人的数字,如果爬虫不知道这个策略,还会以为自己成功拿到了数值;不过如果爬虫注意到,就很好解决了。
3.8 字符集替换式
例子:去哪儿移动侧
同样会欺骗爬虫的还有去哪儿的移动版。
html里明明写的3211,视觉上展示的却是1233。原来他们重新定义了字符集,3与1的顺序刚好调换得来的结果…
原文发布时间为:2017年07月09日
原文作者:Litten
本文来源微信如需转载请联系原作者

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
吴恩达《Machine Learning Yearning》总结(31-40章)
31.解读学习曲线:其他情况 下图反映了高方差,通过增加数据集可以改善。 下图反映了高偏差和高方差,需要找到一种方法来同时减少方差和偏差。 32.绘制学习曲线 情况:当数据集非常小时,比如只有100个样本,这时绘制出来的学习曲线可能噪声非常大。 解决方法: (1)与其只使用10个样本训练单个模型,不如从你原来的100个样本中进行随机有放回抽样,选择几批(比如3-10)不同的10个样本进行组合。在这些数据上训练不同的模型,并计算每个模型的训练和开发错误,最终计算和绘制平均训练集误差和平均开发集误差。 (2)如果你的训练集偏向于一个类,或许它有许多类,那么选择一个“平衡”子集,而不是从100个样本中随机抽取10个训练样本。例如,你可以确保这些样本中的2/10是正样本,8/10是负样本。更常见的做法是,确保每个类的样本比例尽可能的接近原始训练集的总体比例。 33.为何与人类表现水平进行对比 对于人类擅长的事情,例如图像识别,语音识别等。 (1)易于从认为标签中获取数据。 (2)基于人类直接进行误差分析。 (3)使用人类表现水平来估计最优错误率,并设置可达到的“期望错误率”。 对于人类也不擅长...
- 下一篇
人工智能枕头,胜智能音箱百倍,可记录梦境,有钱也买不到
人工智能今年很火,产品不少,大的小的、高的矮的、像人的像狗的、会说话的会跳舞的、红的白的,这精灵、那小爱小布的、99的99999的、买得起卖不起的,让人应接不暇,还没开始怎么着就已经开始撕起来了。 作为科技互联网领域的一份子,当然也要蹭一下人工智能的热点,但是咱得来点不一样的,当然也得必须一鸣惊人的,它就是智能枕头:“小月月”,取自月明千里。一个让你一沾就着的健康智能枕头 首先小月月作为一个枕头,核心功能就是给人最健康的睡眠角度,最舒适的睡眠环境 角度问题:当我们睡觉时,小月月会根据人类健康颈椎的曲度数据给予我们最健康的支撑角度,在我们变化姿势时也会调节弹力和软硬,给我们按摩揉捏。让我们有一个健康的颈椎; 睡眠环境:小月月给我们的是一个促进睡眠提高睡眠质量的环境,包括头部的按摩催眠,枕头的音乐催眠,房间气氛的调控,噪音的隔离,争取能达到一沾枕头就进入深度睡眠的效果。当然如果想在床上玩手机或者有其他项目的人群要选择手动催眠模式。 其次,智能枕头的智能体现在哪里呢?人体数据的收集分析、智能家居的接口调用、语音识别、面部识别。 数据收集:与其他穿戴设备不同,通过采集用户的脑电波分析出睡眠时间...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Docker安装Oracle12C,快速搭建Oracle学习环境
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7,CentOS8安装Elasticsearch6.8.6