pyppeteer最为核心类Page的接口方法(下)
重要:因为同步公号的文章格式很难保证,所以后面文章选择性在其他平台同步,欢迎移步公众号(Python之战),每日更新原汁原味!
在上一篇《pyppeteer最为核心类Page的接口方法》讲了大部分pyppeteer的Page类的接口,与selenium相比增强了与页面js的交互功能,同时增加了设备的伪装和模拟能力,一方是因为pyppeteer库是源于puppeteer,而puppeteer是Google提供了一个js库,本身和js的交互性强,所以在页面交互上更深入。
也正是因为更深的js交互,所以可以任意修改任何网站在源码中的爬虫检测方式,并且毫不费劲,关于淘宝登陆有一种实现方式是使用中间代理修改检测的js文件,使用pyppeteer之后就不用这么麻烦,可以直接将js代码写入网站加载的js文件中。
继续Page类的剩下一下方法:
协程方法
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
pyppeteer最为核心类Page的接口方法
重要:因为同步公号的文章格式很难保证,所以后面文章选择性在其他平台同步,欢迎移步公众号(Python之战),每日更新原汁原味! 重要:因为同步公号的文章格式很难保证,所以后面文章选择性在其他平台同步,欢迎移步公众号(Python之战),每日更新原汁原味! Page类是pyppeteer的核心,其价值就犹如selenium的driver,具体的页面操作都在Page类上;Page与driver比较最具优势的是和js的交互,可以修改本地js、css,也可以给页面添加js函数,甚至添加自定义函数到浏览器的windows属性中,也有js拦截相关的设置,更有终端模拟设置,这些功能是比driver更为强大的功能,但是也有一些劣势如页面超时方面比driver弱、选择器不简洁等问题。 页面类:Page 基类:pyee.EventEmitter 此类提供了与
- 下一篇
pyppeteer持久化修改网站检测浏览器的特征值
在互联网前沿具有价值的网站,在反爬虫领域也做出了深有成效的反爬虫措施,其中浏览器环境检测、用户行为检测是目前对爬虫杀伤力最大的两条技术路线;而浏览器环境检测是以webdriver等几十个特征值为基础的爬虫识别; 此前讲过几篇关于浏览器识别的文章: 《selenium的封杀与突破,记录一次出师未捷身先死,淘宝、美团对爬虫的深入打击》 《Python爬虫中深不可测的ua参数,爬虫的身份证》 现行的浏览器环境识别采用的大都是这种思路:获取到自动化浏览器与正常浏览器有区别的值,然后根据这些值在加上一些行为判断,一并加密传回服务端,服务端解密后鉴别那些是爬虫,后面来自这些终端的敏感请求就一律不在通过验证。 比较典型的是淘宝的环境检测+用户行为判断,还有美团验证的提取多个浏览器关键属性来判断是否为异常值。 据我所知大部分的修改webdriver值都是一次
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- 设置Eclipse缩进为4个空格,增强代码规范
- CentOS8安装Docker,最新的服务器搭配容器使用
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS8编译安装MySQL8.0.19
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6