Python爬虫学习,记一次抓包获取js,从js函数中取数据的过程
昨天有小伙伴找我,新浪新闻的国内新闻页,其他部分都是静态网页可以抓到,但是在左下方的最新新闻部分,不是静态网页,也没有json数据,让我帮忙抓一下。大概看了下,是js加载的,而且数据在js函数中,很有意思,就分享出来给大家一起看看!
抓取目标
今天我们的目标是上图红框部分,首先我们确定这部分内容不在网页源代码中,属于js加载的部分,点击翻页后也没有json数据传输!
但是发现有个js的请求,点击请求,是一行js函数代码,我们将其复制到json的视图查看器中,然后格式化一下,看看结果
发现里面有可能存在我们需要的内容,比如url、title、intro这3个参数,猜测就是对应的新闻URL、标题、简介
只是其内容,需要在进行处理一下,我们写到代码中看看
开始写代码
先导入库,因为最终需要从字符串中截取部分,所以用requests库获取请求,正则re匹配内容即可。然后我们先匹配出上述3项
可以看到,url中存在 \ \,标题和简介是以\ \ u4e09的形式存在,这些就是我们需要处理的下一步了!
先用replace函数剔除url中\ \,即可得到url,后面的\ \ u4e09则是unicode编码,可以直接解码得到内容,直接写代码了
解码用了eval函数,内容为u“ + unicode编码内容 + “的形式即可解码!
这样,就取出了本页的所有新闻和URL的相关内容,在外层加上循环,即可抓取所有的新闻页,任务完成!
后记
新浪新闻的页面js函数比较简单,可以直接抓到数据,如果是比较复杂的函数的话,就需要深入理解前端知识了,这也是为什么学爬虫,需要学习前端知识的原因!
ps:上文所用的json查看器是第三方的网站,直接百度即可找到很多,当然也可以直接将上述抓包的内容修改,然后用json读取数据也是可以的!
基本代码没有多少,如果有看不清楚的小伙伴,可以私信我获取代码或者一起研究爬虫哦!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
分享 — 1
php高性能后端框架——swoole,带协程 alex,轻量级多线程下载工具 wget 命令下载工具 NATAPP 免费的内网穿透
- 下一篇
Unity C#结构体的总结/使用详解
Unity C#结构体的总结/使用详解 本文提供全图文流程,中文翻译。 Chinar 坚持将简单的生活方式,带给世人!(拥有更好的阅读体验 —— 高分辨率用户请根据需求调整网页缩放比例) Chinar —— 心分享、心创新!助力快速理解 C# 结构体的具体用法给新手节省宝贵的时间,避免采坑! Chinar 教程效果: 全文高清图片,点击即可放大观看 (很多人竟然不知道) 1 Struct —— 结构体 在 C# 中,结构体是值类型数据结构。 它使得一个单一变量可以存储各种数据类型的相关数据, struct 关键字用于创建结构体。 结构体是用来代表一个记,其中存储我们自定义的各种类型数据。 结构体的具体特性,这里就不多说了,菜鸟教程/百度大神都有更为详细的解释我只讲写实在的,便于新手理解、应用 很多时候,我们使用它,是为了整理数据结构 使得我们的数据逻辑,更加简单、清晰、便于我们理解与操作比如:我们要管理一个游戏中所有的怪物信息数据 我们就需要记录每种怪物的数据,其中可能有怪物类型、血量、出生位置、等等信息... 如果管理停车场中的所有汽车,我们就需要记录每种怪物的数据,其中可能有车牌号...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- Hadoop3单机部署,实现最简伪集群
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2全家桶,快速入门学习开发网站教程
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker安装Oracle12C,快速搭建Oracle学习环境