您现在的位置是:首页 > 文章详情

Python爬虫入门教程 25-100 知乎文章图片爬取器之一

日期:2019-05-07点击:683

1. 知乎文章图片爬取器之一写在前面

今天开始尝试爬取一下知乎,看一下这个网站都有什么好玩的内容可以爬取到,可能断断续续会写几篇文章,今天首先爬取最简单的,单一文章的所有回答,爬取这个没有什么难度。

找到我们要爬取的页面,我随便选了一个

https://www.zhihu.com/question/292393947

image

1084个回答,数据量可以说非常小了,就爬取它吧。

2. 知乎文章图片爬取器之一选取操作库和爬取地址

爬取使用requests 存储使用 mongodb 就可以了

爬取地址经过分析之后,找到了一个可以返回json的数据接口

image

提取链接,看一下各参数的意思,方便我们程序模拟

https://www.zhihu.com/api/v4/questions/292393947/answers?include=data%5B%2A%5D.is_
原文链接:https://yq.aliyun.com/articles/701630
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章