Python爬虫抓取知乎所有用户信息-低调大师

Python爬虫抓取知乎所有用户信息

2018-03-13 591 89

今天用递归写了个抓取知乎所有用户信息的爬虫，源代码放在了github上，有兴趣的同学可以上去下载一下看看，这里介绍一下代码逻辑以及分页分析，首先看网页，这里本人随便选了一个大V作为入口，然后点开他的关注列表，如图

注意，本人爬虫的全称都是处于非登录状态的。这里的粉丝列表以及关注者列表都是后台ajax请求得到的数据（没有听过ajax的童鞋别慌，ajax请求跟普通浏览器的请求没有区别，它主要就是在我们浏览网页时候偷偷给服务器发送的请求，就是为了节省流量以及减少请求数，不然每次看点新数据都全部刷新网页，服务器压力很大的，所以有了这玩意），然后我们找到粉丝列表以及关注者列表的URL，这个很简单，在chrome浏览器下面点击一下页数切换就可以找到，如图

640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy

找到关注者以及粉丝的URL就好办理，下面看一看这些数据，这里以粉丝的数据举例，如图，是一

微信关注我们

原文链接：https://yq.aliyun.com/articles/537565

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2018-03-14 00:00:00

Python分布式抓取和分析京东商城评价

互联网购物现在已经是非常普遍的购物方式，在互联网上购买商品并且使用之后，很多人都会回过头来对自己购买的商品进行一些评价，以此来表达自己对于该商品使用后的看法。商品评价的好坏对于一个商品的重要性显而易见，大部分消费者都以此作为快速评判该商品质量优劣的方式。所以，与此同时，有些商家为了获得好评，还会做一些 "好评优惠" 或者 "返点" 活动来刺激消费者评价商品。既然商品评价对于消费者选购商品而言至关重要，那么我想试试可以从这些评价信息中获取到怎样的价值，来帮助消费者快速获取到关于该商品的一些重要信息，给他们的购物带来更加可靠地保证？所以，我认为,一种快速、全面、高提炼度和高对比度的信息获取和展示方式将会非常必要。于是，我采用分布式快速抓取京东的评价信息，然后使用 pandas 对抓取到的数据进行分析。话不多说先附上使用地址体验地址

609

2018-03-14 00:00:00

开车啦！小爬虫抓取今日头条街拍美女图

先实际感受一下我们要抓取的福利是什么？点击今日头条，在搜索栏输入街拍两个字，点开任意一篇文章，里面的图片即是我们要抓取的内容。可以看到搜索结果默认返回了 20 篇文章，当页面滚动到底部时头条通过 ajax 加载更多文章，浏览器按下 F12 打开调试工具（我的是 Chrome），点击 Network 选项，尝试加载更多的文章，可以看到相关的 http 请求：可以看到请求的 URL（Request URL）为：http://www.toutiao.com/search_content/，其请求参数为：很容易猜测 offset 表示偏移量，即已经请求的文章数；format 为返回格式，这里返回的是 json 格式的数据；keyword 是我们的搜索关键字；autoload 应该是自动加载的指示标志，无关紧要；count 为请求的新

787

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。