Python爬取微信公众号文章和评论 (基于Fiddler抓包分析)
背景说明 感觉微信公众号算得是比较难爬的平台之一,不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制),但后面会开始整理写一些实战出来。简单介绍下本次的开发环境: python3 requests psycopg2 (操作postgres数据库) 抓包分析 前一篇文章介绍过抓包前要做的准备,这里不再做相关说明。本次实战对抓取的公众号没有限制,但不同公众号每次抓取之前都要进行分析。打开Fiddler,将手机配置好相关代理,为避免干扰过多,这里给Fiddler加个过滤规则,只需要指定微信域名mp.weixin.qq.com就好: Fiddler配置Filter规则 平时关注的公众号也比较多,本次实战以“36氪”公众号为例,继续往下看: “36氪”公众号 全部消息" data-original="https://yqfile.alicdn.com/img_12383ae389fb7aee3c2c0a6a25647f1c.jpeg"> 公众号右上角 -> 全部消息 在公众号主页,右上角有三个实心圆点,点击进入消息界面,下滑找到并点击“全部消息”,往...