Python爬取京东Iphone X用户评论并绘制词云
目标 爬取京东商城上iPhone X用户评论数据; 使用jieba对评论数据进行分词处理; 使用wordcloud绘制词云图。 目前京东商城只会展示商品的前100页评论,所以我们能爬取到的评论只有1000条。 不过如果区分下好/差/中评分别爬取的话,理论上应该能保存3000条评论。 爬虫部分 打开京东iphone X商品页面,进入控制台找到我们想要的用户评论,评论的接口地址也就找到了。 image.png 然后我们会发现这个接口地址是可以直接访问的,并不需要post参数,直接get就行,后面发现,连header都不需要设置,这样问题就很简单了。 image.png 分析接口地址我们可以看到有几个参数: productid:商品编号 score:好差评(0表示全部评论) sortType:推荐排序/时间排序 page:页码 pagesize:每页显示评论数 还有两个没搞明白,不过不重要了,我们需要的就是写个循环传入page参数就行了。 接口地址返回的数据不是标准的json格式,我们需要手动处理下。 1.去掉前面的‘fetchJSON_comment98vv56725(’; 2.去掉末尾的...