网站与APP抓包分析3 通过Python实现APP内容爬虫
1、APP数据交互分析 以某考试练习APP为例(只爬取题目,无答案) 1.1、环境准备 (1)PC(笔记本)上安装WIFI外放工具,例如360免费WIFI(2)手机安装APP后,注册账号并登陆 1.2、请求分析 运行APP,并触发所需场景,定位请求记录请求分析通过以上过程可知,习题加载过程为:HOST: 182.92.213.77:9011请求类型:POSTURL: http://182.92.213.77:9011/safeEden/r/p/d/ugetquest.dCookie:Uid=155710&Slid=1其中Uid=用户ID,Slid=习题归属分组,每组加载3道题。 2、Python脚本实现 构造习题加载URL,通过Python 构造HTTP POST清洗;通过循环执行习题获取请求,遍历获取习题,并写入txt文档;对文档进行去重,可得APP中大部分习题。 2.1、Python脚本 #!/usr/bin/env python #-*-coding:gb2312-*- from urllib.request import urlopen def readquest(v)...