用Python实现手机抓包，获取当当图书差评数据！-低调大师

用Python实现手机抓包，获取当当图书差评数据！

2018-11-27 636

在这个万物互联的时代，手机端(App)、电脑端(Web)，连接着你我他。

本次学习了手机抓包的相关知识，了解了Charles-mitmproxy-Appium的基本使用，通过对当当图书评论的爬取，得以实践。

那么就让我们来看看当当图书「活着」的差评吧！

/ 01 / Charles

Charles是一个APP抓包工具，与我之前最先使用的Filddler相似，可以得到手机App运行过程中发生的所有网络请求和响应内容。

这里简单说一下安装。

电脑端下载安装完Charles后，需要配置证书，最后开启SSL监听，这个具体大家自己自行百度。

手机端则是需要与电脑在同一网络下，比如都连接家里的WIFI，然后在手机的WIFI高级选项里使用Charles代理，输入电脑的IP地址，端口8888，最后为证书命名。

连好以后，手机打开当当App，到图书「活着」的差评页，不断向下滑动差评页面，便能在电脑上的Charles观察到下面的信息。

50df0eaaf9bb9c5427a4a4961670e4f032ad3fe9

将电脑上的信息与手机上的信息匹配一下。

d5c25312f79e88ee8836aba7661afb08e0b560fd

这样我们通过请求信息，就可以知道App评论的真正API接口了。

不过呢有的时候会碰见App接口带有密匙的，我们不好确定出API接口，那么就轮到mitmproxy上场了。

/ 02 / mitmproxy

mitmproxy也是用来抓包的，是一个控制台形式，我理解的就是没有UI界面，在命令行上展示的(windows上不能用，我瞎理解的...)。

mitmproxy有两个关联组件，一个是mitmdump，是mitmproxy的命令行接口，可以对接Python脚本，用Python实现监听后的处理，也就是用脚本处理信息。

另一个是mitmweb，为Web程序服务，本次不涉及。

mitmproxy的安装同样需要证书配置，电脑端配一个，手机端也要配一个。

这里有个坑，我的华为手机直接识别不了pem格式的文件，无法直接安装，还得从SD卡那才能安装，也就是有权限问题。

手机WIFI代理设置和Charles差不多，只是端口需要改变，这里是8080,。

然后命令行运行我都是在mitmdump.exe所在的文件夹开启的，实在是不想去搞那些烦人的环境变量。

这里就直接讲mitmdump的应用，毕竟windows用不了mitmproxy。

e7f17d0a4ecda50472101433d5c0cab7cf4458df

通过手动下滑差评页面，就能自动处理信息并存储。

c34f438b78a044b58b42f8e539b7907913e1485b

Python脚本如下，第一次深刻接触脚本大佬，以前还只是听说了游戏脚本而已。

import json

def response(flow):
url = 'product.mapi.dangdang.com'
page_size = 'page_size=15'
# 对url进行筛选,只选取评论的url
if url and page_size in flow.request.url:
text = flow.response.text
data = json.loads(text)
for item in data['review_list']:
# 获取用户昵称
if len(item['cust_name']) > 0:
name = item['cust_name']
else:
name = '无名'
print(item['cust_name'])
# 获取用户评分
if len(item['score']) > 0:
score = str(item['score'])
else:
score = '0'
print(item['score'] + '\n')
# 获取用户评论
content = item['content'].replace(',', '，').replace('\n', '')
print(item['content'] + '\n')
# 获取用户评论时间
creation_date = item['creation_date']
print(item['creation_date'])
# 获取有用数
if len(str(item['total_helpful_num'])) > 0 :
total_helpful_num = str(item['total_helpful_num'])
else:
total_helpful_num = '0'
print(item['total_helpful_num'])
# 获取无用数
if len(str(item['total_useless_num'])) > 0 :
total_useless_num = str(item['total_useless_num'])
else:
total_useless_num = '0'
print(item['total_useless_num'])
# 获取评论数
if len(str(item['total_reply_num'])) > 0 :
total_reply_num = str(item['total_reply_num'])
else:
total_reply_num = '0'
print(item['total_reply_num'])
print('\n')
# 将获取信息写入csv文件
with open('alive.csv', 'a+', encoding='utf-8-sig') as f:
f.write(name + ',' + score + ',' + content + ',' + creation_date + ',' + total_helpful_num + ',' + total_useless_num + ',' + total_reply_num + '\n')

那么我们现在已经实现了信息的获取和存储，是不是已经完成工作了呢？

并不是，我们还要实现自动化，上面可是手动下滑页面啊！

感谢程序让人解放双手，实现自动化，佩服佩服。

/ 03 / Appium

Appium是移动端自动化测试工具，它可以模拟App内部的各种操作，本次用到就有「点击」和「下滑」。

其实就跟selenium 一样，只不过一个是电脑端自动化，一个是手机端自动化。

Appium安装挺复杂的，而且新版本的命令还不一样。

比如下滑，已经不能使用swip，而是使用TouchAction。

环境变量就是JDK，SDK等，坑太多，小伙伴慢慢体会...

都准备好了之后，将手机和电脑通过数据线连接，打开USB调试，允许访问数据。

用adb命令获取连接情况，及手机型号信息。

用SDK包下的aapt命令获取APK的包名及入口名，这里不细说，有事找度娘。

这样便能配置Appium参数了。

0e18938349616882e856acc06dedd19a1bbee698

点击蓝色按钮，手机便能自动启动当当App啦！

接下来就是操作手机，然后点击Appium的刷新键，获取元素定位代码，这里就完全用Appium上给的定位，懒得想，毕竟对手机网页不是很懂...

{ 左右滑动切换图片 }

690a275aeb0a20ac6ff4909eaac9a86443fca2b8

最后就是使用Python代码驱动App啦。

import time
import random
from appium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from appium.webdriver.common.touch_action import TouchAction
from selenium.webdriver.support import expected_conditions as EC

def main():
# 设置驱动配置
server = 'http://localhost:4723/wd/hub'
desired_caps = {
'platformName': 'Android',
'deviceName': 'STF_AL00',
'appPackage': 'com.dangdang.buy2',
'appActivity': 'com.dangdang.buy2.StartupActivity'
}
driver = webdriver.Remote(server, desired_caps)
# 这里获取一下手机屏幕实际大小,可以为设置滑动参数做参考
size = driver.get_window_size()
print(size)
wait = WebDriverWait(driver, 60)
# 因为要叫我切换地区，选择取消
button_1 = wait.until(EC.presence_of_element_located((By.ID, 'com.dangdang.buy2:id/left_bt')))
button_1.click()
# 点击图书榜按钮
button_2 = wait.until(EC.presence_of_element_located((By.ID, 'com.dangdang.buy2:id/index_icon_iv0')))
button_2.click()
# 点击图书「活着」区域块
button_3 = wait.until(EC.presence_of_element_located((By.XPATH, '/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.RelativeLayout/android.support.v4.view.ViewPager/android.widget.RelativeLayout/android.widget.ListView/android.widget.LinearLayout[2]')))
button_3.click()
# 点击评论区域块
button_4 = wait.until(EC.presence_of_element_located((By.ID, 'com.dangdang.buy2:id/product_component_book_score_ll')))
button_4.click()
time.sleep(5)
# 点击差评按钮
button_5 = wait.until(EC.presence_of_element_located((By.XPATH, '/hierarchy/android.widget.FrameLayout/android.widget.LinearLayout/android.widget.FrameLayout/android.widget.RelativeLayout/android.support.v4.view.ViewPager/android.widget.LinearLayout/android.support.v4.view.ViewPager/android.widget.RelativeLayout/android.widget.LinearLayout/android.view.ViewGroup/android.widget.RelativeLayout[6]/android.widget.TextView')))
button_5.click()
# 向下滑动,y轴参数我随便选的,向上滑就对了
while True:
TouchAction(driver).press(x=515, y=1247).move_to(x=515, y=1026).release().perform()
time.sleep(float(random.randint(5, 10)))

if __name__ == '__main__':
main()

手机自动操作就在下面这个视频里，我录下来的(小程序识别)。

aaf8690d4ff7a01ec4e479ec0515330feeb70a16

最后成功存储数据。

1afd0a6472a71a2868351cfe6d5769bd2ad0e976

/ 04 / 数据可视化

词云代码如下。

from wordcloud import WordCloud, ImageColorGenerator
import matplotlib.pyplot as plt
import pandas as pd
import jieba

df = pd.read_excel('alive.xlsx', header=None, names=["name", "score", "comment", "date", "up_number", "down_number", "reply_number"])

text = ''
for line in df['comment']:
text += ' '.join(jieba.cut(line, cut_all=False))
backgroud_Image = plt.imread('book.jpg')
stopwords = set('')
stopwords.update(['没有', '什么', '不是', '知道', '怎么', '就是', '本书', '当当', '这个商品', '一个', '自己', '真的', '商品不太好', '一本', '这样', '但是', '现在', '你们', '一直', '以后', '这个', '商品'])

wc = WordCloud(
background_color='white',
mask=backgroud_Image,
font_path='C:\Windows\Fonts\STZHONGS.TTF',
max_words=2000,
max_font_size=150,
random_state=30,
stopwords=stopwords
)
wc.generate_from_text(text)
# 看看词频高的有哪些,把无用信息去除
process_word = WordCloud.process_text(wc, text)
sort = sorted(process_word.items(), key=lambda e:e[1], reverse=True)
print(sort[:50])
img_colors = ImageColorGenerator(backgroud_Image)
wc.recolor(color_func=img_colors)
plt.imshow(wc)
plt.axis('off')
wc.to_file("活着.jpg")
print('生成词云成功!')

最后生成差评词云，来看看大家怎么吐槽的。

b317b0c59bc5c36810102ee5c635e2e8b8352061

可以看出主要槽点就是「快递物流」「书本质量」「客服服务」上。

毕竟「活着」这本书，内容还是不错的，从中深深的体会到生活的不易~

文末点个赞，比心！！！

原文发布时间为： 2018-11-27
本文作者：法纳斯特
本文来自云栖社区合作伙伴“Python数据之道”，了解相关信息可以关注“Python数据之道”。

微信关注我们

原文链接：https://yq.aliyun.com/articles/673569

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

11月26日云栖精选夜读 | 机器学习高质量数据集大合辑（附链接）

在机器学习中，寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。那么用于机器学习的开放数据集有哪些呢？我们给大家推荐一份高质量的数据集，这些数据集或者涵盖范围广泛（比如 Kaggle），或者非常细化（比如自动驾驶汽车的数据）。热点热议资源 | 机器学习高质量数据集大合辑（附链接）作者：技术小能手发表在：数据派THU 3D实时换脸又有新进展！中科院博士生提出改进版本，每张图推理只需0.27毫秒作者：技术小能手发表在：新智元阿里如何将“高峰前扩容、高峰后缩容”的梦想照进现实？作者：技术小能手发表在：阿里技术知识整理支付宝客户端架构解析：Android 容器化框架初探作者：技术小能手发表在：安卓巴士Android开发者门户 golang中big包源码阅读——从RSA算法说起作者：技术小能手发表在：Golang语言社区 golang之sync.Mutex互斥锁源码分析作者：技术小能手发表在：Golang语言社区 Jenkins进阶系列之——04Publish Over FTP Plugin插件 Java杂记今天作者：技术小能手发表在...

2018-11-26

622

不知不觉2018年已经过了大半，来总结一下今年用到的一些好用的框架和第三方库，包括App架构、异步通信库、注入注解框架、网络请求库、图片加载库、动画库、数据库、音频视频库、平台分享库、蓝牙库、权限请求库等。一、App架构 MVP模式：因为 Android 并没有严格的业务和界面区分，项目一庞大，就很容易使代码结构显得越来越乱。现在 Android 端对 MVP 模式讨论越来越热，谷歌6.0API以及更多的体现了MVP设计思维，觉得 MVP 是非常适合 Android 上的APP 开发。但是目前的框架使用起来都太繁琐，要建立一大堆的文件和类，希望后续有简化这些操作的技术出现。 MVVM ：这是因为开始官方支持 DataBinding，把 MVVM 直接带到 Android 中。数据绑定在 Windows WPF 和 Web （尤其JSP中）已经非常常见，它非常高效的开发效率，让你只关心你的数据和业务。这也对 Android 开发来说，无疑是一个非常重大的里程碑，MVVM模式将原来更新UI的操作从activity或fragment中剥离出来，由ViewModel来统一完成UI更新。这两...

2018-11-28

596

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。