大数据与云计算学习:Python网络数据采集
本文将介绍网络数据采集的基本原理: 如何用Python从网络服务器请求信息 如何对服务器的响应进行基本处理 如何以自动化手段与网站进行交互 如何创建具有域名切换、信息收集以及信息存储功能的爬虫 学习路径 爬虫的基本原理 所谓爬虫就是一个自动化数据采集工具,你只要告诉它要采集哪些数据,丢给它一个 URL,就能自动地抓取数据了。其背后的基本原理就是爬虫程序向目标服务器发起 HTTP 请求,然后目标服务器返回响应结果,爬虫客户端收到响应并从中提取数据,再进行数据清洗、数据存储工作。 以下截图来自 掘金小册 基于 Python 实现微信公众号爬虫对《图解HTTP》的总结 Python的一些基础爬虫模块 urllib Python 提供了非常多工具去实现 HTTP 请求,但第三方开源库提供的功能更丰富,你无需从 socket 通信开始写,比如使用Pyton内建模块 urllib 请求一个 URL 这里我们先操练起来,写个测试爬虫 from urllib.request import urlopen//查找python的urllib库的request模块,导出urlopen函数 html = ur...
