技术 | Python的从零开始系列连载(三十五)
大家好,本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法,涉及的内容包括: Urllib的用法及异常处理 Beautiful Soup的简单应用 MySQLdb的基础用法 正则表达式的简单应用 环境配置在这之前,我们需要先配置一下环境,我的Python的版本为2.7,需要额外安装的库有两个,一个是Beautiful Soup,一个是MySQLdb,在这里附上两个库的下载地址, Beautiful Soup:https://pypi.python.org/pypi/beautifulsoup4/4.3.2 MySQLdb:https://sourceforge.net/projects/mysql-python/ 大家可以下载之后通过如下命令安装 python setup.py install环境配置好之后,我们便可以开心地撸爬虫了 框架思路首先我们随便找一个分类地址,外语学习 – 爱问知识人:http://iask.sina.com.cn/c/978-all-1.html,打开之后可以看到一系列的问题列表。 我们在这个页面需要获取的东西有: 总的页码数,每一页的所...