Python-利用beautifulsoup写个豆瓣热门图书爬虫
Anaconda3里边自带了bs4的包,省的我自己安装了。 最近觉得模块化的写法可以让代码变得清晰易读。而且随着代码的增多,找bug也会更方便。(目前我还写不出这么多)而且模块化有种工具化的思想,拿来主义的思想在里面,使用工具可是人等少数智慧动物的专利啊。之后也要多学习使用[try - except]的写法,可以直观的看出错误。 初学网页爬虫,目前只会爬取豆瓣这样清晰好看的静态网页,对于复杂的js控制的动态网页,我现在还束手无策。 1 # -*- coding: utf-8 -*- 2 """ 3 Created on Tue Jan 2 17:44:30 2018 4 5 @author: xglc 6 找到豆瓣图书的【新书速递】内容 7 """ 8 import requests 9 from bs4 import BeautifulSoup 10 11 def _gethtml(): 12 try: 13 req = requests.get('https://book.douban.com/') 14 data1 = [] 15 data1.append(req.text) 1...