一个实现批量抓取淘女郎写真图片的爬虫
淘女郎,也被很多人称作“网络模特”,就是专门给淘宝、天猫等线上商家拍摄图片的平面模特。 我们将用Python3和Selenium Webdriver抓取每一个美眉的个人主页内的写真图片,把每一个美眉的写真图片按照文件夹保存到本地。 先说一下网页爬取的一般步骤: 1.查看目标网站页面的源代码,找到需要爬取的内容2.用正则或其他如xpath/bs4的工具获取爬取内容3.写出完整的python代码,实现爬取过程 查看网站源码,火狐浏览器右键-查看源代码即可获取: 代码编写的关键步骤: ①需要用到的模块 ②解析目标网页的 Html 源码 bsObj = BeautifulSoup(driver.page_source, parser) ③用正则表达式获取美女图片 imagesUrl = re.findall('\/\/gtd\.alicdn\.