Python学习(20)--爬虫-低调大师

Python学习(20)--爬虫

2018-03-21 676

Python学习(20)--爬虫

在前几节我们一直在介绍正则表达式,今天我们就使用正则表达式写一个爬虫的小程序。首先什么是爬虫呢?爬虫就是按照一定的规则,自动地获取网络上的信息。下面我们将介绍一个通过爬虫获取网络图片的例子。其中,我们利用正则表达式匹配图片的网络地址,正则表达式其实就是我们爬虫用到的规则,主要有3个步骤去完成这个爬虫的小例子:

1.获取网页的源代码;

2.在网页源代码中匹配正则表达式,得到图片的网络地址;

3.通过网络地址下载图片。

(1)获取网页的源代码

当我们通过浏览器浏览网页时,都可以通过鼠标右击"查看源代码",来获取网页的源代码。如下是一个百度贴吧的网页以及网页的源代码截图:

其实爬虫和浏览器请求的原理是一样的,都是通过post或者get请求向服务器请求数据,服务器返回的都是网页源代码,只不过浏览器再一次将网页源代码"加工"成了网页界面。下面是获取百度贴吧一个网页(url="https://tieba.baidu.com/p/5193551629?red_tag=1816480244")源代码的例子:

[python] view plain copy

import urllib.request
def getHtml(url):
page=urllib.request.urlopen(url)#通过url向服务器请求数据,得到一个页面对象
html=page.read()#页面对象通过read()方法获取网页源代码
return html#返回网页源代码
html=getHtml("https://tieba.baidu.com/p/5193551629?red_tag=1816480244")
print(html)

如上,自定义函数getHtml(url)功能为获取url指定网页的源代码,模块urllib.request用于向服务器请求数据,通过注释可以很容易的了解以上代码的含义。运行结果如下:

如上通过控制台打印的就是url="https://tieba.baidu.com/p/5193551629?red_tag=1816480244"的网页源代码。

(2)获取图片的网络地址

打开url="https://tieba.baidu.com/p/5193551629?red_tag=1816480244"的网页可以看到,贴吧中有很多网友上传的壁纸图片,我们的任务就是将这些壁纸图片下载下来。下载图片前需要得到图片的网络地址, 而图片的网络地址就在之前第一步打印的网络源代码中,我们通过正则表达式匹配,以获取所有壁纸图片的网络地址。

在此贴吧网页中,除了有壁纸图片外,还有头像图片,广告图片等等。如下,

以上是百度贴吧各种图片的url,我们先分析下如何书写正则表达式来获取壁纸图片的url,首先在html中所有的图片都有一个src的属性来指示图片的源地址,如src="http://...",还可以看到壁纸图片的url中有一个sign的属性,这是与其他图片url的不同之处,最后所有壁纸图片都是以".jpg"结尾。所以,匹配url的正则表达式可以如下书写:r'src="(.+sign=.+\.jpg)"'。

如下代码为匹配壁纸图片url并返回所有壁纸url的例子:

[python] view plain copy

import re
import urllib.request
def getHtml(url):
page=urllib.request.urlopen(url)#通过url向服务器请求数据,得到一个页面对象
html=page.read()#页面对象通过read()方法得到网页源代码
return html#返回网页源代码
def getImageUrl(html):
r1=r'src="(.+sign=.+\.jpg)"'# 壁纸url的正则表达式
reObject=re.compile(r1)#对正则表达式编译,以提高匹配的速度
imgList=re.findall(reObject,html.decode("utf-8"))#获取图片url列表
return imgList
html=getHtml("https://tieba.baidu.com/p/5193551629?red_tag=1816480244")
imageList=getImageUrl(html)
for url in imageList:
print(url)

getHtml(url)与之前的重复,因为这里用到了获取html源代码的函数,所以一并粘贴到这里。自定义函数getImageUrl(html)的功能为通过正则匹配获取壁纸图片url列表,具体代码含义可以通过注释获取。值的注意的是,python中对字符的编码格式为Unicode编码,我们从服务器获取的html并不是unicode编码格式,而是"utf-8"编码格式,而正则匹配时是在字符串码中进行匹配的 ,所以需要把"utf-8"的字节码解码为unicode编码,如上html.decode("utf-8")就是将"utf-8"的字节码解码为Unicode码。获取的壁纸图片url的部分打印结果如下:

(3)下载图片

在获取壁纸图片的url后,通过url下载图片相对简单。直接调用的是,urllib.request模块的方法urlretrieve(url,filename),此方法的功能就是将远程服务器的数据下载到本地,url为要下载数据的网络地址,filename是为数据命名的名字。将所有的壁纸图片下载下来,我们的这个小项目就结束了。以下是这个爬虫程序的所有代码:

[python] view plain copy

import re
import urllib.request
def getHtml(url):
page=urllib.request.urlopen(url)#通过url向服务器请求数据,得到一个页面对象
html=page.read()#页面对象通过read()方法得到网页源代码
return html#返回网页源代码
def getImageUrl(html):
r1=r'src="(.+sign=.+\.jpg)"'# 壁纸url的正则表达式
reObject=re.compile(r1)#对正则表达式编译,以提高匹配的速度
imgList=re.findall(reObject,html.decode("utf-8"))#获取图片url列表
return imgList
html=getHtml("https://tieba.baidu.com/p/5193551629?red_tag=1816480244")
imageList=getImageUrl(html)
for url in imageList:
print(url)
i=i+1
urllib.request.urlretrieve(url,str(i)+".jpg")#下载url指定的壁纸图片

结果就是将所有的壁纸图片下载到了此程序所在的项目路径下。如下图:

这就是爬虫程序的完整过程

原文地址http://www.bieryun.com/2363.html

微信关注我们

原文链接：https://yq.aliyun.com/articles/560492

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Python学习(19)--正则表达式4

Python学习(19)--正则表达式4 这一节我们来介绍下Python中re模块为我们提供的一些属性。使用这些属性为正则匹配添加条件,可以有效的避免正则表达式复杂化。例如,在匹配时指定属性re.I,可以使模式子串的匹配不区分大小写.但是如果只使用正则表达式实现模式子串的匹配不区分大小写,这时,正则表达式的书写就会相对复杂。下面我们来一一介绍这些属性。 (1)属性re.S 上一节我们介绍了通配符"."可以表示任意字符,其实严格的说通配符"."可以匹配除换行符"\n"的任意字符.如下: [python] view plain copy importre r1=r"hello.world" print(re.findall(r1,"hello\nworld")) 打印结果如下: 可以看到返回的是空字符串,这说明r1="hello.world"中的通配符"."并不能匹配换行符"\n"。如果想让通配符"."能够匹配换行符"\n",就需要指定属性re.S。如下: [python] view plain copy importre r1=r"hello.world" print(re.fin...

2018-03-22

708

Python学习(21)--深拷贝与浅拷贝这一节我们来介绍下Python中的深拷贝和浅拷贝,这一篇涉及到的是Python在内存中对数据的存储以及搬运的机制,了解这些机制为我们以后在编程中合理的规划数据和充分利用内存,提升程序性能都大有裨益。下面主要分为以下3个模块来介绍: 1.对象赋值 2.浅拷贝 3.深拷贝 (1)对象赋值在介绍对象赋值之前,我们先来介绍下Python在内存中存储数据的机制。在Python中,基本数据类型相同的值只占有一份内存空间。体现在程序中就是如果多个变量的基本数据类型和值都相同,那么这些变量引用的存储空间的地址相同。如下代码可以证明: [python] view plain copy a=4 b=4 c=4 print(id(4)) print(id(a)) print(id(b)) print(id(c)) 如上,变量a,b,c的值都为4,打印4,a,b,c在内存空间中的地址,如下: 如上,打印出的地址都是相同的,这说明4在内存中占有的存储空间只有一份。从而证明,对于基本数据类型,相同的值在内存空间中只有一份。可以通过如下图简单明了的了解这一机制: 所...

2018-03-22

815

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。