开源中国提供的正则表达式测试工具点我!
1.正则表达式RE
(1)为什么使用?
因为很多重要信息隐藏在复杂的文本中,RE可以找到哦!
(2)是什么?
从文本中定位需求内容的技术/规则
(3)怎么做?
见下:
(1)方法:
1.代码演示:
import re
str="网络爬虫大hEllo声告1231诉的433根深345蒂固7789网allen.时光飞逝股嘛份的嘛\n广泛嘛地吧自动安排"
print(re.findall("自动",str))
print(re.findall("\.",str))
print(re.findall("网|嘛",str))
print(re.findall("嘛.",str))
print(re.findall("嘛.",str,re.S))
print("第二部分:字符集","*"*50)
print(re.findall("[大的时光]",str))
print(re.findall("[0123456789]",str))
print(re.findall("[0123456789]{2}",str))
print(re.findall("[a-zA-Z]{5}",str))
print("第三部分:常用","*"*50)
print(re.findall("^hEllo","hEllodfdff"))
print(re.findall("hEllo$","sdfsdfsdfdfhEllo"))
print(re.findall("wo*","wooooooooo#$#w>>"))
print(re.findall("wo+","wooooooooo#$#w>>"))
print(re.findall("wo?","wooooooooo#$#w>"))
print(re.findall('1[0-9]{10}',"Jame:15659264582bir200001110052"))
print(re.findall('[0-9]{5,10}',"Broon:095594 660956780"))
print(re.findall("\d{2,4}","Mysql:3306,http:88"))
print(re.findall("\w+","路灯serve=? #8888"))
print(re.findall("\w\S+\w+","hello \r \n \t\f word"))
print(re.findall("^h.....","hello path"))
print(re.findall("\Ah.....","hello path"))
print(re.findall(".h\Z","sddfh"))
print(re.findall(".h$","sddfh"))
print(re.findall(r'\ba',"The a is asb"))
2.代码输出:
![在这里插入图片描述]()
![在这里插入图片描述]()
3.小总结:
![在这里插入图片描述]()
4.正则表达式的转义:
![在这里插入图片描述]()
5.贪婪模式和非贪婪模式:
1.定义:
贪婪模式:默认情况下,匹配重复的元字符总是尽可能多的向后匹配内容,比如:*+。
非贪婪模式(懒惰模式):让匹配重复的元字符尽可能少的向后匹配内容。
2.贪婪模式转换为非贪婪模式
在匹配重复元字符后加"?"即可
![在这里插入图片描述]()
举例讲解二者区别:
使用通用匹配.*时,有时候匹配到的可能并不是我们想要的结果!如下:
import re
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello.*(\d+).*World', content)
print(result)
print(result.group(1))
我们依然想获取中间的数字,所以中间依然写的是(\d+)。数字两侧内容杂乱,所以直接使用.*。最后,
组成^Hello.*(\d+).*World,看样子都OK,下面看运行结果:
![在这里插入图片描述]()
我们只得到了数字7,分析: 此处就涉及到了一个贪婪匹配和非贪婪匹配的问题!在贪婪模式下,.*会匹配尽可能多的字符。正则表达式中.*后面是\d+,也就是至少一个数字,但并没有指定具体多少个数字,因此,.*就尽可能匹配多的字符,这里就把123456都匹配了,给\d+留下一个可满足条件的数字7,最后内容就只剩下数字7了! 但这很明显会给我们带来很大的不便,有时候,匹配结果会莫名其妙的少了一部分的内容。其实,只要使用非贪婪模式就可以解决这个问题。非贪婪匹配的写法是.*?,多了一个?。
import re
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello.*?(\d+).*World', content)
print(result)
print(result.group(1))
![在这里插入图片描述]()
此时就可以成功获取1234567了。分析:贪婪匹配是尽可能匹配多的字符,非贪婪匹配就是尽可能匹配少的字符。
当.*?匹配到Hello后面的空白字符时,再后面就是数字了,而\d+恰好可以匹配,那么这里.*?就不再进行匹配,
交给\d+去匹配后面的数字了。所以这样,.*?就匹配了尽可能少的字符,\d+的结果就是1234567了!
所以:在做匹配的时候,字符串中间尽量使用非贪婪匹配,以免出现匹配结果缺失的情况!!!
但是需要注意,如果匹配的结果在字符串结尾,.*?就有可能匹配不到任何内容了,因为它会匹配尽可能少的字符。例如:
import re
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello.*?Regex\s(.*?)', content)
result2 = re.match('^Hello.*?Regex\s(.*)', content)
print(result.group(1))
print(result2.group(1))
![在这里插入图片描述]()
(2)函数:
小讲解:修饰符!
正则表达式还包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。
import re
content = """Hello 1234567 World_This is
a Regex Demo"""
result = re.match('^Hello.*?(\d+).*?Demo$', content)
print(result.group(1))
我们在字符串中加入换行符,正则表达式也OK,用来匹配字符串中的数字。会发现报错!
![在这里插入图片描述]()
也就是正则表达式没有匹配到这个字符串,返回结果是None,而我们又调用了方法group(),所以导致AttributeError。
分析:为何加入一个换行符就匹配不到了呢?这是因为.匹配的是除了换行符之外的任意字符,当遇到换行符的时候,它就不行了,这里只需要加入一个修饰符re.S即可修正这个错误!
import re
content = """Hello 1234567 World_This is
a Regex Demo"""
result = re.match('^Hello.*?(\d+).*?Demo$', content, re.S)
print(result.group(1))
![在这里插入图片描述]()
此修饰符的作用是使.匹配包括换行符在内的所有字符!
![在这里插入图片描述]()
1.re.findall(pattern,string,flags=0)
(1)功能:根据正则表达式匹配所有目标字符串内容
(2)参数:pattern正则表达式
string目标字符串
flags功能标志位,扩展正则表达式的匹配
(3)返回值:匹配到的内容列表,如果正则表达式有子组织,只能获取到子组对应的内容。
import re
res_style = "'Date': 'Thu, 16 Apr 2020 03:53:52 GMT', 'Content-Type': 'application/json', 'Content-Length': '308', 'Connection': 'keep-alive', 'Server': 'gunicorn/19.9.0', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true'"
print(re.findall( "'Content-Length': '(.*?)'",res_style,re.S))
print(re.findall( "'Content-Length': '(.*?)'",res_style,re.S)[0])
![在这里插入图片描述]()
(2)re.match(pattern,string,flags=0)
第一部分:
位置限制
(1)功能:匹配某个目标字符串开始位置
(2)参数:pattern正则表达式
string目标字符串
(3)返回值:匹配内容match object
print(re.match('www','www.baidu.com'))
print(re.match('www','http://www.baidu.com'))
print(re.match('www','www.baidu.com').group())
![在这里插入图片描述]()
小拓展:
span()方法可以输出匹配的范围(注意是匹配到的结果字符串在原字符串中的位置范围!);
group()方法可以输出匹配到的内容!
第二部分:
上面可以得到匹配到的字符串内容,但是如果想从字符串中提取一部分内容,该如何做?
这里可以使用()括号将想要提取的子字符串括起来。()实际上标记了一个子表达式的开始和结束位置,被标记的每个子表达式会依此对应每一个分组,调用group()方法传入分组的索引即可获取提取的结果!
import re
content = 'Hello 1234567 World_This is a Regex Demo'
result = re.match('^Hello\s(\d+)\sWorld', content)
print(result)
print(result.group())
print(result.group(1))
print(result.span())
group(1)会输出第一个被()包围的匹配结果,如果正则表达式后面还有()包括的内容,那么可以依此使用group(2),group(3)等来获取;group()会输出完整的匹配结果。
(3)re.search(pattern,string,flags=0)
数量限制
(1)功能:匹配目标字符串第一个符合的内容
(2)参数:pattern正则表达式
string目标字符串
(3)返回值:匹配内容match object
print(re.search('www','www.baidu.com'))
print(re.search('www','www.baidu.com').group())
print(re.search('www','http:// www.baidu.com').group())
![在这里插入图片描述]()
(4)re.sub(pattern,replace,string,max,flags=0)
(1)功能:使用一个字符串替换正则表达式匹配到的内容
(2)参数:pattern正则表达式
replace替换的字符串
string目标字符串
max最多替换几处,默认替换全部
flags功能标志位,扩展正则表达式的匹配
(3)返回值:替换后的字符串
phone = "2004-956-559 # 这是一个国外电话号码"
num = re.sub(r'#.*',"",phone)
print(num)
num2 = re.sub(r'\D',"",phone)
print(num2)
![在这里插入图片描述]()
(4)re.compile(pattern, flags=0):
上述的方法都是用来处理字符串的方法,此方法可以将正则字符串编译成正则表达式对象,以便在后面的匹配中复用。
比如下面有三个日期,我们想要去掉它们里面的时间,可以借助sub()方法,但是如果写三遍正则表达式过于复杂,所以我们可以先将正则表达式编译成一个正则表达式对象,以便下面复用!
import re
content1 = '2016-12-15 12:00'
content2 = '2016-1-12 16:00'
content3 = '2016-6-5 12:30'
pattern = re.compile('\d{2}:\d{2}')
result1 = re.sub(pattern, '', content1)
result2 = re.sub(pattern, '', content2)
result3 = re.sub(pattern, '', content3)
print(result1, result2, result3)
![在这里插入图片描述]()
此外,compile()还可以传入修饰符,例如re.S,这样在search(),findall()的时候就不需要额外传了。可以说compile()方法是给正则表达式做了一层封装!