正则表达式，re模块（部分）
程序员文章站
2022-03-20 20:17:28
正则表达式 ： 官方定义：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 什么是正则表达式: 一套规则 匹配字符串的 谈到正则，就只和字符串相关了。我们要考虑的是在同一个 ......
正则表达式：
官方定义：正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。
什么是正则表达式: 一套规则 - 匹配字符串的
谈到正则，就只和字符串相关了。我们要考虑的是在同一个位置上可以出现的字符的范围。
正则表达式能做什么：
- 1.检测一个输入的字符串是否合法 -- web开发项目 表单验证
- 用户输入一个内容的时候,我们要提前做检测
- 能够提高程序的效率并且减轻服务器的压力
- 2.从一个大文件中找到所有符合规则的内容 -- 日志分析\爬虫
- 能够高效的从一大段文字中快速找到符合规则的内容
字符组 ： [字符组]
在同一个位置可能出现的各种字符组成了一个字符组，在正则表达式中用[]表示。一个中括号只表示一个字符位置
字符分为很多类，比如数字、字母、标点等等。假如你现在要求一个位置"只能出现一个数字",那么这个位置上的字符只能是0、1、2...9这10个数之一。
字符组 描述的是一个位置上能出现的所有可能性
# 接受范围,可以描述多个范围,连着写就可以了
# [abc] 一个中括号只表示一个字符位置,匹配a或者b或者c
# [0-9] 匹配数字0-9，根据ascii进行范围的比对
# [a-z] 匹配所有的小写字母
# [a-z] 匹配所有的大写字母
# [a-za-z] 匹配所有的大小写字母
# [0-9a-z]
# [0-9a-za-z_]
元字符：
字符：
元字符 匹配内容的规则
. 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线
\s 匹配任意的空白符
\d 匹配数字
\n 匹配一个换行符
\t 匹配一个制表符
\b 匹配一个单词的结尾
^ 匹配一个字符串的开始
$ 匹配一个字符串的结尾
\w 匹配非字母或数字或下划线
\d 匹配非数字
\s 匹配非空白符
a|b 匹配字符a或字符b
a表达式|b表达式 匹配a或者b表达式中的内容,如果匹配a成功了,不会继续和b匹配， 所以,如果两个规则有重叠部分,总是把长的放在前面
() 分组，匹配括号内的表达式，也表示一个组。约束某一个元字符的作用范围，只在（）内生效
[] 字符组，匹配字符组中的字符
[^] 非字符组，匹配除了字符组中字符的所有字符
在正则表达式中能够帮助我们表示匹配的内容的符号都是正则中的 元字符
# [0-9] --> \d 表示匹配一位任意数字 digit
# [0-9a-za-z_] --> \w 表示匹配数字字母下划线 word
# 空格 -->
# tab --> \t
# enter回车 --> \n
# 空格,tab和回车 --> \s 表示所有空白 包括空格 tab和回车
# [\d] \d 表示匹配数字
# [\d\d] [\w\w] [\s\s] 表示匹配所有
# [^\d] 匹配所有的非数字
# [^1] 匹配除数字1以外的所有
# [0-9]\d 匹配两位整数
# [1357]\d 匹配1,3,5,7，开头的两位整数
例1：匹配多个网址：
www\.oldboy\.com|www\.baidu\.com|www\.jd\.com|www\.taobao\.com #\.表示取消.的特殊意义
www\.(oldboy|baidu|jd|taobao)\.com #用（） 来约束 | 描述的内容的范围
记忆元字符 : 都是表示能匹配哪些内容,一个元字符总是表示一个字符位置上的内容
# \d \w \s \t \n \d \w \s
# [] [^] .
# ^ $
# | ()
量词：
量词 用法说明
* 重复0次或更多次，表示0次或多次 {0,}
+ 重复1次或更多次，表示1次或多次 {1,}
? 重复0次或1次，表示匹配0次或1次 {0,1}
{n} 重复n次，表示匹配n次
{n,} 重复n次或更多次，表示匹配至少n次
{n,m} 重复n到m次，表示至少匹配n次,至多m次
例：
匹配整数 \d+
匹配小数 \d+\.\d+
匹配整数或小数 : \d+\.?\d* #存在问题，比如1.也会被匹配到 ---> 分组的作用 : \d+(\.\d+)?
例：匹配手机号码，手机号以1开头，第二位为3-9，总共11位
1[3-9]\d{9}
#判断用户输入的内容是否合法,如果用户输入的对就能查到结果,如果输入的不对就不能查到结果
^1[3-9]\d{9}$
# 从一个大文件中找到所有符合规则的内容
1[3-9]\d{9}
转义符：
原本有特殊意义的字符,到了表达它本身的意义的时候,需要转义。
. 有特殊的意义,取消特殊的意义\.
有一些有特殊意义的内容,放在字符组中,会取消它的特殊意义
#只表示符号本身
[().*+?] 所有的内容在字符组中会取消它的特殊意义
#表示：a-c (a减c)
[a\-c] -在字符组中表示范围,如果不希望它表示范围,需要转义,或者放在字符组的最前面\最后面 。
取消一个元字符的特殊意义有两种方法：
1. 在这个元字符前面加\
2. 对一部分字符生效,把这个元字符放在字符组里
# [.()+?*]
贪婪匹配：
1.贪婪匹配：在量词范围允许的情况下,尽量多的匹配内容
.*x 表示匹配任意字符 任意多次数 遇到最后一个x才停下来
回溯算法：
2.非贪婪(惰性)匹配： 总是在量词范围内尽量少的匹配内容。前面的*,+等都是贪婪匹配，也就是尽可能匹配，后面加?号使其变成惰性匹配
.*?x 表示匹配任意字符 任意多次数 但是一旦遇到x就停下来
.+?x 匹配任意内容至少1次 遇到x就停止
元字符+量词+？ ---> 惰性匹配
几个常用的非贪婪匹配：
*? 重复任意次，但尽可能少重复
+? 重复1次或更多次，但尽可能少重复
?? 重复0次或1次，但尽可能少重复
{n,m}? 重复n到m次，但尽可能少重复
{n,}? 重复n次以上，但尽可能少重复
例：匹配身份证号码：18/15位的身份证号
# 15位：首位数字为1-9，总共15位
[1-9]\d{14}
# 18位：首位数字为1-9，末位为0-9或者x，总共18位
[1-9]\d{16}[\dx]
[1-9]\d{16}[0-9x]
#1：
[1-9]\d{16}[0-9x]|[1-9]\d{14} #从一个大文件中找到所有符合规则的内容。表示先匹配[1-9]\d{16}[0-9x]如果没有匹配上就匹配[1-9]\d{14}
^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ #检测一个输入的字符串是否合法
#2：简化
[1-9]\d{14}(\d{2}[\dx])? #从一个大文件中找到所有符合规则的内容
^[1-9]\d{14}(\d{2}[\dx])?$ #检测一个输入的字符串是否合法 。()表示分组，将\d{2}[\dx]分成一组，就可以整体约束他们出现的次数为0-1次
例：
规则：1\d*?3 待匹配内容：1243333344 匹配结果：1243
规则：1\d*3 待匹配内容：1243333344 匹配结果：12433333
re模块：
# findall 还是按照完整的正则进行匹配,只是显示括号里匹配到的内容。 取所有符合条件的,优先显示分组中的。
ret = re.findall('9\d\d','19740ash93010uru')
print(ret)#['974', '930']
ret = re.findall('9(\d)\d','19740ash93010uru')
print(ret)#['7', '3']
# search 还是按照完整的正则进行匹配,显示也显示匹配到的第一个内容,但是我们可以通过给group方法传参数,来获取具体分组，即（）中的内容。
search 只取第一个符合条件的,没有优先显示这件事儿
得到的结果是一个变量
变量.group() 的结果 完全和 变量.group(0)的结果一致
变量.group(n) 的形式来指定获取第n个分组中匹配到的内容
ret = re.search('9(\d)(\d)','19740ash93010uru')
print(ret) # 变量 <_sre.sre_match object; span=(1, 4), match='974'>
if ret:
print(ret.group())#974 #ret.group(0) 0 默认不写
print(ret.group(1))#7
print(ret.group(2))#4
# 为什么在search中不需要分组优先 而在findall中需要?
加上括号是为了对真正需要的内容进行提取。 为什么要用分组? 把想要的内容放分组里
如果我们要查找的内容在一个复杂的环境中，我们要查的内容并没有一个突出的 与众不同的特点 甚至会和不需要的杂乱的数据混合在一起，这个时候我们就需要把所有的数据都统计出来,然后对这个数据进行筛选,把我们真正需要的数据对应的正则表达式用()圈起来，这样我们就可以筛选出真正需要的数据了。
# 如何取消分组优先
如果在写正则的时候由于不得已的原因，导致不要的内容也得写在分组里，通过 ?: 取消这个分组的优先显示
# (?:) 取消这个分组的优先显示
#findall
ret = re.findall('<\w+>(\w+)</\w+>','<h1>askh930s02391j192agsj</h1>')
print(ret)#['askh930s02391j192agsj']
# search
ret = re.search('<(\w+)>(\w+)</\w+>','<h1>askh930s02391j192agsj</h1>')
print(ret.group())#<h1>askh930s02391j192agsj</h1>
print(ret.group(1))#h1
print(ret.group(2))#askh930s02391j192agsj
#从exp中匹配出第一个加法，第一个减法， a+b 或者是a-b 并且计算他们的结果
exp = '2-3*(5+6)'
ret = re.search('(\d+)[+](\d+)',exp)
print(ret)
print(ret.group(1))#5
print(ret.group(2))#6
print(int(ret.group(1)) + int(ret.group(2)))#11
#将豆瓣源码放到douban.html，从中获取电影名：
with open('douban.html',encoding='utf-8') as f:
content = f.read()
ret = re.findall('<span class="title">(.*?)</span>(?:\s*<span class="title">.*?</span>)?',content)
print(ret)
#除了 霸王别姬，其他电影都是 肖申克的救赎 这种格式的。
(.*?) 要显示的电影名 其中 ？是非贪婪匹配的标志
(?:\s*<span class="title">.*?</span>)?
?: 取消这个分组的优先显示，整个（）内都不显示 \s* 两行代码之间所有的空字符
.*? 电影英文名 ？ 该部分出现0次 或者1次
# 什么是爬虫
# 通过代码获取到一个网页的源码,需要的是源码中嵌着的网页上的内容 -- 正则表达式
#先安装扩展模块 file--settings--project interpreter-- + --找到包---install package
import requests
ret = requests.get('https://movie.douban.com/top250?start=0&filter=')
print(ret.content.decode('utf-8'))