Python网络爬虫与信息提取(七)re库的基本方法
re库是Python自带的库,re库采用raw string(原生字符串)类型表示正则表达式,输入时需表示为r'text',若不添加开头的raw_input标识符,则需要对文本中的"\"进行转义,这会徒增很多不必要的麻烦,所以使用正则表达式时尽量用原生字符串类型来表示。
re库含有许多功能函数,在此先介绍其中最常用的六个,其他的函数在今后的实际问题中再具体解析。
函数 | 说明 |
re.search() | 在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象 |
re.match() | 在一个字符串的开始位置起匹配正则表达式,返回match对象 |
re.findall() | 搜索字符串,以列表类型返回全部能匹配的子串 |
re.split() | 将一个字符串按照正则表达式匹配结果进行分割,返回列表类型 |
re.finditer() | 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象 |
re.sub() | 在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串 |
下面来解释下各个功能函数的参数:
re.search(pattern, string, flag=0)
pattern: 正则表达式的字符串或原生字符串表示
string: 带匹配字符串
flags: 正则表达式使用时的控制标记:
常用标记 | 说明 |
re.I(re.IGNORECASE) | 忽略正则表达式的大小写,[A-Z]能够匹配小写字符 |
re.M(re.MULITLINE) | 正则表达式中的^操作符能够将给定字符串的每行当作匹配开始 |
re.S(re.DOTALL) | 正则表达式中的.操作符能够匹配所有字符,默认匹配除换行外的所有字母 |
re.match(pattern, string, flag=0)
search和match的区别如下:
match函数只会从所提供的字符串起始位置进行匹配,若起始位置不是我们要找的字符即返回空的正则表达式,而空变量是没有group(0)这个属性的;search则会从整个字符串中进行匹配,直到匹配到第一个出现的字符为止。
re.findall(pattern, string, flags=0)
其与search的匹配方法相同,不同的是它会将所有匹配到的字符返回为列表形式。
re.split(pattern, string, maxsplit=0, flags=0)
maxsplit: 最大分割数,剩余部分作为最后一个元素输出
可见,split是将不匹配的字符提取为列表形式,当元素数超过最大分割数时即为将其全部作为一个整体进行输出。
re.finditer(pattern, string, flags=0)
该方法返回可迭代的match对象,所以常用于迭代操作中。
re.sub(pattern, repl, string, count=0, flags=0)
repl: 替换字符串的字符串
count: 匹配的最大替换次数
在多次对同一字符串进行操作时用上述方法未免过于繁琐,因此re库还提供了一种等价的面向对象型的用法:
pat = re.compiler(r'[1-9]\d{5}')
rst = pat.search('BIT 100081')
这样,我们就可以对同一字符串简便的进行反复操作。re库的函数均返回一个match对象,它具有四个重要的属性:
属性 | 说明 |
.string | 带匹配的文本 |
.re | 匹配时使用的pattern对象(正则表达式) |
.pos | 正则表达式搜索文本的开始位置 |
.endpos | 正则表达式搜索文本的结束位置 |
它还有四个常用的方法:
方法 | 说明 |
.group(0) | 获得匹配后的字符串 |
.start() | 匹配字符串在原始字符串的开始位置 |
.end() | 匹配字符串在原始字符串的结束位置 |
.span() | 返回(.start(), .end()) (元组类型) |
match = re.search(r'PY.*N', 'PYANBNCNDN')
match.group(0)
若遇到这种情况时函数会如何匹配字符串呢?re库的函数会默认使用“贪婪匹配”来对字符串进行匹配,即输出匹配最长的子串。当我们想输出其中最短的字符串时,只需在"*"操作符后加一个"?"即可
match = re.search(r'PY.*?N', 'PYANBNCNDN')
match.group(0)
不止有"*"操作符能进行最小匹配,还有三种操作符均可以
操作符 | 说明 |
*? | 前一个字符0次或无限次扩展,最小匹配 |
+? | 前一个字符1次或无限次扩展,最小匹配 |
?? | 前一个字符0次或1次扩展,最小匹配 |
{m, n}? | 扩展前一个字符m至n次(含n),最小匹配 |