爬虫之正则解析
程序员文章站
2022-07-13 12:35:14
...
一、什么是正则
正则表达式描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
二、爬虫上什么场景下用正则
这个很难说，对于初学者或者一般的结构比较“规范”（也就是人家没想搞你）的网页数据，直接用XPath或者bs4就可以解析网页数据了，但是有时候爬虫你会发现数据不是在HTML中，也不是在json包中，而是在返回的js里。这个时候XPath或者bs4不能解决了，就只有采用正则了。当然，后期正则使用比较熟练的情况下，能正则就正则。因为正则入门的门槛相对于XPath或者bs4要高一点，但是都掌握的情况下，正则显然解析数据更快速。
三、正则实例介绍（匹配字符串中的邮箱）
import re
#待匹配的字符串
str_test = "唐丁的邮箱是[email protected],It's good"
#构造匹配的正则表达式
reg = r'[a-zA-Z0-9][email protected]'
re.search(reg,str_test).group()
>>output：'[email protected]'
这个不是适用所有字符串的邮箱匹配的，如果字符串全是英文肯定就不行了，匹配的正则表达式需要根据实际的字符串来灵活变化。
四、正则常用知识点
1、正则表达式中，如果直接给出字符，就是精确匹配。
例如： reg = “唐丁” ，可以匹配出字符串中含有的“唐丁”；
2、用\d可以匹配一个数字，\w可以匹配一个字母或数字
例如：‘00\d’可以匹配‘007’，但无法匹配‘00A’；
‘\d\d\d’可以匹配‘010’；
‘\w\w\d’可以匹配‘py3’；
3、.可以匹配任意字符
例如：'py.'可以匹配'pyc'、'pyo'、'py!'等等
4、*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符
例如：\d{3}表示匹配3个数字，例如'010'；
\s可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配' '；
\d{3,8}表示3-8个数字，例如'1234567'；