Python正则表达式re.sub()函数:标志位flags与参数个数问
这两天在写爬⾍程序,涉及英⽂⽂本处理,需要规范化英⽂标点符号的写法。正常情况下,英⽂句号「.」后⾯需要保证有且只有⼀个空格,但也有例外情况,⽐如「i.e.」、「e.g.」、「P.S.」这种。由于⽆法预测⼤⼩写,因此在正则表达式中使⽤了「标志位」flags,却死活不⽣效。
⼀开始,我的函数是这样写的:
1def punctuate(s):
2#----其余代码暂略
3    s = re.sub(' e. g. ', 'e.g.', s, re.I)
4return s
代码的本意是:本来好好的「e.g.」,被函数前半断的代码错改成「e. g. 」之后,需要修复⼀下,将英⽂句号「.」后⾯的空格删掉。但这⾏re.sub() 代码主要有2个问题:
1. 「e. g.」前后不⼀定是空格,因此这样写的话,如果遇到「e. g.,」或是「(e. g. xxx」的情况就会被跳过。
2. 英⽂的句号「.」未转义
3. 标志位 re.I 不⽣效
前2个问题好解决。改进代码如下:
1def punctuate(s):
2#----其余代码暂略
3    s = re.sub('([^a-zA-Z]e\.) (g\.[^a-zA-Z])', '\g<1>\g<2>', s, re.I)
4return s
规则是:「e. g.」之前或之后,必须有「⾮英⽂字母」的字符(包括空格),且「e.」和「g.」中间有⼀个空格,则将中间的空格删掉,且保留前后的「⾮英⽂字母」(\g<1>表⽰查到的第1个括号内的⽂本,\g<2>表⽰第2个括号)。但标志位 re.I 的问题还是没解决。
后来翻到了「」这篇⽂章,才顿悟:re.sub() 函数有5个参数,我传⼊了4个参数,最后⼀个被认为是第4个参数,⽽不是第5个!多么低级的错误啊!
查阅「」可知,
re.sub(pattern, repl, string, count=0, flags=0)
我传⼊的第4个参数 re.I 会被当作是 count。因此,正确的姿势是明确写明「flags=re.I」。
整个标点符号规范化函数还包括其它的替换,完整代码如下:
1def punctuate(s):
2    s = re.sub('([,:;?!\.”\)])', '\g<1> ', s) #后加空格
python正则表达式匹配小数3    s = re.sub('([“\(])', ' \g<1>', s) #前加空格
4    s = re.sub('([“\(]) ', '\g<1>', s) #后删空格
5    s = re.sub(' ([,:;?!\.”\)])', '\g<1>', s) #前删空格
6    s = re.sub('([,\.?!;\)]) ”', '\g<1>”', s) #闭引号前去空格
7    s = re.sub('\) ([,:;?!\.”])', ')\g<1>', s) #闭括号后去空格
8    s = re.sub('(\d)\. (\d)', '\g<1>.\g<2>', s) #⼩数点后去空格
9    s = re.sub(' +', '', s) #多空格改单空格
10#拉丁加点缩写单词,点号后⾯去空格
11    s = re.sub('([^a-zA-Z]e\.) (g\.[^a-zA-Z])', '\g<1>\g<2>', s, flags=re.I)
12    s = re.sub('([^a-zA-Z]i\.) (e\.[^a-zA-Z])', '\g<1>\g<2>', s, flags=re.I)
13    s = re.sub('([^a-zA-Z]q\.) (v\.[^a-zA-Z])', '\g<1>\g<2>', s, flags=re.I)
14    s = re.sub('([^a-zA-Z]v\.) (s\.[^a-zA-Z])', '\g<1>\g<2>', s, flags=re.I)
15    s = re.sub('([^a-zA-Z]n\.) (b\.[^a-zA-Z])', '\g<1>\g<2>', s, flags=re.I)
16    s = re.sub('([^a-zA-Z]p\.) (s\.[^a-zA-Z])', '\g<1>\g<2>', s, flags=re.I)
17    s = re.sub('\. ,', '.,', s)
18return s
多么痛的领悟!