python re模塊和正則表達(dá)式
一、re模塊和正則表達(dá)式
先來看一個(gè)例子:https://reg.jd.com/reg/person?ReturnUrl=https%3A//www.jd.com/
這是京東的注冊(cè)頁面,打開頁面我們就看到這些要求輸入個(gè)人信息的提示。假如我們隨意的在手機(jī)號(hào)碼這一欄輸入一個(gè)11111111111,它會(huì)提示我們格式有誤。這個(gè)功能是怎么實(shí)現(xiàn)的呢?假如現(xiàn)在你用python寫一段代碼,類似:
phone_number = input('please input your phone number : ')
你怎么判斷這個(gè)phone_number是合法的呢?
根據(jù)手機(jī)號(hào)碼一共11位并且是只以13、14、15、18開頭的數(shù)字這些特點(diǎn),我們用python寫了如下代碼:
# 方式一 判斷號(hào)碼是否合法
# -*- coding:utf-8 -*-
while True:
phone_number = str(input('please input your phone number : '))
if len(phone_number) == 11 \
and phone_number.isdigit() \
and (phone_number.startswith('13') \
or phone_number.startswith('14') \
or phone_number.startswith('15') \
or phone_number.startswith('18')):
print('是合法的手機(jī)號(hào)碼')
else:
print('不是合法的手機(jī)號(hào)碼')
# 方式二 判斷號(hào)碼是否合法
# -*- coding:utf-8 -*-
import re
phone_number = str(input('please input your phone number : '))
if re.match('^(13|14|15|18)[0-9]{9}$',phone_number):
print('是合法的手機(jī)號(hào)碼')
else:
print('不是合法的手機(jī)號(hào)碼')
正則表達(dá)式不僅在python領(lǐng)域,在整個(gè)編程屆都占有舉足輕重的地位。
不管以后你是不是去做python開發(fā),只要你是一個(gè)程序員就應(yīng)該了解正則表達(dá)式的基本使用。如果未來你要在爬蟲領(lǐng)域發(fā)展,你就更應(yīng)該好好學(xué)習(xí)這方面的知識(shí)。
但是你要知道,re模塊本質(zhì)上和正則表達(dá)式?jīng)]有關(guān)系。re模塊和正則表達(dá)式的關(guān)系 類似于time模塊和時(shí)間的關(guān)系。
時(shí)間有自己的格式,年月日時(shí)分秒,12個(gè)月,365天......已經(jīng)成為了一種規(guī)則。
正則表達(dá)式本身也和python沒有什么關(guān)系,就是匹配字符串內(nèi)容的一種規(guī)則。
官方定義:正則表達(dá)式是對(duì)字符串操作的一種邏輯公式,就是用事先定義好的一些特定字符、及這些特定字符的組合,組成一個(gè)“規(guī)則字符串”,這個(gè)“規(guī)則字符串”用來表達(dá)對(duì)字符串的一種過濾邏輯。
二、正則表達(dá)式
在線測試工具 http://tool.chinaz.com/regex/
首先談到正則,就只和字符串相關(guān)了。在我給你提供的工具中,你輸入的每一個(gè)字都是一個(gè)字符串。
其次,如果在一個(gè)位置的一個(gè)值,不會(huì)出現(xiàn)什么變化,那么是不需要規(guī)則的。
比如你要用"1"去匹配"1",或者用"2"去匹配"2",直接就可以匹配上。這連python的字符串操作都可以輕松做到。
那么在之后我們更多要考慮的是在同一個(gè)位置上可以出現(xiàn)的字符的范圍。
2.1 字符組
字符組 : [字符組]
在同一個(gè)位置可能出現(xiàn)的各種字符組成了一個(gè)字符組,在正則表達(dá)式中用[]表示
字符分為很多類,比如數(shù)字、字母、標(biāo)點(diǎn)等等。
假如你現(xiàn)在要求一個(gè)位置"只能出現(xiàn)一個(gè)數(shù)字",那么這個(gè)位置上的字符只能是0、1、2...9這10個(gè)數(shù)之一。
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| [0123456789] | 8 | True | 在一個(gè)字符組里枚舉合法的所有字符,字符組里的任意一個(gè)字符 和"待匹配字符"相同都視為可以匹配 |
| [0123456789] | a | False | 由于字符組中沒有"a"字符,所以不能匹配 |
| [0-9] | 7 | True | 也可以用-表示范圍,[0-9]就和[0123456789]是一個(gè)意思 |
| [a-z] | s | True | 同樣的如果要匹配所有的小寫字母,直接用[a-z]就可以表示 |
| [A-Z] | B | True | [A-Z]就表示所有的大寫字母 |
| [0-9a-fA-F] | e | True | 可以匹配數(shù)字,大小寫形式的a~f,用來驗(yàn)證十六進(jìn)制字符 |
2.2 元字符
| 元字符 | 匹配內(nèi)容 |
| . | 匹配除換行符以外的任意字符 |
| \w | 匹配字母或數(shù)字或下劃線 |
| \s | 匹配任意的空白符 |
| \d | 匹配數(shù)字 |
| \n | 匹配一個(gè)換行符 |
| \t | 匹配一個(gè)制表符 |
| \b | 匹配一個(gè)單詞的結(jié)尾 |
| ^ | 匹配字符串的開始 |
| $ | 匹配字符串的結(jié)尾 |
| \W | 匹配非字母或數(shù)字或下劃線 |
| \D | 匹配非數(shù)字 |
| \S | 匹配非空白符 |
| a|b | 匹配字符a或字符b |
| () | 匹配括號(hào)內(nèi)的表達(dá)式,也表示一個(gè)組 |
| [...] | 匹配字符組中的字符 |
| [^...] | 匹配除了字符組中字符的所有字符 |
2.3 量詞
| 量詞 | 用法說明 |
| * | 重復(fù)零次或更多次 |
| + | 重復(fù)一次或更多次 |
| ? | 重復(fù)零次或一次 |
| {n} | 重復(fù)n次 |
| {n,} | 重復(fù)n次或更多次 |
| {n,m} | 重復(fù)n到m次 |
2.3.1 . ^ $
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| 小. | 小明小軍小蘭 | 小明小軍小蘭 | 匹配所有"小."的字符 |
| ^小. | 小明小軍小蘭 | 小明 | 只從開頭匹配"小." |
| 小.$ | 小明小軍小蘭 | 小蘭 | 只匹配結(jié)尾的"小.$" |
2.3.2 * + ? { }
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| 小.? | 小明和小李子和小巧玲瓏 |
小明 |
?表示重復(fù)零次或一次,即只匹配"小"后面一個(gè)任意字符 |
| 小.* | 小明和小李子和小巧玲瓏 | 小明和小李子和小巧玲瓏 | *表示重復(fù)零次或多次,即匹配"小"后面0個(gè)或多個(gè)任意字符 |
| 小.+ | 小明和小李子和小巧玲瓏 | 小明和小李子和小巧玲瓏 | +表示重復(fù)一次或多次,即只匹配"小"后面1個(gè)或多個(gè)任意字符 |
| 小.{1,2} | 小明和小李子和小巧玲瓏 |
小明和 |
{1,2}匹配1到2次任意字符 |
注意:前面的*,+,?等都是貪婪匹配,也就是盡可能匹配,后面加?號(hào)使其變成惰性匹配
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| 小.*? | 小明和小李子和小巧玲瓏 | 小 小 小 |
惰性匹配 |
2.4 字符集[][^]
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| 小[明李子巧玲瓏]* | 小明和小李子和小巧玲瓏 |
小明 |
表示匹配"小"字后面[明李子巧玲瓏]的字符任意次 |
| 小[^和]* | 小明和小李子和小巧玲瓏 |
小明 |
表示匹配一個(gè)不是"和"的字符任意次 |
| [\d] | 456bdha3 |
4 |
表示匹配任意一個(gè)數(shù)字,匹配到4個(gè)結(jié)果 |
| [\d]+ | 456bdha3 |
456 |
表示匹配任意個(gè)數(shù)字,匹配到2個(gè)結(jié)果 |
2.5 分組 ()與 或 |[^]
身份證號(hào)碼是一個(gè)長度為15或18個(gè)字符的字符串,如果是15位則全部由數(shù)字組成,首位不能為0;如果是18位,則前17位全部是數(shù)字,末位可能是數(shù)字或x,下面我們嘗試用正則來表示:
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| ^[1-9]\d{13,16}[0-9x]$ | 110101198001017032 |
110101198001017032 |
表示可以匹配一個(gè)正確的身份證號(hào) |
| ^[1-9]\d{13,16}[0-9x]$ | 1101011980010170 |
1101011980010170 |
表示也可以匹配這串?dāng)?shù)字,但這并不 是一個(gè)正確的身份證號(hào)碼,它是一個(gè) 16位的數(shù)字 |
| ^[1-9]\d{14}(\d{2}[0-9x])?$ | 1101011980010170 |
False |
現(xiàn)在不會(huì)匹配錯(cuò)誤的身份證號(hào)了 ()表示分組,將\d{2}[0-9x]分成 一組,就可以整體約束他們出現(xiàn)的 次數(shù)為0-1次 |
| ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ | 110105199812067023 |
110105199812067023 |
表示先匹配[1-9]\d{16}[0-9x] 如果沒有匹配上就匹配 [1-9]\d{14} |
2.6 轉(zhuǎn)義符 \
在正則表達(dá)式中,有很多有特殊意義的是元字符,比如\d和\s等,如果要在正則中匹配正常的"\d"而不是"數(shù)字"就需要對(duì)"\"進(jìn)行轉(zhuǎn)義,變成'\\'。
在python中,無論是正則表達(dá)式,還是待匹配的內(nèi)容,都是以字符串的形式出現(xiàn)的,在字符串中\(zhòng)也有特殊的含義,本身還需要轉(zhuǎn)義。所以如果匹配一次"\d",字符串中要寫成'\\d',那么正則里就要寫成"\\\\d",這樣就太麻煩了。
這個(gè)時(shí)候我們就用到了r'\d'這個(gè)概念,此時(shí)的正則是r'\\d'就可以了。
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| \d | \d | False | 因?yàn)樵谡齽t表達(dá)式中\(zhòng)是有特殊意義的字符,所以要匹配\d本身,用表達(dá)式\d無法匹配 |
| \\d | \d | True | 轉(zhuǎn)義\之后變成\\,即可匹配 |
| "\\\\d" | '\\d' | True | 如果在python中,字符串中的'\'也需要轉(zhuǎn)義,所以每一個(gè)字符串'\'又需要轉(zhuǎn)義一次 |
| r'\\d' | r'\d' | True | 在字符串之前加r,讓整個(gè)字符串不轉(zhuǎn)義 |
2.7 貪婪匹配
貪婪匹配:在滿足匹配時(shí),匹配盡可能長的字符串,默認(rèn)情況下,采用貪婪匹配
| 正則 | 待匹配字符 | 匹配 結(jié)果 |
說明 |
| <.*> |
<script>...<script> |
<script>...<script> | 默認(rèn)為貪婪匹配模式,會(huì)匹配盡量長的字符串 |
| <.*?> | r'\d' |
<script> |
加上?為將貪婪匹配模式轉(zhuǎn)為非貪婪匹配模式,會(huì)匹配盡量短的字符串 |
幾個(gè)常用的非貪婪匹配
*? 重復(fù)任意次,但盡可能少重復(fù)
+? 重復(fù)1次或更多次,但盡可能少重復(fù)
?? 重復(fù)0次或1次,但盡可能少重復(fù)
{n,m}? 重復(fù)n到m次,但盡可能少重復(fù)
{n,}? 重復(fù)n次以上,但盡可能少重復(fù)
.*?的用法
. 是任意字符
* 是取 0 至 無限長度
? 是非貪婪模式,何在一起就是 取盡量少的任意字符,一般不會(huì)這么單獨(dú)寫,他大多用在:
.*?x 就是取前面任意長度的字符,直到一個(gè)x出現(xiàn)
三、re模塊
import re
ret = re.findall('a', 'ea eg an') # 返回所有滿足匹配條件的結(jié)果,放在列表里
print(ret) #結(jié)果 : ['a', 'a']
ret = re.search('a', 'va eg an').group()
print(ret) #結(jié)果 : 'a'
# 函數(shù)會(huì)在字符串內(nèi)查找模式匹配,只到找到第一個(gè)匹配然后返回一個(gè)包含匹配信息的對(duì)象,該對(duì)象可以
# 通過調(diào)用group()方法得到匹配的字符串,如果字符串沒有匹配,則返回None。
ret = re.match('a', 'abc').group() # 同search,不過盡在字符串開始處進(jìn)行匹配
print(ret)
#結(jié)果 : 'a'
ret = re.split('[ab]', 'abcd') # 先按'a'分割得到''和'bcd',在對(duì)''和'bcd'分別按'b'分割
print(ret) # ['', '', 'cd']
ret = re.sub('\d', 'H', 'va3eg4an4', 1)#將數(shù)字替換成'H',參數(shù)1表示只替換1個(gè)
print(ret) #vaHeg4an4
ret = re.subn('\d', 'H', 'va3eg4an4')#將數(shù)字替換成'H',返回元組(替換的結(jié)果,替換了多少次)
print(ret)
obj = re.compile('\d{3}') #將正則表達(dá)式編譯成為一個(gè) 正則表達(dá)式對(duì)象,規(guī)則要匹配的是3個(gè)數(shù)字
ret = obj.search('abc123eeee') #正則表達(dá)式對(duì)象調(diào)用search,參數(shù)為待匹配的字符串
print(ret.group()) #結(jié)果 : 123
import re
ret = re.finditer('\d', 'ds3sy4784a') #finditer返回一個(gè)存放匹配結(jié)果的迭代器
print(ret) # <callable_iterator object at 0x10195f940>
print(next(ret).group()) #查看第一個(gè)結(jié)果
print(next(ret).group()) #查看第二個(gè)結(jié)果
print([i.group() for i in ret]) #查看剩余的左右結(jié)果
注意:
1 findall的優(yōu)先級(jí)查詢:
import re
ret = re.findall('www.(baidu|xunlei).com', 'www.xunlei.com')
print(ret) # ['xunlei'] 這是因?yàn)閒indall會(huì)優(yōu)先把匹配結(jié)果組里內(nèi)容返回,如果想要匹配結(jié)果,取消權(quán)限即可
ret = re.findall('www.(?:baidu|xunlei).com', 'www.xunlei.com')
print(ret) # ['www.xunlei.com']
2 split的優(yōu)先級(jí)查詢
ret=re.split("\d+","va3eg4an")
print(ret) #結(jié)果 : ['va', 'eg', 'an']
ret=re.split("(\d+)","va3eg4an")
print(ret) #結(jié)果 : ['va', '3', 'eg', '4', 'an']
#在匹配部分加上()之后所切出的結(jié)果是不同的,
#沒有()的沒有保留所匹配的項(xiàng),但是有()的卻能夠保留了匹配的項(xiàng),
#這個(gè)在某些需要保留匹配部分的使用過程是非常重要的。
3.1 匹配標(biāo)簽
import re
ret = re.search("<(?P<tag_name>\w+)>\w+</(?P=tag_name)>","<h1>hello</h1>")
#還可以在分組中利用?<name>的形式給分組起名字
#獲取的匹配結(jié)果可以直接用group('名字')拿到對(duì)應(yīng)的值
print(ret.group('tag_name')) #結(jié)果 :h1
print(ret.group()) #結(jié)果 :<h1>hello</h1>
ret = re.search(r"<(\w+)>\w+</\1>","<h1>hello</h1>")
#如果不給組起名字,也可以用\序號(hào)來找到對(duì)應(yīng)的組,表示要找的內(nèi)容和前面的組內(nèi)容一致
#獲取的匹配結(jié)果可以直接用group(序號(hào))拿到對(duì)應(yīng)的值
print(ret.group(1))
print(ret.group()) #結(jié)果 :<h1>hello</h1>
2、匹配整數(shù)
import re
ret=re.findall(r"\d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '2', '60', '40', '35', '5', '4', '3']
ret=re.findall(r"-?\d+\.\d*|(-?\d+)","1-2*(60+(-40.35/5)-(-4*3))")
print(ret) #['1', '-2', '60', '', '5', '-4', '3']
ret.remove("")
print(ret) #['1', '-2', '60', '5', '-4', '3']
3、數(shù)字匹配
1、 匹配一段文本中的每行的郵箱
http://blog.csdn.net/make164492212/article/details/516566382、 匹配一段文本中的每行的時(shí)間字符串,比如:‘1990-07-12';
分別取出1年的12個(gè)月(^(0?[1-9]|1[0-2])$)、
一個(gè)月的31天:^((0?[1-9])|((1|2)[0-9])|30|31)$3、 匹配qq號(hào)。(QQ號(hào)從10000開始) [1,9][0,9]{4,}
4、 匹配一個(gè)浮點(diǎn)數(shù)。 ^(-?\d+)(\.\d+)?$ 或者 -?\d+\.?\d*
5、 匹配漢字。 ^[\u4e00-\u9fa5]{0,}$
6、 匹配出所有整數(shù)
4、爬蟲
import requests
import re
import json
def getPage(url):
response=requests.get(url)
return response.text
def parsePage(s):
com=re.compile('<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評(píng)價(jià)</span>',re.S)
ret=com.finditer(s)
for i in ret:
yield {
"id":i.group("id"),
"title":i.group("title"),
"rating_num":i.group("rating_num"),
"comment_num":i.group("comment_num"),
}
def main(num):
url='https://movie.douban.com/top250?start=%s&filter='%num
response_html=getPage(url)
ret=parsePage(response_html)
print(ret)
f=open("move_info7","a",encoding="utf8")
for obj in ret:
print(obj)
data=json.dumps(obj,ensure_ascii=False)
f.write(data+"\n")
if __name__ == '__main__':
count=0
for i in range(10):
main(count)
count+=25
簡化版
import re
import json
from urllib.request import urlopen
def getPage(url):
response = urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
com = re.compile(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*?<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)評(píng)價(jià)</span>', re.S)
ret = com.finditer(s)
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
}
def main(num):
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url)
ret = parsePage(response_html)
print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + "\n")
count = 0
for i in range(10):
main(count)
count += 25
flags有很多可選值:
re.I(IGNORECASE)忽略大小寫,括號(hào)內(nèi)是完整的寫法
re.M(MULTILINE)多行模式,改變^和$的行為
re.S(DOTALL)點(diǎn)可以匹配任意字符,包括換行符
re.L(LOCALE)做本地化識(shí)別的匹配,表示特殊字符集 \w, \W, \b, \B, \s, \S 依賴于當(dāng)前環(huán)境,不推薦使用
re.U(UNICODE) 使用\w \W \s \S \d \D使用取決于unicode定義的字符屬性。在python3中默認(rèn)使用該flag
re.X(VERBOSE)冗長模式,該模式下pattern字符串可以是多行的,忽略空白字符,并可以添加注釋
實(shí)現(xiàn)能計(jì)算類似
1 - 2 * ( (60-30 +(-40/5) * (9-2*5/3 + 7 /3*99/4*2998 +10 * 568/14 )) - (-4*3)/ (16-3*2) )等類似公式的計(jì)算器程序
到此這篇關(guān)于python re模塊和正則表達(dá)式的文章就介紹到這了,更多相關(guān)python re模塊內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
匹配5到10位無重復(fù)數(shù)字的正則表達(dá)式
對(duì)于有重復(fù)的5到10位數(shù)字可以使用\d{5,10} 這樣的正則,無重復(fù)的5到10位數(shù)字我考慮了一下還不會(huì),最然只好查網(wǎng)上,找了段代碼,分享給需要的朋友2012-10-10
javascript正則表達(dá)式容易被忽略的小問題整理
小問題:lastIndex只對(duì)exec()和test()方法起作用,string.match(regexp)是不會(huì)影響regexp這個(gè)正則的lastIndex屬性的,具體祥看本文2013-07-07
javascript利用正則快速找出兩個(gè)字符串的不同字符
2007-12-12
vbs:能算出一個(gè)字符在一字段里共出現(xiàn)有幾次的函數(shù)
vbs:能算出一個(gè)字符在一字段里共出現(xiàn)有幾次的函數(shù)...2007-04-04
正則表達(dá)式基礎(chǔ)教程 regular expression
正則表達(dá)式基礎(chǔ)教程 regular expression...2007-03-03

