十分鐘上手正則表達(dá)式上篇

更新時(shí)間：2021年10月13日 15:00:19 作者：滌生手記

正則表達(dá)式(regular expression)描述了一種字符串匹配的模式（pattern），可以用來(lái)檢查一個(gè)串是否含有某種子串、將匹配的子串替換或者從某個(gè)串中取出符合某個(gè)條件的子串等

一、正則表達(dá)式的定義：

正則表達(dá)式是你所定義的模式模板（ pattern template ）， Linux 工具可以用它來(lái)過(guò)濾文本。 Linux工具（比如sed 編輯器或 gawk 程序）能夠在處理數(shù)據(jù)時(shí)使用正則表達(dá)式對(duì)數(shù)據(jù)進(jìn)行模式匹配。如果數(shù)據(jù)匹配模式，它就會(huì)被接受并進(jìn)一步處理；如果數(shù)據(jù)不匹配模式，它就會(huì)被濾掉。

正則表達(dá)式模式匹配數(shù)據(jù)：

正則表達(dá)式模式利用通配符來(lái)描述數(shù)據(jù)流中的一個(gè)或多個(gè)字符。 Linux 中有很多場(chǎng)景都可以使用通配符來(lái)描述不確定的數(shù)據(jù)?！?】號(hào)在我們工作中就比較常用。

示例說(shuō)明：

a.*參數(shù)會(huì)讓ls命令只列出名字以a開頭的文件。文件名中a之后可以有任意多個(gè)字符（包括什么也沒(méi)有）。ls命令會(huì)讀取目錄中所有文件的信息，但只顯示跟通配符匹配的文件的信息。

二、正則表達(dá)式的類型

使用正則表達(dá)式最大的問(wèn)題在于有不止一種類型的正則表達(dá)式。 Linux 中的不同應(yīng)用程序可能會(huì)用不同類型的正則表達(dá)式。這其中包括編程語(yǔ)言（Java 、 Perl 和 Python ）、 Linux 實(shí)用工具（比如sed 編輯器、 gawk 程序和 grep 工具）以及主流應(yīng)用（比如 MySQL 和 PostgreSQL 數(shù)據(jù)庫(kù)服務(wù)器）。正則表達(dá)式是通過(guò)正則表達(dá)式引擎（ regular expression engine ）實(shí)現(xiàn)的。正則表達(dá)式引擎是一套底層軟件，負(fù)責(zé)解釋正則表達(dá)式模式并使用這些模式進(jìn)行文本匹配。

兩種流行的正則表達(dá)式引擎：

POSIX基礎(chǔ)正則表達(dá)式（basic regular expression，BRE）引擎
POSIX擴(kuò)展正則表達(dá)式（extended regular expression，ERE）引擎

POSIX BRE引擎通常出現(xiàn)在依賴正則表達(dá)式進(jìn)行文本過(guò)濾的編程語(yǔ)言中。它為常見模式提供了高級(jí)模式符號(hào)和特殊符號(hào)，比如匹配數(shù)字、單詞以及按字母排序的字符。awk程序用ERE引擎來(lái)處理它的正則表達(dá)式模式。

說(shuō)明：

由于實(shí)現(xiàn)正則表達(dá)式的方法太多，很難用一個(gè)簡(jiǎn)潔的描述來(lái)涵蓋所有可能的正則表達(dá)式。后面會(huì)結(jié)合sed和awk演示最常見的正則表達(dá)式。

三、定義 BRE 模式

最基本的 BRE模式是匹配數(shù)據(jù)流中的文本字符。下面會(huì)演示如何在正則表達(dá)式中定義文本以及會(huì)得到什么樣的結(jié)果。

3.1 純文本

演示說(shuō)明：

模式定義了一個(gè)單詞 test 。 sed 編輯器和 gawk 程序腳本用它們各自的 print 命令打印出匹配該正則表達(dá)式模式的所有行。由于echo 語(yǔ)句在文本字符串中包含了單詞 test ，數(shù)據(jù)流文本能夠匹配所定義的正則表達(dá)式模式，編輯器能顯示該行。

正則表達(dá)式是區(qū)分大小寫的：

演示說(shuō)明：

第一次嘗試沒(méi)能匹配成功，因?yàn)?this 在字符串中并不都是小寫，而第二次嘗試在模式中使用大寫字母，所以能正常輸出。

在正則表達(dá)式中，你不用寫出整個(gè)單詞。只要定義的文本出現(xiàn)在數(shù)據(jù)流中，正則表達(dá)式就能夠匹配。

演示說(shuō)明：

數(shù)據(jù)流中的文本是 books ，在數(shù)據(jù)中含有正則表達(dá)式 book ，因此正則表達(dá)式模式跟數(shù)據(jù)匹配。

在正則表達(dá)式中，空格和其他的字符并沒(méi)有什么區(qū)別。

演示說(shuō)明：

空格的出現(xiàn)無(wú)法和文本內(nèi)容匹配。

如果在正則表達(dá)式中定義了空格，那么它必須出現(xiàn)在數(shù)據(jù)流中。甚至可以創(chuàng)建匹配多個(gè)連續(xù)空格的正則表達(dá)式模式。

演示說(shuō)明：

單詞間有兩個(gè)空格的行匹配正則表達(dá)式模式。

3.2 特殊字符

正則表達(dá)式識(shí)別的特殊字符包括：

.*[]^${}\+?|()

如果要用某個(gè)特殊字符作為文本字符，就必須轉(zhuǎn)義。在轉(zhuǎn)義特殊字符時(shí)，你需要在它前面加一個(gè)特殊字符反斜杠（\）來(lái)告訴正則表達(dá)式引擎應(yīng)該將接下來(lái)的字符當(dāng)作普通的文本字符。

示例說(shuō)明：

查找文本中的美元符，只要在它前面加個(gè)反斜線。

3.3 錨字符

默認(rèn)情況下，當(dāng)指定一個(gè)正則表達(dá)式模式時(shí)，只要模式出現(xiàn)在數(shù)據(jù)流中的任何地方，它就能匹配。有兩個(gè)特殊字符可以用來(lái)將模式鎖定在數(shù)據(jù)流中的行首或行尾。

3.3.1 鎖定在行首

脫字符（ ^ ）定義從數(shù)據(jù)流中文本行的行首開始的模式。如果模式出現(xiàn)在行首之外的位置，正則表達(dá)式模式則無(wú)法匹配。要用脫字符，就必須將它放在正則表達(dá)式中指定的模式前面。

脫字符會(huì)在每個(gè)由換行符決定的新數(shù)據(jù)行的行首檢查模式。

示例解說(shuō)：

只要模式出現(xiàn)在新行的行首，脫字符就能夠發(fā)現(xiàn)它。

演示說(shuō)明：

脫字符出現(xiàn)在正則表達(dá)式模式的尾部，sed編輯器會(huì)將它當(dāng)作普通字符來(lái)匹配。

注意：

如果指定正則表達(dá)式模式時(shí)只用了脫字符，就不需要用反斜線來(lái)轉(zhuǎn)義。但如果在模式中先指定了脫字符，隨后還有其他一些文本，那么必須在脫字符前用轉(zhuǎn)義字符。

3.3.2 鎖定在行尾

跟在行首查找模式相反的就是在行尾查找。特殊字符美元符（ $ ）定義了行尾錨點(diǎn)。將這個(gè)特殊字符放在文本模式之后來(lái)指明數(shù)據(jù)行必須以該文本模式結(jié)尾。

3.3.3 組合錨點(diǎn)

在一些常見情況下，可以在同一行中將行首錨點(diǎn)和行尾錨點(diǎn)組合在一起使用。在第一種情況中，假定你要查找只含有特定文本模式的數(shù)據(jù)行。

示例說(shuō)明：

匹配文本中以test開頭和以test結(jié)尾的行

將兩個(gè)錨點(diǎn)直接組合在一起，之間不加任何文本，這樣過(guò)濾出數(shù)據(jù)流中的空白行。

示例說(shuō)明：

定義的正則表達(dá)式模式會(huì)查找行首和行尾之間什么都沒(méi)有的那些行。由于空白行在兩個(gè)換行符之間沒(méi)有文本，剛好匹配了正則表達(dá)式模式。sed 編輯器用刪除命令 d 來(lái)刪除匹配該正則表達(dá)式模式的行，因此刪除了文本中的所有空白行。

3.4 點(diǎn)號(hào)字符

特殊字符點(diǎn)號(hào)用來(lái)匹配除換行符之外的任意單個(gè)字符。它必須匹配一個(gè)字符，如果在點(diǎn)號(hào)字符的位置沒(méi)有字符，那么模式就不成立。

示例解說(shuō)：

這個(gè)例子很具有說(shuō)明性的，為什么第一行無(wú)法匹配，而第二行和第三行就可以。第四行有點(diǎn)復(fù)雜。注意，我們匹配了at，但在at前面并沒(méi)有任何字符來(lái)匹配點(diǎn)號(hào)字符。其實(shí)是有的！在正則表達(dá)式中，空格也是字符，因此at前面的空格剛好匹配了該模式。第五行證明了這點(diǎn)，將at放在行首就不會(huì)匹配該模式了。