介紹

碩士階段的畢設(shè)是關(guān)于昆蟲圖像分類的，代碼寫到一半，上周五導(dǎo)師又給我新的昆蟲圖片數(shù)據(jù)集了，新圖片中很多圖片很大，但是圖片中的昆蟲卻很小，所以我就想著先處理一下圖片，把圖片中的昆蟲裁剪下來(lái)，這樣除去大部分無(wú)關(guān)背景，應(yīng)該可以提高識(shí)別率。

原圖片舉例（將紅色矩形框部分裁剪出來(lái)））：

step1：加載圖片，轉(zhuǎn)成灰度圖

image = cv2.imread("353.jpg")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)

step2:用Sobel算子計(jì)算x，y方向上的梯度，之后在x方向上減去y方向上的梯度，通過(guò)這個(gè)減法，我們留下具有高水平梯度和低垂直梯度的圖像區(qū)域。

gradX = cv2.Sobel(gray, ddepth=cv2.cv.CV_32F, dx=1, dy=0, ksize=-1)
gradY = cv2.Sobel(gray, ddepth=cv2.cv.CV_32F, dx=0, dy=1, ksize=-1)

# subtract the y-gradient from the x-gradient
gradient = cv2.subtract(gradX, gradY)
gradient = cv2.convertScaleAbs(gradient)

執(zhí)行完這一步，得到的圖像如下：

step3：去除圖像上的噪聲。首先使用低通濾潑器平滑圖像（9 x 9內(nèi)核）,這將有助于平滑圖像中的高頻噪聲。低通濾波器的目標(biāo)是降低圖像的變化率。如將每個(gè)像素替換為該像素周圍像素的均值。這樣就可以平滑并替代那些強(qiáng)度變化明顯的區(qū)域。

然后，對(duì)模糊圖像二值化。梯度圖像中不大于90的任何像素都設(shè)置為0（黑色）。 否則，像素設(shè)置為255（白色）。

# blur and threshold the image
blurred = cv2.blur(gradient, (9, 9))
(_, thresh) = cv2.threshold(blurred, 90, 255, cv2.THRESH_BINARY)

執(zhí)行完這一步，得到的圖像如下：

step4:在上圖中我們看到蜜蜂身體區(qū)域有很多黑色的空余，我們要用白色填充這些空余，使得后面的程序更容易識(shí)別昆蟲區(qū)域，這需要做一些形態(tài)學(xué)方面的操作。

kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (25, 25))
closed = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)

處理之后的圖像如下：

step5:從上圖我們發(fā)現(xiàn)圖像上還有一些小的白色斑點(diǎn)，這會(huì)干擾之后的昆蟲輪廓的檢測(cè)，要把它們?nèi)サ?。分別執(zhí)行4次形態(tài)學(xué)腐蝕與膨脹。

# perform a series of erosions and dilations
closed = cv2.erode(closed, None, iterations=4)
closed = cv2.dilate(closed, None, iterations=4)

執(zhí)行完這步，得到的圖形如下：

step6：找出昆蟲區(qū)域的輪廓。cv2.findContours()函數(shù)第一個(gè)參數(shù)是要檢索的圖片，必須是為二值圖，即黑白的（不是灰度圖），所以讀取的圖像要先轉(zhuǎn)成灰度的，再轉(zhuǎn)成二值圖，我們?cè)诘谌接胏v2.threshold()函數(shù)已經(jīng)得到了二值圖。第二個(gè)參數(shù)表示輪廓的檢索模式，有四種：

• cv2.RETR_EXTERNAL表示只檢測(cè)外輪廓
• cv2.RETR_LIST檢測(cè)的輪廓不建立等級(jí)關(guān)系
• cv2.RETR_CCOMP建立兩個(gè)等級(jí)的輪廓，上面的一層為外邊界，里面的一層為內(nèi)孔的邊界信息。如果內(nèi)孔內(nèi)還有一個(gè)連通物體，這個(gè)物體的邊界也在頂層。
• cv2.RETR_TREE建立一個(gè)等級(jí)樹結(jié)構(gòu)的輪廓。
  

第三個(gè)參數(shù)為輪廓的近似方法

• cv2.CHAIN_APPROX_NONE存儲(chǔ)所有的輪廓點(diǎn)，相鄰的兩個(gè)點(diǎn)的像素位置差不超過(guò)1，即max（abs（x1-x2），abs（y2-y1））==1
• cv2.CHAIN_APPROX_SIMPLE壓縮水平方向，垂直方向，對(duì)角線方向的元素，只保留該方向的終點(diǎn)坐標(biāo)，例如一個(gè)矩形輪廓只需4個(gè)點(diǎn)來(lái)保存輪廓信息

cv2.findContours()函數(shù)返回兩個(gè)值，一個(gè)是輪廓本身，還有一個(gè)是每條輪廓對(duì)應(yīng)的屬性。cv2.findContours()函數(shù)返回第一個(gè)值是list，list中每個(gè)元素都是圖像中的一個(gè)輪廓，用numpy中的ndarray表示。每一個(gè)ndarray里保存的是輪廓上的各個(gè)點(diǎn)的坐標(biāo)。我們把list排序，點(diǎn)最多的那個(gè)輪廓就是我們要找的昆蟲的輪廓。
OpenCV中通過(guò)cv2.drawContours在圖像上繪制輪廓。

• 第一個(gè)參數(shù)是指明在哪幅圖像上繪制輪廓
• 第二個(gè)參數(shù)是輪廓本身，在Python中是一個(gè)list
• 第三個(gè)參數(shù)指定繪制輪廓list中的哪條輪廓，如果是-1，則繪制其中的所有輪廓
• 第四個(gè)參數(shù)是輪廓線條的顏色
• 第五個(gè)參數(shù)是輪廓線條的粗細(xì)

cv2.minAreaRect()函數(shù):
主要求得包含點(diǎn)集最小面積的矩形，這個(gè)矩形是可以有偏轉(zhuǎn)角度的，可以與圖像的邊界不平行。

(cnts, _) = cv2.findContours(closed.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
c = sorted(cnts, key=cv2.contourArea, reverse=True)[0]

# compute the rotated bounding box of the largest contour
rect = cv2.minAreaRect(c)
box = np.int0(cv2.cv.BoxPoints(rect))

# draw a bounding box arounded the detected barcode and display the image
cv2.drawContours(image, [box], -1, (0, 255, 0), 3)
cv2.imshow("Image", image)
cv2.imwrite("contoursImage2.jpg", image)
cv2.waitKey(0)

執(zhí)行完這步得到的圖形如下：

step7：裁剪。box里保存的是綠色矩形區(qū)域四個(gè)頂點(diǎn)的坐標(biāo)。我將按下圖紅色矩形所示裁剪昆蟲圖像。找出四個(gè)頂點(diǎn)的x，y坐標(biāo)的最大最小值。新圖像的高=maxY-minY，寬=maxX-minX。

Xs = [i[0] for i in box]
Ys = [i[1] for i in box]
x1 = min(Xs)
x2 = max(Xs)
y1 = min(Ys)
y2 = max(Ys)
hight = y2 - y1
width = x2 - x1
cropImg = image[y1:y1+hight, x1:x1+width]

裁剪出的圖片如下：

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。