Python OpenCV 圖像矯正的原理實(shí)現(xiàn)

更新時(shí)間：2022年07月17日 14:16:33 作者：喬卿

這篇文章主要介紹了Python OpenCV 圖像矯正的原理實(shí)現(xiàn)，檢測邊緣點(diǎn)；以邊緣點(diǎn)作為輸入，采用Hough直線檢測，檢測出最多點(diǎn)共線的四條直線，更多相關(guān)內(nèi)容需要的朋友可以參考一下

題目描述

目錄hw1下的圖像是一些膠片的照片，請將其進(jìn)行度量矯正。

推薦流程：采用Canny算子，檢測邊緣點(diǎn)；采用Hough直線檢測，根據(jù)邊緣點(diǎn)檢測膠片邊緣對應(yīng)的4條直線；4條直線在圖像平面中的交點(diǎn)為膠片圖像的4個(gè)頂點(diǎn)。根據(jù)4個(gè)頂點(diǎn)與真實(shí)世界中膠片的位置（假設(shè)膠片圖像長寬比為4:3），得到兩個(gè)平面之間的單應(yīng)變換矩陣，并根據(jù)單應(yīng)變換矩陣實(shí)現(xiàn)圖像矯正。

基本思路

使用Canny算子，檢測邊緣點(diǎn)；以邊緣點(diǎn)作為輸入，采用Hough直線檢測，檢測出最多點(diǎn)共線的四條直線，這四條直線的交點(diǎn)就是照片中屏幕的四個(gè)頂點(diǎn)；假設(shè)膠片圖像長寬比為4:3，那么此時(shí)已知四個(gè)匹配的點(diǎn)，可以求解出兩個(gè)平面之間的單應(yīng)變換矩陣；從而可以使用原圖像、單應(yīng)變換矩陣，對原圖像進(jìn)行變換，即可實(shí)現(xiàn)圖像矯正。實(shí)現(xiàn)日志

Canny邊緣檢測：Python OpenCV Canny邊緣檢測算法的原理實(shí)現(xiàn)詳解

Hough直線檢測：Python OpenCV Hough直線檢測算法的原理實(shí)現(xiàn)

在具體實(shí)現(xiàn)時(shí)，發(fā)現(xiàn)對于給定的圖像，幾乎不可能通過調(diào)整閾值的方式，使得Hough檢測到的直線剛好是屏幕邊框。經(jīng)過多輪調(diào)整，在下界為180、上界為260時(shí)取得了較為理想的結(jié)果，

如下圖所示：

對于三張圖像，經(jīng)過實(shí)驗(yàn)，最終選擇的最佳閾值為：

correct('images/1.jpeg', 180, 260)
correct('images/2.jpeg', 30, 100)
correct('images/3.jpeg', 100, 160)

但即便是最佳閾值，也無法做到僅檢測出四條線。思考過后，決定加入一步人工篩選。

有兩種可行的技術(shù)方案：

人工篩選直線
人工篩選交點(diǎn)

考慮到如果篩選交點(diǎn)的話，工作量明顯比篩選直線更大，所以選擇人工篩選直線。后面有時(shí)間的話考慮加入圖形化界面，目前因時(shí)間原因，選擇專注于算法本身，暫不考慮可視化編程。

直接顯示出下圖用于篩選：

這里符合條件的直線id為2、3、6、7。

求解得到的交點(diǎn)：

我們假設(shè)目標(biāo)圖像是4：3的，也就是其大小為(800, 600)，從而我們可以確定目標(biāo)圖像中四個(gè)關(guān)鍵點(diǎn)位置為[0, 0], [800, 0], [0, 600], [800, 600]。為了保證交點(diǎn)與目標(biāo)點(diǎn)一一對應(yīng)，最為高效的解決方案是，我們篩選圖像的時(shí)候，按照上、左、下、右的順序即可。

核心代碼

def correct(image_path, threshold1, threshold2):
    # 讀取圖像并轉(zhuǎn)換為灰度圖像
    image = cv2.imread(image_path)
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # 使用Canny算子檢測邊緣
    edges = canny_detect(gray, threshold1, threshold2, show=False)
    # 使用Hough檢測直線
    lines = hough_detect(image, edges, show=False)
    # 手動(dòng)篩選
    for id, line in enumerate(lines):
        rho, theta = line[0]
        x1, y1, x2, y2 = convert_polar_to_two_points(rho, theta)
        temp_image = image.copy()
        cv2.line(temp_image, (x1, y1), (x2, y2), (255, 0, 0), 7)
        plt.subplot(5, 5, id + 1)
        plt.imshow(temp_image)
        plt.title('{}'.format(id))
        plt.xticks([])
        plt.yticks([])
    plt.show()
    choose = input('請輸入您選擇的直線的id，以空格分隔：').split(' ')
 
    # 求解交點(diǎn)
    crossover_points = []
    assert len(choose) == 4
    for i in range(4):
        for j in range(i+1, 4):
            rho1, theta1 = lines[int(choose[i])][0]
            rho2, theta2 = lines[int(choose[j])][0]
            # 如果角度差太小，認(rèn)為它們是平行線
            if abs(theta2 - theta1) > np.pi / 8 and abs(theta2 - theta1) < np.pi * 7 / 8:
                crossover_points.append(cal_crossover(rho1, theta1, rho2, theta2))
    # 確定變換前后的坐標(biāo)
    before = np.float32(crossover_points)
    after = np.float32([[0, 0], [800, 0], [0, 600], [800, 600]])
    # 單應(yīng)變換
    h = cv2.getPerspectiveTransform(before, after)
    result = cv2.warpPerspective(image, h, (800, 600))
    cv2.imwrite(image_path.split('.')[0] + '_correct.jpeg', result)
    return result

矯正結(jié)果：