Python OpenCV高斯金字塔與拉普拉斯金字塔的實現(xiàn)

基礎(chǔ)知識鋪墊

學(xué)習(xí)圖像金字塔，發(fā)現(xiàn)網(wǎng)上的資料比較多，檢索起來比較輕松。

圖像金字塔是一張圖像多尺度的表達，或者可以理解成一張圖像不同分辨率展示。

金字塔越底層的圖片，像素越高，越向上，像素逐步降低，分辨率逐步降低。

高斯金字塔

我們依舊不對概念做過多解釋，第一遍學(xué)習(xí)應(yīng)用，應(yīng)用，畢竟 365 天的周期，時間長，后面補充理論知識。

高斯金字塔用于向下采樣，同時它也是最基本的圖像塔。

在互聯(lián)網(wǎng)檢索原理，得到最簡單的說明如下：

將圖像的最底層（高斯金字塔的第 0 層），例如高斯核（5x5）對其進行卷積操作，這里的卷積主要處理掉的是偶數(shù)行與列，然后得到金字塔上一層圖像（即高斯金字塔第 1 層），在針對該圖像重復(fù)卷積操作，得到第 2 層，反復(fù)執(zhí)行下去，即可得到高斯金字塔。

每次操作之后，都會將 M×N 圖像變成 M/2 × N/2 圖像，即減少一半。

還有實測中發(fā)現(xiàn)，需要用圖像的寬和高一致的圖片，并且寬高要是 2 的次冪數(shù)，例如，8 像素，16 像素，32 像素等等，一會你也可以實際測試一下。

圖像金字塔應(yīng)用到的函數(shù)有 cv2.pyrDown() 和 cv2.pyrUp() 。

cv2.pyrDown 與 cv2.pyrUp 函數(shù)原型

通過 help 函數(shù)得到函數(shù)原型如下：

pyrDown(src[, dst[, dstsize[, borderType]]]) -> dst
pyrUp(src[, dst[, dstsize[, borderType]]]) -> dst

兩個函數(shù)原型參數(shù)一致，參數(shù)說明如下：

• src：輸入圖像；
• dst： 輸出圖像；
• dstsize： 輸出圖像尺寸，默認值按照 ((src.cols+1)/2, (src.rows+1)/2) 計算。

關(guān)于兩個函數(shù)的補充說明：

• cv2.pyrDown 從一個相對高分辨率的大尺寸的圖像上構(gòu)建一個金字塔，運行之后的結(jié)果是，圖像變小，分辨率降低（下采樣）；
• cv2.pyrUp 是一個上采樣的過程，盡管相對尺寸變大，但是分辨率不會增加，圖像會變得更模糊。

測試代碼如下：

import cv2 as cv

src = cv.imread("./testimg.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下采樣
dst = cv.pyrDown(src)
print(dst.shape[:2])
cv.imshow("dst", dst)

# 再次向下采樣
dst1 = cv.pyrDown(dst)
print(dst1.shape[:2])
cv.imshow("dst1", dst1)

cv.waitKey()

運行代碼之后，得到三張圖片，大小依次減小，分辨率降低。

通過上面運行得到的最小圖，在執(zhí)行向上采樣之后，圖片會變的模糊，這也說明上采樣和下采樣是非線性處理，它們是不可逆的有損處理，因此下采樣后的圖像是無法還原的，即使放大圖片也會變模糊（后面學(xué)習(xí)到拉普拉斯金字塔可以解決該問題）。

# 向上采樣
dst2 = cv.pyrUp(dst1)
print(dst2.shape[:2])
cv.imshow("dst2", dst2)

在總結(jié)一下上采樣和下采樣的步驟：

• 上采樣：使用 cv2.pyrUp 函數(shù)， 先將圖像在每個方向放大為原來的兩倍，新增的行和列用 0 填充，再使用先前同樣的內(nèi)核與放大后的圖像卷積，獲得新增像素的近似值;
• 下采樣：使用 cv2.pyrDown 函數(shù)，先對圖像進行高斯內(nèi)核卷積 ，再將所有偶數(shù)行和列去除。

拉普拉斯金字塔（Laplacian Pyramid， LP）

拉普拉斯金字塔主要用于重建圖像，由上文我們已經(jīng)知道在使用高斯金字塔的的時候，上采樣和下采樣會導(dǎo)致圖像細節(jié)丟失。

拉普拉斯就是為了在放大圖像的時候，可以預(yù)測殘差，何為殘差，即小圖像放大的時候，需要插入一些像素值，在上文直接插入的是 0，拉普拉斯金字塔算法可以根據(jù)周圍像素進行預(yù)測，從而實現(xiàn)對圖像最大程度的還原。

學(xué)習(xí)到原理如下：用高斯金字塔的每一層圖像，減去其上一層圖像上采樣并高斯卷積之后的預(yù)測圖像，得到一系列的差值圖像即為 LP 分解圖像（其中 LP 即為拉普拉斯金字塔圖像）。

關(guān)于拉普拉斯還存在一個公式（這是本系列課程第一次書寫公式），其中 L 為拉普拉斯金字塔圖像，G 為高斯金字塔圖像

使用下面的代碼進行測試。

import cv2 as cv

src = cv.imread("./testimg.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下采樣一次
dst = cv.pyrDown(src)
print(dst.shape[:2])
cv.imshow("dst", dst)

# 向上采樣一次
dst1 = cv.pyrUp(dst)
print(dst1.shape[:2])
cv.imshow("dst1", dst1)

# 計算拉普拉斯金字塔圖像
# 原圖 - 向上采樣一次的圖
laplace = cv.subtract(src, dst1)
cv.imshow("laplace", laplace)
cv.waitKey()

運行結(jié)果如下，相關(guān)的圖像已經(jīng)呈現(xiàn)出來，重點注意最右側(cè)的圖片。

這個地方需要注意下，如果你使用 cv.subtract(src, dst1) 函數(shù)，得到的是上圖效果，但是在使用還原的時候會發(fā)現(xiàn)問題，建議直接使用 -完成，匹配公式，修改代碼如下：

# cv.subtract(src, dst1)
laplace = src - dst1

代碼運行效果如下。

學(xué)習(xí)過程中發(fā)現(xiàn)這樣一段話：圖像尺寸最好是 2 的整次冪，如 256,512 等，否則在金字塔向上的過程中圖像的尺寸會不等，這會導(dǎo)致在拉普拉斯金字塔處理時由于不同尺寸矩陣相減而出錯。

這個我在實測的時候發(fā)現(xiàn)確實如此，例如案例中使用的圖像，在向下采樣 2 次的時候，圖像的尺寸就會發(fā)生變化，測試代碼如下：

import cv2 as cv

src = cv.imread("./testimg.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下采樣1次
dst1 = cv.pyrDown(src)
print(dst1.shape[:2])
cv.imshow("dst", dst1)
# 向下采樣2次
dst2 = cv.pyrDown(dst1)
print(dst1.shape[:2])
cv.imshow("dst2", dst2)

# 向上采樣1次
up_dst1 = cv.pyrUp(dst2)
print(up_dst1.shape[:2])
cv.imshow("up_dst1", up_dst1)

# 計算拉普拉斯金字塔圖像
# 采樣1次 - 向上采樣1次的圖
laplace = dst1 - up_dst1
cv.imshow("laplace", laplace)
cv.waitKey()

注意 print(up_dst1.shape[:2]) 部分的輸出如下：

(710, 400)
(355, 200)
(355, 200)
(356, 200)

如果在該基礎(chǔ)上使用拉普拉斯圖像金字塔，就會出現(xiàn)如下錯誤

Sizes of input arguments do not match

在總結(jié)一下拉普拉斯圖像金字塔的執(zhí)行過程：

• 向下采樣：用高斯金字塔的第 i 層減去 i+1 層做上采樣的圖像，得到拉普拉斯第 i 層的圖像；
• 向上采樣：用高斯金字塔的 i+1 層向上采樣加上拉普拉斯的第 i 層，得到第 i 層的原始圖像。

向下采樣上面的代碼已經(jīng)實現(xiàn)了，但是拉普拉斯向上采樣還未實現(xiàn)，完善一下代碼如下，為了代碼清晰，我們將變量命名進行修改。

import cv2 as cv

src = cv.imread("./testimg_rect.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 高斯金字塔第 0 層
gus0 = src # 原圖
# 高斯金字塔第 1 層
gus1 = cv.pyrDown(gus0)
# 高斯第 2 層
gus2 = cv.pyrDown(gus1)

# 拉普拉斯金字塔第 0 層
lap0 = gus0 - cv.pyrUp(gus1)
# 拉普拉斯金字塔第 1 層
lap1 = gus1 - cv.pyrUp(gus2)

# 顯示拉普拉斯第一層代碼
cv.imshow("laplace", lap1)
cv.waitKey()

下面用修改好的代碼完成還原圖片的操作。

import cv2 as cv

src = cv.imread("./testimg_rect.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 高斯金字塔第 0 層
gus0 = src # 原圖
# 高斯金字塔第 1 層
gus1 = cv.pyrDown(gus0)
# 高斯第 2 層
gus2 = cv.pyrDown(gus1)


# 拉普拉斯金字塔第 0 層
lap0 = gus0 - cv.pyrUp(gus1)
# 拉普拉斯金字塔第 1 層
lap1 = gus1 - cv.pyrUp(gus2)

rep = lap0 + cv.pyrUp(lap1 + cv.pyrUp(gus2))
gus_rep = cv.pyrUp(cv.pyrUp(gus2))

cv.imshow("rep", rep)
cv.imshow("gus_rep", gus_rep)
cv.waitKey()

以上代碼最重要的部分為下面兩句：

rep = lap0 + cv.pyrUp(lap1 + cv.pyrUp(gus2))
gus_rep = cv.pyrUp(cv.pyrUp(gus2))

第一行代碼中 lap1 + cv.pyrUp(gus2) 即文字公式 【用高斯金字塔的 i+1 層向上采樣加上拉普拉斯的第 i 層，得到第 i 層的原始圖像】的翻譯。

第二行代碼是使用直接向上采樣，最終得到的是損失細節(jié)的圖像。

上述代碼運行的結(jié)果如下，通過拉普拉斯可以完美還原圖像。

學(xué)習(xí)本案例之后，你可以在復(fù)盤本文開始部分的代碼，將其進行修改。

最后在學(xué)習(xí)一種技巧，可以直接將兩幅圖片呈現(xiàn)，代碼如下：

import cv2 as cv
import numpy as np
src = cv.imread("./testimg_rect.jpeg")
print(src.shape[:2])
cv.imshow("src", src)
# 向下采樣1次
down_dst1 = cv.pyrDown(src)
print(down_dst1.shape[:2])
cv.imshow("dst", down_dst1)


# 向上采樣1次
up_dst1 = cv.pyrUp(down_dst1)
print(up_dst1.shape[:2])
cv.imshow("up_dst1", up_dst1)

res = np.hstack((up_dst1, src))
cv.imshow('res', res)

cv.waitKey()

運行之后，通過 np.hstack((up_dst1, src))函數(shù)，將兩個圖像矩陣合并，實現(xiàn)效果如下：

到此這篇關(guān)于Python OpenCV高斯金字塔與拉普拉斯金字塔的實現(xiàn)的文章就介紹到這了,更多相關(guān)Python OpenCV金字塔內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！