目錄
- 實(shí)現(xiàn)原理
- 功能函數(shù)代碼
- C++測(cè)試代碼
- 完整改進(jìn)代碼
本文主要介紹了OpenCV實(shí)現(xiàn)背景分離(證件照背景替換)，具有一定的參考價(jià)值，感興趣的可以了解一下
實(shí)現(xiàn)原理
圖像背景分離是常見的圖像處理方法之一，屬于圖像分割范疇。如何較優(yōu)地提取背景區(qū)域，難點(diǎn)在于兩個(gè)：
- 背景和前景的分割。針對(duì)該難點(diǎn)，通過人機(jī)交互等方法獲取背景色作為參考值，結(jié)合差值均方根設(shè)定合理閾值，實(shí)現(xiàn)前景的提取，PS上稱為蒙版；提取過程中，可能會(huì)遇到前景像素丟失的情況，對(duì)此可通過開閉運(yùn)算或者提取外部輪廓線的方式，將前景內(nèi)部填充完畢。
- 前景邊緣輪廓區(qū)域的融合。如果不能很好地融合，就能看出明顯的摳圖痕跡，所以融合是很關(guān)鍵的一步。首先，對(duì)蒙版區(qū)（掩膜）進(jìn)行均值濾波，其邊緣區(qū)會(huì)生成介于0-255之間的緩存區(qū)；其次，通過比例分配的方式對(duì)緩存區(qū)的像素點(diǎn)上色，我固定的比例為前景0.3背景0.7，因?yàn)楸尘盀閱紊珔^(qū)，背景比例高，可以使得緩存區(qū)顏色傾向于背景區(qū)，且實(shí)現(xiàn)較好地過渡；最后，蒙版為0的區(qū)域上背景色，蒙版為255的區(qū)域不變。
至此，圖像實(shí)現(xiàn)了分割，完成背景分離。C++實(shí)現(xiàn)代碼如下。
功能函數(shù)代碼
// 背景分離
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
cv::Mat bgra, mask;
// 轉(zhuǎn)化為BGRA格式，帶透明度，4通道
cvtColor(src, bgra, COLOR_BGR2BGRA);
mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
int row = src.rows;
int col = src.cols;
// 異常數(shù)值修正
input.p.x = max(0, min(col, input.p.x));
input.p.y = max(0, min(row, input.p.y));
input.thresh = max(5, min(100, input.thresh));
input.transparency = max(0, min(255, input.transparency));
input.size = max(0, min(30, input.size));
// 確定背景色
uchar ref_b = src.atVec3b>(input.p.y, input.p.x)[0];
uchar ref_g = src.atVec3b>(input.p.y, input.p.x)[1];
uchar ref_r = src.atVec3b>(input.p.y, input.p.x)[2];
// 計(jì)算蒙版區(qū)域（掩膜）
for (int i = 0; i row; ++i)
{
uchar *m = mask.ptruchar>(i);
uchar *b = src.ptruchar>(i);
for (int j = 0; j col; ++j)
{
if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
{
m[j] = 255;
}
}
}
// 尋找輪廓，作用是填充輪廓內(nèi)黑洞
vectorvectorPoint>> contour;
vectorVec4i> hierarchy;
// RETR_TREE以網(wǎng)狀結(jié)構(gòu)提取所有輪廓，CHAIN_APPROX_NONE獲取輪廓的每個(gè)像素
findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
drawContours(mask, contour, -1, Scalar(255), FILLED,4);
// 閉運(yùn)算
cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5));
cv::morphologyEx(mask, mask, MORPH_CLOSE, element);
// 掩膜濾波，是為了邊緣虛化
cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
// 改色
for (int i = 0; i row; ++i)
{
uchar *r = bgra.ptruchar>(i);
uchar *m = mask.ptruchar>(i);
for (int j = 0; j col; ++j)
{
// 蒙版為0的區(qū)域就是標(biāo)準(zhǔn)背景區(qū)
if (m[j] == 0)
{
r[4 * j] = uchar(input.color[0]);
r[4 * j + 1] = uchar(input.color[1]);
r[4 * j + 2] = uchar(input.color[2]);
r[4 * j + 3] = uchar(input.transparency);
}
// 不為0且不為255的區(qū)域是輪廓區(qū)域（邊緣區(qū)），需要虛化處理
else if (m[j] != 255)
{
// 邊緣處按比例上色
int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
newb = max(0, min(255, newb));
newg = max(0, min(255, newg));
newr = max(0, min(255, newr));
newt = max(0, min(255, newt));
r[4 * j] = newb;
r[4 * j + 1] = newg;
r[4 * j + 2] = newr;
r[4 * j + 3] = newt;
}
}
}
return bgra;
}
C++測(cè)試代碼
#include opencv2/opencv.hpp>
#include iostream>
#include algorithm>
#include time.h>
using namespace cv;
using namespace std;
// 輸入?yún)?shù)
struct Inputparama {
int thresh = 30; // 背景識(shí)別閾值，該值越小，則識(shí)別非背景區(qū)面積越大，需有合適范圍，目前為5-60
int transparency = 255; // 背景替換色透明度，255為實(shí)，0為透明
int size = 7; // 非背景區(qū)邊緣虛化參數(shù)，該值越大，則邊緣虛化程度越明顯
cv::Point p = cv::Point(0, 0); // 背景色采樣點(diǎn)，可通過人機(jī)交互獲取，也可用默認(rèn)(0,0)點(diǎn)顏色作為背景色
cv::Scalar color = cv::Scalar(255, 255, 255); // 背景色
};
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input);
// 計(jì)算差值均方根
int geiDiff(uchar b,uchar g,uchar r,uchar tb,uchar tg,uchar tr)
{
return int(sqrt(((b - tb)*(b - tb) + (g - tg)*(g - tg) + (r - tr)*(r - tr))/3));
}
int main()
{
cv::Mat src = imread("111.jpg");
Inputparama input;
input.thresh = 100;
input.transparency = 255;
input.size = 6;
input.color = cv::Scalar(0, 0, 255);
clock_t s, e;
s = clock();
cv::Mat result = BackgroundSeparation(src, input);
e = clock();
double dif = e - s;
cout "time:" dif endl;
imshow("original", src);
imshow("result", result);
imwrite("result1.png", result);
waitKey(0);
return 0;
}
// 背景分離
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
cv::Mat bgra, mask;
// 轉(zhuǎn)化為BGRA格式，帶透明度，4通道
cvtColor(src, bgra, COLOR_BGR2BGRA);
mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
int row = src.rows;
int col = src.cols;
// 異常數(shù)值修正
input.p.x = max(0, min(col, input.p.x));
input.p.y = max(0, min(row, input.p.y));
input.thresh = max(5, min(100, input.thresh));
input.transparency = max(0, min(255, input.transparency));
input.size = max(0, min(30, input.size));
// 確定背景色
uchar ref_b = src.atVec3b>(input.p.y, input.p.x)[0];
uchar ref_g = src.atVec3b>(input.p.y, input.p.x)[1];
uchar ref_r = src.atVec3b>(input.p.y, input.p.x)[2];
// 計(jì)算蒙版區(qū)域（掩膜）
for (int i = 0; i row; ++i)
{
uchar *m = mask.ptruchar>(i);
uchar *b = src.ptruchar>(i);
for (int j = 0; j col; ++j)
{
if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
{
m[j] = 255;
}
}
}
// 尋找輪廓，作用是填充輪廓內(nèi)黑洞
vectorvectorPoint>> contour;
vectorVec4i> hierarchy;
// RETR_TREE以網(wǎng)狀結(jié)構(gòu)提取所有輪廓，CHAIN_APPROX_NONE獲取輪廓的每個(gè)像素
findContours(mask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
drawContours(mask, contour, -1, Scalar(255), FILLED,4);
// 閉運(yùn)算
cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(5, 5));
cv::morphologyEx(mask, mask, MORPH_CLOSE, element);
// 掩膜濾波，是為了邊緣虛化
cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
// 改色
for (int i = 0; i row; ++i)
{
uchar *r = bgra.ptruchar>(i);
uchar *m = mask.ptruchar>(i);
for (int j = 0; j col; ++j)
{
// 蒙版為0的區(qū)域就是標(biāo)準(zhǔn)背景區(qū)
if (m[j] == 0)
{
r[4 * j] = uchar(input.color[0]);
r[4 * j + 1] = uchar(input.color[1]);
r[4 * j + 2] = uchar(input.color[2]);
r[4 * j + 3] = uchar(input.transparency);
}
// 不為0且不為255的區(qū)域是輪廓區(qū)域（邊緣區(qū)），需要虛化處理
else if (m[j] != 255)
{
// 邊緣處按比例上色
int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
newb = max(0, min(255, newb));
newg = max(0, min(255, newg));
newr = max(0, min(255, newr));
newt = max(0, min(255, newt));
r[4 * j] = newb;
r[4 * j + 1] = newg;
r[4 * j + 2] = newr;
r[4 * j + 3] = newt;
}
}
}
return bgra;
}
測(cè)試效果
圖1 原圖和紅底色效果圖對(duì)比
圖2 原圖和藍(lán)底色效果圖對(duì)比
圖3 原圖和透明底色效果圖對(duì)比
如源碼所示，函數(shù)輸入?yún)?shù)共有5項(xiàng)，其說明如下：
- thresh為背景識(shí)別閾值，該值范圍為5-100，用來區(qū)分背景區(qū)和前景區(qū)，合理設(shè)置，不然可能出現(xiàn)前景區(qū)大片面積丟失的情況。
- p為背景色采樣點(diǎn)，可通過人機(jī)交互的方式人為選中背景區(qū)顏色，默認(rèn)為圖像原點(diǎn)的顏色。
- color為重繪背景色。
- transparency為重繪背景色的透明度，255為實(shí)色，0為全透明。
- size為邊緣虛化參數(shù)，控制均值濾波的窗口尺寸，范圍為0-30。
我對(duì)比了百度搜索證件照一鍵改色網(wǎng)站的效果，基本一致，它們處理一次4塊錢，我們這是免費(fèi)的，授人以魚不如授人以漁對(duì)吧，學(xué)到就是賺到。當(dāng)然人家的功能肯定更強(qiáng)大，估計(jì)集成了深度學(xué)習(xí)一類的框架，我們還需要調(diào)參。美中不足的地方就由兄弟們一起改進(jìn)了。
細(xì)心的biliy發(fā)現(xiàn)了我貼圖的問題，如圖1圖2圖3所示，領(lǐng)口處被當(dāng)做背景色了，這樣當(dāng)然不行，接下來開始改進(jìn)功能。
1）首先分析原因，之所以領(lǐng)口被當(dāng)做背景色，是因?yàn)轭I(lǐng)口為白色，同背景色一致，且連接圖像邊緣處，進(jìn)行輪廓分析時(shí)，錯(cuò)將這個(gè)領(lǐng)口識(shí)別為輪廓外，如圖4所示。
圖4 識(shí)別失敗
2）正如圖4所示，僅僅用閉運(yùn)算是無法有效補(bǔ)償?shù)?，如果將窗口尺寸加大還可能使其他位置過度填充，接下來考慮如何只填充這類大洞。先將處理圖像的寬高各擴(kuò)展50個(gè)pixel，這樣做的好處是令輪廓的識(shí)別更精準(zhǔn)和清晰，并且避免了頭頂處因貼近圖像邊緣，而導(dǎo)致的過度膨脹現(xiàn)象。
cv::Mat tmask = cv::Mat::zeros(row + 50, col + 50, CV_8UC1);
mask.copyTo(tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)));
3）之后進(jìn)行黑帽運(yùn)算，即閉運(yùn)算減原圖，得到圖5。
圖5 黑帽運(yùn)算
4）用Clear_MicroConnected_Area函數(shù)清除小面積連通區(qū)，得到圖6。
（該函數(shù)介紹見：https://www.jb51.net/article/221904.htm）
圖6 清除小面積連通區(qū)
5）黑帽運(yùn)算結(jié)果加至原輪廓圖，并截取實(shí)際圖像尺寸。
// 黑帽運(yùn)算獲取同背景色類似的區(qū)域，識(shí)別后填充
cv::Mat hat;
cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(31, 31));
cv::morphologyEx(tmask, hat, MORPH_BLACKHAT, element);
hat.setTo(255, hat > 0);
cv::Mat hatd;
// 清除小面積區(qū)域
Clear_MicroConnected_Areas(hat, hatd, 450);
tmask = tmask + hatd;
// 截取實(shí)際尺寸
mask = tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)).clone();
6）至此，就得到完整的輪廓了，如圖7所示，完整代碼見后方。
圖7 完整輪廓圖
完整改進(jìn)代碼
#include opencv2/opencv.hpp>
#include iostream>
#include algorithm>
#include time.h>
using namespace cv;
using namespace std;
// 輸入?yún)?shù)
struct Inputparama {
int thresh = 30; // 背景識(shí)別閾值，該值越小，則識(shí)別非背景區(qū)面積越大，需有合適范圍，目前為5-60
int transparency = 255; // 背景替換色透明度，255為實(shí)，0為透明
int size = 7; // 非背景區(qū)邊緣虛化參數(shù)，該值越大，則邊緣虛化程度越明顯
cv::Point p = cv::Point(0, 0); // 背景色采樣點(diǎn)，可通過人機(jī)交互獲取，也可用默認(rèn)(0,0)點(diǎn)顏色作為背景色
cv::Scalar color = cv::Scalar(255, 255, 255); // 背景色
};
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input);
void Clear_MicroConnected_Areas(cv::Mat src, cv::Mat dst, double min_area);
// 計(jì)算差值均方根
int geiDiff(uchar b,uchar g,uchar r,uchar tb,uchar tg,uchar tr)
{
return int(sqrt(((b - tb)*(b - tb) + (g - tg)*(g - tg) + (r - tr)*(r - tr))/3));
}
int main()
{
cv::Mat src = imread("111.jpg");
Inputparama input;
input.thresh = 100;
input.transparency = 255;
input.size = 6;
input.color = cv::Scalar(0, 0, 255);
clock_t s, e;
s = clock();
cv::Mat result = BackgroundSeparation(src, input);
e = clock();
double dif = e - s;
cout "time:" dif endl;
imshow("original", src);
imshow("result", result);
imwrite("result1.png", result);
waitKey(0);
return 0;
}
// 背景分離
cv::Mat BackgroundSeparation(cv::Mat src, Inputparama input)
{
cv::Mat bgra, mask;
// 轉(zhuǎn)化為BGRA格式，帶透明度，4通道
cvtColor(src, bgra, COLOR_BGR2BGRA);
mask = cv::Mat::zeros(bgra.size(), CV_8UC1);
int row = src.rows;
int col = src.cols;
// 異常數(shù)值修正
input.p.x = max(0, min(col, input.p.x));
input.p.y = max(0, min(row, input.p.y));
input.thresh = max(5, min(200, input.thresh));
input.transparency = max(0, min(255, input.transparency));
input.size = max(0, min(30, input.size));
// 確定背景色
uchar ref_b = src.atVec3b>(input.p.y, input.p.x)[0];
uchar ref_g = src.atVec3b>(input.p.y, input.p.x)[1];
uchar ref_r = src.atVec3b>(input.p.y, input.p.x)[2];
// 計(jì)算蒙版區(qū)域（掩膜）
for (int i = 0; i row; ++i)
{
uchar *m = mask.ptruchar>(i);
uchar *b = src.ptruchar>(i);
for (int j = 0; j col; ++j)
{
if ((geiDiff(b[3*j],b[3*j+1],b[3*j+2],ref_b,ref_g,ref_r)) >input.thresh)
{
m[j] = 255;
}
}
}
cv::Mat tmask = cv::Mat::zeros(row + 50, col + 50, CV_8UC1);
mask.copyTo(tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)));
// 尋找輪廓，作用是填充輪廓內(nèi)黑洞
vectorvectorPoint>> contour;
vectorVec4i> hierarchy;
// RETR_TREE以網(wǎng)狀結(jié)構(gòu)提取所有輪廓，CHAIN_APPROX_NONE獲取輪廓的每個(gè)像素
findContours(tmask, contour, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_NONE);
drawContours(tmask, contour, -1, Scalar(255), FILLED,16);
// 黑帽運(yùn)算獲取同背景色類似的區(qū)域，識(shí)別后填充
cv::Mat hat;
cv::Mat element = getStructuringElement(MORPH_ELLIPSE, Size(31, 31));
cv::morphologyEx(tmask, hat, MORPH_BLACKHAT, element);
hat.setTo(255, hat > 0);
cv::Mat hatd;
Clear_MicroConnected_Areas(hat, hatd, 450);
tmask = tmask + hatd;
mask = tmask(cv::Range(25, 25 + mask.rows), cv::Range(25, 25 + mask.cols)).clone();
// 掩膜濾波，是為了邊緣虛化
cv::blur(mask, mask, Size(2 * input.size+1, 2 * input.size + 1));
// 改色
for (int i = 0; i row; ++i)
{
uchar *r = bgra.ptruchar>(i);
uchar *m = mask.ptruchar>(i);
for (int j = 0; j col; ++j)
{
// 蒙版為0的區(qū)域就是標(biāo)準(zhǔn)背景區(qū)
if (m[j] == 0)
{
r[4 * j] = uchar(input.color[0]);
r[4 * j + 1] = uchar(input.color[1]);
r[4 * j + 2] = uchar(input.color[2]);
r[4 * j + 3] = uchar(input.transparency);
}
// 不為0且不為255的區(qū)域是輪廓區(qū)域（邊緣區(qū)），需要虛化處理
else if (m[j] != 255)
{
// 邊緣處按比例上色
int newb = (r[4 * j] * m[j] * 0.3 + input.color[0] * (255 - m[j])*0.7) / ((255 - m[j])*0.7+ m[j] * 0.3);
int newg = (r[4 * j+1] * m[j] * 0.3 + input.color[1] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
int newr = (r[4 * j + 2] * m[j] * 0.3 + input.color[2] * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
int newt = (r[4 * j + 3] * m[j] * 0.3 + input.transparency * (255 - m[j])*0.7) / ((255 - m[j])*0.7 + m[j] * 0.3);
newb = max(0, min(255, newb));
newg = max(0, min(255, newg));
newr = max(0, min(255, newr));
newt = max(0, min(255, newt));
r[4 * j] = newb;
r[4 * j + 1] = newg;
r[4 * j + 2] = newr;
r[4 * j + 3] = newt;
}
}
}
return bgra;
}
void Clear_MicroConnected_Areas(cv::Mat src, cv::Mat dst, double min_area)
{
// 備份復(fù)制
dst = src.clone();
std::vectorstd::vectorcv::Point> > contours; // 創(chuàng)建輪廓容器
std::vectorcv::Vec4i> hierarchy;
// 尋找輪廓的函數(shù)
// 第四個(gè)參數(shù)CV_RETR_EXTERNAL，表示尋找最外圍輪廓
// 第五個(gè)參數(shù)CV_CHAIN_APPROX_NONE，表示保存物體邊界上所有連續(xù)的輪廓點(diǎn)到contours向量?jī)?nèi)
cv::findContours(src, contours, hierarchy, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_NONE, cv::Point());
if (!contours.empty() !hierarchy.empty())
{
std::vectorstd::vectorcv::Point> >::const_iterator itc = contours.begin();
// 遍歷所有輪廓
while (itc != contours.end())
{
// 定位當(dāng)前輪廓所在位置
cv::Rect rect = cv::boundingRect(cv::Mat(*itc));
// contourArea函數(shù)計(jì)算連通區(qū)面積
double area = contourArea(*itc);
// 若面積小于設(shè)置的閾值
if (area min_area)
{
// 遍歷輪廓所在位置所有像素點(diǎn)
for (int i = rect.y; i rect.y + rect.height; i++)
{
uchar *output_data = dst.ptruchar>(i);
for (int j = rect.x; j rect.x + rect.width; j++)
{
// 將連通區(qū)的值置0
if (output_data[j] == 255)
{
output_data[j] = 0;
}
}
}
}
itc++;
}
}
}
改進(jìn)效果
圖8 原圖與紅底對(duì)比圖
圖9 原圖與藍(lán)底對(duì)比圖
圖10 原圖與透明底對(duì)比圖
到此這篇關(guān)于OpenCV實(shí)現(xiàn)背景分離(證件照背景替換)的文章就介紹到這了,更多相關(guān)OpenCV 背景分離內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- Opencv實(shí)現(xiàn)摳圖背景圖替換功能
- 基于OpenCV python3實(shí)現(xiàn)證件照換背景的方法
- Python + opencv對(duì)拍照得到的圖片進(jìn)行背景去除的實(shí)現(xiàn)方法
- python3基于OpenCV實(shí)現(xiàn)證件照背景替換
- opencv3/C++實(shí)現(xiàn)視頻背景去除建模(BSM)
- 用opencv給圖片換背景色的示例代碼
