陳國(guó)軍，程 琰，曹 岳，李 勝

基于目標(biāo)特征的植株深度圖像修復(fù)

陳國(guó)軍，程 琰，曹 岳，李 勝

(中國(guó)石油大學(xué)(華東)計(jì)算機(jī)與通信工程學(xué)院，山東 青島 266580)

針對(duì)植株深度圖像的像素錯(cuò)誤和缺失、常見(jiàn)的濾波方法無(wú)法準(zhǔn)確修復(fù)植株深度圖像的問(wèn)題，提出一種基于目標(biāo)特征的植株深度圖像修復(fù)方法。首先基于顏色和空間信息的圖像分割算法對(duì)植株彩色圖像進(jìn)行目標(biāo)分割，再檢索每個(gè)目標(biāo)的外輪廓，并對(duì)外輪廓進(jìn)行多邊形擬合；其次，基于目標(biāo)區(qū)域搜索深度圖像中具有正確深度值的像素作為目標(biāo)區(qū)域采樣點(diǎn)，并對(duì)葉片區(qū)域的圖像進(jìn)行歸一化；最后，利用空間擬合法計(jì)算各目標(biāo)區(qū)域的方程，修復(fù)區(qū)域內(nèi)小面積錯(cuò)誤和缺失的深度值，同時(shí)采用支持向量機(jī)和空間變換運(yùn)算對(duì)大面積錯(cuò)誤和缺失深度值的葉片區(qū)域進(jìn)行修復(fù)。實(shí)驗(yàn)結(jié)果表明，該方法能夠準(zhǔn)確地修復(fù)植株深度圖像中錯(cuò)誤、缺失的深度數(shù)據(jù)，且能夠有效地保護(hù)目標(biāo)區(qū)域的邊緣信息。

植株深度圖像修復(fù)；目標(biāo)分割；空間擬合；支持向量機(jī)；空間變換運(yùn)算

在計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)領(lǐng)域中，三維數(shù)據(jù)可應(yīng)用在3D打印、文物修復(fù)、三維重建等眾多領(lǐng)域中。隨著深度相機(jī)的問(wèn)世，三維數(shù)據(jù)的獲取也更加簡(jiǎn)便。然而，深度相機(jī)在采集深度圖像時(shí)，往往受到自身傳感器、與物體間的距離、物體表面的平整度等因素影響，導(dǎo)致獲取的深度數(shù)據(jù)錯(cuò)誤和缺失，這些錯(cuò)誤的深度數(shù)據(jù)往往直接應(yīng)用到交互中，降低了應(yīng)用的準(zhǔn)確性。因此修復(fù)深度圖像中錯(cuò)誤和缺失的深度數(shù)據(jù)是當(dāng)前亟待解決的課題之一。

目前常見(jiàn)的修復(fù)空洞方法有濾波法、目標(biāo)特征法。濾波法是應(yīng)用最廣泛的深度圖像修復(fù)法，改進(jìn)的濾波算法[1-4]對(duì)于形狀規(guī)則無(wú)遮擋的三維物體有著良好的修復(fù)效果，但對(duì)于不規(guī)則三維物體的深度數(shù)據(jù)的修復(fù)效果并不樂(lè)觀。CHEN等[5]采用彩色圖引導(dǎo)、區(qū)域自適應(yīng)、深度選擇框架，使用2個(gè)局部濾波器對(duì)深度圖像進(jìn)行濾波，能夠有效地保持目標(biāo)邊界的深度像素，但對(duì)于目標(biāo)內(nèi)部缺失的深度數(shù)據(jù)尚無(wú)法準(zhǔn)確修復(fù)；WASZA等[6]通過(guò)歸一化卷積和引導(dǎo)濾波修復(fù)多幀圖像的深度數(shù)據(jù)，由于只利用深度圖像，處理的結(jié)果仍受限制；徐歡和鄭江濱[7]利用深度數(shù)據(jù)之間的相關(guān)性，同時(shí)結(jié)合彩色圖像，通過(guò)改進(jìn)的雙邊濾波器填補(bǔ)深度圖像中的空洞，但針對(duì)較大面積的空洞修復(fù)效果仍不理想；吳倩等[8]結(jié)合彩色圖像局部分割，利用引導(dǎo)濾波對(duì)深度圖像進(jìn)行平滑、去噪，但該算法針對(duì)同色不同距的空洞修復(fù)存在不足。

此外，眾多學(xué)者基于三維物體的特征提出修復(fù)方法。LI等[9]利用前后幀的物體連貫性關(guān)系，對(duì)缺失的曲面片進(jìn)行填充，但未實(shí)現(xiàn)從全局來(lái)找空洞表面的關(guān)系；SUNG等[10]基于數(shù)據(jù)驅(qū)動(dòng)技術(shù)，通過(guò)已知的數(shù)據(jù)集和物體的對(duì)稱性補(bǔ)全三維數(shù)據(jù)，然而無(wú)法解決存在遮擋關(guān)系的三維物體的深度數(shù)據(jù)補(bǔ)全；沈躍等[11]基于K-means和近鄰回歸算法對(duì)植株深度圖像進(jìn)行修復(fù)，能夠較好地修復(fù)葉片邊緣的空洞，但對(duì)于葉片內(nèi)部的空洞修復(fù)效果不佳；高雅平等[12]在深度圖像上引入RGB圖像搜索候選最優(yōu)匹配塊，結(jié)合Criminisi算法，填補(bǔ)深度圖像的空洞，針對(duì)人物姿態(tài)平滑有著良好的修復(fù)效果，但對(duì)于復(fù)雜物體的修復(fù)效果尚不理想。

在層次結(jié)構(gòu)復(fù)雜、不規(guī)則的三維物體中，植株是一個(gè)典型樣例。本文充分利用植株的彩色圖像信息、已知的深度數(shù)據(jù)、葉片的特征信息對(duì)植株深度圖像進(jìn)行修復(fù)，提出基于目標(biāo)特征的植株深度圖像修復(fù)方法。

1 植株圖像預(yù)處理

在預(yù)處理階段，將植株的彩色圖像作為引導(dǎo)，對(duì)彩色圖像進(jìn)行目標(biāo)分割，再檢索每個(gè)目標(biāo)的外輪廓，并進(jìn)行多邊形擬合；其次，基于目標(biāo)區(qū)域搜索深度圖像中具有正確深度值的像素作為目標(biāo)區(qū)域采樣點(diǎn)，并對(duì)深度數(shù)據(jù)正確的完整葉片區(qū)域圖像進(jìn)行歸一化處理，為后續(xù)修復(fù)提供數(shù)據(jù)基礎(chǔ)。

1.1 植株彩色圖像預(yù)處理

采用基于顏色和空間信息的圖像分割算法[13]對(duì)彩色圖像進(jìn)行目標(biāo)分割，將1幅植株的源彩色圖像S分割為n幅彩色圖像，如葉、莖、花盆、背景墻等多個(gè)不同目標(biāo)的彩色圖像，并進(jìn)行標(biāo)記，目標(biāo)圖像集記為T={ti|i=1,2,···,n}，ti為第i個(gè)目標(biāo)圖像。目標(biāo)分割后的各區(qū)域彩色圖像如圖1所示。

圖1 目標(biāo)分割后的各區(qū)域彩色圖像

目標(biāo)分割后，采用SUZUKI和BE[14]提出的基于邊界跟隨的拓?fù)浣Y(jié)構(gòu)分析數(shù)字二值圖像算法，提取目標(biāo)圖像t中每個(gè)連通區(qū)域的外輪廓點(diǎn)集，基于Douglas-Peucker算法計(jì)算擬合的多邊形點(diǎn)集。算法流程如下：

(1) 將目標(biāo)圖像轉(zhuǎn)換為灰度圖像，再逐行掃描，直到遇到連通區(qū)域的一個(gè)點(diǎn)，以其為起始點(diǎn)并跟蹤輪廓，標(biāo)記邊界上的像素。當(dāng)輪廓完整閉合時(shí)，掃描回到上一個(gè)位置，直到再次發(fā)現(xiàn)新的區(qū)域。其中，提取的外輪廓點(diǎn)集記作={c={c,j|=1,2,···,}|=1,2,···,}，c,j為目標(biāo)圖像t的第個(gè)外輪廓。此外，目標(biāo)區(qū)域集表示為={tc={tc,j=1,2,···,}|=1,2,···,}，目標(biāo)區(qū)域tc,j為外輪廓c,j內(nèi)部的全部像素。

(2) 以為徑向距離在每個(gè)外輪廓c,j上選取有限個(gè)數(shù)的點(diǎn)，并將其依次連接為折線，完成每個(gè)外輪廓c,j的多邊形擬合，擬合的多邊形點(diǎn)集記為={p={p,j|=1,2,···,}|=1,2,···,}。

目標(biāo)圖像1的外輪廓點(diǎn)集1={1,j|=1,2,3,4}和多邊形點(diǎn)集1={1,j|=1,2,3,4}如圖2所示，白色表示外輪廓點(diǎn)集，圓圈表示擬合的多邊形點(diǎn)集。

圖2 t1的外輪廓點(diǎn)集及多邊形點(diǎn)集

1.2 采樣點(diǎn)提取及歸一化處理

準(zhǔn)確的采樣點(diǎn)是進(jìn)行空間擬合的重要數(shù)據(jù)基礎(chǔ)，為了提取目標(biāo)區(qū)域內(nèi)的采樣點(diǎn)，基于逐行掃描算法搜索目標(biāo)區(qū)域中的像素點(diǎn)，并設(shè)定深度閾值Th用以判斷深度圖像在(,)處的像素值是否準(zhǔn)確。采樣點(diǎn)提取的具體步驟如下：

(1)基于逐行掃描算法，將目標(biāo)區(qū)域tc,j內(nèi)的像素坐標(biāo)(,)映射至tc,j所對(duì)應(yīng)的深度圖像，判別深度圖像在(,)處的像素值是否準(zhǔn)確；

(2)若映射至深度圖像的(,)處的像素值準(zhǔn)確(即≠0，且滿足Th)，則該像素為區(qū)域tc,j內(nèi)的采樣點(diǎn)，區(qū)域tc,j內(nèi)的采樣點(diǎn)集記作SampP,j={(,,)|(,,)∈tc,j}；

(3)若映射至深度圖像的(,)處的像素值不準(zhǔn)確(即0，或不滿足Th)，則該像素為區(qū)域tc,j內(nèi)的待修復(fù)像素，并將該像素值設(shè)為0，區(qū)域tc,j內(nèi)的待修復(fù)像素點(diǎn)集記作RepP,j={(,,0)|(,,0)∈tc,j}。

此外，對(duì)葉片區(qū)域tc,j進(jìn)行歸一化處理，便于后續(xù)進(jìn)行特征提取及訓(xùn)練。

2 植株深度圖像修復(fù)

本文將植株深度圖像修復(fù)分為：基于空間擬合的植株深度圖像修復(fù)、基于SVM和空間變換運(yùn)算的植株深度圖像修復(fù)。設(shè)定一個(gè)閾值Th，用以確定目標(biāo)區(qū)域tc,j采用何種修復(fù)方法，Th設(shè)定為0.3(這是由于人為刪除0.3倍及以上的采樣點(diǎn)個(gè)數(shù)后，擬合出的空間方程的均方根誤差大于0.5，擬合效果不佳)。判別步驟如下：

(1) 當(dāng)目標(biāo)區(qū)域tc,j的待修復(fù)像素點(diǎn)的個(gè)數(shù)與區(qū)域tc,j內(nèi)的全部像素點(diǎn)個(gè)數(shù)的比值小于Th時(shí)，即

此時(shí)區(qū)域內(nèi)存在小面積錯(cuò)誤、缺失的像素，采樣點(diǎn)集SampP,j的個(gè)數(shù)多，待修復(fù)像素點(diǎn)適宜采用基于空間擬合的方法對(duì)植株深度圖像的目標(biāo)區(qū)域tc,j進(jìn)行修復(fù)；

(2) 當(dāng)目標(biāo)區(qū)域tc,j的待修復(fù)像素點(diǎn)的個(gè)數(shù)與區(qū)域tc,j內(nèi)的全部像素點(diǎn)個(gè)數(shù)的比值大于等于Th時(shí)，即

此時(shí)區(qū)域內(nèi)存在大面積錯(cuò)誤、缺失的像素，采樣點(diǎn)集SampP,j的個(gè)數(shù)少，擬合出的方程無(wú)法有效表述區(qū)域的曲面特征，此時(shí)待修復(fù)像素點(diǎn)適宜采用基于SVM和空間變換運(yùn)算對(duì)植株深度圖像的目標(biāo)區(qū)域tc,j進(jìn)行修復(fù)。

2.1 基于空間擬合的植株深度圖像修復(fù)

針對(duì)小面積錯(cuò)誤、缺失深度數(shù)據(jù)的區(qū)域，利用空間擬合法計(jì)算該目標(biāo)區(qū)域的方程，進(jìn)而計(jì)算待修復(fù)像素的深度值，以修復(fù)該區(qū)域中小面積錯(cuò)誤、缺失的深度數(shù)據(jù)。修復(fù)步驟如下：

(1) 本文采用2種方程對(duì)區(qū)域采樣點(diǎn)進(jìn)行擬合：

①在平面擬合中，平面方程表示為