劉 宇，金偉正，范賜恩，鄒 煉

(武漢大學(xué) 電子信息學(xué)院，武漢 430072)(*通信作者電子郵箱jwz@whu.edu.cn)

0 引言

攝影愛(ài)好者們通常遇到這樣的問(wèn)題：感興趣的攝影對(duì)象被柵欄，鐵絲網(wǎng)等物體所遮擋，無(wú)論如何挑選拍攝角度，都無(wú)法獲得理想的畫(huà)面。在拍攝籠子里的動(dòng)物、安全護(hù)欄里的自然風(fēng)景或建筑物時(shí)，或者拍攝籬笆對(duì)面的人像時(shí)，這些動(dòng)輒橫貫了整幅圖像的遮擋物，常常喧賓奪主，將人們感興趣的拍攝對(duì)象分割成支離破碎的小塊，嚴(yán)重影響了畫(huà)面的美觀。對(duì)于圖像瀏覽者來(lái)說(shuō)，同樣也不希望視野被這些惱人的障礙物所阻隔。于是，利用圖像處理技術(shù)，將這些惱人的障礙物去除，還原出一個(gè)完整、干凈的圖像就成為了一個(gè)值得探討的話題。

網(wǎng)狀遮擋去除，是本文作者對(duì)英文單詞“de-fencing”的意譯，指的就是將上文所說(shuō)的網(wǎng)狀的遮擋物從圖像或者視頻中去除的過(guò)程。這個(gè)概念由Liu等[1]首次提出。他們將這個(gè)問(wèn)題分解成了3個(gè)步驟：1)網(wǎng)狀結(jié)構(gòu)的感知；2)遮擋物的分割；3)去掉遮擋后圖像的修復(fù)。其后的研究[2-9]也都是從這三個(gè)方面入手。

在圖像中檢測(cè)出網(wǎng)狀的結(jié)構(gòu)是一切的開(kāi)始。網(wǎng)狀結(jié)構(gòu)的感知與分割實(shí)際上是一個(gè)前景背景的語(yǔ)義分割問(wèn)題。不過(guò)不同于常見(jiàn)的前背景分割，在這個(gè)應(yīng)用中，要保留的是背景，而作為前景的網(wǎng)狀遮擋物，則是需要去除的物體。示例如圖1所示。

圖1 網(wǎng)狀遮擋物去除示例

在一幅被安全護(hù)欄或者籠子遮擋的圖像中，遮擋物占據(jù)的像素能夠占到整幅圖像的18%～53%[1]，但由于其形狀特點(diǎn)，這些像素分散分布在整幅圖像中。常用的物體檢測(cè)方法像行人檢測(cè)[10]通常是利用一個(gè)矩形框在圖像中滑動(dòng)搜索，利用框內(nèi)像素的顏色、紋理等特征給出預(yù)測(cè)的參考分?jǐn)?shù)來(lái)實(shí)現(xiàn)對(duì)物體的檢測(cè)，但類(lèi)似這樣的物體探測(cè)方法，對(duì)于這種網(wǎng)狀中空的物體并不適用。網(wǎng)格狀的遮擋物，在局部特征上呈現(xiàn)的是一種顏色較為均勻的細(xì)長(zhǎng)形狀，類(lèi)似的特征在自然圖像中極為常見(jiàn)，樹(shù)木的枝干、道路邊的電線桿及路燈、人衣服上的花紋以及一些動(dòng)物身上的斑紋都有可能呈現(xiàn)出類(lèi)似的特征。而假如只關(guān)注更大尺度的特征，搜索到的矩形框中不僅包括想移除的遮擋物，更多的像素屬于需要保留的背景。因此，對(duì)于網(wǎng)狀結(jié)構(gòu)遮擋物的探測(cè)，本研究需要考慮其在較高尺度上的特征的同時(shí)，保留其在局部小尺度上的性質(zhì)，從而實(shí)現(xiàn)前景與背景的正確分割。Liu等[1]和Park等[6]使用Park等[11]提出的半規(guī)則紋理探測(cè)算法來(lái)檢測(cè)網(wǎng)狀結(jié)構(gòu)，該算法首先在圖像中尋找可能的網(wǎng)格節(jié)點(diǎn)，再利用網(wǎng)格在空間上排列的規(guī)律性生長(zhǎng)出其他網(wǎng)格節(jié)點(diǎn)，該算法在一些排列比較均勻規(guī)則的網(wǎng)狀遮擋物的探測(cè)上準(zhǔn)確性較高，但對(duì)于一些不那么規(guī)則或是異形的網(wǎng)格來(lái)說(shuō)，該算法往往不能準(zhǔn)確和完全地找到所有前景遮擋物。Farid等[3]認(rèn)為遮擋物的顏色應(yīng)當(dāng)滿足一定的概率分布，他們利用人工輸入的遮擋物樣本點(diǎn)作為顏色參考，從整幅圖像中分割出前景遮擋，這種方法十分依賴人工輸入的樣本點(diǎn)的選取，并且對(duì)于前背景顏色差別不大的圖像來(lái)說(shuō)效果不佳。Khasare等[4]利用圖割算法來(lái)分割遮擋物與被遮擋物，但需要人工對(duì)網(wǎng)狀遮擋物和被遮擋物進(jìn)行手動(dòng)標(biāo)記。Jonna等[5]提出了一種定位并移除顏色—深度(RGB-Depth, RGB-D)圖像網(wǎng)狀遮擋物的方法，利用深度攝像頭如Microsoft Kinect獲得的圖像深度信息來(lái)定位并移除網(wǎng)狀遮擋物。Zou等[8]的方法同樣利用了RGB-D圖像。Yamashita等[7]在同一個(gè)角度下對(duì)目標(biāo)拍攝了不同焦距的圖像，利用這些圖像定位出網(wǎng)狀遮擋物。Jonna、Zou、Yamashita提出的方法都需要額外的信息來(lái)實(shí)現(xiàn)對(duì)網(wǎng)狀遮擋物的定位，無(wú)法實(shí)現(xiàn)對(duì)單張彩色圖像的網(wǎng)狀遮擋物的準(zhǔn)確定位。為了解決這個(gè)問(wèn)題，Jonna等[2]引入了卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network， CNN)來(lái)實(shí)現(xiàn)對(duì)單張圖像的網(wǎng)狀遮擋物的精準(zhǔn)定位，他們標(biāo)注了4 000張網(wǎng)狀遮擋物節(jié)點(diǎn)的正樣本和8 000張負(fù)樣本來(lái)訓(xùn)練CNN，之后利用該網(wǎng)絡(luò)在待處理圖片中尋找網(wǎng)狀遮擋物的節(jié)點(diǎn)并最終獲得網(wǎng)狀遮擋物掩膜，該方法的難點(diǎn)在于訓(xùn)練樣本的獲取，并且該網(wǎng)絡(luò)對(duì)于異形的網(wǎng)狀遮擋物的探測(cè)效果存疑。

針對(duì)目前的去遮擋算法在對(duì)遮擋物的尋找上的準(zhǔn)確性的問(wèn)題，本文利用超像素分割技術(shù)，突破單個(gè)像素的特征限制，利用超像素塊中多個(gè)像素的顏色及紋理的統(tǒng)計(jì)特征，對(duì)圖像進(jìn)行前背景分割。由于前景的網(wǎng)狀遮擋物在不同的自然圖像中可能會(huì)擁有不同的形狀及顏色特征，因此利用圖割算法將自然圖像中的物體分割成幾類(lèi)，并將其中最接近于網(wǎng)狀特征的一類(lèi)作為該幅圖像的先驗(yàn)知識(shí)，利用支持向量機(jī)(Support Vector Machine， SVM)分類(lèi)器對(duì)圖像中的超像素塊進(jìn)行分類(lèi)，最終得到準(zhǔn)確的遮擋物位置，最后使用文獻(xiàn)[12]中提出的SAIST(Spatially Adaptive Iterative Singular-value Thresholding)算法恢復(fù)出原始的圖像。整個(gè)算法流程如圖2所示。

1 算法流程

1.1 超像素分割

為了突破單個(gè)像素的特征限制，同時(shí)保留圖像的局部細(xì)節(jié)特征，本文算法使用簡(jiǎn)單線性迭代聚類(lèi)(Simple Linear Iterative Clustering， SLIC)[13]算法對(duì)圖像進(jìn)行超像素分割預(yù)處理。SLIC算法將圖像上的每個(gè)像素點(diǎn)n由一個(gè)五維特征向量[ln,an,bn,xn,yn]T表示，ln、an、bn是點(diǎn)n在CIELAB(CIEL*a*b* 1976 color space)色彩空間的L、a、b三個(gè)通道上的像素值，xn、yn為點(diǎn)n的坐標(biāo)。圖像中的每一個(gè)像素點(diǎn)通過(guò)K-means聚類(lèi)的方法分配其最鄰近的聚類(lèi)中心的標(biāo)號(hào)值，像素點(diǎn)n距離一個(gè)聚類(lèi)中心Ci=[li,ai,bi,xi,yi]T的距離Ds表示為：

(1)

(2)

(3)

圖2 算法流程

整個(gè)SLIC算法的流程如下：

1)在圖像中以S為步長(zhǎng)均勻地劃分網(wǎng)格，以網(wǎng)格的中心作為初始化聚類(lèi)中心點(diǎn)Ci=[li,ai,bi,xi,yi]T。

2)將聚類(lèi)中心移至n*n鄰域的最小梯度位置。

3)對(duì)于圖像中的每個(gè)像素點(diǎn)，將其分配給2S*2S矩形范圍內(nèi)Ds最小的聚類(lèi)中心。

4)計(jì)算新的聚類(lèi)中心點(diǎn)。

5)計(jì)算殘留率，如果殘留率小于一定閾值或者像素點(diǎn)的標(biāo)號(hào)不再改變，算法收斂。重復(fù)3)～5)直至收斂。

為了正確地分割出網(wǎng)狀遮擋物，S就應(yīng)該與網(wǎng)狀遮擋物的寬度近似，本文取S=10。在S固定的情況下，緊湊因子m越大，Ds中空間距離所占的權(quán)重越高，顏色相似性所占的權(quán)重越小，這樣生成的超像素塊將會(huì)在空間上有更高的緊湊性，而對(duì)局部顏色的變化有更高的容忍度。如前文所述，網(wǎng)狀遮擋物的顏色會(huì)受光照或者銹蝕、污點(diǎn)的影響，設(shè)置一個(gè)較大的m值，可在一定程度上克服這種局部的顏色變化；但m值也不可過(guò)大，過(guò)大的m值會(huì)使SLIC分割失去其邊緣保持的特性，其塊間的邊界將不再與前景背景的邊界重合，這不利于之后的超像素塊特征提取和前景分割過(guò)程。令m=λ*S，相比其他超像素塊算法應(yīng)用，本文所需的超像素塊空間大小很小(因?yàn)榫W(wǎng)狀遮擋物往往很窄)，所以要相應(yīng)地提高空間距離dxy在Ds中的權(quán)重，應(yīng)選擇一個(gè)較大的λ值。經(jīng)過(guò)實(shí)驗(yàn)，λ=100在大多數(shù)情況下能夠較好地兼顧網(wǎng)狀遮擋物的邊界與局部顏色差異。圖3展示了一張網(wǎng)狀遮擋物圖片通過(guò)SLIC超像素分割時(shí)不同迭代次數(shù)時(shí)的邊界變化情況。在第一次聚類(lèi)后，超像素塊的邊界未能貼合前背景的邊界，經(jīng)過(guò)多次迭代后，超像素塊邊界逐漸與網(wǎng)狀遮擋物的邊界相貼合。

通過(guò)SLIC超像素算法，本文算法將一幅由像素點(diǎn)構(gòu)成的圖像變成了由一個(gè)個(gè)超像素塊拼成的圖像，得益于SLIC算法優(yōu)秀的邊界保持性，接下來(lái)只要一一確定每個(gè)超像素塊是否屬于網(wǎng)狀遮擋物，便能夠?qū)崿F(xiàn)前景與背景的分割。每一個(gè)超像素塊都包括有100個(gè)左右的像素點(diǎn)，且同一個(gè)超像素塊內(nèi)的像素點(diǎn)大概率都屬于同一個(gè)物體，所以，一個(gè)超像素塊相比單個(gè)像素或單個(gè)像素及其鄰域能夠提供更多、更準(zhǔn)確的顏色及紋理特征，因而獲得更為準(zhǔn)確的分類(lèi)。

為了實(shí)現(xiàn)網(wǎng)狀遮擋物的自動(dòng)檢測(cè)，本文算法需要能夠自動(dòng)分辨出超像素塊的歸屬的方法。本文利用Graph Cuts圖割算法[14]對(duì)超像素塊進(jìn)行分類(lèi)，擴(kuò)展網(wǎng)狀遮擋物的顏色與紋理特征到大尺度下的總體形態(tài)特征。

圖3 SLIC聚類(lèi)分割過(guò)程

1.2 使用圖割算法的超像素塊融合

從圖2(c)中可以看到，經(jīng)過(guò)超像素處理后，所有的網(wǎng)狀遮擋物和背景都被超像素塊的邊界所分離開(kāi)了，但新的問(wèn)題是網(wǎng)狀遮擋物自身也被分割成了小塊。本文使用圖割算法來(lái)解決這個(gè)問(wèn)題，通過(guò)合理地構(gòu)建能量函數(shù)，使網(wǎng)狀遮擋物的小超像素塊與背景的超像素塊分別與其毗鄰的相似超像素塊進(jìn)行融合，使局部的超像素塊相互組合生成一個(gè)大的結(jié)構(gòu)，如圖2(d)所示。利用圖割算法，本文算法可以在不知道網(wǎng)狀遮擋物的顏色特征和結(jié)構(gòu)特征的情況下，自動(dòng)從彩色圖像中提取出類(lèi)似物體供后續(xù)算法進(jìn)行篩選和分類(lèi)。

將超像素塊映射成一個(gè)帶權(quán)圖，為每個(gè)超像素塊賦予不同的標(biāo)號(hào)，構(gòu)建一個(gè)能量函數(shù)來(lái)使用圖割算法，能量函數(shù)的一般形式為：

E(f)=Edata(f)+γEsmooth(f)

(4)

其中：數(shù)據(jù)項(xiàng)Edata表示同一標(biāo)號(hào)頂點(diǎn)的不相似性，光滑項(xiàng)Esmooth表示不同標(biāo)號(hào)頂點(diǎn)的相似性，γ為平衡因子，f表示圖中各頂點(diǎn)被賦予的標(biāo)號(hào)。利用圖割算法使兩者之和E盡可能地小，就能夠得到邊界光滑分類(lèi)準(zhǔn)確的圖像分割結(jié)果。在許多圖割算法的應(yīng)用中，都是將每個(gè)像素點(diǎn)作為帶權(quán)圖的頂點(diǎn)，用像素點(diǎn)的灰度值作為特征來(lái)計(jì)算相似性。這種做法直觀且易于實(shí)現(xiàn)但由于其將每一個(gè)像素點(diǎn)都作為帶權(quán)圖的頂點(diǎn)，使得這個(gè)圖的尺寸十分龐大，對(duì)其使用圖割算法在時(shí)間復(fù)雜度和空間復(fù)雜度上都非常高，并且最后得到的分割結(jié)果也會(huì)由于過(guò)于追求邊界的光滑性而抹去許多細(xì)節(jié)元素，不利于本文對(duì)細(xì)小的網(wǎng)狀結(jié)構(gòu)的檢測(cè)需求。本文將圖像超像素預(yù)處理后的超像素塊作為帶權(quán)圖的頂點(diǎn)使用圖割算法，解決了上述問(wèn)題，并得到了令人滿意的結(jié)果。

同SLIC算法一樣，本文在CIELAB色彩空間中對(duì)超像素圖像使用圖割算法。對(duì)于每個(gè)超像素塊，取其平均顏色來(lái)表示其顏色特征計(jì)算相似性。為了減弱環(huán)境光照對(duì)分割結(jié)果的影響，每個(gè)超像素塊只取a、b兩個(gè)顏色空間，計(jì)其平均像素值為Ia、Ib。初始標(biāo)號(hào)通過(guò)K-means算法獲得，將圖像分為K類(lèi)，每類(lèi)中心點(diǎn)的a、b通道像素值計(jì)為Ica、Icb。令

(5)

其中：

Dp(fp)=(Ipa-Ica)2+(Ipb-Icb)2

(6)

對(duì)于光滑項(xiàng)Esmooth：

(7)

其中：

(8)

p，q表示不同的超像素塊，fp，fq表示超像素塊被分配的標(biāo)號(hào)。能量函數(shù)構(gòu)建完成后，利用文獻(xiàn)[14]中提供的Graph Cuts算法，重新分配標(biāo)號(hào)最小化能量函數(shù)(如圖4)。在能量函數(shù)優(yōu)化過(guò)程中，可能會(huì)有一些標(biāo)號(hào)被完全合并，最終得到K′種標(biāo)號(hào)，K′≤K。

圖4 Graph Cuts分割優(yōu)化過(guò)程中能量函數(shù)的數(shù)值變化

圖割結(jié)果如圖2(d)所示，圖中將相同標(biāo)號(hào)的超像素塊用相同的純色替換。僅通過(guò)聚類(lèi)算法得到的超像素塊分類(lèi)分布十分零散，很難從中分類(lèi)定位出不同的物體；經(jīng)過(guò)圖割算法處理后的新的超像素塊分類(lèi)勾勒出了圖像中各個(gè)物體的輪廓，其中就包括本研究所需的網(wǎng)狀遮擋物。

1.3 遮擋物樣本超像素塊的獲得與CCTP特征提取

本文算法從上述處理中在自然圖像中得到了K′類(lèi)物體，接下來(lái)利用筆畫(huà)寬度特征從K類(lèi)物體中篩選出最可能的網(wǎng)狀遮擋物。

利用Li等[15]用在字符檢測(cè)中的筆畫(huà)寬度檢測(cè)算法，取出第k類(lèi)物體中連通域面積最大的區(qū)域，求出其平均筆畫(huà)寬度SWmean(k)與筆畫(huà)寬度的方差SWvar(k)。通過(guò)對(duì)網(wǎng)狀遮擋物的形狀特征分析可知，其通常比較細(xì)小并且在圖像中寬度變化不大，因此網(wǎng)狀遮擋物的兩種比劃寬度特征應(yīng)該都較小，因此對(duì)所有的k∈K,將SWmean(k)與SWvar(k)這兩種特征進(jìn)行升序排序，得到每類(lèi)的兩個(gè)排名Rm(k),Rv(k)，那么最可能的網(wǎng)狀遮擋物的標(biāo)號(hào)fg就可依式(9)得到：

fg=arg min(Rm(k)+Rv(k))

(9)

上述算法篩選出來(lái)的網(wǎng)狀遮擋物準(zhǔn)確率較高，但召回率常常很低，這是由于為了盡可能地保存網(wǎng)狀遮擋物和背景的邊界，在使用聚類(lèi)算法獲得初始標(biāo)號(hào)時(shí)本算法使用了一個(gè)較大的K值，而網(wǎng)狀遮擋物可能因此被分成了多類(lèi)，但式(9)只挑出了其中一類(lèi)。因?yàn)槠湔倩芈侍停荒苤苯幼鳛槿フ趽醯难谀な褂?，但其?zhǔn)確率很高，可以將其作為分類(lèi)器的正樣本進(jìn)行訓(xùn)練。同一幅圖像中網(wǎng)狀遮擋物的顏色可能會(huì)有變化，但總體而言變化不會(huì)很大。將所有屬于標(biāo)號(hào)fg的超像素塊的像素取其R、G、B三個(gè)通道中的顏色平均值MCfg與標(biāo)準(zhǔn)差SCfg。例圖2中，MCfg=[71.435 2,167.018 5,215.203 5]，SCfg=[40.326 7,51.025 6,42.153 3]。

對(duì)于圖像內(nèi)所有的超像素塊p，求出其顏色平均值MCp，根據(jù)式(10)對(duì)它們進(jìn)行標(biāo)記：

(10)

當(dāng)超像素塊的標(biāo)號(hào)為fg時(shí)，它是已經(jīng)確定的網(wǎng)狀遮擋物對(duì)象，標(biāo)記為1；當(dāng)超像素塊的平均顏色遠(yuǎn)離已知的網(wǎng)狀遮擋物的顏色時(shí)，將其標(biāo)記為-1。這樣就將圖像中的部分超像素塊分為了兩類(lèi)：一類(lèi)是網(wǎng)狀遮擋物超像素塊，如圖2(e)所示；另一類(lèi)是背景超像素塊，如圖2(f)所示。

還剩下一批標(biāo)記為0的超像素塊，其平均顏色與網(wǎng)狀遮擋物接近，難以僅從顏色上進(jìn)行區(qū)別。于是，本文提出了一種新的針對(duì)超像素塊的特征，命名為顏色紋理聯(lián)合特征(Combined Color Texture Pattern, CCTP)。由于一個(gè)超像素塊內(nèi)包含上百個(gè)像素，因此對(duì)一個(gè)超像素塊僅用其平均顏色進(jìn)行描述必然會(huì)丟失許多信息，而將每一個(gè)像素值都記錄下來(lái)會(huì)使得特征過(guò)長(zhǎng)，并且無(wú)法解決每個(gè)超像素塊內(nèi)像素不同的問(wèn)題，因此本文算法用顏色直方圖來(lái)描述超像素塊內(nèi)的像素顏色分布，將R、G、B三個(gè)通道的像素值分成12個(gè)區(qū)間，構(gòu)成一個(gè)12×3維的向量，每個(gè)元素表示落入其中的像素個(gè)數(shù)，最后將所有元素除以該超像素塊的像素個(gè)數(shù)，得到了顏色直方圖ColorHist。同時(shí)引入結(jié)構(gòu)特征，在三個(gè)顏色通道中計(jì)算每個(gè)像素的旋轉(zhuǎn)不變局部二值模式(Local Binary Pattern， LBP)碼[16-18]，旋轉(zhuǎn)不變LBP碼的總個(gè)數(shù)是10個(gè)，記錄每個(gè)超像素塊中各類(lèi)LBP碼的總個(gè)數(shù)，最后除以超像素塊的像素個(gè)數(shù)，就得到了結(jié)構(gòu)直方圖LBPHist。聯(lián)合顏色與結(jié)構(gòu)兩個(gè)直方圖向量，就得到了一個(gè)66維的CCTP特征向量。如圖5所示，將一個(gè)超像素塊內(nèi)的所有像素點(diǎn)的顏色替換成該超像素塊的平均顏色，圓圈內(nèi)和方框內(nèi)的兩個(gè)超像素塊平均顏色相近，但CCTP特征向量相差卻有十分明顯的區(qū)別。

1.4 SVM分類(lèi)

求出所有超像素塊的CCTP特征，將標(biāo)記過(guò)的正負(fù)樣本的CCTP特征構(gòu)造一個(gè)訓(xùn)練樣本集用于訓(xùn)練一個(gè)SVM二分類(lèi)器。

T={(xi,yi)|yi{1,-1},i=1,2,…,n}

(11)

其中：xi是標(biāo)記過(guò)的超像素塊的66維CCTP特征，yi=1時(shí)表示該超像素塊為已標(biāo)記的網(wǎng)狀遮擋物，yi=-1時(shí)表示該超像素塊是已標(biāo)記過(guò)的背景超像素塊。

在線性可分的情況下，使訓(xùn)練樣本分開(kāi)的超平面描述為：

w·x+b=0

(12)

最優(yōu)超平面就是能將訓(xùn)練樣本集完全正確分開(kāi)，同時(shí)滿足距離超平面最近的兩類(lèi)點(diǎn)間隔最大。求解這樣的超平面問(wèn)題，可表示為下述的約束優(yōu)化問(wèn)題：

s.t.yi(w·xi+b)≥1,i=1,2,…,n

(13)

圖5 CCTP特征向量示意

式(13)的拉格朗日目標(biāo)函數(shù)為：

(14)

其中：αi≥0為各樣本對(duì)應(yīng)的拉格朗日系數(shù)。對(duì)w和b分別求其偏導(dǎo)函數(shù)，令其等于0，則該約束優(yōu)化問(wèn)題可轉(zhuǎn)化為較簡(jiǎn)單的二次函數(shù)尋優(yōu)問(wèn)題：

(15)

(16)

(17)

α*是式(15)求出的最優(yōu)解，w*和b*為對(duì)應(yīng)的最優(yōu)平面參數(shù)。本文使用CCTP特征對(duì)目標(biāo)超像素塊進(jìn)行分類(lèi)的問(wèn)題常常是線性不可分的，可利用核函數(shù)將該線性分類(lèi)問(wèn)題推廣到非線性的情況，使用下述的高斯核函數(shù)：

(18)

則式(15)則可變換為求解：

(19)

則分類(lèi)函數(shù)為：

(20)

使用式(20)對(duì)所有標(biāo)記為0的超像素塊的CCTP特征進(jìn)行分類(lèi)，這樣所有的超像素塊就被分成了兩類(lèi)：網(wǎng)狀遮擋物超像素塊與背景超像素塊。

最后，將所有屬于網(wǎng)狀遮擋物超像素塊的像素賦值為255，剩下的賦值為0，就得到了一張標(biāo)記出了網(wǎng)狀遮擋物位置的掩膜。由于圖像修補(bǔ)算法的基本原理就是在未被破壞的圖像區(qū)域?qū)ふ遗c待修補(bǔ)區(qū)域相近的圖像塊來(lái)修補(bǔ)被破壞的位置，如果算法得到的掩膜將所有的網(wǎng)狀遮擋物全部標(biāo)記為待修補(bǔ)區(qū)域，那么圖像修補(bǔ)算法將會(huì)利用背景的圖像塊修補(bǔ)原來(lái)為網(wǎng)狀遮擋物的區(qū)域，最終得到?jīng)]有網(wǎng)狀遮擋物的圖像，也就成功實(shí)現(xiàn)了網(wǎng)狀遮擋物去除。

2 實(shí)驗(yàn)分析與對(duì)比

本文使用PSU-NRT(Pennsylvania State University Near-Regular Texture Database)數(shù)據(jù)集[19]和文獻(xiàn)[3]項(xiàng)目主頁(yè)中獲取的圖片，通過(guò)多種實(shí)驗(yàn)比較文獻(xiàn)[1]和文獻(xiàn)[3]中的算法以及本文算法對(duì)網(wǎng)狀遮擋物的檢測(cè)以及最終的去除效果進(jìn)行峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)對(duì)比。實(shí)驗(yàn)中，超像素分割相關(guān)參數(shù)如前文所述，S=10，λ=100，m=λ*S=1 000,取聚類(lèi)數(shù)量K=10,光滑項(xiàng)與數(shù)據(jù)項(xiàng)的平衡因子γ=0.35。本文實(shí)驗(yàn)平臺(tái)為：64位Windows 10， Matlab R2016b。實(shí)驗(yàn)結(jié)果證明，網(wǎng)狀遮擋物的去除的關(guān)鍵在于檢測(cè)出準(zhǔn)確的網(wǎng)狀遮擋物的位置，本文在實(shí)驗(yàn)圖片上獲得了更為準(zhǔn)確的掩膜圖像。接下來(lái)，本文制作了實(shí)驗(yàn)圖片來(lái)比較前面兩種中網(wǎng)狀遮擋物的修復(fù)效果，同時(shí)移植文獻(xiàn)[12]中的SAIST圖像修復(fù)算法用于網(wǎng)狀遮擋物圖像修復(fù)。實(shí)驗(yàn)結(jié)果顯示，在獲得準(zhǔn)確的遮擋物掩膜的情況下，3種修復(fù)方式的修復(fù)效果區(qū)別不大，SAIST算法的效果稍好。最后，本文對(duì)比了本文算法結(jié)合SAIST圖像恢復(fù)算法與當(dāng)前兩種算法的總體恢復(fù)效果；實(shí)驗(yàn)結(jié)果表明，新算法保留了更多的細(xì)節(jié)，檢測(cè)出了更多的網(wǎng)狀遮擋物結(jié)構(gòu)，顯著提升了恢復(fù)效果。

2.1 網(wǎng)狀遮擋物檢測(cè)結(jié)果對(duì)比

在圖6中，從上至下每一行分別是測(cè)試圖像Monkey、Boy、Orange rack。Farid等[3]算法中，利用人工輸入?yún)⒖键c(diǎn)的方式求取圖像中像素顏色值距離參考點(diǎn)的馬氏距離來(lái)確定一個(gè)像素點(diǎn)是否是網(wǎng)狀遮擋物，通過(guò)對(duì)上述過(guò)程結(jié)果提取最大連通域并進(jìn)行膨脹的方法得到網(wǎng)狀遮擋物的掩膜。該方法在精心挑選參考點(diǎn)且網(wǎng)狀遮擋物在圖像中一直連續(xù)的情況下能夠得到較好的結(jié)果，如圖6中的Monkey。當(dāng)未找到好的參考點(diǎn)，如圖6中的Boy，或是遮擋物不連續(xù)，如圖6中Orange rack時(shí)，得到的網(wǎng)狀遮擋物掩膜不甚理想，最后的恢復(fù)效果也不佳。本實(shí)驗(yàn)使用本文算法得到的掩膜，結(jié)合與Farid相同的恢復(fù)算法，恢復(fù)效果獲得了明顯的提升，并且本文算法無(wú)需人工輸入?yún)⒖键c(diǎn)，顯著提高了算法的可用性。

2.2 不同算法和特征的分類(lèi)效果對(duì)比

對(duì)比圖6(b)與圖6(c)可以明顯看出，本文算法得到的掩膜更為準(zhǔn)確，保留的網(wǎng)狀結(jié)構(gòu)細(xì)節(jié)更多，這是源于超像素算法優(yōu)秀的邊界保持特性。同時(shí)，本文提出的CCTP特征對(duì)超像素塊進(jìn)行了較準(zhǔn)確的描述。通常人們使用一個(gè)超像素塊內(nèi)像素的平均顏色和顏色方差來(lái)描述一個(gè)超像素塊，如文獻(xiàn)[20]和文獻(xiàn)[21]，但在本文應(yīng)用中，超像素塊的樣本原本就是從平均顏色聚類(lèi)而來(lái)，再用其訓(xùn)練得到的分類(lèi)器必然不夠準(zhǔn)確。

分別使用超像素塊的顏色均值和方差，顏色直方圖和LBP直方圖，使用圖6的Boy圖像中得到的正負(fù)樣本來(lái)訓(xùn)練SVM分類(lèi)器，最終得到的網(wǎng)狀遮擋物掩膜如圖7所示。正如本文之前所分析的那樣，圖7(a)中，絕大部分未被分類(lèi)的超像素塊被分類(lèi)成了背景。而在使用顏色直方圖進(jìn)行分類(lèi)時(shí)，效果有了明顯的提升，但在畫(huà)面下方一些亮度較暗的區(qū)域未能正確的分類(lèi)。在使用紋理特征即LBP直方圖訓(xùn)練的分類(lèi)器時(shí)，較暗的部分被正確地分類(lèi)，但畫(huà)面上方亮度比較高的區(qū)域和小孩衣服上的條紋被錯(cuò)誤的分類(lèi)。融合顏色直方圖和LBP直方圖的CCTP結(jié)合了兩者的優(yōu)點(diǎn)，得到了令人滿意的結(jié)果，證明了本文提出的CCTP的優(yōu)越性。

圖6 本文網(wǎng)狀遮擋物檢測(cè)算法替換Farid算法[3]中網(wǎng)狀檢測(cè)部分后的恢復(fù)效果比較

圖7 使用不同的特征對(duì)超像素塊進(jìn)行分類(lèi)的結(jié)果比較

2.3 不同算法對(duì)網(wǎng)狀遮擋物的修復(fù)效果與質(zhì)量評(píng)價(jià)參數(shù)對(duì)比

本文將經(jīng)典圖像處理測(cè)試圖像Lena、Baboon、Sailboat人工加上網(wǎng)狀遮擋物，來(lái)模擬網(wǎng)狀遮擋物遮擋的人物、動(dòng)物以及自然風(fēng)景。使用不同的圖像修補(bǔ)算法來(lái)進(jìn)行恢復(fù)，來(lái)比較現(xiàn)有的圖像修補(bǔ)算法對(duì)網(wǎng)狀遮擋物的修補(bǔ)效果。本文比較了Criminisi等[22]于2004年提出的經(jīng)典的圖像修補(bǔ)算法;Farid等[23]在他的算法中使用了改進(jìn)的Criminisi等算法；同時(shí)，本文還引入了文獻(xiàn)[12]中提出的SAIST算法來(lái)進(jìn)行比較。本文使用PSNR和SSIM(Structural SIMilarity)這兩種最為普遍使用的有參考圖像質(zhì)量評(píng)價(jià)指標(biāo)。PSNR的計(jì)算公式為:

PSNR=10*lg [(2n-1)2/MSE]

(21)

其中：n為處理圖像的位寬，本文中為8；MSE是待評(píng)價(jià)圖像與參考圖像間的均方誤差；PSNR值越大，待評(píng)價(jià)圖像越接近于參考圖像。

SSIM的計(jì)算公式為：

(22)

其中：imgx,imgy為輸入的兩幅圖像，通常算法將圖像分成小塊后求出圖像塊的SSIM值，最終整幅圖像的SSIM值由它們的均值表示；μx和μy是imgx,imgy的平均值，σx和σy是imgx、imgy的方差；σxy是imgx,imgy的協(xié)方差；c1=(k1L)2，c2=(k2L)2，L是圖像像素值的動(dòng)態(tài)范圍，k1=0.01，k2=0.03。

從圖8中可以看出，3種修復(fù)算法的修復(fù)效果從主觀上講差別并不大，表1中的圖像質(zhì)量評(píng)價(jià)參數(shù)證實(shí)了本文的看法。再對(duì)比圖6的修復(fù)結(jié)果，可以看出，去除網(wǎng)狀遮擋物的重點(diǎn)在于獲得準(zhǔn)確的網(wǎng)狀遮擋物掩膜，這正是本文的算法所提供的。而一個(gè)合適的圖像修復(fù)算法能夠起到錦上添花的作用。從表1中易發(fā)現(xiàn)，Criminisi等[22]和Farid等[23]算法得分幾乎一樣，而SAIST算法得到了稍高的分?jǐn)?shù)；因此，本文算法結(jié)合本文算法與SAIST修復(fù)算法，組合成完整的單幅彩色圖像網(wǎng)狀遮擋物去除算法。

表1 3種修復(fù)算法的PSNR和SSIM得分對(duì)比

圖8 3種修復(fù)算法得到的恢復(fù)結(jié)果比較

2.4 總體恢復(fù)效果對(duì)比

圖9對(duì)比了本文算法與當(dāng)前兩種算法的去網(wǎng)狀遮擋物的效果。本文算法明顯優(yōu)于其他兩種算法。例如在Duck中，Liu等[1]算法完全破壞了圖像，而Farid等[3]算法殘留了許多遮擋物，本文算法則完全去除了圖像中的網(wǎng)狀遮擋物。Liu等[1]的算法未能在Monkey和Boy中找到網(wǎng)狀遮擋物，所以也

無(wú)法得到恢復(fù)圖像。Shadow不是傳統(tǒng)意義上的所謂網(wǎng)狀遮擋物，但畫(huà)面中的房梁與陰影可以看作是網(wǎng)狀遮擋物用于檢測(cè)本文的算法魯棒性。Liu等[1]的算法成功檢測(cè)并去除了格子型的陰影，但在門(mén)上和地面上留下了殘留的陰影，房梁也沒(méi)能被識(shí)別為網(wǎng)狀遮擋物；Farid等[3]算法檢測(cè)出了所有的房梁和陰影，但恢復(fù)結(jié)果不佳。本文算法檢測(cè)出了所有的陰影與部分房梁，得到了較完美的恢復(fù)效果。

3 結(jié)語(yǔ)

本文對(duì)于單幅彩色圖像的網(wǎng)狀遮擋物去除這一問(wèn)題，提出了一種新的網(wǎng)狀遮擋物檢測(cè)方法：通過(guò)超像素分割和圖割的方式在單張圖像中自動(dòng)尋找出網(wǎng)狀遮擋物樣本，新提出CCTP特征用于對(duì)超像素塊進(jìn)行分類(lèi)，分割出網(wǎng)狀遮擋物掩膜，最后結(jié)合SAIST圖像修復(fù)算法，獲得了比當(dāng)前算法更佳的修復(fù)效果。實(shí)驗(yàn)結(jié)果證明，使用CCTP用于分類(lèi)比使用平均顏色或者單獨(dú)使用顏色直方圖特征來(lái)分類(lèi)能夠得到更準(zhǔn)確的分類(lèi)結(jié)果，從而獲得比當(dāng)前算法更準(zhǔn)確的網(wǎng)狀遮擋物掩膜。目前，網(wǎng)狀遮擋物的去除難點(diǎn)仍在于準(zhǔn)確地分割出網(wǎng)狀遮擋物掩膜，本文算法雖然相較其他算法檢測(cè)結(jié)果更為準(zhǔn)確，但在遮擋物與背景顏色過(guò)于相近或者網(wǎng)狀遮擋物太細(xì)的時(shí)候，算法無(wú)法得到令人滿意的結(jié)果。事實(shí)上，當(dāng)前的算法都無(wú)法準(zhǔn)確地分割所有類(lèi)型的網(wǎng)狀遮擋物圖像，因此，對(duì)于該問(wèn)題還有很大的改進(jìn)空間。同時(shí)，對(duì)于自然圖像中同網(wǎng)狀遮擋物一樣局部顏色較為均勻，形狀比較統(tǒng)一的物體，例如字符、路牌、交通標(biāo)線等可以使用本文算法類(lèi)似框架進(jìn)行檢測(cè)；對(duì)于本文提出的描述超像素塊的特征CCTP，其是否能夠擴(kuò)展至超像素分割的其他常用應(yīng)用如圖像分割、顯著性檢測(cè)等，都是下一步的研究目標(biāo)。

圖9 3種恢復(fù)算法結(jié)果對(duì)比

References)

[1] LIU Y Y, BELKINA T, HAYS J H, et al. Image de-fencing [C]// Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2008: 1-8.

[2] JONNA S, NAKKA K K, SAHAY R R. My camera can see through fences: a deep learning approach for image de-fencing [C]// Proceedings of the 2015 3rd LAPR Asian Conference on Pattern Recognition. Piscataway, NJ: IEEE, 2015: 261-265.

[3] FARID M S, MAHMOOD A, GRANGETTO M. Image de-fencing framework with hybrid inpainting algorithm [J]. Signal, Image and Video Processing, 2016, 10(7): 1193-1201.

[4] KHASARE V S, SAHAY R R, KANKANHALLI M S. Seeing through the fence: image de-fencing using a video sequence [C]// Proceedings of the 2013 IEEE International Conference on Image Processing. Piscataway, NJ: IEEE, 2013: 1351-1355.

[5] JONNA S, VOLETI V S, SAHAY R R, et al. A multimodal approach for image de-fencing and depth inpainting [C]// Proceedings of the Eighth International Conference on Advances in Pattern Recognition. Piscataway, NJ: IEEE, 2015: 1-6.

[6] PARK M, BROCKLEHURST K, COLLINS R T, et al. Image de-fencing revisited [C]// Proceedings of the 2010 Asian Conference on Computer Vision. New York: ACM, 2010: 422-434.

[7] YAMASHITA A, MATSUI A, KANEKO T. Fence removal from multi-focus images [C]// Proceedings of the 2010 20th International Conference on Pattern Recognition. Washington, DC: IEEE Computer Society, 2010: 4532-4535.

[8] ZOU Q, CAO Y, LI Q, et al. Automatic inpainting by removing fence-like structures in RGB-D images [J]. Machine Vision and Applications, 2014, 25(7): 1841-1858.

[9] XUE T, RUBINSTEIN M, LIU C, et al. A computational approach for obstruction-free photography [J]. ACM Transactions on Graphics, 2015, 34(4): 79.

[10] DOLLAR P, WOJEK C, SCHIELE B, et al. Pedestrian detection: an evaluation of the state of the art [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 743-761.

[11] PARK M, BROCKLEHURST K, COLLINS R T, et al. Deformed lattice detection in real-world images using mean-shift belief propagation [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(10): 1804-1816.

[12] DONG W, SHI G, LI X. Nonlocal image restoration with bilateral variance estimation: a low-rank approach [J]. IEEE Transactions on Image Processing, 2013, 22(2): 700-711.

[13] ACHANTA R, SHAJI A, SMITH K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[14] BOYKOV Y, VEKSLER O, ZABIH R. Fast approximate energy minimization via graph cuts [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001, 23(11): 1222-1239.

[15] LI Y, JIA W, SHEN C, et al. Characterness: an indicator of text in the wild [J]. IEEE Transactions on Image Processing, 2014, 23(4): 1666-1677.

[16] OJALA T, PIETIK INEN M, HARWOOD D. A comparative study of texture measures with classification based on featured distributions [J]. Pattern Recognition, 1996, 29(1): 51-59.

[17] OJALA T, PIETIKAINEN M, MAENPAA T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971-987.

[18] PIETIK INEN M, OJALA T, XU Z. Rotation-invariant texture classification using feature distributions [J]. Pattern Recognition, 2000, 33(1): 43-52.

[19] PSU near-regular texture database [EB/OL]. [2017- 02- 18]. http://vivid.cse.psu.edu/index.php?/category/23.

[20] 張微,汪西莉.基于超像素的條件隨機(jī)場(chǎng)圖像分類(lèi)[J].計(jì)算機(jī)應(yīng)用,2012,32(5):1272-1275.(ZHANG W, WANG X L. Superpixel-based conditional random field for image classification [J]. Journal of Computer Applications, 2012, 32(5): 1272-1275.)

[21] 張礦,朱遠(yuǎn)平.基于超像素融合的文本分割[J].計(jì)算機(jī)應(yīng)用,2016,36(12):3418-3422.(ZHANG K, ZHU Y P. Text segmentation based on superpixel fusion [J]. Journal of Computer Applications, 2016, 36(12): 3418-3422.)

[22] CRIMINISI A, P REZ P, TOYAMA K. Region filling and object removal by exemplar-based image inpainting [J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[23] FARID M S, KHAN H, MAHMOOD A. Image inpainting based on pyramids [C]// Proceedings of the 2010 IEEE 10th International Conference on Signal Processing. Piscataway, NJ: IEEE, 2010: 711-715.

This work is partially supported by the National Natural Science Foundation of China (61072135).

LIUYu, born in 1991, M. S. candidate. His research interests include image restoration.

JINWeizheng, born in 1966, M. S., associate professor. His research interests include image processing.

FANCi’en, born in 1975, Ph. D., associate professor. Her research interests include image processing, computer vision.

ZOULian, born in 1975, Ph. D., research fellow. His research interests include image analysis and understanding.