張永庫(kù)　杜帥川　孫勁光　周積林　金雅茹

1(遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院　遼寧　葫蘆島 125105)2(遼寧工程技術(shù)大學(xué)研究生學(xué)院　遼寧 葫蘆島 125105)3(山東中醫(yī)藥大學(xué)護(hù)理學(xué)院　山東 濟(jì)南 250000)

?

基于多尺度特征學(xué)習(xí)的陰影檢測(cè)

張永庫(kù)1杜帥川2孫勁光1周積林2金雅茹3

1(遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院遼寧葫蘆島 125105)2(遼寧工程技術(shù)大學(xué)研究生學(xué)院遼寧 葫蘆島 125105)3(山東中醫(yī)藥大學(xué)護(hù)理學(xué)院山東 濟(jì)南 250000)

摘要針對(duì)傳統(tǒng)陰影檢測(cè)方法存在精心設(shè)計(jì)特征、訓(xùn)練時(shí)間長(zhǎng)與陰影檢出率低等問(wèn)題，提出一種有監(jiān)督學(xué)習(xí)的陰影檢測(cè)方法。首先輸入的圖像經(jīng)過(guò)拉普拉斯金字塔變換，確定聚類中心，分別以聚類中心為中心進(jìn)行窗口提??；然后合成訓(xùn)練樣本，訓(xùn)練樣本在卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練得到后驗(yàn)分布；最后將得到的后驗(yàn)分布反饋給條件隨機(jī)場(chǎng)生成有標(biāo)簽的圖像。實(shí)驗(yàn)結(jié)果表明，該方法有較好的場(chǎng)景適應(yīng)性、訓(xùn)練時(shí)間短并且有較高的陰影檢出率。

關(guān)鍵詞陰影檢測(cè)卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)條件隨機(jī)場(chǎng)

0引言

陰影是許多圖像的組成部分，有時(shí)候反映了物體形狀、大小等重要信息，然而圖像中的陰影會(huì)對(duì)圖像的后續(xù)處理造成不利的影響。例如：在智能視頻監(jiān)控中，陰影會(huì)嚴(yán)重影響目標(biāo)的跟蹤。陰影檢測(cè)率會(huì)直接影響陰影消除的效果，因此陰影檢測(cè)也是近些年的研究熱點(diǎn)之一。

目前陰影檢測(cè)方法大體可以分為兩類：基于模型[1-3]的方法和基于特征[4-6]的方法?；谀Ｐ偷姆椒ɡ靡欢ǖ南闰?yàn)信息建立光照模型來(lái)檢測(cè)陰影；基于特征的方法根據(jù)陰影的色度、亮度等特征來(lái)識(shí)別和檢測(cè)陰影?；谀Ｐ偷姆椒ㄍǔＰ枰枚喾鶊D像的先驗(yàn)信息進(jìn)行建模，該類方法有一定的局限性，只適合于特定的場(chǎng)景?；谔卣鞯姆椒ú恍枰獔?chǎng)景的先驗(yàn)知識(shí)，僅僅通過(guò)圖像的特征檢測(cè)陰影，時(shí)間復(fù)雜度較小。當(dāng)陰影區(qū)被覆蓋時(shí)，雖然亮度變低卻仍然保留著一定的色度信息，依據(jù)這一特點(diǎn)，在陰影檢測(cè)時(shí)往往將圖像轉(zhuǎn)換為亮度與色度相互獨(dú)立的顏色空間[7,8]?；谏鹊年幱皺z測(cè)方法計(jì)算量小，但是對(duì)噪聲和光照比較敏感。近幾年來(lái)，基于統(tǒng)計(jì)屬性[9-12]的陰影檢測(cè)方法受到了更高的關(guān)注。Zhu等[9]基于圖像的可變特征和不可變特征、Lalonde等[10]基于圖像的色彩特征和紋理屬性、Jiang等[11]基于圖像的色彩分割與照明估計(jì)、Guo等[12]基于成對(duì)區(qū)域，這類方法都采用條件隨機(jī)場(chǎng)標(biāo)識(shí)陰影區(qū)域。該類方法對(duì)不同的場(chǎng)景與不同光照條件具有較強(qiáng)的適應(yīng)性，代表了當(dāng)前的研究水平與未來(lái)的發(fā)展方向。但是該類方法都需要花費(fèi)大量精力小心的設(shè)計(jì)這些特征。Zhu等[9]提取可變特征與不可變特征，這些特征用來(lái)訓(xùn)練一個(gè)分類器，該方法消耗資源大訓(xùn)練時(shí)間長(zhǎng)。Lalonde等[10]使用了48維的特征向量，雖然增加特征維數(shù)能夠達(dá)到很好的效果，但是陰影檢測(cè)的時(shí)間大大的增長(zhǎng)了。Jiang等[11]對(duì)Lalonde等[10]方法進(jìn)行了改進(jìn)，取得了更好的效果，卻花費(fèi)了更長(zhǎng)的時(shí)間。Guo等[12]首先采用均值漂移的方法對(duì)圖像進(jìn)行分割，把提取的特征作為支持向量機(jī)(SVM)的輸入建立分類模型。該方法對(duì)局部細(xì)節(jié)噪聲較為敏感并且當(dāng)場(chǎng)景比較復(fù)雜時(shí)大大增加了SVM的測(cè)試時(shí)間。

針對(duì)上述方法的缺點(diǎn)，本文提出一種新的多尺度特征學(xué)習(xí)的陰影檢測(cè)方法。與上述基于統(tǒng)計(jì)屬性的方法相比，本文方法是一種在場(chǎng)景中，通過(guò)特征學(xué)習(xí)的方法學(xué)習(xí)大部分相關(guān)特征，這些特征用來(lái)進(jìn)行陰影檢測(cè)。卷積神經(jīng)網(wǎng)絡(luò)CNNs(Convolutional Deep Neural Networks)[13]是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前圖像處理領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。它模擬人腦進(jìn)人腦的機(jī)制來(lái)解釋、處理圖像等。因此，本文采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)。一個(gè)像素是否屬于陰影區(qū)像素，不僅與像素自身的亮度、色度等特征有關(guān)，還與其周圍相鄰區(qū)域與不相鄰區(qū)域有緊密的關(guān)系，多尺度(圖像的拉普拉斯金字塔)的特征學(xué)習(xí)很好地解決了這個(gè)問(wèn)題。條件隨機(jī)場(chǎng)CRF(Conditional Random Fields)[14]是一種基于統(tǒng)計(jì)的模型。2001年，由 John等人首次提出，可在給定全局條件的前提下，計(jì)算全局最優(yōu)輸出標(biāo)記的條件概率。它是一種判別式概率模型，是隨機(jī)場(chǎng)的一種，常用于標(biāo)注或分析序列資料。卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)之后的后驗(yàn)分布反饋給條件隨機(jī)場(chǎng)，條件隨機(jī)場(chǎng)對(duì)圖像進(jìn)行標(biāo)注達(dá)到陰影檢測(cè)的目的。

1自學(xué)習(xí)陰影檢測(cè)框架

給定一副圖像，本文在像素級(jí)別下檢測(cè)和定位陰影。對(duì)于一個(gè)像素來(lái)說(shuō)，不能簡(jiǎn)單地根據(jù)與周圍相鄰像素之間的關(guān)系來(lái)判斷它是否屬于陰影區(qū)像素。一個(gè)像素與其周圍較遠(yuǎn)處不相鄰的像素也有較為密切的關(guān)系。人眼能夠根據(jù)圖像中陰影區(qū)與其周圍非陰影區(qū)的不同快速定位陰影。本文對(duì)輸入的圖像經(jīng)過(guò)拉普拉斯金字塔變換，分別以確定的聚類中心為中心進(jìn)行窗口提取達(dá)到考慮像素周圍較遠(yuǎn)處區(qū)域的目的。合成訓(xùn)練樣本后在卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，用小的測(cè)試集進(jìn)行測(cè)試，最后產(chǎn)生的后驗(yàn)分布反饋給條件隨機(jī)場(chǎng)，不同標(biāo)簽集合的交集形成陰影檢測(cè)的結(jié)果。本文方法流程如圖1所示。

圖1　本文方法流程圖

1.1確定聚類中心

圖2　不同方法搜索范圍比較

在聚類中心點(diǎn)數(shù)目相同時(shí)，該方法能夠減少重復(fù)計(jì)算的時(shí)間，因?yàn)閳A形具有嚴(yán)格的幾何不變性[16]，確定的聚類中心為：

Ck=[lk,ak,bk,xk,yk]T

(1)

其中，lk、ak與bk表示坐標(biāo)為(xk,yk)的像素點(diǎn)在CIELAB顏色空間下各通道的值，k∈[1,K]。

1.2窗口提取與特征學(xué)習(xí)

輸入圖像經(jīng)過(guò)拉普拉斯金字塔變換，以每個(gè)聚類中心為中心進(jìn)行窗口提取，則對(duì)于坐標(biāo)為(xk,yk)的像素點(diǎn)，此操作可以描述為：

Ωk=W(Ck,t)

(2)

其中，Ωk為所提取的圖像塊Ωk∈Ω，W(·)為窗口操作，t為提取窗口的大小，由于所選圖像集陰影區(qū)域的不平衡性，采用合成少數(shù)類過(guò)取樣算法[17]合成訓(xùn)練樣本：

Ο=Λ(Ω)

(3)

其中，Λ(·)為合成樣本操作，Ο為樣本集，樣本集在卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行特征學(xué)習(xí)。本文卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

對(duì)于卷積層來(lái)說(shuō)，上一層的特征圖被一個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積，然后通過(guò)一個(gè)激活函數(shù)，就可以得到輸出特征圖。每一個(gè)輸出特征圖可能是組合卷積多個(gè)輸入的特征圖：

(4)

(5)

(6)

對(duì)于式(6)j∈[shadow,n-shadow]，卷積神經(jīng)網(wǎng)絡(luò)以一個(gè)圖像塊作為輸入，經(jīng)過(guò)訓(xùn)練之后得到一個(gè)后驗(yàn)分布。在本文中，池操作的步幅等于池鄰域的均值，通過(guò)降采樣層執(zhí)行池操作有助于學(xué)習(xí)不變性的特征描述。全連接層工作原理是有一層隱藏層的多層傳感器，這個(gè)隱藏層后邊跟著一個(gè)邏輯回歸的輸出層，邏輯回歸的輸出層提供類的分布。圖像轉(zhuǎn)化為二值圖像，二值輸出變量的后驗(yàn)分布：

(7)

圖像塊訓(xùn)練之前先進(jìn)行預(yù)處理，采用卷積神經(jīng)網(wǎng)絡(luò)可以把概率分布的模型PCNNs(Yi|Οk)定義為：

PCNNs(Yi|Οk)=F(θ(Οk))

(8)

其中，θ(·)是預(yù)處理，F(xiàn)(·)是有5層隱藏層的卷積神經(jīng)網(wǎng)絡(luò)。預(yù)處理之后，通過(guò)在線學(xué)習(xí)(隨機(jī)梯度下降)，卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行有監(jiān)督的訓(xùn)練。在訓(xùn)練過(guò)程中，梯度通過(guò)反向傳播的方式計(jì)算，交叉熵?fù)p失函數(shù)被最小化[17]。采用交叉驗(yàn)證的方法確定訓(xùn)練參數(shù)，訓(xùn)練樣本在訓(xùn)練之前被打亂，這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)對(duì)未知樣本學(xué)習(xí)得更快。卷積神經(jīng)網(wǎng)絡(luò)的初值是從0均值的高斯分布中隨機(jī)取樣來(lái)初始化的。

卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程的每個(gè)階段用一個(gè)小的驗(yàn)證集來(lái)評(píng)估正在訓(xùn)練的網(wǎng)絡(luò)，一旦驗(yàn)證集在執(zhí)行時(shí)不能達(dá)到κ步，訓(xùn)練過(guò)程就停止(本文κ=5)。在驗(yàn)證集上表現(xiàn)好的網(wǎng)絡(luò)被用來(lái)在圖像庫(kù)上進(jìn)行測(cè)試，最初的學(xué)習(xí)率是試探性的選擇能使誤差收斂的最大學(xué)習(xí)率。

1.3條件隨機(jī)場(chǎng)

給定輸入圖像，陰影檢測(cè)的任務(wù)實(shí)際上就是把整幅圖像的像素分為了兩類，也是對(duì)每一個(gè)像素進(jìn)行標(biāo)簽的過(guò)程，一個(gè)像素要么被標(biāo)記為陰影像素要么被標(biāo)記為非陰影像素。這種二分類問(wèn)題從有監(jiān)督的特征學(xué)習(xí)中建立概率估計(jì)并提供給條件隨機(jī)場(chǎng)。條件隨機(jī)場(chǎng)定義在網(wǎng)格拓?fù)浣Y(jié)構(gòu)圖上，圖的節(jié)點(diǎn)對(duì)應(yīng)于圖像的像素，如式(9)，條件隨機(jī)場(chǎng)是對(duì)像素標(biāo)簽最常用的方法之一。由于訓(xùn)練空間(標(biāo)簽圖像)的大小增加了計(jì)算似然函數(shù)梯度的難度，因此條件隨機(jī)場(chǎng)的參數(shù)不能被簡(jiǎn)單的手工標(biāo)簽陰影區(qū)的最大似然估計(jì)來(lái)得到，采用一種最大化利潤(rùn)學(xué)習(xí)方法[18]來(lái)學(xué)習(xí)條件隨機(jī)場(chǎng)的參數(shù)。把陰影檢測(cè)定義為條件概率分布：

(9)

其中，ω是該模型的權(quán)值，Z(ω)是歸一化函數(shù)，ν表示節(jié)點(diǎn)(比如單個(gè)像素)，ε表示邊(比如相鄰像素)，X表示整幅圖像的像素。對(duì)吉布斯能量函數(shù)而言，上述分布形式為：

(10)

(11)

(12)

當(dāng)Yi≠Yj時(shí)φp1(Yi,Yj)=α，否則φp1(Yi,Yj)=0，φp2(X)如下：

(13)

其中，α和β通過(guò)在每個(gè)數(shù)據(jù)集上交叉驗(yàn)證得到，對(duì)隨機(jī)變量Y∈ΓN，通過(guò)采用最大后驗(yàn)估計(jì)Y′來(lái)確定像素的標(biāo)簽，由于歸一化函數(shù)Z(ω)不依賴與Y′，這種估計(jì)轉(zhuǎn)化為能量最小化問(wèn)題：

(14)

根據(jù)Y′求標(biāo)簽集合SJ最后求交集：

(15)

2結(jié)果與討論

2.1實(shí)驗(yàn)方案

為了驗(yàn)證提出方法的有效性和高效性，本文實(shí)驗(yàn)方案如下：

(1) 圖像庫(kù)：本文實(shí)驗(yàn)圖像庫(kù)來(lái)源于文獻(xiàn)[9]圖像庫(kù)(大部分陰影圖像背景復(fù)雜，多為硬陰影，陰影面積小)和文獻(xiàn)[12]圖像庫(kù)(大大部分陰影圖像背景簡(jiǎn)單，多為軟陰影，陰影面積大)。

(2) 實(shí)驗(yàn)參數(shù)：本文聚類數(shù)目K取150，拉普拉斯金字塔J取5。實(shí)驗(yàn)條件為Intel(R)Core(TM)i3-2370@2.40 GHz處理器，2 GB內(nèi)存，32位操作系統(tǒng),Visual Studio2012開(kāi)發(fā)平臺(tái)編程實(shí)現(xiàn)。

K的值小于圖像大小與樣本大小的商，這樣能夠保證在窗口提取時(shí)能夠提取每個(gè)超像素的大部分像素，從而能夠得到更可靠的樣本。而當(dāng)K等于150時(shí)，對(duì)于圖像庫(kù)中的所有圖像，窗口提取都能夠滿足條件。對(duì)于一些特定的實(shí)時(shí)領(lǐng)域，K的值需要簡(jiǎn)單的計(jì)算與測(cè)試確定。實(shí)驗(yàn)的精度并不隨J的增大而增大，當(dāng)J=5時(shí)，陰影的檢出率最高，而當(dāng)J>5時(shí)，陰影的檢出率反而下降，因此J取5。

(3) 實(shí)驗(yàn)方法：宏觀上交叉訓(xùn)練，交叉測(cè)試；微觀上選取9幅場(chǎng)景復(fù)雜度不同的圖像進(jìn)行測(cè)試。

(4) 計(jì)算方法：

對(duì)于一副有陰影標(biāo)簽的圖像來(lái)說(shuō)，假設(shè)A表示陰影區(qū)像素的集合，B表示非陰影區(qū)像素的集合，A＇、B＇分別表示經(jīng)過(guò)實(shí)驗(yàn)得到的陰影區(qū)與非陰影區(qū)像素的集合。陰影檢測(cè)效果采用陰影檢出率SD、陰影誤檢率SE來(lái)評(píng)價(jià)，TP計(jì)算方法如下(其中N(·)表示計(jì)算像素的數(shù)目)：

2.2實(shí)驗(yàn)結(jié)果

(1) 宏觀測(cè)試

本文采用在其中一個(gè)圖像庫(kù)上訓(xùn)練然后在另一圖像庫(kù)進(jìn)行測(cè)試的方法，然后比較本文在不同圖像集上所能達(dá)到的最高精度(陰影檢出率SD)。在文獻(xiàn)[9]圖像庫(kù)上進(jìn)行訓(xùn)練，在文獻(xiàn)[12]圖像庫(kù)測(cè)試的精度達(dá)到81.9%；而在文獻(xiàn)[12]圖像庫(kù)上訓(xùn)練，在文獻(xiàn)[9]圖像庫(kù)上測(cè)試的精度為79.8%。這是因?yàn)槲墨I(xiàn)[9]圖像庫(kù)的圖像場(chǎng)景比較復(fù)雜能夠訓(xùn)練得到一個(gè)更好的網(wǎng)絡(luò)。本文方法在文獻(xiàn)[9]圖像庫(kù)與文獻(xiàn)[12]圖像庫(kù)上測(cè)試達(dá)到的最高精度分別為90.71%與93.37%。由陰影檢測(cè)計(jì)算公式可知：在相同條件下誤檢率相同時(shí)，陰影區(qū)的面積越大陰影的檢出率相對(duì)較高，而文獻(xiàn)[12]圖像庫(kù)的陰影區(qū)面積較大，因此本文方法在文獻(xiàn)[12]圖像庫(kù)上取得較高的精度。

(2) 微觀測(cè)試

為了驗(yàn)證本文方法的場(chǎng)景適應(yīng)性，選取了9幅場(chǎng)景復(fù)雜度不同的圖像作為本位陰影檢測(cè)結(jié)果的實(shí)例，如圖4所示。其中第一排、第三排和第五排為源圖像，第二排、第四排和第六排為陰影檢測(cè)效果圖。

定性上，從陰影檢測(cè)的效果來(lái)看，本文方法能夠很好地檢測(cè)軟陰影、硬陰影、自陰影以及場(chǎng)景非常復(fù)雜的陰影。(a)、(b)、(d)與(f)場(chǎng)景較為簡(jiǎn)單且無(wú)自陰影，但是(a)與(b)陰影多為軟陰影，(d)與(f)陰影接近硬陰影；(c)、(d)、(g)、(h)與(i)都包含自陰影，其中(c)與(d)場(chǎng)景較為簡(jiǎn)單，(g)、(h)與(i)場(chǎng)景較為復(fù)雜，(g)與(h)為遙感圖像，(i)為復(fù)雜的室外自然場(chǎng)景。實(shí)驗(yàn)表明，本文提出方法在各種不同場(chǎng)景下的圖像的陰影檢測(cè)效果較好，能夠準(zhǔn)確檢測(cè)出由于遮擋產(chǎn)生的自陰影。

圖4　陰影檢測(cè)結(jié)果實(shí)例

定量上，本文對(duì)選取的圖像進(jìn)行測(cè)試并將本文方法的陰影檢出率與誤檢率和傳統(tǒng)的方法進(jìn)行比較，如表1、表2所示。

表1　陰影檢出率SD(%)

表2　陰影誤檢率SE(%)

從表1與表2可以看出，本文方法陰影檢出率較傳統(tǒng)的方法高，陰影誤檢率較傳統(tǒng)方法低。而SD與SE并沒(méi)有完全的相關(guān)性，這與SD與SE的計(jì)算方法有關(guān)。傳統(tǒng)方法陰影的檢出率隨場(chǎng)景的變化變化較大且檢出率較低，而本文方法相對(duì)較為穩(wěn)定且能夠達(dá)到更高的檢出率。

在訓(xùn)練資源的消耗上，文獻(xiàn)[9]所采用的方法需要更大的內(nèi)存(9 GB)和更大的時(shí)間消耗(大約10小時(shí)訓(xùn)練125幅圖像)。本文的多尺度特征學(xué)習(xí)方法只需要2 GB內(nèi)存，訓(xùn)練時(shí)間也更短(大約4小時(shí)能訓(xùn)練兩個(gè)圖像庫(kù)全部的圖像)。在實(shí)驗(yàn)中當(dāng)用網(wǎng)絡(luò)i的權(quán)值初始化網(wǎng)絡(luò)i+1時(shí)(1<=i,i+1<=5)，本文方法的訓(xùn)練時(shí)間能夠縮短到2.5小時(shí)左右。文獻(xiàn)[12]采用的支持向量機(jī)方法只適合小數(shù)據(jù)，卷積神經(jīng)網(wǎng)絡(luò)模擬人的可視域可以用多個(gè)卷積核映射出多個(gè)特征圖，更適合圖像像素的分類。當(dāng)圖像擴(kuò)展到三維，或圖像場(chǎng)景非常復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)就體現(xiàn)出來(lái)了。就目前來(lái)說(shuō)，圖像越來(lái)越復(fù)雜，卷積神經(jīng)網(wǎng)絡(luò)的適應(yīng)性越強(qiáng)。

3結(jié)語(yǔ)

本文主要闡述了一種新的陰影檢測(cè)方法，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)，結(jié)合條件隨機(jī)場(chǎng)對(duì)圖像進(jìn)行標(biāo)簽。該方法場(chǎng)景適應(yīng)性強(qiáng)，在陰影面積較大、軟陰影較多的圖像中也取得了很好的效果，而且訓(xùn)練的時(shí)間也比現(xiàn)有的基于統(tǒng)計(jì)屬性的方法大大縮短，陰影檢出率也較現(xiàn)有傳統(tǒng)的算法高。

本文方法雖然在當(dāng)前圖像庫(kù)和一些采樣的圖像上取得了較好的效果，而一些參數(shù)仍需簡(jiǎn)單的計(jì)算與測(cè)試得到。如何自適應(yīng)的確定參數(shù)、減少網(wǎng)絡(luò)訓(xùn)練時(shí)間以及三維圖像的陰影檢測(cè)是以后研究的重點(diǎn)。

參考文獻(xiàn)

[1] Hsieh J W,Hu W F,Chang C J,et al.Shadow elimination for effective moving object detection by Gaussian shadow modeling[J].Image and Vision Computing,2003,21(6):505-516.

[2] Cavallaro A,Salvador E,Ebrahimi T.Shadow-aware object-based video processing[J].IEE Proceedings on Vision,Image and Signal Processing,2005,152(4):398-406.

[3] Nicolas H,Pinel J M.Joint moving cast shadows segmentation and light source detection in video sequences[J].Signal Processing:Image Communication,2006,21(1):22-43.

[4] Huang X,Hua G,Tumblin J,et al.What Characterize a Shadow Boundary under the Sun and Sky?[C]//In ICCV,2011:898-905.

[5] 孫靜,田建東,唐延?xùn)|.靜態(tài)室內(nèi)圖像投影邊緣檢測(cè)方法研究[J].儀器儀表學(xué)報(bào),2010,31(S2):28-31.

[6] 郭迎春,吳鵬,袁浩杰.基于自投影和灰度檢索的視頻幀中異常行為檢測(cè)[J].數(shù)據(jù)采集與處理,2012,27(5):612-619.

[7] Chen C T,Su C Y,Kao W C.An enhanced segmentation on vision-based shadow removal for vehicle detection[C]//International Conference on Green Circuits and Systems,2010:679-682.

[8] Finlayson G D,Drew M S,Lu C.Entropy minimization for shadow removal[C]//In:IJCV,2009,85(1):35-57.

[9] Zhu J,Samuel K G,Masood S Z,et al.Learning to recognize shadows in monochromatic natural images[C]//CVPR,IEEE,2010:223-230.

[10] Lalonde J F,A Efros A,Narasimhan S G.Detecting ground shadows in outdoor consumer photographs[C]//ECCV,2010:322-335.

[11] Jiang X,Schofield A J,Wyatt J L.Shadow detection based on colour segmentation and estimated illumination[C]//BMVC,2011:1-11.

[12] Guo R Q,Dai D,Hoiem D.Paired Regions for Shadow Detection and Removal[C]//IEEE,2013,12(35):2956-2967.

[13] Lecun Y,Bottou L,Bengio Y,et al.Gradient-Based Learning Applied To Document Recognition[C]//Proceedings of the IEEE,1998,10:2278-2324.

[14] Lafferty J,McCallum A,Pereira F.Conditional random fields: probabilistic models for segmenting and labeling sequence data[C]//Processing of the International Conference on Machine Learning (ICML-2001),2001:282-289.

[15] Achanta R,Shaji A,Smith K,et al.Slic superpixels compared to state-of-the-art superpixel methods[C]//TPAMI,2012,34:2274-2282.

[16] 孟繁杰,郭寶龍.使用興趣點(diǎn)局部分布特征及多示例學(xué)習(xí)的圖像檢索方法[J].西安電子科技大學(xué)學(xué)報(bào),2011,38(2):47-53.

[17] Chawla N V,Bowyer K W,Hall L O,et al.Smote: synthetic minority over-sampling technique[J].Journal of AI Research,2002,16(1):321-357.

[18] Szummer M,Kohli P,Hoiem D.Learning crfs using graph cuts[C]//ECCV,2008:582-595.

SHADOW DETECTION BASED ON MULTI-SCALE FEATURE LEARNING

Zhang Yongku1Du Shuaichuan2Sun Jinguang1Zhou Jilin2Jin Yaru3

1(SchoolofElectronicsandInformationEngineering,LiaoningTechnicalUniversity,Huludao125105,Liaoning,China)2(InstituteofGraduate,LiaoningTechnicalUniversity,Huludao125105,Liaoning,China)3(SchoolofNursing,ShandongUniversityofTraditionalChineseMedicine,Jinan250000,Shandong,China)

AbstractTraditional shadow detection methods need careful hand-crafted features design and long training time. Specially, these methods have lower detection rate as well. In order to solve these problems, in this paper we propose a supervised learning method for shadow detection. Firstly, the inputted images are transformed through Laplacian pyramid to determine the clustering centres, and these clustering centres are then taken as the centres for extracting the windows separately. Secondly, the method synthesises the training samples, and trains these samples in convolutional neural network to generate the posterior distribution. Finally, it feeds the derived posterior distribution back to the conditional random field to generate the labelled image. Experimental results show that this method works well in different scenes, the training time is short and the shadow detection rate is high.

KeywordsShadow detectionConvolutional neural networkFeature learningConditional random field

收稿日期：2014-10-13。國(guó)家科技支撐計(jì)劃項(xiàng)目(2013bah12f01)。張永庫(kù)，副教授，主研領(lǐng)域：圖形圖像處理和多媒體，數(shù)據(jù)處理和數(shù)據(jù)挖掘。杜帥川，碩士生。孫勁光，教授。周積林，碩士生。金雅茹，本科。

中圖分類號(hào)TP3

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.05.046