陳卓(四川大學(xué)視覺合成圖形圖像技術(shù)國防家重點(diǎn)學(xué)科實(shí)驗(yàn)室,成都 610025)
一種針對單幅室外圖像的陰影檢測算法
陳卓
(四川大學(xué)視覺合成圖形圖像技術(shù)國防家重點(diǎn)學(xué)科實(shí)驗(yàn)室,成都610025)
一直以來,陰影檢測都是圖像處理領(lǐng)域的研究熱點(diǎn)之一。圖像中的陰影會(huì)增加物體識(shí)別、圖像分割等算法的難度,所以有效地檢測陰影可以顯著提高圖像處理領(lǐng)域許多算法的性能。
最近十多年中,大量圖像處理中的陰影檢測算法涌現(xiàn)出來。一部分算法基于陰影邊緣。該方法通過比較兩種邊緣來檢測陰影[1]:光照不變圖像的邊緣和原圖像的邊緣。該方法的一大限制在于對處理圖像有著很高的質(zhì)量要求,當(dāng)所處理圖像為普通圖像時(shí),該算法效果一般。另一部分算法基于陰影區(qū)域。該方法基于光照強(qiáng)度、梯度等信息,通過訓(xùn)練條件隨機(jī)場來判斷陰影[2]。但該方法有著冗長的訓(xùn)練過程,并對訓(xùn)練集的依賴度較高。時(shí)至今日,在光照、物體反射率和陰影幾何形狀等因素的影響下,陰影檢測仍然是一個(gè)具有挑戰(zhàn)性的問題。特別地,對于單幅室外圖像,由于其信息少、場景復(fù)雜等原因,針對該圖像的陰影檢測更是難上加難。
因此,本文針對單幅室外場景的圖像,提出了一種新的陰影檢測算法。首先,算法利用陰影導(dǎo)致的紋理和亮度變化特征,結(jié)合局部和全局信息對圖像進(jìn)行分割。然后,針對過度分割產(chǎn)生的問題,本文提出了一種新的基于邊緣的區(qū)域融合算法,可有效地將圖像中陰影區(qū)域和非陰影區(qū)域分割開來,同時(shí)可以分別把陰影區(qū)域和非陰影區(qū)域分割成若干個(gè)子區(qū)域。然后,利用單個(gè)區(qū)域信息和區(qū)域匹配的信息,分別訓(xùn)練一個(gè)SVM,對陰影進(jìn)行識(shí)別。本文的主要貢獻(xiàn)包括:
●提出了一種新的基于陰影特征的圖像分割算法,該算法結(jié)合邊緣檢測和區(qū)域檢測,準(zhǔn)確地將陰影和非陰影區(qū)域分割開。
●整合了圖像分割和陰影檢測算法,利用相同的陰影特征進(jìn)行分割和檢測,使算法內(nèi)部的一致性增強(qiáng),并擁有更好的檢測效果。
1.1圖像分割
很多圖像分割算法已經(jīng)被開發(fā)出來,這些算法大致可分為兩類:基于輪廓/邊緣信息的分割,如Canny算法[4];以及基于區(qū)域信息的分割,如MeanShift[5],k均值算法[6]等。同時(shí),很多研究者認(rèn)為作為分割圖像的兩種方法,二者可以有效的結(jié)合起來。文獻(xiàn)[7]提出了這樣一種全新的方法,該方法結(jié)合了輪廓檢測和圖像分割,利用檢測出來的邊緣信息構(gòu)建了一個(gè)分層的區(qū)域樹,很好地融合了兩種方法。
圖1 表示算法處理的流程,依次為(a)→(b)→(c)→(d)
1.2陰影檢測
由于陰影會(huì)顯著降低光照強(qiáng)度,所以一部分陰影檢測的方法是基于光照模型,或者顏色模型的。文獻(xiàn)[8-9]利用顏色空間HSI中的H和I空間,通過兩者之間的比值來檢測陰影檢測。然而,該方法更適合檢測航拍圖中的陰影,或者圖像中比較明顯的陰影,其對室外復(fù)雜場景中陰影的檢測效果差強(qiáng)人意。
有別于基于光照模型的檢測方法,文獻(xiàn)[3]試圖通過對比區(qū)域之間的信息來檢測陰影,具有極強(qiáng)的啟發(fā)意義。這種方法通過訓(xùn)練SVM來評價(jià)一個(gè)區(qū)域以及區(qū)域之間的關(guān)系,然后再據(jù)此構(gòu)建一個(gè)能量函數(shù),最后求解這一函數(shù)來綜合判斷陰影區(qū)域。
2.1基于陰影特征的圖像分割
圖像分割是計(jì)算機(jī)圖像學(xué)領(lǐng)域的一個(gè)基本問題。如果可以將圖像中陰影和非陰影區(qū)域準(zhǔn)確地分割開來,將對陰影檢測帶來極大的便利。因此,圖像分割對陰影檢測有著重要的意義。
當(dāng)一個(gè)區(qū)域被陰影覆蓋時(shí),它的紋理和光照會(huì)發(fā)生變化[2]。而文獻(xiàn)[3]中使用的MeanShift算法不能很好地利用這一性質(zhì)。本文通過改進(jìn)[7]中的算法,根據(jù)陰影的特征,融合陰影邊緣檢測和陰影區(qū)域檢測,分割陰影和非陰影區(qū)域。該方法大致分為兩個(gè)步驟:陰影邊緣檢測和陰影分割。
(1)陰影邊緣檢測
本文與[7]中的算法不同之處在于:首先在陰影邊緣檢測部分,本文通過亮度和紋理基元(textons)[7]信息,計(jì)算每個(gè)像素點(diǎn)的梯度信息G(x,y,θ),并據(jù)此分析出圖像的輪廓信息gPb。
(2)陰影分割
經(jīng)過上文分析得到的gPb能夠有效的表示輪廓,但是這些輪廓也不是完全封閉的,因此不能用作分割圖像。為了更好地分割圖像,本文使用分水嶺算法利用輪廓信息gPb來進(jìn)行區(qū)域分割。然而,分水嶺算法會(huì)產(chǎn)生過度分割問題,為此本文開發(fā)了一種全新的方法來解決這一問題。
在分水嶺算法中,定義每個(gè)“集水盆地”對應(yīng)一個(gè)區(qū)域,記為P0;兩個(gè)集水盆地交匯處是“分水嶺”,記為K0。接著定義一個(gè)無向圖G=(P0,K0,W(P0),E(P0)),其中W(P0)表示每條分水嶺的權(quán)值,由分水嶺上點(diǎn)的總能量處以分水嶺上點(diǎn)的個(gè)數(shù)而得;E(P0)表示每個(gè)集水盆地的能量值,每個(gè)盆地的初始能量均為零。同時(shí)需要注意的是在圖中,每條都恰好分割兩個(gè)區(qū)域,W(P0)描述了相鄰兩個(gè)區(qū)域之間的相異性。
將分水嶺按照其權(quán)值,由小到大存入隊(duì)列,并依此判斷其是否需要合并。假定R1和R2由邊C*分割,且R=R1∪R2,合并的規(guī)則如下:
●R1和R2合并的條件是:如果min{E(R1),E(R2)} ≠0,則W(K0)≤τ·min{E(R1),E(R2)}或min{E(R1),E (R2)}=0。其中,τ表示一個(gè)常數(shù)。通過調(diào)整τ就可以調(diào)整合并條件,從而控制最終區(qū)域的大小,τ越大最終合并的區(qū)域面積越大。
●E(R)、P0和K0的合并方法是:E(R)=max{E(R1),E(R2),W(C*)};P0←P0{R1,R2}∪R;K0←K0{C*}。
2.2陰影檢測
文獻(xiàn)[3]提出了一種基于區(qū)域匹配的陰影檢測方法。該方法認(rèn)為判斷一個(gè)區(qū)域是否為陰影,不僅僅是和區(qū)域本身的性質(zhì)相關(guān),還應(yīng)該和其他區(qū)域相關(guān)。也就是說,需要結(jié)合區(qū)域之間的關(guān)系來判斷一個(gè)區(qū)域是否為陰影。
(1)區(qū)域識(shí)別
對于單區(qū)域識(shí)別,本文訓(xùn)練一個(gè)分類器(SVM)來判斷單個(gè)區(qū)域是陰影的概率。訓(xùn)練集已手工標(biāo)記出了陰影部分,分類器利用陰影的亮度和紋理基元來進(jìn)行分類,輸出為表示區(qū)域?yàn)殛幱暗母怕省?/p>
對于匹配區(qū)域識(shí)別,檢測一個(gè)區(qū)域是否為陰影區(qū)域,應(yīng)該與其紋理相似的區(qū)域進(jìn)行比較。如果兩個(gè)區(qū)域亮度相似,則二者處于同一光照強(qiáng)度下(陰影或者非陰影);如果兩者的亮度相異,則認(rèn)定亮度較暗的區(qū)域?yàn)殛幱?。這里,利用分類器訓(xùn)練四個(gè)特征來判斷陰影區(qū)域[3]:亮度和紋理基元的χ2距離,平均RGB比,色彩對齊度和區(qū)域歸一化距離。
(2)算法
由上述構(gòu)建能量方程,使用圖割算法[10]得到最終的陰影檢測結(jié)果:
同時(shí),
圖2 實(shí)驗(yàn)結(jié)果圖
第一列是原圖像。第二列是文獻(xiàn)[3]所使用的MeanShift算法分割的圖像;第三列是本文算法分割的圖像;第四列是文獻(xiàn)[3]陰影檢測結(jié)果的投影圖像;第五列是本文算法陰影檢測結(jié)果的投影圖像。
本文在多張室外圖像上進(jìn)行了實(shí)驗(yàn),這些圖像很好地囊括了不同種類的陰影圖像,具有較強(qiáng)的說服力,如圖2所示。通過將本文算法和文獻(xiàn)[3]中的算法進(jìn)行比較,可以看出:本文算法很好地分割了圖像中陰影和非陰影區(qū)域,并準(zhǔn)確地檢測了陰影區(qū)域。
本文提出了一種新的陰影檢測算法。分割圖像和檢測陰影都使用了相同的陰影特征,圖像分割更加準(zhǔn)確,陰影檢測的效果更好。另外,根據(jù)輪廓信息,提出了一種區(qū)域合并的算法,并且可以通過控制區(qū)域合并的參數(shù),方便地控制合并區(qū)域的大小。這些優(yōu)點(diǎn)共同提升了陰影移除的效果。
[1]G.D.Finlayson,S.D.Hordley,C.Lu,and M.S.Drew.On the Removal of Shadows from Images.IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(1):59-68.
[2]G.D.Finlayson,M.S.Drew,C.Lu.Intrinsic Images by Entropy Minimization.European Conference on Computer Vision,Prague,Czech Republic,2004:582-595.
[3]Guo Rui-qi,Dai Qie-yun,Hoiem,D.Single-Image Shadow Detection and Removal Using Paired Regions.IEEE Conference on Computer Vision and Pattern Recognition.Providence,RI,2011:2033-2040.
[4]Canny,John.A Computational Approach to Edge Detection.IEEE Transactions on Pattern Analysis and Machine Intelligence,1986,8 (6):679-698.
[5]D.Comaniciu and P.Meer.Mean Shift:A Robust Approach Toward Feature Space Analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5):603-619.
[6]J.B.MacQueen.Some Methods for Classification and Analysis of Multivariate Observations,Berkeley,Proceedings of 5-th Berkeley Symposium on Mathematical Statistics and Probability,University of California Press,1967.
[7]P.Arbelaez,M.Maire,C.Fowlkes,J.Malik.IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(5):898-916.
[8]TSAI V.J.A Comparative Study on Shadow Compensation of Color Aerial Images in Invariant Color Models.IEEE Transactions on Geoscience and Remote Sensing,2006,44(6):1661-1671.
[9]Xiao Chunxia,Xiao Donglin,Zhang Ling,Chen Lin.Efficient Shadow Removal Using Subregion Matching Illumination Transfer.Computer Graphics Forum,2013,32(7):421-430.
[10]Y.Boykov,O.Veksler,R.Zabih.Fast Approximate Energy Minimization Via Graph Cuts.IEEE Transactions on Pattern Analysis andMachine Intelligence,2001,23(11):1222-1239.
Shadow Detection;Shadow Segmentation;Region-Pair
A Shadow Detection Algorithm for Single Outdoor Images CHEN Zhuo
(National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University,Chengdu 610025)
1007-1423(2016)06-0060-04
10.3969/j.issn.1007-1423.2016.06.014
陳卓(1989-),男,河南鶴壁人,碩士研究生,研究方向?yàn)橛?jì)算機(jī)圖像
2016-01-05
2016-02-06
提出一種針對單幅室外場景圖像的陰影檢測算法。算法首先利用陰影的亮度和紋理特征,融合輪廓檢測和區(qū)域分割兩種方法分割圖像;然后,通過訓(xùn)練SVM來檢測單個(gè)區(qū)域信息和區(qū)域之間的匹配信息;最后,利用圖割算法綜合判斷陰影區(qū)域。實(shí)驗(yàn)結(jié)果表明,該算法可以有效地分割單幅室外圖像中的陰影區(qū)域。
陰影檢測;陰影分割;區(qū)域?qū)?/p>
國家自然科學(xué)基金(No.61103137)、國家 863計(jì)劃(No.2013AA013902)、國家自然科學(xué)重點(diǎn)項(xiàng)目和科技支撐計(jì)劃(No.2012BAH62F02)
Proposes a novel shadow detection approach for a single natural outdoor image.This algorithm firstly segments image by using the charac-teristic of shadow:brightness and texture.Then,the algorithm trains a SVM to detect single region information and region-pair informa-tion.At last,uses Graph Cut algorithm to classify shadow/non-shadow regions.Experiments show that this method significantly detects shadow regions in single outdoor images.