關 琦，聞 江，孫麗婷，龐鳳蘭，劉瑞芝，王菽裕，宋煥生,2

(1.長安大學 信息工程學院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

基于陰影向量擴展的陰影檢測方法

關 琦1，聞 江1，孫麗婷1，龐鳳蘭1，劉瑞芝1，王菽裕1，宋煥生1,2

(1.長安大學 信息工程學院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

提出了一種基于陰影向量擴展的陰影檢測新方法。該方法依據(jù)陰影區(qū)域的光學特性，先找出前景中能夠表達陰影區(qū)域主要特征的陰影向量，再根據(jù)陰影向量擴展出整個陰影區(qū)域。測試圖庫的實驗結(jié)果表明該方法能有效的檢測出前景中的陰影，并且改善了傳統(tǒng)方法在強陰影識別方面的缺陷，以及常常把目標局部誤識別為陰影的問題。

圖像處理；陰影檢測；陰影向量擴展

現(xiàn)在大多數(shù)視頻監(jiān)控系統(tǒng)都采用固定的攝像機，實時對采集到的圖像進行處理，進而實現(xiàn)對運動目標的檢測和分割。在實際應用中，目標總是伴有陰影，大多數(shù)的目標必須在去除陰影后才能正確檢測與分割。目前的陰影檢測方法有很多，Andres Sanin詳細總結(jié)了近10年的陰影檢測方法，并給出了實驗結(jié)果及分析[1]。這些方法主要有：基于色度的方法、物理方法、基于幾何的方法、基于紋理特征的方法。其中，基于色度的方法依據(jù)陰影下的區(qū)域變得更暗，但保持原來色度的原理。這類算法容易執(zhí)行且運算量小。但是這類方法都是在像素級上的操作，所以易受噪聲的干擾。此外，這種方法對于強光照的變化敏感，而且無法檢測出強陰影。物理方法借助線性衰減模型假設照明光源生產(chǎn)純白色的光，嘗試構(gòu)造陰影像素的模型或?qū)W習陰影的外觀。這類方法的優(yōu)點是比基于色度的方法更精確，缺陷是受到光譜特性的限制，無法識別與背景有相似色度的目標?；趲缀蔚姆椒ㄕJ為理論上陰影的方向、大小，甚至方向可以由光源、目標的形狀和地面的先驗之勢預測出來。這類方法能夠?qū)斎霂瑘D像直接處理，而不依賴背景參照的精確評估。但是，用幾何特征的方法有場景限制，例如特定的目標類型，典型的行人或車輛，要求目標和陰影有不同的方向，并且假定為單一光源或平坦的背景表面。此外，當前基于幾何的方法并不適用于處理有多陰影的目標或多目標的圖像?；诩y理特征的方法利用陰影下的區(qū)域保留背景區(qū)域大部分紋理的原理，具有很強的分辨特性，不依賴色彩，且對關照變化的魯棒性好，所以利用紋理相關的方法很有潛力。然而，因為基于紋理的陰影檢測不得不為每個像素計算一個或多個的領域比較值，所以該方法效率較低。

除此之外，還有運用Retinex理論[2]、基于陰影位置和邊緣特性[3]，以及單像素分解為色彩光照不變圖像和無暗影圖像[4]的陰影檢測方法，這些方法在很多應用場合中是有效的，它們能夠檢測出前景中的大部分陰影，但是，這些方法對于目標底部強陰影部分的檢測仍有待改善，而且，這些方法常常會把目標部分識別成陰影。依據(jù)陰影區(qū)域的光學特征，先在前景中找出能夠表達陰影區(qū)域主要特征的陰影向量，再通過陰影向量擴展出整個陰影區(qū)域。

1 算法的原理與實現(xiàn)

1.1 陰影區(qū)域內(nèi)像素灰度的梯度下降與平坦性

光線受到物體的遮擋產(chǎn)生陰影，而受到陰影周圍光的擴散影響，距離陰影外邊緣近的陰影區(qū)域相對較亮，而隨著到陰影外邊緣距離的增大，像素灰度逐漸減小，如圖1所示，陰影區(qū)域內(nèi)的像素灰度沿梯度方向下降(原圖為彩圖)。

圖1 陰影區(qū)域內(nèi)像素灰度的梯度下降及平坦性

此外，光的擴散對陰影區(qū)域的影響近似是線性的，從細節(jié)上看，相鄰陰影區(qū)域的像素灰度值近似相等，如式(1)所示，從宏觀上看，陰影區(qū)域是平坦的。當陰影區(qū)域?qū)谋尘皥D像也平坦時，背景差圖像或原幀圖像都滿足這些陰影區(qū)域特征。

I(x±1,y±1)≈I(x,y)，Shd(x,y)=1和

Shd(x±1,y±1)=1

(1)

式中：I(x,y)表示背景差圖像或原幀圖像，Shd(x,y)表示陰影標識圖像。

1.2 圖像預處理

首先，需要提取出視頻圖像的背景，然后從背景中分割出前景。Chris Stauer提出的改進的自適應混合高斯模型[5]對提取背景及分割前景有良好的效果。

得到前景后，需要提取前景圖像的外邊緣，結(jié)果如圖2所示。

圖2 前景外邊緣提取

1.3 陰影向量的檢測與篩選

前景外邊緣包括目標邊緣和陰影邊緣，陰影邊緣上明顯的特征是像素灰度比背景圖像更暗。根據(jù)不同場景的光照強度，設置一個檢測陰影灰度下降向量的低閾值，宏定義為SHDGDLTH，例如：#define SHDGDLTH 5。然后把前景邊緣上灰度低于該點背景灰度減去陰影灰度下降低閾值的像素點作為起點，然后在一個以該點為中心、大小為2M×2N的塊內(nèi)尋找像素灰度的最小點，如果這個最小點是該點本身，則這個像素灰度最小點作為灰度梯度下降的終點，因為灰度最小點總是存在于目標與陰影的銜接處，或是兩條陰影外邊緣的中央位置。如果檢測到的灰度最小點是個新點，則以這個新點作為中心，繼續(xù)在大小為2M×2N的塊內(nèi)尋找新的灰度最小點，直到找到的新點是中心點本身為止。定義這個由起點指向終點的向量為候選陰影向量，如圖3b所示，紅色線段表示候選陰影向量(原圖為彩圖)。根據(jù)圖像分辨率及陰影區(qū)域的面積特征適當確定M和N的值，本例中設置M=5，N=5。

圖3 陰影向量檢測

如圖3b所示，陰影區(qū)域內(nèi)的候選陰影向量聚集在一起，而且起點相鄰的大多終點相同。相反，目標區(qū)域內(nèi)的候選陰影向量則大多表現(xiàn)為離散或稀疏的分布。所以刪除那些分布稀疏的候選陰影向量能夠有效排除誤檢的候選陰影向量，同時也減小了計算機的運算負擔。用大小為2M×2N的圖像塊內(nèi)包含的候選陰影向量的個數(shù)表示密集程度。在本例中，把聚集度小于(M+N)/3看作是稀疏的。

更為重要的是，陰影區(qū)域內(nèi)相鄰像素間的灰度近似相等，從而使陰影區(qū)域整體看上去是平坦的。相反，前景目標大多具有一定的紋理特性，如輪廓、花紋等，這使得目標區(qū)域內(nèi)的像素灰度呈現(xiàn)出高低起伏的特性，即目標區(qū)域不平坦。選擇一個大小為3×3的像素模板，用這個模板的像素灰度方差度量這個模板中心的平坦度，值越小表示越平坦。顯然，同一終點的候選陰影向量可以唯一確定一個矩形區(qū)域，把這個矩形區(qū)域內(nèi)前景點的平坦度的平均值作為這一組候選陰影向量的平坦度。如圖3c所示，刪除那些不平坦的候選陰影向量后所剩下的為最終要得到的陰影向量。在本例中，把平坦度大于3的候選陰影向量看作是不平坦的。

1.4 根據(jù)陰影向量擴展陰影區(qū)域

為了能通過陰影向量擴展陰影區(qū)域，采用像素灰度分級的方法關聯(lián)陰影向量和陰影區(qū)域?；叶确旨夐g隔視圖像而定，本例中定義的像素灰度分級間隔為10，計算公式為

GR(x,y)=int(FG(x,y)/10)×10

(2)

式中：FG(x,y)表示背景差圖像或原幀圖像的前景，GR(x,y)表示前景的灰度分級圖。

此外，先對前景圖像進行形態(tài)學開運算，再進行像素灰度分級，能夠有效抑制噪聲和雜點干擾，改善分級的效果。分級結(jié)果如圖4b所示。

圖4 由陰影向量擴展陰影區(qū)域的實現(xiàn)過程

由圖4b可以看出，同一灰度級的像素點聯(lián)結(jié)成一個較大的閉區(qū)域，把陰影向量穿過的灰度區(qū)作為是陰影區(qū)域，如圖4c所示。

由處理結(jié)果看出，很多小的灰度區(qū)屬于陰影區(qū)域，但是沒有被陰影向量穿過，然而這些區(qū)域卻被已經(jīng)檢測出的陰影區(qū)域包圍著。因此，需要檢測出這些小的灰度作為陰影區(qū)域的補充。此外，在檢測出陰影區(qū)域與目標區(qū)域連接的地方，存在著陰影區(qū)域擴展過多的問題，因此，需要識別出陰影與目標區(qū)域的真實邊界，濾除多余的陰影。在處理中，只需要把和目標區(qū)域相接的那個灰度級陰影從交界點濾除到陰影向量終點附近或灰度級邊緣即可。處理結(jié)果如圖4d所示。

2 結(jié)果分析與比較

圖5所示為傳統(tǒng)的陰影檢測方法用在測試視頻中的陰影檢測效果。

圖5 傳統(tǒng)的陰影檢測方法在測試視頻中的檢測效果

由圖可知，傳統(tǒng)的陰影檢測方法對于目標底部強陰影部分的檢測仍有待改善，而且，這些方法常常會把目標部分識別成陰影。為了測試陰影陰影檢測算法的性能，Prati提出了兩個檢測指標[6]：陰影檢測率和陰影辨別率，分別用符號η和ξ表示。陰影檢測率和陰影識別率的定義如下

(3)

(4)

式中：S和F分別代表陰影和前景目標，TP表示屬于S或F區(qū)域并識別正確的像素總數(shù)，F(xiàn)N表示不屬于S或F區(qū)域并識別正確的像素總數(shù)。

陰影檢測方法在測試圖片庫的結(jié)果如圖6所示。測試圖片庫的鏈接為http://arma.sourceforge.net/shadows/。

圖6 陰影檢測結(jié)果對比

根據(jù)測試圖片庫中各場景所有測試圖片的檢測結(jié)果可以得到陰影檢測率η和陰影識別率ξ的平均值，本文提出的方法與傳統(tǒng)方法的檢測結(jié)果如圖7所示。

圖7 各種陰影檢測方法在不同場景中的檢測性能比較

從實驗結(jié)果可以看出，本文方法對陰影檢測是有效而穩(wěn)定的，尤其是對陰影區(qū)域較大的圖像，該方法同時擁有很高的陰影檢測率和陰影識別率。然而，本文的方法在圖像噪聲嚴重的情況下，需要先對圖像去噪，否則該方法將出現(xiàn)較大誤差。

3 結(jié)論

在本文中，提出依據(jù)陰影區(qū)域的光學特征，先找出表征陰影區(qū)域的陰影向量，再通過陰影向量擴展出陰影區(qū)域的新方法。實驗結(jié)果顯示出本文方法能夠有效地檢測出前景中的陰影，和傳統(tǒng)的基于陰影紋理、物理、純度、幾何特征的方法相比，本文方法簡單有效，而且在陰影區(qū)域相對較大的場合，本文方法有更高的陰影檢測率和陰影識別率。同時，本文方法還改善了傳統(tǒng)方法在強陰影識別方面的缺陷，以及經(jīng)常把前景目標誤識別為陰影的問題。

[1] SANIN A,SANDERSON C,LOVELL B C. Shadow detection: a survey and comparative evaluation of recent methods[J].Pattern Recognition,2012,45(4):1684-1695.

[2] MA Guowen,YANG Jinfeng. Shadow removal using retinex theory[C]//Proc.Conference on Intelligent Visual Surveillance.Beijing:IEEE Press,2011:25-28.

[3] ZHU Shiping,GUO Zhichao,MA Li. Shadow removal with background difference method based on shadow position and edges attributes[EB/OL].[2014-10-20].http://link.springer.com/article/10.1186/1687-5281-2012-22.

[4] QU Liangqiong,TIAN Jiandong,HAN Zhi,et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image[J].Optics Express,2015,23(3):2220-2239.

[5] ZIVKOVIC Z. Improved adaptive gaussian mixture model for background subtraction[C]//Proc. the Intl. Conf. on Pattern Recognition(ICPR).[S.l.]:IEEE Press,2004:28-31.

[6] PRATI A,MIKIC I,TRIVEDJ M,et al. Detecting moving shadows: algorithms and evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(7):918-923.

關 琦(1991— )，女，碩士生，主研視頻檢測技術、圖像處理；

聞 江(1992— )，碩士生，主研視頻檢測技術；

孫麗婷(1991— )，女，碩士生，主研視頻檢測技術、圖像處理；

龐鳳蘭(1990— )，女，碩士生，主研視頻檢測技術、圖像處理；

劉瑞芝(1989— )，女，碩士生，主研視頻檢測技術、圖像處理；

王菽裕(1991— )，碩士生，主研視頻檢測技術、圖像處理；

宋煥生(1964— )，教授，博士生導師，主研智能交通、圖像處理及計算機視覺。

責任編輯：任健男

Shadow Detection Method Based on Shadow Vector Extension

GUAN Qi1, WEN Jiang1, SUN Liting1,PANG Fenglan1, LIU Ruizhi1,WANG Shuyu1,SONG Huansheng1,2

(1.DepartmentofInformationEngineering,Chang’anUniversity,Xi’an710064,China;2.ShanxiEngineeringandTechniqueResearchCenterforRoadandTrafficDetection,Xi’an710064,China)

A new method of Shadow detection method is proposed based on shadow vector extension.According to the optical properties of the shaded region, the method firstly finds out the shadow vectors which can express the main characteristics of the shaded region in the foreground, and then extend the entire shaded region with the shadow vectors. The experimental results from test galleries show that the method can effectively detect the shadow in the foreground, and improve the defect of traditional methods in strong shadow recognition and the problem that often mistakenly identifies the part of the object region into shadow.

image processing;shadow detection;shadow vector extension

國家“863”計劃項目(2014G3242005)

TP311.1

A

10.16280/j.videoe.2015.19.023

2015-01-29

【本文獻信息】關琦，聞江，孫麗婷，等.基于陰影向量擴展的陰影檢測方法[J].電視技術,2015，39(19).