(中國石油大學(華東) 計算機與通信工程學院,山東 青島266555)
運動目標的識別和跟蹤一直是計算機視覺領域的主要研究方向。它利用仿生人類的生理視覺感知機制,形成所謂的“機器視覺”,通過計算機對攝像設備所獲得的視頻進行分析,得到圖像序列中感興趣的運動目標的幾何信息,包括形狀、位置坐標等,進而根據(jù)目標的某種特征,把連續(xù)圖像序列中感興趣的同一運動目標進行識別并關(guān)聯(lián),從而得到單一或多個目標的運動軌跡[1]。
目標檢測是運動目標跟蹤技術(shù)中十分重要也是最基本的步驟,只有準確地運動目標進行檢測,才能為后續(xù)的目標跟蹤、分析及理解打下良好基礎。目標檢測是運用相關(guān)算法或者規(guī)則,找出包含在場景中的動態(tài)目標的像素點,同時將場景中的靜態(tài)像素點去除。目標檢測方法按其原理可分為3個基本類別:幀間差分、光流和背景差減。背景差減法運算速度較快,實時性較好,是當前運動目標檢測中最常用的一類方法。利用高斯混合模型(Gaussian mixture model,GMM)建立背景模型,能較好地克服環(huán)境光照變化、枝葉搖晃等因素引起的影響,但是,高斯混合背景模型并不能實現(xiàn)對運動物體的陰影檢測和消除[2]。陰影不屬于運動目標,必須消除。由于實際環(huán)境的復雜,當光照到不透明物體上或是光照不均勻等情況時,陰影難免會伴隨著物體同時出現(xiàn),而且隨著光照方向和強度的不斷變化,其方向和強度也在變化。本文首先利用混合高斯背景模型來消除背景,然后對確定的疑似陰影和運動目標再次進行GMM建模(GMM_S)。這種“雙重”方法有效地消除了視頻圖像序列中運動目標的伴隨陰影。
GMM原理是把1幀圖像中的每個坐標處像素的顏色值用M個單高斯模型來表征[3],分別對應于該像素M個不同的狀態(tài)。其中M在3~5個之間,那么,像素xi在時刻t的概率分布為
(1)
(2)
其中,μk和Σk分別表示期望和協(xié)方差矩陣,n是維數(shù)。
若滿足|xt-μk|<λσk,則該像素與模型匹配,更新模型參數(shù)[4]。其中,λ是一個常量,取值范圍在2~3之間,本文取2.5,σk是均方差。參數(shù)更新模型為:
πk,t=(1-α)πk,t-1+α;
(3)
μk,t=(1-ρk,t)·μk,t-1+ρk,t·xt;
(4)
(5)
其中ρk,t=αpk(xi;μk,t-1,Σk,t-1),α∈[0,1],是模型的學習率。其值越小,則模型更新越慢,但可以減少背景噪聲。對于剩下沒有匹配的高斯模型,它們的均值和標準差不變,但權(quán)重按πk,t=(1-α)πk,t-1進行衰減。
將K個高斯模型按π/σ值從大到小順序排序,并選擇符合下式的前C個高斯模型作為背景模型:
(6)
其中T是閾值[5],是一個全局性的先驗概率。
目標陰影難以去除的原因主要有2方面:1)從外觀上看,目標的陰影明顯不同于背景的顏色;2)陰影與運動目標本身外形極為相似,運動軌跡保持一致且運動目標與它的陰影往往緊緊伴隨在一起,所以陰影容易被誤認為是前景目標。
常用的傳統(tǒng)算法有基于顏色模型(HSV 、YUV)變換的陰影抑制算法[6]、基于色彩特征不變量的陰影抑制算法等[7-8]。
由于HSV顏色空間能夠較好地模擬人類視覺系統(tǒng)感知顏色的模式,因此基于HSV色彩模型變換的陰影消除算法能夠更準確地檢測陰影;但是在這種算法里,關(guān)鍵參數(shù)α、β、τS、τH的取值要根據(jù)具體視頻場景的變化而調(diào)整,難以做到自適應。
YUV色彩模型變換下的陰影消除算法的優(yōu)點是其復雜度和相應計算量比HSV陰影消除算法低,但是在前景區(qū)域和背景區(qū)域的色度值(U、V)很近似、前景的亮度值(Y)比背景值低的狀況下,該算法模型檢測并進而消除陰影的準確性將降低。
基于色彩特征不變量的陰影消除算法的關(guān)鍵依據(jù)是像素的色彩特征不變性。色彩特征較好地、本質(zhì)地描述了像素顏色的配置,基本不受視覺角度、陰影覆蓋及光照條件等因素的限制;但是在對場景光照較強目標的強陰影檢測和消除方面,該算法的準確率不高。
本文在建立混合高斯模型的基礎上,提出了確定疑似陰影和進一步用GMM消除陰影的“雙重”策略。這種雙重算法首先去除視頻圖像序列中的背景區(qū)域,同時實現(xiàn)對運動目標及其陰影區(qū)域像素點的疑似陰影判決,然后再使用GMM對所得目標和疑似陰影像素群進行陰影消除(以下用GMM_S表示這一新的混合高斯模型),如圖1所示。這就減少了陰影檢測中的像素點總數(shù),在一定程度上降低了算法的復雜度。
圖1 運動目標檢測與陰影去除的順序框圖
首先進行疑似陰影的判定。通過理論分析發(fā)現(xiàn),在陰影區(qū)域發(fā)生明顯減弱變化的是背景亮度,而顏色色度變化很小,因此陰影區(qū)域和背景區(qū)域?qū)袼仡伾珚A角也會很小;所以通過顏色夾角的大小來判斷當前像素是否為疑似陰影。這里用Xd=[IH(x,y),IS(x,y),IV(x,y)]和Xb=[BH(x,y),BS(x,y),BV(x,y)]分別表示場景中坐標(x,y)位置處當前前景像素和背景像素的顏色值,向量中的IH(x,y)、IS(x,y)、IV(x,y)與BH(x,y)、BS(x,y)、BV(x,y)分別代表相應的當前前景輸入值Xd和背景像素值Xb的色度(H)、飽和度(S)和明度(V)。2種顏色的夾角為
(7)
當符合判決公式
α<τ
(8)
時,則判斷該坐標處像素值是疑似陰影。
其中τ為根據(jù)實際環(huán)境自行選擇的較小角度值。
然后,對判定為前景且疑似陰影的像素用一個新的高斯混合模型進行陰影消除,其過程如圖2所示。
圖 2 GMM_S去除陰影算法流程圖
在VS2008開發(fā)環(huán)境條件下,用分辨率為320×240像素的AVI視頻序列進行目標檢測分割,實驗中使用4個高斯模型,初始化方差σ=32,學習速率θ=0.003,T=0.7,ωk,1=0.005[7],使用計算機視覺函數(shù)庫OpenCV,版本2.2。
試驗中對不同環(huán)境下的多個視頻進行實驗分析。因篇幅所限僅選取其中一個視頻,并取自該視頻的第89幀和101幀的2幅圖像進行目標提取和陰影檢測,其算法結(jié)果說明,如圖3所示。
(a)原始幀圖像
(b)GMM目標檢測
(c)YUV陰影消除
(d)色彩特征不變量陰影消除
(e)HSV陰影消除
(f)GMM_S雙重陰影消除
圖3(a)示出的是原始視頻的2幀圖像,圖3(b)是GMM檢測后的結(jié)果圖??梢钥闯觯ㄟ^GMM背景建??梢詫崿F(xiàn)前景運動目標的檢測和從背景中的分割,但是僅GMM模型不具備將陰影消除的功能。圖3(c)體現(xiàn)的是基于YUV顏色空間的陰影消除算法效果。可以看出,此算法在實現(xiàn)陰影消除時,在運動目標的某些區(qū)域顏色與場景背景相似同時亮度比場景背景略低的情況下,效果不佳。在實驗的其他場景中有時會發(fā)現(xiàn)某個目標被整體割裂成組合的幾塊。從圖3(d)看出:基于色彩特征不變量的陰影消除模型,有時會把目標像素群中亮度比背景小的像素誤檢作陰影區(qū)域像素;在光照較強時,有時會將目標中的像素塊整體檢作陰影,導致所謂“空洞”的出現(xiàn),誤檢情況較嚴重[8]。圖3(e)是基于HSV色彩模型的陰影消除結(jié)果圖??梢钥闯?,其依然有少數(shù)的目標像素被誤檢為陰影區(qū)域,但與基于YUV模型、色彩特征不變量的方法比較而言,其整體效果要好于這二者。圖3(f)是本文提出的基于GMM的雙重陰影檢測消除策略的結(jié)果圖。通過多次實驗發(fā)現(xiàn),在不同的環(huán)境及光照下,它的陰影消除效果都較好,具有較低的誤檢率。
本文首先引入混合高斯模型用于運動目標檢測,然后分析了傳統(tǒng)陰影檢測方案存在的問題,進而提出一種基于混合高斯背景模型的雙重陰影消除策略:在完成背景建模和目標檢測后,通過顏色夾角初步判斷是否為疑似陰影,再通過對疑似陰影和目標進行混合高斯建模從而實現(xiàn)更精確地判斷并最終消除真實陰影。實驗證明,對于不同條件下的陰影檢測和目標分割,該方法比傳統(tǒng)的基于HSV、YUV模型的陰影消除算法和色彩特征不變性消除算法具有更高的準確度。在實驗中也發(fā)現(xiàn),本文的GMM_S模型在應用時,要想提高其策略的效率需要盡可能多的陰影像素以利于參數(shù)的學習和更新,但是在許多視頻場景中屬于陰影的像素數(shù)目相對較少,在場景中所占比例也較低,覆蓋同一片坐標區(qū)域的時間較短;因此,策略中參數(shù)學習效率總體不高。怎樣提高這一參數(shù)的學習效率將在下一步研究工作中著重解決。
[1]Wei L, Nguyen A V, Lee E J. Real-time Recognition of Humans by Their Walk [J]. International Journal of Intelligent Information and Database Systems,2011,5(1):24-38.
[2]趙欽君,趙東標,陸永華,等.一種基于時空信息的多目標檢測新算法[J].儀器儀表學報,2011,32(4):877-882.
[3]付誠,賈年.基于混合高斯模型和GPU的車輛闖紅燈快速檢測算法及實現(xiàn)[J].西華大學學報:自然科學版,2012,31(2):9-14.
[4]康家銀.一種改進的顧及像素空間信息的FCM聚類算法[J].儀器儀表學報,2009,30(1):208-212.
[5]Gao D F,Jiang ZH L. A New Approach of Dynamic Background Modeling for Surveillance Information[C]// Proceedings of International Conference oncomputer Science and Software Engineering. Wuhan:Atlantis Press,2008:850-853.
[6]鐘餛,路小波,施毅,等.一種基于YUV彩色空間的運動車輛陰影消除方法[J].交通與計算機,2007,25(3):111-113.
[7]李明,趙勛杰.改進的基于高斯混合模型的運動目標檢測算法[J].計算機工程與應用,2011,47(8):204-206.
[8]閔華清,呂居美,羅榮華,等.基于GMM和MRF的自適應陰影檢測[J].華中理工大學學報:自然科學版,2011,39(7):115-120.