王蓯蓉， 吳靜靜*， 翁陳熠

(1.江南大學(xué) 機械工程學(xué)院， 江蘇 無錫 214122；2.江南大學(xué) 江蘇省食品先進制造裝備技術(shù)重點實驗室， 江蘇 無錫 214122)

智能視頻分析技術(shù)是計算機視覺的一個重要領(lǐng)域，其廣泛應(yīng)用于對安全要求比較敏感以及無人值守的場合，如郵局、銀行、政府機關(guān)和機場等[1-4]。在進行行為分析之前，需要先進行運動目標分割，分割結(jié)果的準確與否直接影響到行為識別的精度。因此，運動目標分割問題一直是視頻智能監(jiān)控和人體行為識別研究領(lǐng)域的熱點問題之一。

運動目標分割方法中的高斯混合建模法(GMM)因為具有良好的時效性和魯棒性，被廣泛地應(yīng)用在各種智能視頻分析系統(tǒng)中[5-6]。但是當運動目標產(chǎn)生停留、緩行及往返運動等行為時，該方法的分割準確率會大大降低[7]?，F(xiàn)如今有許多研究者在這方面進行了改進[8-10]。Xiang等[11]提出了一種基于HSV的高斯混合模型，該模型在面對周圍環(huán)境復(fù)雜、光線變化強烈等場景時，也具有良好的魯棒性。Su[12]提出了一種基于高斯復(fù)合模型和3幀差法的運動目標檢測算法，該算法能有效抑制在光照突變時引入的干擾信息。這些方法都是在傳統(tǒng)高斯混合模型的基礎(chǔ)上進行了改進，但在復(fù)雜應(yīng)用場景下仍然沒有完全解決孔洞，鬼影和陰影等運動目標分割的共性問題。陰影檢測也是運動目標分割中的關(guān)鍵問題之一，陰影往往會導(dǎo)致目標間的粘連以及目標前景區(qū)的放大，導(dǎo)致分割結(jié)果的準確率明顯降低。Shi等[13]提出了一種基于顏色和統(tǒng)計建模的交通視頻陰影檢測算法，能夠提高交通視頻分析的效果。Wang等[14]提出了一種針對監(jiān)控視頻內(nèi)擋風玻璃圖像的反射去除算法，該方法在視覺質(zhì)量和定量指標上均表現(xiàn)良好，但該方法對數(shù)據(jù)集的依賴度較高。上述文獻提出的優(yōu)化陰影檢測方法只能解決個別特殊場景下陰影問題，但無法滿足不同光強和不同反射率背景下陰影檢測要求。

針對以上問題，課題組提出一種基于改進GMM的運動目標分割算法，根據(jù)目標的運動速度來定義像素點的速度，動態(tài)調(diào)整學(xué)習率以實現(xiàn)模型的智能化更新，從而有效解決前景結(jié)果中的孔洞、鬼影干擾；從經(jīng)典的顏色相關(guān)性方法出發(fā)，結(jié)合像素的坐標位置以及加權(quán)HSV模型，實現(xiàn)陰影的去除。有效提高了陰影檢測的準確率。課題組提出的方法能夠準確地分割出前景目標，保留了目標ROI(region of interest)的完整性。

1 經(jīng)典高斯混合背景建模方法與問題分析

高斯背景建模方法(GMM)被廣泛地應(yīng)用于各種智能視頻分析系統(tǒng)中，高斯混合模型是將一個事物分解為若干個高斯分布概率密度函數(shù)來描述而形成的一個模型[15]。概率分布函數(shù)為：

(1)

概率密度函數(shù)為：

(2)

式中Φ(y|θk)也是第k個分模型。

通過EM算法以迭代求解的方式進行最大似然估計的運算，從而得到GMM模型，從數(shù)據(jù)中計算得出GMM模型中每個分布的權(quán)重系數(shù)、期望和方差。在對視頻場景進行背景建模時，某一幀圖像中任意一個像素點均由k個高斯概率密度函數(shù)來共同表示，該像素點的灰度值的表達式為：

{I(x,y,i),1≤i≤t}={V1,V2,…,Vt}。

(3)

式中：I代表所有圖像集合；V代表在t時刻的圖像幀中，坐標為(x,y)的像素點所代表的灰度值。

由高斯混合模型的定義可以得到在t時刻觀察到出現(xiàn)Vt的概率為：

(4)

為了找到符合描述的分布，接下來使用一種實時的K-means估計方法[16]依次匹配背景模型中的各個高斯分布，如式為：

|Vt-μk|<2.5σk。

(5)

每次匹配完成后都會對高斯分布的權(quán)重進行更新，如式(6)～(7)所示：

(6)

(7)

權(quán)重更新后，將對高斯分布的其余參數(shù)進行更新。最后，根據(jù)優(yōu)先級Q=wi/σi對每個分布進行排序，將方差小、權(quán)重高的模型排在前列，并根據(jù)式(8)將高斯分布分為前景和背景分布：

(8)

式中：T為固定閾值，作用是約束背景分布數(shù)量的最小權(quán)重和，根據(jù)優(yōu)先級Q從大到小來計算權(quán)重和。

綜上所述，經(jīng)典GMM在學(xué)習的過程中，所有的概率密度函數(shù)均具有相同且固定的學(xué)習率，如果運動目標在視野內(nèi)突然停留，一段時間后，該目標所對應(yīng)的高斯概率密度函數(shù)的權(quán)重會上升，分割出的運動目標二值圖會逐漸出現(xiàn)孔洞直至消失，逐漸由前景轉(zhuǎn)為背景。前景目標分割過程出現(xiàn)的孔洞、陰影和鬼影等干擾，如圖1所示。圖1(c)中的矩形區(qū)域從左到右依次為孔洞和陰影，圖1(d)中矩形區(qū)域為鬼影。這種情況會對目標的分割與提取造成較大的干擾，從而對目標的行為分析產(chǎn)生較大的影響。因此，需要研究一種自適應(yīng)參數(shù)更新的方法來解決上述出現(xiàn)的問題。

圖1 孔洞、陰影和鬼影干擾示意圖

2 基于改進高斯混合模型的運動目標分割算法

根據(jù)以上分析，經(jīng)典GMM背景建模的學(xué)習率無法動態(tài)調(diào)整，導(dǎo)致目標分割中出現(xiàn)孔洞、鬼影以及陰影等干擾問題，因此課題組提出了基于改進高斯混合模型的運動目標分割算法，流程圖如圖2所示。課題組在經(jīng)典GMM背景建模的框架中改進學(xué)習率，提出了一種基于像素速度的自適應(yīng)學(xué)習率調(diào)節(jié)因子，能夠避免經(jīng)典GMM背景建模引起的目標分割孔洞和鬼影問題。針對陰影問題，結(jié)合了像素點位置約束和加權(quán)的HSV模型，然后通過余弦相似性進行相關(guān)性分析，最終實現(xiàn)對前景運動目標的準確提取。

圖2 整體算法流程圖

2.1 改進的高斯混合背景建模

經(jīng)典的高斯混合模型在解決低速、靜止目標的分割問題時，其前景分布的權(quán)重會不斷上升，直至突破閾值被誤歸類為背景分布，而較高的學(xué)習率則會加快這一過程的進行。為了避免以上情況的發(fā)生，課題組對高斯混合模型的學(xué)習率參數(shù)進行了優(yōu)化，使其根據(jù)運動目標的速度進行動態(tài)調(diào)整，改進后算法的流程圖如圖3所示。在新像素值輸入后，匹配現(xiàn)有的模型分布，若匹配成功，則根據(jù)像素點的速度對學(xué)習率進行動態(tài)調(diào)整。

圖3 改進的高斯混合模型算法流程圖

首先對每個匹配成功的高斯分布模型進行學(xué)習率αx,y,t的調(diào)整，定義了每個像素點的運動速度vx,y,t，如式(9)和(10)所示：

(9)

(10)

式中：Δt為時間間隔，xt和yt是第t幀圖像中目標區(qū)域最小外接矩形的中心像素點坐標。

對于目標區(qū)域內(nèi)的每一個像素點，其速度vx,y,t均由相同的速度值來表示，然后根據(jù)vx,y,t對每個像素點的學(xué)習率αx,y,t進行調(diào)整，計算公式為：

(11)

式中：r為常數(shù)；v0是固定閾值，用來判斷當前像素點是高速運動目標還是低速運動目標。

對于高速目標來說，由于其運動速度較快，因此不會從前景分布轉(zhuǎn)變?yōu)楸尘胺植迹韵袼攸c需保持穩(wěn)定和較高的學(xué)習率。

最后，考慮到學(xué)習率變化曲線的單調(diào)遞減特性，為了避免長時間運行之后模型失效的問題，還增加了恢復(fù)機制。當像素點滿足以下條件時，它的學(xué)習率會初始化為初值αx,y,0：①t-1和t時刻所匹配的分布模型發(fā)生變化；②該像素點在連續(xù)5～10幀內(nèi)速度均為0。

2.2 基于位置約束和加權(quán)HSV的陰影去除

已知在一個固定視角和照明穩(wěn)定的監(jiān)控系統(tǒng)中，目標與陰影之間的角度因目標移動而產(chǎn)生的波動較小，如圖4所示。針對該情況下的陰影問題，課題組使用余弦相似性進行相關(guān)性分析，提出了基于像素點位置約束和加權(quán)HSV模型的陰影去除算法，算法流程圖如圖5所示。通過引入陰影的空間位置特征，結(jié)合經(jīng)典的顏色相關(guān)性方法設(shè)計陰影檢測算子，可準確快速地去除陰影，有效提高運動目標分割精度。

圖5 融合位置信息和加權(quán)HSV模型的陰影檢測算法流程圖

對于目標區(qū)域中的每個像素點，它們的位置參數(shù)Pos(x,y)，計算公式為：

(12)

式中：xT和yT為運動目標最小外接矩形左上角點的坐標值，TW和TH則代表運動目標最小外接矩形的寬度與高度像素值。

根據(jù)標定得到的預(yù)設(shè)區(qū)間對像素點的Pos(x,y)進行過濾，符合要求的部分歸類為目標像素點，其余的則進行顏色相關(guān)性分析。許多陰影檢測模型在進行相關(guān)性分析時，不會考慮多個特征分量的權(quán)重。但實際上，每一個特征分量都代表了不同的含義，如果賦予相同的權(quán)重，相關(guān)性分析的準確性就會下降。因此課題組擬分別計算顏色特征各分量的權(quán)重，得到的特征向量Ix,y如式(13)所示。

Ix,y(k0H,k1S,k2V)(k0，k1，k2∈[0,1])。

(13)

式中：參數(shù)k0,k1和k2的取值區(qū)間為[0,1];具體取值取決于應(yīng)用場景條件，在面對陰影問題時，k0∶k1∶k2≈1∶1∶3。

課題組采用計算余弦值相關(guān)性的方法進行相關(guān)性分析，計算并區(qū)分陰影點與非陰影點。通過計算2個向量之間的夾角來判斷其相似程度，夾角越接近0°，則表示這2個特征向量越相似。特征向量Ix,y的余弦夾角cosα的計算公式為：

(14)

式中：Hb,Sb和Vb代表背景圖像中像素點的HSV值，Hf,Sf和Vf代表當前幀圖像中像素點的HSV值。

在當前幀中，陰影像素點判定條件的數(shù)學(xué)表達式為：

(15)

式中：為了保證相關(guān)性分析的有效性和準確性，φ0的通常取值區(qū)間為[0.60,0.95]，在本研究中φ0=0.90；當陰影位于人員下方時，φ1，φ2通常取值為0.30和1.00。

3 實驗設(shè)計與分析

3.1 實驗數(shù)據(jù)集介紹

為了驗證改進算法在前景提取和陰影檢測問題上的有效性，分別對郵局快遞場景的視頻、CDNET視頻數(shù)據(jù)集和CVPR-ATON視頻數(shù)據(jù)集等進行了測試，并將本文算法與其它主流的算法進行了對比，如圖6所示為數(shù)據(jù)集的部分示例。

圖6 部分數(shù)據(jù)集示例

3.2 評價指標選取

為了驗證本優(yōu)化方法的精度，使用經(jīng)典高斯混合模型、KNN最近鄰法和Vibe[17]算法進行了對比驗證。在進行改進的高斯混合模型算法性能對比實驗時，為了更直觀地對比各算法的準確性差異，使用區(qū)域相似度的杰卡德系數(shù)J、陰影檢測率η和陰影判別率ξ來作為主要度量標準，其中杰卡德系數(shù)J的計算公式為：

(16)

式中，杰卡德系數(shù)是前景提取結(jié)果M和真值G之間的交集和并集區(qū)域的比值，它反映了前景提取結(jié)果的準確率。

在進行陰影去除算法性能對比實驗時，選擇使用的性能評價指標為陰影檢測率η和陰影判別率ξ，具體定義分別為：

(17)

(18)

式中：TS表示正確檢出的陰影像素數(shù)，TF表示正確檢出的目標ROI像素數(shù)，F(xiàn)S表示誤檢的陰影像素數(shù)，F(xiàn)F表示誤檢的目標ROI像素數(shù)。

3.3 改進的高斯混合模型算法性能對比實驗

為了驗證本算法在改進的高斯混合模型算法性能的優(yōu)越性，使用經(jīng)典高斯混合模型、KNN最近鄰法和ViBe這3種方法與本文算法在實驗數(shù)據(jù)集上進行了對比實驗，部分實驗結(jié)果如圖7所示。從圖7中可以看出，在3種對比算法中，ViBe算法的性能明顯優(yōu)于經(jīng)典GMM和KNN算法，而本文算法在去除孔洞方面的能力明顯優(yōu)于ViBe算法，而且能夠有效抑制白色噪點的干擾。

圖7 前景提取結(jié)果

本次實驗在每個數(shù)據(jù)集的視頻中隨機抽取20幀，人工統(tǒng)計其中實際前景像素總數(shù)G，再計算得到杰卡德系數(shù)J。最后，將3組視頻中的結(jié)果統(tǒng)計完成后計算平均值，匯總?cè)绫?所示。從表中可知，本文算法在各視頻上的前景提取準確率均優(yōu)于其他算法。KNN和經(jīng)典GMM在檢測人員停留視頻和郵局快遞站視頻時，因其中存在人員長時間停留的情形，容易將其識別為背景，從而導(dǎo)致準確率下降。ViBe法在準確率上與本文算法近似，但其時間復(fù)雜度較高。綜上所述，本文算法在前景提取問題上的準確性和魯棒性更優(yōu)。

表1 前景提取結(jié)果比對匯總表

3.4 陰影去除算法性能比對實驗

為了驗證本文算法在陰影檢測問題上的準確性和魯棒性，分別在室內(nèi)穩(wěn)定光照場景、郵局快遞場景、CDNET陰影視頻中進行了測驗。且在保證實驗條件一致的前提下，使用經(jīng)典的HSV顏色相關(guān)性算法[18]進行了對比驗證，部分實驗結(jié)果如圖8所示。從圖8中可以看出，經(jīng)典HSV相關(guān)性算法分割出的前景有明顯的陰影干擾，且存在邊緣分割不全的現(xiàn)象。而本文算法的分割前景圖中出現(xiàn)陰影的情況明顯改善，有效地抑制了陰影的干擾。

圖8 陰影檢測結(jié)果

本次實驗在每個數(shù)據(jù)集的視頻中隨機抽取了若干幀，人工統(tǒng)計目標ROI和陰影的像素點后將其與檢測結(jié)果進行比對，計算并得到每幀圖像的TS，TF，F(xiàn)S和FF。最后，將所有視頻幀的結(jié)果統(tǒng)計完成并計算平均值，匯總?cè)绫?所示。根據(jù)表2可以得出，本文算法在解決前景分割結(jié)果中的陰影問題時優(yōu)于經(jīng)典HSV顏色相關(guān)性算法。其中，室內(nèi)人員停留視頻、高速公路和隔間為陰影場景時，本文算法的檢測效果略優(yōu)于經(jīng)典方法；郵局快遞站視頻為陰影場景時，本文算法的效果遠高于經(jīng)典方法。逐幀排查發(fā)現(xiàn)，經(jīng)典方法在目標外觀顏色與背景顏色較為相似時容易產(chǎn)生誤檢，而本文算法因為添加了位置約束，所以能夠一定程度地規(guī)避該風險。在面對陰影問題時，陰影與背景在H通道上的差異較大而在S和V通道上2者近似，因此課題組通過調(diào)整各通道權(quán)重的方法有效地避免了誤檢的產(chǎn)生。

表2 陰影檢測結(jié)果比對匯總

4 結(jié)語

課題組針對運動目標分割中出現(xiàn)的孔洞、鬼影及陰影等干擾問題，提出了一種基于改進高斯混合模型的運動目標分割算法和一種基于位置約束和加權(quán)HSV的陰影檢測算法。將學(xué)習率與運動目標的速度相關(guān)聯(lián)，通過目標的運動速度來定義像素點的速度，動態(tài)調(diào)整學(xué)習率，實現(xiàn)了模型的智能化更新，從而有效排除前景分割二值圖中的孔洞、陰影和鬼影等干擾；在HSV顏色空間中結(jié)合陰影的顏色特征，動態(tài)調(diào)整各通道的權(quán)重，利用位置約束來減少誤檢，有效提高了陰影檢測的準確率。實驗結(jié)果表明：本文算法能夠達到較高的目標完整率、陰影檢測率和判別率，基本保全了目標ROI的完整性，為后續(xù)的行為分析打好了基礎(chǔ)，具有良好的實用價值。