程艷云 朱松豪 代心靈

1.南京郵電大學(xué)；2.南京華蘇科技股份有限公司

0 引言

傳統(tǒng)的視頻監(jiān)控系統(tǒng)，主要用于記錄，對異常行為事件的實時檢測和事后的事故原因分析仍需人的參與。智能視頻監(jiān)控系統(tǒng)具有自主判斷監(jiān)控場所行為的能力，即當監(jiān)控視頻中發(fā)生異常行為時，智能監(jiān)控系統(tǒng)能較快地做出反應(yīng)，并向視頻監(jiān)視人員發(fā)出警報。因此，智能監(jiān)控系統(tǒng)中的目標檢測、目標跟蹤、異常行為檢測，日益成為近年來計算機視覺領(lǐng)域研究的一個熱點。

運動目標檢測技術(shù)作為智能監(jiān)控技術(shù)中的核心部分，常用的方法有背景減除法、幀差法和光流法等。傳統(tǒng)目標減除方法各有優(yōu)缺點，國內(nèi)外許多學(xué)者采用背景模型和幀差法相結(jié)合的目標檢測方法，這在一定程度上改進了檢測性能，但在檢測長時間停滯的目標時，由于背景建模無法有效建立，導(dǎo)致檢測效果不是十分令人滿意。

背景建模雖然計算簡單，但受光照突變、目標遮擋等因素影響，容易將背景像素錯判為前景目標，引起檢測誤差。此外，運動目標的陰影也會導(dǎo)致誤判。因此，本文依然沿用三維自組織背景減除算法中HSV顏色空間歐式距離的計算方法。

本文提出結(jié)合超像素算法與三維自組織背景減除算法結(jié)合的框架，實現(xiàn)運動目標檢測。該框架的主要思想如圖1所示，描述如下：首先，利用超像素算法，對圖像幀進行區(qū)域分割；然后，通過三維自組織背景減除算法，對每個分割區(qū)域進行背景建模；最后，使用最佳權(quán)重策略，準確提取前景目標。相比三維自組織背景減除算法，本文提出的融合超像素分割的三維自組織背景減除算法，在一定程度上提高了檢測精度和處理速度。

圖1 本文所提方法的框架

創(chuàng)新與發(fā)展——大數(shù)據(jù)、云計算、網(wǎng)信安全及其他新技術(shù)

1 三維自組織背景減除算法

前景提取的目的是從圖像中得到較為完整的前景目標運動區(qū)域，本文采用融合超像素分割的自組織背景減除算法（Self-Organizing Background Subtraction algorithm，SOBS），能很好地構(gòu)建背景模型。

3DSOBS算法是一個基于自組織方法，自動生成神經(jīng)網(wǎng)絡(luò)模型的運動目標檢測方法，能在提取運動目標時去除陰影區(qū)域。該算法采用神經(jīng)網(wǎng)絡(luò)模型：首先，構(gòu)建一個n層神經(jīng)網(wǎng)絡(luò)模型；然后，計算當前幀與背景模型的最佳權(quán)重，從而判斷每個像素是否為背景像素。該算法主要包括以下三個主要步驟：模型初始化、前景檢測、模型更新。

1.1 背景模型的構(gòu)建

在3DSOBS算法中，背景初始模型的構(gòu)建過程就是將第一幀圖像的所有像素x擴展為n層的神經(jīng)網(wǎng)絡(luò)模型Bt的過程：

1.2 背景模型的初始化

初始背景模型B0中每個像素x的權(quán)重，為每個像素的亮度值：

1.3 背景模型的更新

背景模型的更新是通過將t時刻圖像It的像素x與背景模型Mt-1（x）的像素x進行比較，以確定是否存在一個最佳的權(quán)重mbt-1（x）：如果存在一個可接受的匹配權(quán)重，則將圖像It的像素x視為背景像素；如果不存在一個可接受的匹配權(quán)重，則可將圖像It的像素x視為前景像素。

1.3.1 背景模型的更新

在t時刻，通過背景模型的像素Mt-1（x）={m1t-1（x），m2t-1（x），…，mnt-1（x）}與當前圖像It的像素比較，以確定最佳的背景模型：

上式中的第i個背景圖像像素的權(quán)重mit-1（x）與圖像像素值It（x）之間的距離公式如下：

上式中的（mH，mS， mV）和（IH，IS，IV）分別表示mit-1（x）和It（x）的色調(diào)、色度和強度分量。

1.3.2 背景模型的權(quán)重更新

為使神經(jīng)網(wǎng)絡(luò)背景模型更好地適應(yīng)場景的微小變化，對t時刻的背景模型Mt-1（x）進行更新：

上式中的Nx是像素x的w2D鄰域。

式（5）中的α（x，y）表示像素x與其鄰近像素y∈Nx間的關(guān)系權(quán)重：

上式中的γ表示學(xué)習(xí)因子，G2D（?）=N（?;0， σ2）表示均值為0、方差為σ2的二維高斯低通濾波器，Dt（x）表示包含像素x在內(nèi)的背景區(qū)域的占有率，St（x）表示運動目標陰影的掩碼值。

式（6）中學(xué)習(xí)因子的大小取決于場景變化的強度：較大的值，能確保背景模型的學(xué)習(xí)速度與背景變化的強度保持一致，但同時也會將背景模型像素誤判為前景目標像素；相反，較小的值，有利于適應(yīng)緩慢變化的背景模型，且能依據(jù)自組織避免過多的誤判。

由于式（5）僅能更新當前背景模型以選擇最佳背景圖像模型，所以，本文利用下式對最佳背景圖像的相鄰背景圖像進行更新：

上式中的i表示最佳背景圖像的鄰域。

式（7）中的δ （x）表示像素x與其鄰近像素y∈Nx間的關(guān)系權(quán)重：

上式中的v為學(xué)習(xí)因子，與式（6）中的學(xué)習(xí)因子γ具有相同的性質(zhì)。G1D（?）= N（?;0， σ21D）是在鄰近區(qū)域的一個均值為0、方差為σ2的一維高斯低通濾波器，Dt（x）和St（x）與式（6）中Dt（x）和St（x）的意義相同。

1.3.3 背景區(qū)域的占有率更新

利用連續(xù)像素間像素值的差異，可有助于實現(xiàn)連續(xù)區(qū)域的判斷：來自同一前景目標的鄰近像素間像素值的差異強度是一致的，而自不同前景目標的鄰近像素間像素值的差異強度是不連貫的。因此，利用場景目標與場景背景的空間一致性，可計算背景區(qū)域的占有率：

上式中的NCFt（x）表示像素的鄰域一致性：

上式中的Hx={y:|x-y|≤h}表示像素x的（2h+1）×（2h+1）的二維鄰域，Ωx表示Hx集合最佳的匹配像素：

上式中的∈表示區(qū)分前景像素與背景像素的閾值：較大的閾值，會導(dǎo)致將前景目標像素誤判為背景像素；而較小的閾值，則有利于避免將前景像素誤判為背景像素。

式（9）中的Dt（x）用于確保選擇性地更新背景模型，以適應(yīng)不同場景：當NCFt（x）＞0.5時，表示像素x及其鄰近像素能很好地代表背景模型，此時可將像素x視為背景像素，則Dt（x）=0；當NCFt（x）≤0.5，表示像素x及其鄰近像素不能很好地代表背景模型，可將像素x視為前景像素，則Dt（x）=1。

1.3.4 前景目標陰影區(qū)域識別

相對于前景目標像素，前景目標陰影像素的色度和強度會明顯降低很多。因此，在t時刻，當前圖像幀It的前景目標陰影的掩碼值St（x）可表示為：

上式中的（mH，mS，mV）和（IH，IS，IV）分別表示m i t-1（x）和It（x）的色調(diào)、色度和強度分量，閾值τVl，τVu，τS及τH需根據(jù)實際情況動態(tài)設(shè)置。

1.4 改進的3DSOBS模型

由上述可知，3DSOBS的學(xué)習(xí)因子是恒定不變的，且運動區(qū)域的權(quán)重也是恒定不變的。因此，當如式（13）所示的前景像素發(fā)生較小更新時，式（14）所示的背景模型則會發(fā)生較大的更新。

由于背景模型較為復(fù)雜，所以使用如式（15）所示的自適應(yīng)學(xué)習(xí)因子更新背景模型：

上式中的Tinc和Tdec為預(yù)先設(shè)置常量，且：

2 改進的超像素分割算法

2.1 超像素分割算法

由于自組織背景減除算法中的權(quán)重計算較為復(fù)雜，所以需對圖像進行超像素分割，從而降低算法復(fù)雜度。

超像素對圖像進行分割時，在既定的區(qū)域周圍，將同質(zhì)像素歸為一類，即為一超像素。簡單線性迭代聚類 （simple linear iterative clustering，SILC）算法是依據(jù)顏色、位置信息，實現(xiàn)聚類的超像素分割。本文利用Lab空間信息及像素的x、y坐標信息構(gòu)造相似性度量，實現(xiàn)圖像局部聚類，形成超像素區(qū)域；然后，利用GPU、NVIDIA、CUDA等硬件加快處理速度，將簡單線性迭代聚類算法速度提高10～20倍，促使簡單線性迭代聚類算法應(yīng)用到實時性要求比較高的系統(tǒng)中。

簡單線性迭代聚類算法的具體實現(xiàn)步驟包括：

（1）初始化種子點。假設(shè)將含有N×N個像素點的圖像分割為K×K個超像素，則每個超像素大小接近N2/K2，且每個種子點的間距近似為S=N/K。為避免種子點位于圖像邊緣，以致對后續(xù)聚類處理造成干擾，需將種子點從以它為中心的3×3窗口內(nèi)，移到如公式（18）所示的梯度值最小的位置，同時為每個種子分配一個標簽。

上式中的l（x， y）是LAB顏色空間中的像素值。由此得到初始種子點pi（i=1， 2， ……， K2）。

（2）相似度度量。 SLIC算法的相似度度量公式為：

上式中的dlab表示像素點間的色差，dxy表示像素點間的空間距離，S表示像素個數(shù)與設(shè)置的超像素個數(shù)間的比值。d（i，k）為第i個像素點與第k個聚類中心間的相似度，取值越小，兩者越相似。m為平衡參數(shù)，用以平衡顏色值與空間信息在相似性度度量中的比重，本文取經(jīng)驗值m=10。通過計算像素點與聚類中心的距離，可將距離較近的像素點聚為一類，實現(xiàn)預(yù)分割，得到超像素。

（3）快速K均值聚類方法更迭種子點。假定在X-Y平面上聚類中心的像素點位于2S×2S區(qū)域內(nèi)，所有像素點關(guān)聯(lián)到最近的種子點后，將新種子點更新為同類別中所有像素點特征的平均值。反復(fù)此過程，直到收斂，停止迭代。

（4）形成超像素。將最相似的聚類中心標簽賦給像素點，形成K×K個超像素。

2.2 改進的超像素分割算法

從上述算法實現(xiàn)過程中可看出，簡單線性迭代聚類算法存在分割數(shù)目固定的缺點：分割數(shù)目K由研究者自行確定，且K值確定之后將不再變化；若指定分割數(shù)目欠妥，則容易出現(xiàn)欠分割或者過度分割的現(xiàn)象，不能達到滿意的分割效果。所以，本文采用自適應(yīng)的K值調(diào)整方法：

為了更好地降低算法的復(fù)雜度，對式（19）中的色差和空間距離進行簡化，使用絕對值的方法進行計算，雖然在一定程度上引入了誤差，但是這種誤差是在允許范圍內(nèi)的：

3 融合SLIC的3DSOBS算法

由于3DSOBS算法中權(quán)重向量的計算復(fù)雜度較高，且需計算每個像素對應(yīng)的權(quán)重向量，所以在實時性要求比較高的系統(tǒng)中無法使用。本文使用SLIC算法對整幅圖像進行超像素分割，得到K個超像素，從而減小算法復(fù)雜度，提高算法效率。

（1）首先使用SLIC算法對圖像幀進行處理，得到K×K個超像素的標簽。（2）然后使用3DSOBS對處理之后的圖像進行前景檢測。計算式（3）中像素x的最佳權(quán)重時，利用超像素內(nèi)若干像素點的平均特征表示這個超像素的特征，從而減小計算量：

更新權(quán)重向量時，依然使用原方法。

計算背景區(qū)域的占有率時，同樣利用超像素內(nèi)若干像素點的平均特征表示這個超像素的特征，從而簡化計算。對式（10）的改進如下：

上式中的Hx={yj:|x-yj|≤h， yj∈Li}表示像素x的（2h+1）×（2h+1）二維鄰域，Ωx表示Hx集合中找最佳的匹配像素：

上式中的yj表示超像素Li中的像素。

融合SLIC與3DSOBS算法的圖像分割過程如下表所示。

4 實驗結(jié)果

本次的操作系統(tǒng)設(shè)置為：Windows 7x64，酷睿i7 4790 3.6GHz，GTX960 4G，8G內(nèi)存。

本次的實驗平臺設(shè)置為：基于OpenCV計算機開源視覺庫搭建的VS2013開發(fā)實驗平臺。本次的實驗數(shù)據(jù)為：MSA、PETS2009數(shù)據(jù)庫。

本次的對比算法有：傳統(tǒng)的高斯混合模型算法、ViBe背景減除算法、3DSOBS算法。實驗結(jié)果如圖2-圖5所示。

圖2 MSA數(shù)據(jù)庫第158幀的運動目標檢測結(jié)果

圖3 PETS2009數(shù)據(jù)庫S0中Background場景中第118幀的檢測結(jié)果

圖4 PETS2009數(shù)據(jù)庫S0的City_Center場景中第48幀的檢測結(jié)果

圖5 PETS2009數(shù)據(jù)庫S2L1場景中第56幀的檢測結(jié)果

從圖2-圖5的檢測實驗結(jié)果可以看出，基于本文算法的檢測效果要明顯好于其它三種算法。對于3DSOBS算法，本文使用GPU進行加速且融合超像素分割算法，有效地提取速度有所提升。從圖2-圖5的目標檢測試驗中，傳統(tǒng)的混合高斯模型和ViBe模型對于進入場景之后靜止的物體無法進行提取，從而對后續(xù)的丟棄物等異常無法進行識別。

5 結(jié)束語

雖然已經(jīng)在前景檢測鄰域取得了豐碩的成功，但是依然存在很多實際應(yīng)用中的問題需要解決，以便更好地實現(xiàn)后續(xù)的跟蹤、識別等一系列的處理。后續(xù)處理均需要從前景檢測中提取信息，所以前景檢測作為智能監(jiān)控領(lǐng)域一個較為重要的研究方向，提高前景檢測的效率和準確率能夠有效改善后續(xù)對圖像的處理?；谌诤蟂LIC的3DSOBS算法在實驗中表現(xiàn)出較好的性能。

本文圍繞前景檢測的關(guān)鍵技術(shù)進行研究，研究內(nèi)容涉及運動目標的檢測和運動目標進入場景靜止之后再運動。具有一定的理論研究價值和現(xiàn)實的應(yīng)用意義。