薛頌東,張軒冉,王 斌,李 靖,曹旺旺,喬鋼柱

(1.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山西 太原 030024;2.中北大學(xué) 大數(shù)據(jù)學(xué)院,山西 太原 030051)

0 引 言

基于圖像的變化檢測是檢測在同一場景的不同時間拍攝的一系列圖像中的變化區(qū)域的過程[1],它在計(jì)算機(jī)視覺中起著重要作用,已被廣泛研究并應(yīng)用于智能監(jiān)控、交通監(jiān)控和工業(yè)機(jī)器視覺[2]等領(lǐng)域。多年來,隨著國內(nèi)外學(xué)者在變化檢測領(lǐng)域的不斷研究,已經(jīng)提出了許多的變化檢測方法,大致可分為兩類：傳統(tǒng)的變化檢測方法和基于深度學(xué)習(xí)的變化檢測方法。

傳統(tǒng)的變化檢測方法可分為代數(shù)法、變換法和分類法[3]。這些方法的流程大都為通過變化檢測技術(shù)得到差分圖,然后通過閾值化得到變化圖。因此,傳統(tǒng)變化檢測方法結(jié)果的精度對閾值的依賴很大。但是閾值的選擇通常受到光照強(qiáng)度、陰影和縮放等噪聲的影響,導(dǎo)致檢測結(jié)果精度不穩(wěn)定。與傳統(tǒng)的手工方法相比,深度學(xué)習(xí)技術(shù)在包括表面物體的分類,物體檢測和遙感圖像的變化檢測等各種計(jì)算機(jī)視覺任務(wù)中取得了優(yōu)異的性能[4]。深度學(xué)習(xí)方法中用于變化檢測的主流網(wǎng)絡(luò)包括卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和自編碼器(Autoencoder,AE)等[5]。

CNN作為經(jīng)典的深度學(xué)習(xí)網(wǎng)絡(luò),由于其強(qiáng)大的深層特征自動提取能力,通常被用于變化檢測的特征提取或分類任務(wù)中。許多用于變化檢測的深度學(xué)習(xí)網(wǎng)絡(luò)都是在CNN的基礎(chǔ)上得到的。Akilan等人[6]將3D CNN與長短期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)相結(jié)合,以連續(xù)的視頻幀作為輸入,使用3D CNN提取短期的時空信息,同時使用LSTM提取長期的時空信息,最后通過閾值分割算法得到變化圖。

CNN通常被用作監(jiān)督深度學(xué)習(xí)的網(wǎng)絡(luò),通過訓(xùn)練集對網(wǎng)絡(luò)中的參數(shù)進(jìn)行訓(xùn)練,得到網(wǎng)絡(luò)模型。通常,當(dāng)訓(xùn)練樣本不足時,可以采用AE。AE能夠通過無監(jiān)督或半監(jiān)督學(xué)習(xí)的方式提取輸入數(shù)據(jù)的高效特征,因此常作為變化檢測的特征提取器。Chen等人[7]使用堆疊自編碼器生成差分圖像,可以在抑制圖像噪聲的同時保留結(jié)構(gòu)信息,從而提取更多的可用特征。此外,常用的自編碼器模型還包括稀疏自編碼器和去噪自編碼器等。

雖然AE網(wǎng)絡(luò)能夠解決訓(xùn)練樣本不足的問題,但是由于變化檢測圖像中變化區(qū)域的不確定性,以及在整合有用的數(shù)據(jù)先驗(yàn)知識方面存在的不足[8],無監(jiān)督的變化檢測方法有時不適合涉及語義信息的變化檢測。并且檢測結(jié)果同監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)相比較差,目前還未找到有效的解決方法。而其他監(jiān)督深度學(xué)習(xí)網(wǎng)絡(luò)往往需要大量的數(shù)據(jù)集進(jìn)行訓(xùn)練和調(diào)參,計(jì)算量大,需要花費(fèi)大量時間。并且對輸入層的圖像大小有固定的要求,通過裁剪、縮放和下采樣等調(diào)整圖像尺寸又會造成圖像分辨率下降、小目標(biāo)信息缺失等問題。

針對上述問題,該文提出了一種集成多特征信息的街景圖像變化檢測方法(A Change Detection Method for Street View Images with Integrated Multi-Feature Information,IMFICD)。該方法對圖像的輸入大小沒有固定的要求,并且只需要少量的訓(xùn)練樣本就可以得到較為魯棒的變化檢測結(jié)果,具體思路如下：首先,提取圖像塊的多層特征,對應(yīng)圖像塊之間根據(jù)各個特征計(jì)算相似度。然后,將多個分類器通過集成模型組合為變化檢測的分類器模型,將圖像塊之間的特征作為輸入特征進(jìn)行分類。最后,得到變化檢測的結(jié)果。將IMFICD與CDnet2014數(shù)據(jù)集中先進(jìn)的四種有監(jiān)督和無監(jiān)督的變化檢測方法進(jìn)行比較,IMFICD在F1和精確度方面得到了較為明顯的提升,展現(xiàn)了該方法的有效性和優(yōu)越性。

1 文中方法

IMFICD的核心在于比較兩幅圖像的對應(yīng)像素區(qū)域是否發(fā)生變化,進(jìn)而檢測出變化區(qū)域。該文以圖像塊為基本單元進(jìn)行比較,基于兩幅圖像對應(yīng)區(qū)域的圖像塊進(jìn)行特征的提取和分類,可得到圖像的變化區(qū)域。具體變化檢測流程如圖1所示。

圖1 變化檢測流程

1.1 特征提取

特征作為圖像信息的載體,描述了圖像多方面內(nèi)容的信息。該文從圖像的顏色、形狀、紋理、統(tǒng)計(jì)量和整體特征進(jìn)行考慮,采用顏色直方圖作為顏色特征,方向梯度直方圖(Histogram of Oriented Gradient,HOG)作為形狀特征,等價局部二值模式(Uniform Local Binary Patterns,Uniform LBP)和Gabor變換作為紋理特征,灰度方差作為統(tǒng)計(jì)量特征,感知哈希序列作為圖像整體特征。通過對上述特征進(jìn)行距離度量,就可以得到對應(yīng)圖像塊之間的變化程度,為進(jìn)一步的變化檢測方法提供了更豐富的特征基礎(chǔ)。

1.1.1 顏色直方圖

顏色特征是最能直觀表示圖像視覺內(nèi)容的特征,與其他視覺特征相比,顏色特征對圖像本身的大小、方向和視角的依賴性較小,因此具有更高的穩(wěn)健性[9]。顏色直方圖的公式為：

(1)

式中,c表示RGB顏色空間中的R、G、B三個顏色通道,h[ck]表示c通道中第k種顏色在圖像中出現(xiàn)的像素點(diǎn)次數(shù),M和N分別表示圖像的寬和高,I[i,j]表示圖像在c通道中第i行第j列的像素值。

1.1.2 方向梯度直方圖

形狀特征是與圖像的輪廓和區(qū)域內(nèi)容相關(guān)的特征。圖像的形狀信息不隨圖像顏色的變化而變化,是物體的穩(wěn)定特征。該文采用方向梯度直方圖表示圖像的形狀特征。梯度大小和方向的公式為：

(2)

(3)

式中,I(i+1,j)表示圖像以(i,j)為中心點(diǎn)時,(i+1,j)處的像素值。通常將圖像劃分為若干個大小相同的cell。根據(jù)cell中每個像素點(diǎn)的梯度信息可以得到梯度直方圖,再將其歸一化后就構(gòu)成了圖像的HOG特征向量。

1.1.3 Gabor變換和等價局部二值圖

紋理特征反映的是圖像中某一區(qū)域內(nèi)形狀很小且有規(guī)律性的圖案,具體表現(xiàn)為圖像像素鄰域空間內(nèi)的像素點(diǎn)的分布規(guī)律。該文采用Gabor變換和等價局部二值模式表示圖像的紋理特征。所使用的Gabor變換的Gabor函數(shù)為：

g(x,y;λ,θ,ψ,σ,γ)=

(4)

式中,x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ,參數(shù)x、y為圖像中某點(diǎn)的坐標(biāo)信息,λ和θ分別表示Gabor函數(shù)的尺度和方向,ψ表示Gabor函數(shù)的相位參數(shù),σ表示高斯半徑,γ為高斯的方向角。經(jīng)過Gabor變換后得到圖像的實(shí)部和虛部,對其進(jìn)行取模、降維和歸一化操作后即可得到圖像的Gabor特征向量。

Gabor變換在頻率域和空間域上具有良好的局部性,并且對外部干擾如光照等變化的魯棒性較強(qiáng)。但是Gabor變換不具有旋轉(zhuǎn)不變性,而LBP算子具備較強(qiáng)的灰度不變和旋轉(zhuǎn)不變的特性,因此,該文采用兩種紋理特征,以提高紋理特征的完整性。Uniform LBP的公式為：

U(Pi)=|S(Pi-1-Pc)-S(P0-Pc)|+

(5)

式中,Pi表示領(lǐng)域內(nèi)第i個像素點(diǎn)的灰度值,Pc表示窗口中心點(diǎn)的灰度值,S(Pi-Pc)代表二值化函數(shù),表示像素點(diǎn)的灰度值與中心點(diǎn)的灰度值比較后得到的二值化結(jié)果,計(jì)算公式為：

(6)

在得到圖像的顏色、形狀和紋理特征后,通過對參考圖像和檢測圖像中對應(yīng)圖像塊的特征向量進(jìn)行距離度量,就可以得到兩者之間的變化程度。該文采用歐氏距離作為度量函數(shù),計(jì)算結(jié)果作為進(jìn)一步變化檢測方法的特征數(shù)據(jù)集,歐氏距離的公式為：

(7)

式中,a、b分別為參考圖像和檢測圖像的特征向量。

1.1.4 感知哈希序列

感知哈希算法通過離散余弦變換提取出圖像的主要信息,然后根據(jù)哈希函數(shù)將其轉(zhuǎn)化為哈希序列,以作為圖像的唯一標(biāo)識。通常采用漢明距離對哈希序列進(jìn)行對比,漢明距離的公式為：

d(X,Y)=q+r

(8)

式中,X和Y分別為參考圖像和檢測圖像的哈希序列,q表示X向量為1,Y向量為0的變量個數(shù);r表示X向量為0,Y向量為1的變量個數(shù)。

1.1.5 灰度方差

圖像的灰度方差可以反映圖像高頻部分的灰度值大小,對于參考圖像和檢測圖像的差值圖像,變化區(qū)域內(nèi)的灰度方差具有較明顯的差異?；叶确讲畹墓綖椋?/p>

(9)

式中,M和N分別表示圖像的寬和高,I(i,j)表示圖像第i行第j列的灰度值,m表示圖像的灰度均值。

1.2 stacking集成模型

分類器因?yàn)槠鋸?qiáng)大的學(xué)習(xí)能力被廣泛應(yīng)用于變化檢測中,但是單一分類器很難適用于所有類別的變化信息,因此,該文采用stacking策略對分類器進(jìn)行集成,以提高變化檢測結(jié)果的精度。與單個分類器相比,stacking策略具有靈活性,可組合一系列不同的分類器,以提供更準(zhǔn)確的預(yù)測[10]。與其他集成策略相比,stacking在準(zhǔn)確性、召回率和精確度等性能指標(biāo)方面具有更好的性能[11]。stacking由多個基分類器和一個元分類器組成,對于每個基分類器,stacking采用交叉驗(yàn)證的方法進(jìn)行訓(xùn)練。

為了獲得具有更好的準(zhǔn)確性和泛化能力的stacking模型,對不同類型和組合的基礎(chǔ)分類器進(jìn)行了實(shí)驗(yàn),結(jié)果表明,當(dāng)使用隨機(jī)森林(Random Forest,RF)和梯度提升決策樹(Gradient Boosting Decision Tree,GBDT)作為基分類器,邏輯回歸(Logistic Regression,LR)作為元分類器時,該模型可以取得最佳的變化檢測結(jié)果。將圖像塊的多特征數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理后作為輸入,通過該模型就可以得到圖像的變化區(qū)域,集成模型如圖2所示。

圖2 集成模型

2 實(shí) 驗(yàn)

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集

CDnet2014[12]數(shù)據(jù)集是專門用于變化檢測的大規(guī)模視頻數(shù)據(jù)集,包括11個場景類別,共159 278張圖像。由于文中方法是以圖像塊為基本單元比較參考圖像和檢測圖像的變化區(qū)域,因此從CDnet2014數(shù)據(jù)集中隨機(jī)選取了包含11個場景類別的4 300張圖像作為數(shù)據(jù)集用于實(shí)驗(yàn),其中包括16種不同尺寸的圖像。按照圖像的原尺寸大小從每個子類別數(shù)據(jù)集中選取1幅圖像作為參考圖像,其余圖像作為檢測圖像,形成圖像對,并且對數(shù)據(jù)集重新標(biāo)注。每幅圖像劃分為100個大小相同的圖像塊。對于不能完整分塊的圖像,采用圖像邊緣填充的方法,如若圖像大小為352×288,則需對圖像右側(cè)和下側(cè)填充黑色像素,使其大小變?yōu)?60×290。對于每一個圖像塊,根據(jù)其是否為變化區(qū)域進(jìn)行標(biāo)注,生成新的數(shù)據(jù)集,同時在各場景類別數(shù)據(jù)集中,隨機(jī)選取30% 圖像作為訓(xùn)練集,剩余的70%作為測試集。

2.1.2 對比方法

根據(jù)CDnet網(wǎng)站中各個方法在CDnet2014數(shù)據(jù)集中評價結(jié)果的排名統(tǒng)計(jì),采用PAWCS[13]、SuBSENSE[14]、M4CD[15]和BSUV-Net[16]4種變化檢測模型作為對比方法。其中,PAWCS、SuBSENSE和M4CD為無監(jiān)督的方法,BSUV-Net為有監(jiān)督的方法。

2.1.3 評價指標(biāo)

該文采用綜合評價指標(biāo)F1(F1-measure)、召回率Re(Recall)和精確率P(Precision)對實(shí)驗(yàn)結(jié)果進(jìn)行評估。

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)計(jì)

2.2.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)在處理器為Intel i5-6200U、運(yùn)行內(nèi)存為8G的電腦上進(jìn)行,操作環(huán)境是64位的Windows10系統(tǒng)。算法的實(shí)現(xiàn)工具為Pycharm11.0.12,編程語言為Python3.7.0。

2.2.2 模型選擇

為了豐富元分類器的輸入特征,該文從隨機(jī)森林(RF)、隨機(jī)梯度下降(Stochastic Gradient Descent,SGD)、K-最鄰近(K-Nearest Neighbor,KNN)、樸素貝葉斯分類器(Bayes)、梯度提升決策樹(GBDT)5個分類器中選擇基分類器,經(jīng)過不同的組合實(shí)驗(yàn)得出選擇RF和GBDT作為基分類器具有更好的穩(wěn)定性。此外,使用LR作為元分類器可以更好地提高stacking的泛化性能[17]。因此,該文選擇RF和GBDT作為stacking模型的基分類器,LR作為stacking模型的元分類器。

2.2.3 參數(shù)設(shè)置

為了使得stacking模型的性能達(dá)到最優(yōu),需要對基分類器中的參數(shù)進(jìn)行優(yōu)化。對于所使用的RF和GBDT算法,由于這兩種算法都是基于樹的分類模型,每種算法中樹的個數(shù)、樹的最大深度、葉節(jié)點(diǎn)最小樣本數(shù)和分裂所需最小樣本數(shù)都會影響分類模型的性能。因此,該文采用麻雀搜索算法(Sparrow Search Algorithm,SSA)[18]對各算法中的四種參數(shù)進(jìn)行優(yōu)化,以提高模型的準(zhǔn)確率。

2.3 實(shí)驗(yàn)結(jié)果

IMFICD在CDnet2014數(shù)據(jù)集各類別的評估和檢測結(jié)果如表1和圖3所示。從表1中可以看出,IMFICD在Intermittent Object Motion類中表現(xiàn)最好,F1達(dá)到了0.979,在PTZ類中表現(xiàn)較差,F1只有0.788,在其他類別中都表現(xiàn)良好,F1值都超過了0.8,總體F1指標(biāo)達(dá)到了0.885。從精確度指標(biāo)來看,IMFICD在各個類別中的精確度都超過了0.8,并且只有Night Videos沒達(dá)到0.85,總體精確度指標(biāo)達(dá)到了0.925,說明IMFICD對于數(shù)據(jù)集中的未變化區(qū)域的檢測效果表現(xiàn)良好。但是從召回率指標(biāo)來看,IMFICD在Camera Jitter、PTZ和Turbulence類別中均未超過0.8,說明IMFICD對于圖像中由于相機(jī)抖動和湍流而產(chǎn)生的噪聲影響還需進(jìn)一步處理。從圖3中可以看出,IMFICD可以將檢測圖像中的變化區(qū)域通過畫框進(jìn)行標(biāo)注,有利于更直觀地觀察圖像的變化區(qū)域。

表1 IMFICD在CDnet2014數(shù)據(jù)集各類別的評估結(jié)果

圖3 IMFICD在CDnet2014數(shù)據(jù)集上的檢測結(jié)果

各檢測方法在CDnet2014數(shù)據(jù)集上的整體評估結(jié)果如表2和圖4所示。從表2中可以看出,IMFICD的F1值(0.885)比第二位的PAWCS(0.867)高1.8百分點(diǎn),精確度(0.925)比第二位的PAWCS(0.837)高8.8百分點(diǎn),召回率(0.851)比第一位的M4CD(0.926)低7.5百分點(diǎn),但是M4CD的精確度只有0.795,說明M4CD將未變化區(qū)域誤檢測為變化區(qū)域的比例較高。從圖4中可以看出,由于對比方法的變化檢測結(jié)果為二值圖像的形式,因此在通過閾值進(jìn)行劃分時,很可能會受到噪聲的影響,錯把圖像中的很多不連續(xù)的小的像素區(qū)域檢測為變化區(qū)域。由于其他對比方法以像元為單位進(jìn)行評估,因此這些小的像素區(qū)域?qū)τ谄浣Y(jié)果的影響并不大,但是由于該文是基于圖像塊為基本單元進(jìn)行變化檢測結(jié)果的評估,因此各評估指標(biāo)都發(fā)生了一定幅度的降低。

表2 不同方法在CDnet2014數(shù)據(jù)集的評估結(jié)果

圖4 不同方法在CDnet2014數(shù)據(jù)集上的檢測結(jié)果

3 結(jié)束語

針對現(xiàn)有的基于深度學(xué)習(xí)的圖像變化檢測方法需要大型、高質(zhì)量的數(shù)據(jù)集進(jìn)行訓(xùn)練和調(diào)參,且對輸入層的圖像尺寸有固定的要求,提出了一種集成多特征信息的街景圖像變化檢測方法。通過對圖像塊進(jìn)行多特征提取和集成模型分類得到在原檢測圖像中標(biāo)注后的變化圖像,降低了變化檢測方法的復(fù)雜性。在CDnet2014數(shù)據(jù)集上,IMFICD的F1值、召回率和精確度分別達(dá)到了0.885、0.851和0.925。相較于4個現(xiàn)有先進(jìn)的變化檢測方法,IMFICD的F1值和精確度有較為明顯的提高,取得了較好的變化檢測結(jié)果。由于IMFICD將圖像塊的個數(shù)固定為100塊,因此對于一些圖像塊中變化區(qū)域很小或者由于陰影和相機(jī)抖動等產(chǎn)生的噪聲影響不能很好地區(qū)分。并且實(shí)際在對圖像塊數(shù)據(jù)進(jìn)行標(biāo)注時也容易造成標(biāo)注錯誤。為了解決圖像塊大小對于變化檢測區(qū)域的影響,在未來的研究工作中將會重新研究如何根據(jù)變化區(qū)域定義不同大小的圖像塊來產(chǎn)生更為精確和魯棒的變化檢測結(jié)果。