李興鑫，朱力強(qiáng)，余祖俊

(北京交通大學(xué)機(jī)械與電子控制工程學(xué)院，北京100044)

0 引言

隨著高速鐵路的迅速發(fā)展，安全保障問題越來越重要，異物(如人、動(dòng)物、高空落石)侵入鐵路限界會(huì)給列車的安全運(yùn)行帶來巨大的隱患.高速鐵路沿線均有安裝監(jiān)控相機(jī)，智能視頻分析技術(shù)廣泛應(yīng)用于異物入侵監(jiān)測，如限界識(shí)別[1-2]、入侵異物識(shí)別[3-4].基于視頻分析的前景目標(biāo)檢測是鐵路異物入侵判斷的必要步驟.常用的前景目標(biāo)檢測方法是背景差分法，包括基于背景建模的傳統(tǒng)分割算法和數(shù)據(jù)驅(qū)動(dòng)的深度背景差分算法.

傳統(tǒng)背景差分法的主要步驟是背景建模、前景提取和背景更新，核心是背景建模，統(tǒng)計(jì)概率模型是普遍應(yīng)用的建模方式，分為參數(shù)模型和非參數(shù)模型.非參數(shù)模型不假設(shè)具體的分布，直接存儲(chǔ)像素的歷史樣本值構(gòu)成背景模型.ELGAMMAL等[5]提出KDE基于核密度估計(jì)前景的概率，BARNICH等[6]提出ViBe計(jì)算當(dāng)前像素到背景中樣本的距離，通過分割閾值判斷是否匹配到背景樣本，實(shí)現(xiàn)前景檢測，用簡單的距離度量代替了概率估計(jì)，計(jì)算更加簡單，但固定的閾值不適用于復(fù)雜的鐵路場景.HOFMANN等[7]，ST-CHARLES等[8]提出PBAS和SubSENSE設(shè)置調(diào)節(jié)因子動(dòng)態(tài)地調(diào)節(jié)閾值，PBAS將當(dāng)前像素到樣本距離的最小值作為調(diào)節(jié)閾值的控制量，SubSENSE在此基礎(chǔ)上增加了一個(gè)由分割結(jié)果提供的反饋?zhàn)兞亢陀?jì)算耗時(shí)的特征描述算子，在以上樣本匹配計(jì)算中，每個(gè)樣本的權(quán)重為1.JIANG等[9]提出WeSamBE在閾值調(diào)節(jié)的基礎(chǔ)上，依據(jù)重要性對(duì)每個(gè)樣本賦予不同的權(quán)值.CHEN等[10]提出SuperBE將以上的像素級(jí)算法替換為超像素級(jí)，且超像素只計(jì)算一次，平衡了精度和速度.結(jié)合深度卷積網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和背景差分概念的相關(guān)研究越來越多[11]，BABAEE等[12]使用CNN實(shí)現(xiàn)逐像素的前背景分類，網(wǎng)絡(luò)輸入為當(dāng)前圖像與背景圖像，逐像素的處理只考慮了局部信息，造成計(jì)算資源浪費(fèi)，而基于編碼—解碼的CNN可實(shí)現(xiàn)前景目標(biāo)端到端的分割[13-14]，融合多階段多尺度的特征提升了準(zhǔn)確性.LONG等[14]只將當(dāng)前圖像輸入網(wǎng)絡(luò)，WANG等[15]采用三維全卷積同時(shí)學(xué)習(xí)空間和時(shí)間上的多尺度特征.

針對(duì)不同場景，深度背景差分需要不同場景的數(shù)據(jù)集進(jìn)行訓(xùn)練，模型性能依賴訓(xùn)練數(shù)據(jù)的多樣性和真值數(shù)據(jù)，難以滿足鐵路應(yīng)用.傳統(tǒng)的背景差分使用限制少，常作為視頻分析的預(yù)處理過程，模型性能跟閾值密切相關(guān)，尤其是在鐵路等復(fù)雜場景下，但上述自適應(yīng)算法的閾值調(diào)節(jié)能力不足.主要為：只利用像素級(jí)信息，沒有考慮空間信息；超像素級(jí)算法一定程度上減少了計(jì)算單元，但容易漏掉小目標(biāo).因此，提出一種基于自適應(yīng)閾值調(diào)節(jié)的像素級(jí)目標(biāo)檢測算法，通過設(shè)置的環(huán)境動(dòng)態(tài)監(jiān)控變量動(dòng)態(tài)地調(diào)節(jié)閾值，調(diào)節(jié)過程融合超像素的空間信息；同時(shí)，提出一種基于任意幀數(shù)的背景模型初始化方法，消除鬼影問題.

1 自適應(yīng)目標(biāo)檢測

背景差分算法的核心是背景建模，作為非參數(shù)的統(tǒng)計(jì)背景模型，直接用每個(gè)像素p的N個(gè)歷史樣本值構(gòu)成的集合描述背景，即，bi(p)表示第i個(gè)樣本，背景模型采用保守的更新機(jī)制[6].

前景目標(biāo)的分割通過比較觀察值I(p)匹配到的背景樣本的個(gè)數(shù)n(p)實(shí)現(xiàn)，即

式中：m表示需要達(dá)到的匹配個(gè)數(shù)(一般取值為2)；F(p)=0表示背景像素，F(xiàn)(p)=1表示前景；#{·}表示滿足匹配條件的樣本個(gè)數(shù)；dist(·)表示距離度量；R(p)表示分割閾值，直接影響分割結(jié)果.

一個(gè)全局固定的分割閾值不能滿足復(fù)雜場景下的檢測需求，尤其是含有抖動(dòng)、動(dòng)態(tài)背景的鐵路場景，在分割過程中易發(fā)生誤檢，故提出一種自適應(yīng)的閾值調(diào)節(jié)機(jī)制，算法流程如圖1所示.

1.1 可靠的背景初始化

一幀初始化[7]通過在鄰域內(nèi)反復(fù)采樣可快速初始化背景模型，但忽略了時(shí)間信息，初始幀存在的運(yùn)動(dòng)目標(biāo)導(dǎo)致鬼影問題，即本來不存在目標(biāo)的區(qū)域被檢測出目標(biāo)，故需要結(jié)合時(shí)域信息對(duì)背景模型進(jìn)行可靠地初始化.計(jì)算每個(gè)像素點(diǎn)在時(shí)間序列上的綜合偏移量O(p)，選擇綜合偏移量小的像素作為背景，即可排除前景像素.

式中：t表示不同的時(shí)刻；T表示用于初始化的幀數(shù)；o(p)t表示像素點(diǎn)在不同時(shí)刻的綜合偏移量；SNP(p)表示像素p鄰域內(nèi)的像素集合；p′表示像素p鄰域集合內(nèi)的像素點(diǎn)；I(p′)t表示鄰域像素值.

在集合O(p)中，選擇θ1個(gè)最小o(p)t值所對(duì)應(yīng)的像素，以及每個(gè)被選像素隨機(jī)的θ2個(gè)鄰域像素組成背景集合(一般假設(shè)鄰域像素具有相似性)，就可以將運(yùn)動(dòng)的像素點(diǎn)篩除，避免鬼影問題，如圖2所示.組成背景模型的像素個(gè)數(shù)N是固定的，參數(shù)θ1,θ2的選擇遵循θ1+θ1×θ2=N和 1≤θ1≤N.用于初始化的幀數(shù)T越大，初始化越準(zhǔn)確；T越小，初始化更快速.可根據(jù)實(shí)際需要在一幀到多幀初始化之間靈活切換，當(dāng)T=1時(shí)，采用第1幀初始化.

圖1 自適應(yīng)目標(biāo)檢測算法流程圖Fig.1 Flow chart of adaptive object detection

圖2 可靠的背景初始化Fig.2 Reliable background initialization.

1.2 閾值自適應(yīng)調(diào)節(jié)

鐵路場景常存在動(dòng)態(tài)背景、相機(jī)抖動(dòng)等情況，若分割閾值R是全局統(tǒng)一且固定的，會(huì)將一些背景誤檢為目標(biāo)，故R需要自適應(yīng)調(diào)節(jié).本文通過設(shè)置一些監(jiān)控變量自動(dòng)對(duì)環(huán)境的動(dòng)態(tài)進(jìn)行跟蹤，平穩(wěn)區(qū)域偏向較低閾值，動(dòng)態(tài)區(qū)域偏向較高閾值，實(shí)現(xiàn)閾值自適應(yīng)調(diào)節(jié).以往的閾值調(diào)節(jié)以像素為單位，在此基礎(chǔ)上，本文算法增加超像素[16]提供的空間信息.超像素是一系列顏色統(tǒng)一、大小相似的圖像塊，如圖3所示.場景是固定的且大部分是背景，而超像素的計(jì)算比較耗時(shí)，折中考慮，超像素只計(jì)算1次，如圖1所示.即使存在前景目標(biāo)，影響也只局限在目標(biāo)的邊界部分，不影響目標(biāo)內(nèi)部區(qū)域.本文算法是一個(gè)像素級(jí)算法，利用超像素提供的空間信息進(jìn)行閾值調(diào)節(jié)，與超像素級(jí)目標(biāo)檢測算法[10]不同.

圖3 超像素分割結(jié)果Fig.3 Super-pixel segmentation results

動(dòng)態(tài)環(huán)境使像素值波動(dòng)，故將當(dāng)前像素到背景樣本的最小距離D(B)與幀間差D(F)作為跟蹤背景動(dòng)態(tài)的監(jiān)測變量.考慮整個(gè)時(shí)間和空間信息，監(jiān)測變量采用滑動(dòng)平均或超像素區(qū)域內(nèi)求均值，即

式中：α為學(xué)習(xí)率，取α=0.5；I(p)t表示像素p的像素值；bi(p)t表示像素p的第i個(gè)背景樣本值；d(B)(p)t為當(dāng)前像素到背景樣本之間距離的最小值，d(F)(p)t為在超像素內(nèi)取平均的幀間差(考慮空間信息)，兩者的計(jì)算需要?dú)w一化，取滑動(dòng)平均作為最終的結(jié)果，記為D(B)和D(F)；min表示最小距離；s(p)表示像素所屬的超像素；p″表示屬于超像素s(p)范圍的像素點(diǎn)；#s(p)表示超像素內(nèi)像素的個(gè)數(shù).兩個(gè)監(jiān)測變量反映了環(huán)境的動(dòng)態(tài)程度，當(dāng)背景變化較大時(shí)，幅值上升，D(B)(p)t側(cè)重于像素偏離背景的程度，D(F)(p)t反映連續(xù)變化，偏向于變化的頻率.

以上監(jiān)測因子的設(shè)置沒有考慮前景的影響.當(dāng)前景目標(biāo)出現(xiàn)時(shí)，D(B)(p)t和D(F)(p)t的值也是偏大的，但閾值暫時(shí)不應(yīng)調(diào)整；分割結(jié)果中，會(huì)出現(xiàn)由動(dòng)態(tài)背景引起的在時(shí)間序列上來回閃爍的噪聲.這些問題可通過分割結(jié)果的反饋?zhàn)兞縇(p)t解決，即

式中：X(p″)t是t-1時(shí)刻到t時(shí)刻分割結(jié)果的異或值，X(p″)t=0表示該點(diǎn)是穩(wěn)定的背景區(qū)域或前景區(qū)域，X(p″)t=1表示該點(diǎn)是動(dòng)態(tài)的背景區(qū)域或是目標(biāo)邊緣，通過簡單的后處理操作剔除目標(biāo)邊緣.為綜合考慮時(shí)間信息和空間信息，采用超像素內(nèi)求均值和滑動(dòng)平均的操作，l(p)t表示超像素s(p)范圍內(nèi)X(p″)t的均值.

再間接計(jì)算出閾值調(diào)節(jié)因子β(p)t，實(shí)現(xiàn)閾值R(p)t的自適應(yīng)調(diào)節(jié).

式中：Rinit是閾值初始值；γ1、γ2為參數(shù)，γ1=0.8，γ2=0.25；ν1(p)t是融合連續(xù)幀間差和分割結(jié)果反饋的監(jiān)測變量；ν2(p)t直觀地反映了當(dāng)前像素值與背景匹配的程度，通過相同的指數(shù)函數(shù)將其映射成同尺度的控制因子，用于控制β(p)t的增減；β(p)t是閾值自適應(yīng)調(diào)節(jié)因子，β(p)t≥1，最終反映了環(huán)境的動(dòng)態(tài)程度.β(p)t值在動(dòng)態(tài)區(qū)域快速提升，隨著環(huán)境變化趨于平穩(wěn)時(shí)會(huì)抑制幅值的上升；在靜態(tài)背景區(qū)域會(huì)下降，環(huán)境越穩(wěn)定，下降越快.nt(p)表示t時(shí)刻匹配到的背景樣本個(gè)數(shù)，若匹配個(gè)數(shù)不變或有所增加，說明當(dāng)前像素與背景之間能夠較好地匹配，則ν1(p)此次不考慮幀間差的變化.在閾值調(diào)節(jié)過程中，當(dāng)前前景區(qū)域閾值暫時(shí)保持不變，即Xt(p)=0且F(p)t=1的區(qū)域.

2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)數(shù)據(jù)包括北京東郊環(huán)形鐵道測試基地5個(gè)場景的視頻序列，以及京滬高鐵2個(gè)場景的視頻序列，視頻內(nèi)容描述如表1所述，涵蓋了典型的異物入侵情況.為驗(yàn)證本文算法的有效性，與ViBe[6]、PBAS[7]、WeSamBE[9]、SuperBE[10]和 CNN[14]算法進(jìn)行定量、定性比較分析，還分析了算法的運(yùn)行速度.實(shí)驗(yàn)中，針對(duì)每個(gè)場景視頻序列，在1組閾值范圍內(nèi)找到每個(gè)算法的最佳閾值，CNN采用了原文所述的訓(xùn)練方式.

2.1 定量評(píng)價(jià)

為定量評(píng)價(jià)算法的性能，考慮視頻相鄰幀之間的相似性和手工標(biāo)注的復(fù)雜性，從原始視頻序列選擇1/7數(shù)量的圖像進(jìn)行手工標(biāo)注，將綜合準(zhǔn)確率(F-Measure，MFM)和整體誤分類率(MWCR)作為衡量指標(biāo).

式中：TN是正確分類為背景的像素；TP是正確分類為前景的像素；FN是錯(cuò)誤分類為背景的像素；FP是錯(cuò)誤分類為前景的像素.

表1 視頻內(nèi)容描述Table 1 Video content description

不同算法的綜合準(zhǔn)確率和整體誤分類率如表2和表3所示，粗體字表示最佳性能.

表 2 綜合準(zhǔn)確率(MFM)對(duì)比Table 2 Comparison ofMFM

表 3 整體誤分類率(MWCR)對(duì)比Table 3 Comparison ofMWCR

從表2和表3可以看出，基于自適應(yīng)閾值調(diào)節(jié)的本文算法和PBAS的平均MFM和MWCR值優(yōu)于ViBe算法，超像素級(jí)SuperBE算法精度不高，CNN表現(xiàn)極端的原因是依賴于訓(xùn)練過程，在測試場景中WeSamBE的調(diào)節(jié)效果不佳.表2中，本文算法在4個(gè)視頻上獲得了最佳性能，2個(gè)視頻上獲得了第二好性能，最終在7個(gè)視頻上取得了0.894 3的最佳準(zhǔn)確率；表3中，本文算法在3個(gè)視頻上取得了最佳性能，另外3個(gè)視頻上取得了第二好性能，獲得了0.014 5的平均誤分類率.整體而言，本文算法的表現(xiàn)優(yōu)于其他算法.

2.2 定性評(píng)價(jià)

圖4可視化了不同算法的目標(biāo)檢測結(jié)果，每組圖依次是原圖、真值、ViBe、PBAS、WeSamBE、SuperBE、CNN和本文算法.

圖4 本文算法與其他算法的對(duì)比結(jié)果Fig.4 Comparison results between proposed method and other methods

CNN的檢測結(jié)果依賴訓(xùn)練數(shù)據(jù)：若訓(xùn)練和測試數(shù)據(jù)中目標(biāo)具有相似的姿態(tài)，則效果最好，如圖4(a)、(c)、(d)所示；若訓(xùn)練集是小目標(biāo)，而測試數(shù)據(jù)出現(xiàn)了大目標(biāo)，則檢測效果差，如圖4(b)、(g)所示.異物可能是各種姿態(tài)的，所以傳統(tǒng)的差分算法更加可靠.SuperBE是超像素級(jí)的方法，誤檢是以超像素為單位的，相較于像素級(jí)算法精確度偏低，如圖4(e)所示；對(duì)大目標(biāo)友好，對(duì)小目標(biāo)不友好，如圖4(b)、(e)、(f)所示；圖4(h)、(i)中的錯(cuò)誤，可能來源于特征響應(yīng)的誤差.鐵路場景存在很多邊緣，相機(jī)輕微的抖動(dòng)易造成誤檢.ViBe算法采用固定的閾值，導(dǎo)致噪聲較多；PBAS在部分視頻序列上的表現(xiàn)好于ViBe，但控制因子僅考慮了觀察值與背景的最小距離，閾值調(diào)節(jié)能力不足；WeSamBE的效果較差，樣本權(quán)值與閾值調(diào)節(jié)的耦合沒有起到積極作用；本文自適應(yīng)閾值算法融合了豐富的時(shí)空信息，提升了檢測性能.

2.3 運(yùn)行速度分析

不同算法的運(yùn)行速度如表4所示，包括各算法在原始論文中使用的硬件平臺(tái)、速度和統(tǒng)一平臺(tái)上的測試，計(jì)算處理固定50 frame的時(shí)間并取均值.統(tǒng)一平臺(tái)配置為：win10，Intel(R)Xeon(R)CPU E5-2620 v4@2.10 GHz，python版本為3.6.5，C++代碼基于VS2017編譯運(yùn)行，CNN網(wǎng)絡(luò)模型基于Keras2.2.4搭建并在CPU下測試，測試圖像為640×360的三通道圖像.

表4 運(yùn)行速度Table 4 Running speed

從表4可以看出：在相同的條件下，本文算法的速度靠近ViBe的1/2；不同測試平臺(tái)下算法的運(yùn)行速度差距較大，本文算法通過優(yōu)化，采用更好的硬件配置可滿足實(shí)時(shí)性.CNN模型參數(shù)多，需要計(jì)算特征圖，占用內(nèi)存比傳統(tǒng)差分算法大；相較于其他傳統(tǒng)差分算法，本文算法的中間量偏多，故內(nèi)存占用較高.

3 結(jié)論

針對(duì)復(fù)雜的鐵路場景，本文提出了基于自適應(yīng)閾值的前景目標(biāo)分割算法和靈活可靠的背景初始化算法，動(dòng)態(tài)閾值能夠提升復(fù)雜場景下前景目標(biāo)的檢測精度，初始化算法消除了鬼影問題.實(shí)驗(yàn)證明，本文算法在速度和精度之間取得了較好的平衡，可應(yīng)用于鐵路異物入侵監(jiān)測系統(tǒng)，為目標(biāo)識(shí)別、入侵行為理解等提供預(yù)處理過程，為鐵路的運(yùn)營安全提供支持.