屈志堅(jiān)，周銳霖，2，孫旭兵，袁慎高，趙 亮

(1.華東交通大學(xué) 電氣工程學(xué)院，江西 南昌 330013；2.中車(chē)時(shí)代通信信號(hào)有限公司，湖南 長(zhǎng)沙 410199)

鐵路限界是為了確保機(jī)車(chē)車(chē)輛在運(yùn)行過(guò)程中不會(huì)撞擊沿線(xiàn)建筑物和設(shè)備所設(shè)定的不能逾越的輪廓尺寸線(xiàn)，同時(shí)也是阻止行人、動(dòng)物和車(chē)輛等異物侵入鐵路線(xiàn)路的一道屏障[1]。我國(guó)雖已采用防護(hù)網(wǎng)阻攔方式對(duì)鐵路限界進(jìn)行保護(hù)，但在站場(chǎng)、鐵路道口和公跨鐵立交橋等人車(chē)與線(xiàn)路交匯處，因防護(hù)網(wǎng)缺損或人車(chē)翻越防護(hù)網(wǎng)導(dǎo)致的異物侵限事件仍時(shí)有發(fā)生[2]。如某鐵路局管內(nèi)公跨鐵橋防護(hù)網(wǎng)被臺(tái)風(fēng)刮至線(xiàn)路內(nèi)，觸發(fā)軌道電路紅光帶；又有某鐵路局路橋防護(hù)網(wǎng)被貨車(chē)撞毀，肇事車(chē)輛側(cè)翻至線(xiàn)路內(nèi)。而已有鐵路限界防護(hù)網(wǎng)阻攔方式難以及時(shí)識(shí)別和追蹤侵限異物，列車(chē)司機(jī)不易提前獲取事件預(yù)警，嚴(yán)重時(shí)可能會(huì)造成交通運(yùn)輸安全事故。因此，急需針對(duì)頻發(fā)的鐵路異物侵限事件，研究一種高精度的異物檢測(cè)實(shí)時(shí)跟蹤方法。

現(xiàn)有的鐵路異物侵限檢測(cè)跟蹤方法主要可以分為傳感式和機(jī)器視覺(jué)兩大類(lèi)[3-4]。第一類(lèi)傳感方法主要通過(guò)在鐵路沿線(xiàn)安裝激光、微波、超聲波或紅外線(xiàn)傳感器，對(duì)侵限異物進(jìn)行檢測(cè)及預(yù)警。這類(lèi)方法容易受到電氣化區(qū)段的強(qiáng)電磁干擾[5]，不適合應(yīng)用在鐵路異物侵限檢測(cè)及跟蹤領(lǐng)域。第二類(lèi)機(jī)器視覺(jué)方法將機(jī)器學(xué)習(xí)融入圖像處理領(lǐng)域，智能化水平高，更適合應(yīng)用在鐵路異物侵限檢測(cè)及跟蹤領(lǐng)域。該類(lèi)方法主要使用生成類(lèi)或判別類(lèi)模型對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行學(xué)習(xí)和預(yù)測(cè)[6-7]。生成類(lèi)模型通過(guò)貝葉斯法則間接求取訓(xùn)練樣本后驗(yàn)概率函數(shù)，并判定下一幀中使函數(shù)取值最大的區(qū)域?yàn)轭A(yù)測(cè)位置[8]。如文獻(xiàn)[9]設(shè)計(jì)了一組可以對(duì)圖像背景差分得到的異物進(jìn)行描述的特征向量，并利用支持向量機(jī)濾除行進(jìn)列車(chē)目標(biāo)，綜合Kalman濾波器對(duì)剩余目標(biāo)進(jìn)行行為和運(yùn)動(dòng)趨勢(shì)分析，系統(tǒng)功能豐富。文獻(xiàn)[10]提出一種聯(lián)合目標(biāo)顏色、邊緣特征直方圖的Mean Shift行人跟蹤方法，可以降低算法受目標(biāo)局部遮擋的影響，魯棒性較強(qiáng)。但生成類(lèi)模型需浪費(fèi)大量計(jì)算資源求取與分類(lèi)任務(wù)無(wú)關(guān)的邊緣分布概率，時(shí)效性低；建模過(guò)程中未區(qū)分背景信息，跟蹤精度一般，應(yīng)用效果不及判別類(lèi)模型。

判別類(lèi)模型在訓(xùn)練階段直接尋找不同類(lèi)別之間的最優(yōu)分類(lèi)超平面，以此來(lái)區(qū)分圖像的背景和前景[11]。目前，基于深度學(xué)習(xí)或相關(guān)濾波進(jìn)行模型訓(xùn)練的判別類(lèi)方法是目標(biāo)跟蹤領(lǐng)域的研究熱點(diǎn)。

前者一般采用大規(guī)模分類(lèi)數(shù)據(jù)集對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，以解決跟蹤任務(wù)中訓(xùn)練數(shù)據(jù)缺失的問(wèn)題，再利用待檢視頻序列中有限的樣本信息對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)進(jìn)行在線(xiàn)微調(diào)，可以在一定程度上提升算法的跟蹤精度[12]。如MDNet卷積神經(jīng)網(wǎng)絡(luò)[13]使用若干跟蹤圖像序列訓(xùn)練共享層的目標(biāo)總體表現(xiàn)能力，在測(cè)試階段，將待檢圖像序列分支層連接共享層重構(gòu)跟蹤網(wǎng)絡(luò)，算法跟蹤精度較高。但該類(lèi)方法需要讓上千個(gè)存在重疊的候選區(qū)域逐一進(jìn)入CNN網(wǎng)絡(luò)進(jìn)行計(jì)算，單幀處理時(shí)長(zhǎng)約0.5 s左右，時(shí)效性較差。

后者利用信號(hào)間的相關(guān)濾波輸出與相似度成正比的性質(zhì)，判定與濾波模板卷積響應(yīng)最大的區(qū)域?yàn)槟繕?biāo)位置[14]。文獻(xiàn)[15]利用隨機(jī)仿射變換得到8塊訓(xùn)練樣本，代入誤差最小平方和濾波器求取最優(yōu)濾波模板，并通過(guò)傅里葉變換將時(shí)域上的卷積轉(zhuǎn)換為頻域上的點(diǎn)乘，目標(biāo)跟蹤速度高達(dá)615幀/s。文獻(xiàn)[16]通過(guò)密集循環(huán)采樣充分提取目標(biāo)信息，大幅提升了目標(biāo)跟蹤精度，并根據(jù)塊循環(huán)矩陣在傅里葉域可對(duì)角化的性質(zhì)，將最小二乘回歸中的求逆運(yùn)算簡(jiǎn)化為點(diǎn)乘，跟蹤速度可達(dá)362幀/s。但由于上述相關(guān)濾波算法缺乏必要的尺度估計(jì)環(huán)節(jié)，容易因侵限異物成像大小的變化，學(xué)習(xí)到過(guò)量背景或局部紋理信息，致使跟蹤框漂移，影響目標(biāo)跟蹤精度[17]。如何在保證方法快速跟蹤的前提下，提升目標(biāo)跟蹤精度，目前尚鮮見(jiàn)文獻(xiàn)報(bào)道。

本文提出一種基于核相關(guān)濾波的尺度自適應(yīng)鐵路異物侵限PSA-Kcf檢測(cè)跟蹤方法。首先將像素級(jí)視覺(jué)背景提取器ViBe運(yùn)用到視頻序列的運(yùn)動(dòng)目標(biāo)檢測(cè)階段，以捕捉侵限異物。再在原生核相關(guān)濾波框架上新增異物尺度估計(jì)環(huán)節(jié)，有效提升了對(duì)侵限異物的跟蹤精度。并利用PCA主成分分析法大幅縮減尺度濾波器特征維度，減少了新增尺度估計(jì)環(huán)節(jié)的計(jì)算耗時(shí)。最后，通過(guò)多組對(duì)比實(shí)驗(yàn)對(duì)所提算法的準(zhǔn)確性和實(shí)時(shí)性進(jìn)行了驗(yàn)證。

1 鐵路異物侵限檢測(cè)與跟蹤

1.1 鐵路綜合視頻監(jiān)控信息流

在速度低于200 km/h的普速鐵路，需要在沿線(xiàn)站所、道口、橋梁和隧道等處，采用立柱安裝紅外槍式攝像機(jī)的方式進(jìn)行監(jiān)控，無(wú)立柱安裝條件時(shí)，可替換為壁掛等安裝方式。在速度為200 km/h以上的快速和高速鐵路，還需對(duì)區(qū)間線(xiàn)路及設(shè)備機(jī)房進(jìn)行晝夜監(jiān)視。在GSM-R站址雙層覆蓋的快速或高速鐵路連續(xù)路基段，應(yīng)在通信鐵塔兩側(cè)分別設(shè)置一臺(tái)高清網(wǎng)絡(luò)球機(jī)，對(duì)線(xiàn)路兩端進(jìn)行監(jiān)控；在GSM-R站址單層覆蓋的快速或高速鐵路連續(xù)路基段，還應(yīng)根據(jù)現(xiàn)場(chǎng)情況額外增設(shè)視頻專(zhuān)用鐵塔。若干視頻采集節(jié)點(diǎn)通過(guò)星形連接，將非結(jié)構(gòu)化圖像數(shù)據(jù)傳輸至匯聚節(jié)點(diǎn)，以與外網(wǎng)連接，從而可將圖像信息進(jìn)一步上送至各路局的綜合視頻監(jiān)控管理系統(tǒng)，進(jìn)行后續(xù)異物侵限檢測(cè)跟蹤流程，見(jiàn)圖1。

1.2 異物侵限檢測(cè)跟蹤模型

綜合視頻監(jiān)控系統(tǒng)對(duì)鐵路沿線(xiàn)上送的視頻序列進(jìn)行異物侵限檢測(cè)和跟蹤，可以分為運(yùn)動(dòng)目標(biāo)檢測(cè)、位置及尺度樣本的生成、模板的建立和匹配三部分。運(yùn)動(dòng)目標(biāo)檢測(cè)利用統(tǒng)計(jì)學(xué)方法為視頻序列建立背景模型，將后序視頻圖像逐幀與背景模型進(jìn)行比較，分割出感興趣的異物目標(biāo)。再通過(guò)目標(biāo)特征提取，將侵限異物的視覺(jué)圖像信息轉(zhuǎn)化為能被計(jì)算機(jī)識(shí)別的數(shù)值形式，用來(lái)對(duì)相關(guān)濾波器參數(shù)進(jìn)行學(xué)習(xí)。最后，從下一幀的待搜索區(qū)域中截選若干候選測(cè)試樣本，作為濾波器輸入，并判定與濾波器卷積響應(yīng)最高的測(cè)試樣本為跟蹤目標(biāo)，完成鐵路異物侵限的檢測(cè)與跟蹤。

圖1 異物侵限檢測(cè)跟蹤模型

以圖1中測(cè)試視頻序列F的異物侵限檢測(cè)跟蹤為例，Vibe算法僅使用第一幀F(xiàn)(0)完成背景模型的初始化，生成的灰度圖像B(0)的所有像素點(diǎn)均被默認(rèn)為背景點(diǎn)。后續(xù)幀逐一與背景模型進(jìn)行比較，將與背景樣本集接近的像素點(diǎn)置為背景點(diǎn)，遠(yuǎn)離的置為前景點(diǎn)，完成侵限異物的前景分割，再通過(guò)形態(tài)學(xué)處理，將圖像幀F(xiàn)(15)、F(20)和F(34)轉(zhuǎn)化為灰度圖像B(15)、B(20)和B(34)，其中，面積超過(guò)閾值的白色區(qū)域被檢測(cè)為侵限異物。B(34)為侵限異物完全進(jìn)入視頻監(jiān)控范圍的第一幀，提取F(34)幀中采樣區(qū)域的FHOG特征，訓(xùn)練一個(gè)經(jīng)PCA降維的尺度濾波器，再利用密集循環(huán)移位生成侵限異物的位置訓(xùn)練樣本集，用來(lái)訓(xùn)練一個(gè)核相關(guān)位置濾波器。利用密集循環(huán)采樣和尺度金字塔技術(shù)，從F(35)幀待搜索區(qū)域提取位置和尺度測(cè)試樣本，分別代入位置濾波器和尺度濾波器中，計(jì)算響應(yīng)，并判定響應(yīng)最高的兩類(lèi)測(cè)試樣本為最終輸出。

2 鐵路異物侵限檢測(cè)原理

將ViBe算法運(yùn)用到視頻序列的運(yùn)動(dòng)目標(biāo)檢測(cè)階段。在初始化過(guò)程中，使用視頻序列第一幀為每個(gè)像素點(diǎn)建立一個(gè)由鄰域像素值組成的背景樣本集，將后續(xù)幀各點(diǎn)像素值與對(duì)應(yīng)樣本集進(jìn)行比較，完成侵限異物的前景分割。利用隨機(jī)選擇機(jī)制和鄰域傳播機(jī)制在線(xiàn)更新背景模型，使算法可以適應(yīng)監(jiān)控場(chǎng)景的復(fù)雜變化。具體步驟如下：

Step1圖像增強(qiáng)

使用直方圖均衡化增強(qiáng)圖像F(t)的對(duì)比度，以區(qū)分與背景顏色接近的侵限異物。計(jì)算圖像某顏色通道中像素值i的出現(xiàn)概率p(i)為

pi=Ni/Ntotal

(1)

式中：Ni為該通道像素值為i的像素點(diǎn)的數(shù)目；Ntotal為F(t)的像素點(diǎn)總數(shù)。

使用該通道累積概率分布函數(shù)將像素值x映射為y，可將該通道像素統(tǒng)計(jì)直方圖近乎均勻地分布到區(qū)間[0，255]內(nèi)，有效拉伸侵限異物與背景間的色差為

(2)

式中：[ ]表示向下取整。

Step2背景模型初始化

背景模型為F(0)每個(gè)像素點(diǎn)(x，y)建立一個(gè)背景顏色樣本集Mc(x，y)和一個(gè)背景紋理樣本集Ml(x，y)。Mc(x，y)由n個(gè)背景樣本的RGB值vj(j∈{0，1，…，n})組成。

M(x，y)={v1，v2，…，vn-1，vn}

(3)

根據(jù)相鄰像素值時(shí)空分布特性相似的特點(diǎn)，依靠視頻序列第一幀便可以完成背景顏色模型Mc(x，y)的初始化構(gòu)造，其樣本像素值vj從F(0)像素點(diǎn)(x，y)的8鄰域NG(x，y)內(nèi)等概率選取。

(4)

為了提升算法對(duì)偽裝色侵限異物的檢測(cè)能力，為F(0)中各像素點(diǎn)初始化一個(gè)背景紋理樣本集，像素點(diǎn)(x，y)處的背景紋理樣本集符號(hào)為Ml(x，y)，與該點(diǎn)的LBP特征L(x，y)等同。

(5)

LBP特征的具體提取方法是：以像素點(diǎn)(x，y)處灰度值gc為閾值，NG(x，y)內(nèi)8個(gè)像素點(diǎn)灰度值(g1，g2，…，g8)逐一與gc進(jìn)行比較，將大于gc的點(diǎn)標(biāo)記為1，小于的標(biāo)記為0，產(chǎn)生的8位二進(jìn)制數(shù)即為像素點(diǎn)(x，y)的LBP碼L(x，y)。

L(x，y)={sgn(g1-gc)，…，sgn(g8-gc)}

(6)

式中：sgn()為符號(hào)函數(shù)。在視頻序列第二幀F(xiàn)(1)，即可執(zhí)行Step3進(jìn)行異物侵限檢測(cè)。

Step3異物侵限檢測(cè)

基于Mc(x，y)的像素預(yù)分割：見(jiàn)圖2，記待檢幀F(xiàn)(t)(t≥1)的像素點(diǎn)(x，y)處像素值為v(x，y)，統(tǒng)計(jì)以v(x，y)為圓心，R為半徑的球體SR(v(x，y))與背景顏色樣本集Mc(x，y)相交的元素個(gè)數(shù)，若不小于閾值Tmin，則認(rèn)為v(x，y)與Mc(x，y)相似，將點(diǎn)(x，y)預(yù)判為背景點(diǎn)，反之預(yù)判為前景點(diǎn)。實(shí)際操作中，分別計(jì)算各背景樣本點(diǎn)vj與v(x，y)間的歐式距離，若不大于R，則認(rèn)為vj為交集元素，以此完成交集元素統(tǒng)計(jì)任務(wù)。

圖2 基于背景顏色模型的像素預(yù)分類(lèi)

基于Ml(x，y)的像素預(yù)分割：使F(t)幀的L(x，y)與背景紋理樣本集Ml(x，y)進(jìn)行異或，以獲得(x，y)處紋理特征與前景的相似程度p(x，y)為

p(x，y)=ones(L(x，y)⊕Ml(x，y))/8

(7)

式中：ones()用來(lái)求異或結(jié)果中1的個(gè)數(shù)。p(x，y)越大，(x，y)為前景點(diǎn)的概率越大，反之為前景點(diǎn)的概率越小。

當(dāng)p(x，y)大于0.5時(shí)，將像素點(diǎn)(x，y)預(yù)判為前景點(diǎn)，否則預(yù)判為背景點(diǎn)，完成基于背景紋理模型的像素預(yù)分割。當(dāng)兩次預(yù)分割結(jié)果均為背景時(shí)，才將像素點(diǎn)(x，y)設(shè)置為背景，否則設(shè)置為前景，可以有效降低對(duì)偽裝色侵限異物的漏檢率，分割后F(t)轉(zhuǎn)化為灰度圖像B(t)，如圖3(a)轉(zhuǎn)化為圖3(b)。

(a)F34幀原圖 (b)像素分類(lèi)后的B(34)

(c)形態(tài)學(xué)處理后的B(34) (d)運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果 圖3 ViBe異物侵限檢測(cè)結(jié)果

為了排除諸如枯草、樹(shù)影晃動(dòng)等外界干擾因素影響，對(duì)灰度圖像B(t)進(jìn)行中值濾波和膨脹腐蝕處理，結(jié)果見(jiàn)圖3(c)。并認(rèn)定B(t)中最小外接矩形面積大于閾值的前景連通域?yàn)榍窒蕻愇?。再根?jù)前景連通域最小外接矩形在圖像中的位置，選擇下一步執(zhí)行方案。

設(shè)待檢幀F(xiàn)(t)圖像分辨率為w×h，最小外接矩形上下左右邊界值分別為ymin、ymax、xmin、xmax。

ymin=0‖ymax=h‖xmin=0‖xmax=w

(8)

當(dāng)式(8)成立時(shí)，認(rèn)為侵限異物尚未完全進(jìn)入視頻監(jiān)控范圍，難以為后續(xù)跟蹤任務(wù)提供完整的目標(biāo)信息，需要繼續(xù)執(zhí)行Step3，更新背景模型。否則，認(rèn)為侵限異物已完全進(jìn)入視頻監(jiān)控范圍，將最小外接矩形區(qū)域作為初始化跟蹤框box0，供后續(xù)跟蹤算法進(jìn)行密集循環(huán)采樣。

Step4背景模型更新

為適應(yīng)復(fù)雜監(jiān)控場(chǎng)景在時(shí)空維度上的各種變化，采取以下步驟對(duì)背景顏色樣本集Mc(x，y)和背景紋理樣本集Ml(x，y)進(jìn)行更新。

(1)背景區(qū)域恢復(fù)：由于前景像素點(diǎn)不參與背景模型的更新，被誤檢為前景區(qū)域的像素塊難以重新融入背景，可能產(chǎn)生“鬼影”。因此，基于前景運(yùn)動(dòng)目標(biāo)不會(huì)長(zhǎng)期處于同一位置的實(shí)際情況，將連續(xù)多幀被檢測(cè)為前景的像素點(diǎn)重置為背景點(diǎn)，使算法具有一定自愈性。

(2)隨機(jī)抽取更新點(diǎn)：任取區(qū)間[1，(2Φ-1)]中的一個(gè)整數(shù)為隨機(jī)步長(zhǎng)，逐行抽取灰度圖像B(t)中的像素點(diǎn)(x，y)，若(x，y)為前景點(diǎn)，僅用L(x，y)對(duì)Ml(x，y)進(jìn)行更新，若(x，y)為背景點(diǎn)，還需用v(x，y)對(duì)Mc(x，y)進(jìn)行更新。因各像素點(diǎn)僅有1/Φ的概率更新樣本集，使背景模型的更新頻率降低，不易對(duì)緩慢移動(dòng)的物體產(chǎn)生漏檢。

(3)背景樣本集更新：若以隨機(jī)抽取的像素點(diǎn)(x，y)為背景點(diǎn)，則用v(x，y)替換Mc(x，y)中的任意一個(gè)樣本，避免歷史樣本長(zhǎng)期保留在Mc(x，y)中，影響模型的準(zhǔn)確性。Ml(x，y)為

Ml(x，y)=p(x，y)Ml(x，y)+

(1-p(x，y))L(x，y)

(9)

Ml(x，y)則通過(guò)式(9)完成背景更新，其更新程度與像素點(diǎn)前景概率p(x，y)成反比，可以避免前景點(diǎn)對(duì)背景模型造成污染。

(4)空間鄰域樣本集更新：基于鄰域像素的空間一致性假設(shè)，從NG(x，y)內(nèi)任選一個(gè)像素點(diǎn)(x0，y0)，用v(x，y)替換Mc(x0，y0)中任意一個(gè)樣本，使背景樣本信息逐漸向外擴(kuò)散，以盡快消除“鬼影”區(qū)域。

完成背景模型更新后，再返回Step2檢測(cè)F(t+1)幀的侵限異物。

最終檢測(cè)結(jié)果見(jiàn)圖3(d)。由于圖3(d)中侵限異物最小外接矩形邊界值不滿(mǎn)足式(4)，認(rèn)為侵限異物在F(34)幀已完全進(jìn)入視頻監(jiān)控范圍。對(duì)F(34)幀的FHOG特征進(jìn)行密集循環(huán)采樣，用來(lái)訓(xùn)練一個(gè)位置濾波器，從F(35)幀開(kāi)始跟蹤侵限異物。

3 核相關(guān)濾波異物跟蹤算法

3.1 位置濾波器訓(xùn)練樣本集的生成

3.1.1 原始樣本的FHOG特征提取

FHOG特征通過(guò)合并局部區(qū)域的無(wú)符號(hào)和有符號(hào)方向梯度直方圖來(lái)描述目標(biāo)，具有對(duì)目標(biāo)幾何形變和光照變化不敏感的優(yōu)點(diǎn)，適合為行人、動(dòng)物和車(chē)輛等侵限異物構(gòu)建外觀(guān)模型。因此，提取圖3(d)中初始化跟蹤框box0的FHOG特征，作為生成位置訓(xùn)練樣本集的原始樣本。FHOG特征的具體提取步驟如下：

Step1建立像素級(jí)特征映射

分別用梯度算子[-1 0 1]和[-1 0 1]T對(duì)box0對(duì)應(yīng)的灰度圖做卷積運(yùn)算，可以得到box0內(nèi)各像素點(diǎn)(x，y)的水平方向梯度Gx(x，y)和垂直方向梯度Gy(x，y)。

(10)

進(jìn)一步求得像素點(diǎn)(x，y)處方向梯度的角度θ(x，y)和幅值A(chǔ)(x，y)為

(11)

將0°～180°的范圍等角度劃分為m個(gè)無(wú)符號(hào)方向梯度分區(qū)，使用式(12)判斷梯度角度θ(x，y)所屬的分區(qū)p為

(12)

最后，為像素點(diǎn)(x，y)定義一個(gè)m維特征向量F(x，y)，將梯度幅值A(chǔ)(x，y)映射到F(x，y)的第p維通道F(x，y)p為

F(x，y)p=A(x，y)

(13)

可以從box0中提取一個(gè)大小為w×h×m的像素級(jí)特征映射F。

Step2空間聚合

box0內(nèi)若干像素點(diǎn)可以組成一個(gè)邊長(zhǎng)為l的正方形細(xì)胞單元，見(jiàn)圖4。為了縮減特征映射F的尺寸，最直接的空間聚合方法是將細(xì)胞單元(a，b)的特征向量C(a，b)定義為其內(nèi)所有像素點(diǎn)特征映射的均值或和，其中0≤a≤[w0/l]，0≤b≤[h0/l]。但此方法中細(xì)胞單元交界處的像素點(diǎn)僅對(duì)本細(xì)胞單元的特征向量產(chǎn)生影響，容易產(chǎn)生混疊現(xiàn)象。因此，可以通過(guò)三線(xiàn)性插值，使每個(gè)像素點(diǎn)的方向梯度都能投影到周?chē)?個(gè)細(xì)胞單元的特征向量上，保證了box0內(nèi)的局部空間一致性。

圖4 方向梯度的空間聚合

以像素點(diǎn)(x，y)的三線(xiàn)性插值為例，依據(jù)其與周?chē)?xì)胞單元中心像素點(diǎn)(xα，yβ)的幾何距離，和θ(x，y)與最鄰近梯度分區(qū)pε中間角θε的夾角，計(jì)算投影權(quán)值，其中，α，β，ε∈{0，1}。將像素點(diǎn)的梯度幅值A(chǔ)(x，y)加權(quán)累加到特征向量C(α，β)的pε通道上，完成像素點(diǎn)(x，y)方向梯度的空間聚合。

(14)

Step3特征向量局部歸一化

為了克服box0內(nèi)光照不均勻和前景背景間對(duì)比度差異較大的問(wèn)題，對(duì)細(xì)胞單元特征向量C(a，b)進(jìn)行局部歸一化。圖5中定義了4個(gè)局部歸一化因子Nδ，γ(a，b)(δ，γ∈{-1，1})，分別代表包含(a，b)在內(nèi)的四個(gè)相鄰細(xì)胞單元組成的方塊的梯度能量和。

圖5 4個(gè)局部歸一化因子

可用式(15)對(duì)局部歸一化因子Nδ，γ(a，b)做進(jìn)一步表達(dá)，式(15)中所用為L(zhǎng)2范數(shù)。

Nδ，γ(a，b)=(‖C(a，b)‖2+‖C(a+δ，b)‖2+

‖C(a，b+γ)‖2+‖C(a+δ，b+γ)‖2)1/2

(15)

讓C(a，b)與Nδ，γ(a，b)的歸一化結(jié)果相連接，可以得到細(xì)胞單元(a，b)的無(wú)符號(hào)HOG特征Hunsign(a，b)為

(16)

Step4方向梯度直方圖的合并

若將0°～360°的范圍等角度劃分為2m個(gè)有符號(hào)反向梯度分區(qū)，同理可求得有符號(hào)HOG特征Hdesign(a，b)。無(wú)符號(hào)HOG特征和有符號(hào)HOG特征在描述非剛性和剛性物體上各有優(yōu)劣，因此，將兩者串聯(lián)為新的特征矩陣Hjoint(a，b)，可以更準(zhǔn)確地對(duì)侵限異物進(jìn)行描述，特征矩陣為

Hjoint(a，b)=(Hunsign(a，b)，Hdesign(a，b))

(17)

但該方法使細(xì)胞單元的HOG矩陣維度由4×m維增加至4×(m+2m)維，將影響后續(xù)目標(biāo)跟蹤算法的計(jì)算速度。因此，將Hjoint(a，b)的每一列相累加，形成Fhog(a，b)的前3m個(gè)元素，代表(a，b)的m維無(wú)符號(hào)方向梯度和2m維有符號(hào)方向梯度；每一行相累加，形成Fhog(a，b)的后4個(gè)元素，代表包含(a，b)在內(nèi)的4個(gè)方塊的梯度能量和，F(xiàn)hog(j)為

(18)

將本節(jié)提取的侵限異物FHOG特征矩陣作為原始樣本，通過(guò)密集循環(huán)移位可進(jìn)一步生成位置訓(xùn)練樣本集。

3.1.2 原始樣本的密集循環(huán)移位

針對(duì)初始化跟蹤框box0內(nèi)的FHOG特征矩陣所含信息量較少，不足以用來(lái)訓(xùn)練一個(gè)核相關(guān)位置濾波器的問(wèn)題，在跟蹤起始的F(34)幀，以侵限異物最小外接矩形的中心為中心，大小為2倍box0的采樣區(qū)域進(jìn)行密集循環(huán)采樣，可以獲得若干大小與box0一致的訓(xùn)練樣本，采樣過(guò)程見(jiàn)圖6。

圖6 位置訓(xùn)練樣本的密集循環(huán)采樣

假設(shè)初始化跟蹤框尺寸為w0×h0，原始的方法是定義一個(gè)同樣大小的滑動(dòng)采樣窗口，從待搜索區(qū)域左上角，按由左到右、由上到下的順序滑動(dòng)，每滑動(dòng)l個(gè)像素，便提取窗口內(nèi)的FHOG特征作為訓(xùn)練樣本。該方法需要耗費(fèi)大量時(shí)間為每一幀采集w0×h0個(gè)訓(xùn)練或測(cè)試樣本，時(shí)效性過(guò)差，有必要進(jìn)行改進(jìn)。改進(jìn)的方法是：先使用2D漢寧窗對(duì)box0的FHOG矩陣進(jìn)行過(guò)濾，以獲得消除邊界效應(yīng)的原始樣本Sg為

(19)

再通過(guò)Sg右乘水平位移矩陣P，模擬滑動(dòng)采樣窗口的橫向運(yùn)動(dòng)，左乘垂直位移矩陣Q，模擬滑動(dòng)采樣窗口的縱向運(yùn)動(dòng)，可以獲得一個(gè)位置訓(xùn)練樣本矩陣SP。位移矩陣P、Q為

位置訓(xùn)練樣本矩陣SP為

Sp(i，j)=Q(i-1)lSgP(j-1)l

(20)

i∈[1，h0/l]j∈[1，w0/l]

該矩陣為一個(gè)塊循環(huán)矩陣，利用其在傅里葉域可對(duì)角化的性質(zhì)，加速訓(xùn)練一個(gè)基于核化嶺回歸函數(shù)的目標(biāo)位置濾波器，用來(lái)確定目標(biāo)方位。

3.2 基于核化嶺回歸的侵限異物位置跟蹤

將核化嶺回歸方法融入對(duì)F(35)幀的待搜索區(qū)域的濾波過(guò)程，并判定響應(yīng)最大的候選區(qū)域?yàn)榍窒蕻愇锔櫸恢?。首先，利用一個(gè)非線(xiàn)性映射函數(shù)Φ(Sp)將位置訓(xùn)練樣本集Sp映射至一個(gè)線(xiàn)性可分的高維特征空間。再利用Φ(Sp)訓(xùn)練一個(gè)線(xiàn)性回歸函數(shù)Yp=ωTΦ(Sp)，其中Yp為位置訓(xùn)練樣本集對(duì)應(yīng)的得分矩陣；ω是Φ(Sp)高維特征空間內(nèi)的一個(gè)向量，滿(mǎn)足

(21)

將式(21)代入線(xiàn)性回歸函數(shù)可以得到一個(gè)核相關(guān)位置濾波器，分矩陣為

Yp=Φ(Sp)Φ(Sp)Tφ

(22)

式中：φ為待調(diào)參數(shù)，最優(yōu)參數(shù)組φ應(yīng)使位置濾波器代價(jià)損失函數(shù)最小，即滿(mǎn)足

(23)

其中，Y為二維高斯矩陣，代表位置濾波器的理想輸出；λ為代價(jià)損失函數(shù)正則系數(shù)，目的是使可能出現(xiàn)多組解的最小二乘擬合在此處有唯一解。

再求代價(jià)損失函數(shù)關(guān)于φ的偏導(dǎo)，并判斷偏導(dǎo)值為0時(shí)的φ為最優(yōu)解，最終求得φ為

φ=[Φ(Sp)Φ(Sp)T+λI]-1Y

(24)

Φ(Sp)Φ(Sp)T為位置樣本集Sp在高維特征空間的內(nèi)積核矩陣，簡(jiǎn)寫(xiě)為K(Sp，Sp)，可將式(24)轉(zhuǎn)化為

φ=[K(Sp，Sp)+λI]-1Y

(25)

式(20)中的矩陣求逆運(yùn)算將占用大量計(jì)算資源，導(dǎo)致算法時(shí)效性不高。若能使Sp映射至特征空間后仍為塊循環(huán)矩陣，則可利用塊循環(huán)矩陣在傅里葉域可對(duì)角化的性質(zhì)，把復(fù)雜的矩陣求逆運(yùn)算簡(jiǎn)化為點(diǎn)乘。本文使用如式(26)所示的高斯核矩陣，使Sp映射為K(Sp，Sp)后仍為塊循環(huán)矩陣。

2(X·Y)T)]

(26)

將塊循環(huán)矩陣K(Sp，Sp)對(duì)角化為

(27)

式中：F為離散傅里葉矩陣；diag()用來(lái)生成對(duì)角化矩陣；“^”代表矩陣的傅里葉變換。將式(27)代入式(25)，根據(jù)對(duì)角化矩陣的逆為對(duì)角線(xiàn)上各元素的倒數(shù)的性質(zhì)，可以求得位置濾波器快速調(diào)參公式為

(28)

再將F(34)幀的采樣區(qū)域作為F(35)幀的待搜索區(qū)域；F(34)幀的跟蹤框作為F(35)幀的滑動(dòng)采樣窗口，利用密集循環(huán)采樣，提取視頻序列F(35)幀的測(cè)試樣本矩陣Spt，代入核相關(guān)位置濾波器計(jì)算響應(yīng)為

Ypt=Φ(Sp)Φ(Spt)Tφ=K(Sp，Spt)φ

(29)

式中：K(Sp，Spt)為測(cè)試樣本集Spt與訓(xùn)練樣本集Sp的高斯核矩陣。最后，將響應(yīng)矩陣Ypt中的最大值坐標(biāo)，作為F(35)幀侵限異物的預(yù)測(cè)位置，配合異物尺度估計(jì)，可以完整的標(biāo)記出侵限異物。

4 尺度自適應(yīng)的PSA-Kcf降維跟蹤

4.1 尺度測(cè)試樣本集的建立

尺度金字塔是由一系列以侵限異物最小外接矩形的中心為中心，不同尺寸大小的圖像塊組成的樣本集合，其作用是為異物尺度估計(jì)環(huán)節(jié)提供足夠的測(cè)試樣本。假設(shè)尺度濾波器維度為d，則對(duì)于整數(shù)n([(1-d)/2，(d-1)/2]，以式(24)預(yù)測(cè)的侵限異物位置為中心，F(xiàn)(34)幀的跟蹤框大小為基準(zhǔn)，在第F(35)幀截取一系列大小為Rnw0×Rnh0的圖像塊，R為金字塔圖層間的比例因子，可以獲得一個(gè)d層圖像尺度金字塔，見(jiàn)圖7。

圖7 侵限異物尺度金字塔

再通過(guò)雙線(xiàn)性插值調(diào)整尺度金字塔各圖層尺寸，使各圖層的大小均與F(34)幀跟蹤框一致。最后，將處理后的尺度金字塔各圖層的FHOG信息提取出來(lái)，作為尺度測(cè)試樣本集Sst。

4.2 尺度測(cè)試樣本的相關(guān)濾波

根據(jù)相關(guān)濾波原理，兩個(gè)越為相似的圖像信號(hào)卷積響應(yīng)值越高，因此，使用F(34)幀跟蹤框的FHOG特征Ss，與尺度濾波模板H進(jìn)行卷積，代價(jià)損失函數(shù)誤差平方和最小為

(30)

式中：Y為一個(gè)三維高斯矩陣，代表尺度濾波器的理想輸出；H為尺度濾波模板。先通過(guò)離散傅里葉變換將時(shí)域上的卷積轉(zhuǎn)換為頻域上的點(diǎn)乘，再求ε關(guān)于Hi的偏導(dǎo)，偏導(dǎo)為0時(shí)的Hi即為尺度濾波模板H第i層的最優(yōu)解為

(31)

式中：conj()代表矩陣的復(fù)共軛。再利用尺度金字塔技術(shù)，在F(35)幀中建立一個(gè)d維測(cè)試樣本集Sst，尺度濾波器獲取的響應(yīng)Yst為

(32)

再找到測(cè)試樣本集Sst中使Yst得分最高的尺度測(cè)試樣本，將其在尺度金字塔上對(duì)應(yīng)圖層的大小，作為F(35)幀跟蹤框box1的尺度，可以將侵限異物完整的標(biāo)識(shí)出來(lái)。

最后，利用式(28)更新位置濾波器參數(shù)φ，準(zhǔn)備預(yù)測(cè)F(36)幀的目標(biāo)位置。同時(shí)，利用式(32)逐幀對(duì)尺度濾波模板Hi的分子A和分母B進(jìn)行迭代，以實(shí)現(xiàn)尺度濾波模板的快速更新。其中，常量η代表尺度濾波器的學(xué)習(xí)速率，Ss，t+1代表第t+1幀跟蹤框的FHOG特征為

(33)

4.3 尺度特征的PCA降維

考慮到新增異物尺度估計(jì)環(huán)節(jié)在式(32)、式(33)中，需要對(duì)尺度測(cè)試樣本的FHOG特征進(jìn)行3m+4次二維離散傅里葉變換，在一定程度上降低了原生核相關(guān)濾波算法的跟蹤速度。依據(jù)尺度測(cè)試樣本特征維度遠(yuǎn)高于尺度測(cè)試樣本數(shù)的特點(diǎn)，使用主成分分析法(PCA)，在不損失圖像信息的情況下，對(duì)尺度測(cè)試樣本FHOG特征進(jìn)行降維，從而降低目標(biāo)檢測(cè)和濾波器更新耗時(shí)。

PCA降維作為一種常用的數(shù)據(jù)分析方法，通過(guò)坐標(biāo)的平移和旋轉(zhuǎn)，將一組相關(guān)變量投影到不相關(guān)的低維子空間中，實(shí)現(xiàn)數(shù)據(jù)的降維。低維子空間的坐標(biāo)軸被選擇為高維數(shù)據(jù)中方差最大的方向，以提取原始數(shù)據(jù)的主要特征分量。

具體方法是：先通過(guò)式(34)將坐標(biāo)原點(diǎn)平移至樣本數(shù)據(jù)的中心，讓原本相互獨(dú)立的樣本大致相關(guān)。

Sst(i)=Sst(i)-mean(Sst(i))

(34)

式中：Sst(i)為第i個(gè)測(cè)試樣本FHOG特征的展開(kāi)。再對(duì)如式(35)所示的d維協(xié)方差矩陣U進(jìn)行特征值分解，將投影矩陣Vt的每行設(shè)置為U對(duì)應(yīng)的特征向量，從而消除圖像噪聲引起的數(shù)據(jù)偏移。

U(i，j)=Sst(i)Sst(j)T

(35)

最后使用VtSst(i)將Sst(i)投影到低維子空間，將測(cè)試樣本Sst(i)由(3m+4)×wt/l×ht/l維降至rank(U)維。式(33)中的Ss，t+1也屬于測(cè)試樣本集Sst，同理可使用VtSs，t+1代替，從而縮短尺度濾波器更新過(guò)程耗時(shí)。

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)驗(yàn)算例與性能評(píng)估指標(biāo)

算例：使用幀率為25幀/s的高清網(wǎng)絡(luò)球機(jī)從某鐵路試驗(yàn)沿線(xiàn)采集了兩組視頻圖像序列進(jìn)行實(shí)驗(yàn)，一組是侵限異物尺度基本無(wú)變化的視頻序列T1、T2；另一組是侵限異物尺度劇烈變化的視頻序列S1、S2，視頻序列T1、T2各包含20 s，500幀圖像，S1、S2各包含28 s，700幀圖像。

實(shí)驗(yàn)使用的計(jì)算機(jī)搭載win7系統(tǒng)，中央處理器為Intel i5-6500，內(nèi)存4 GB。使PSA-Kcf算法分別與無(wú)尺度估計(jì)環(huán)節(jié)的Mean Shift和Kcf算法、同樣具有尺度自適應(yīng)功能的SA-Kcf和SAMF算法進(jìn)行性能比較，以分析不同種類(lèi)算法的跟蹤性能差異。

另外，本文所提算法的參數(shù)的數(shù)值是固定的，其信息見(jiàn)表1。

表1 參數(shù)信息表

當(dāng)高斯核函數(shù)方差σ接近0時(shí)，映射至高維空間的樣本數(shù)據(jù)容易過(guò)擬合，接近1時(shí)則可能導(dǎo)致數(shù)據(jù)線(xiàn)性不可分，因此取σ為0.5。為了得到一個(gè)相對(duì)較為簡(jiǎn)單的位置濾波器又不致欠擬合，正則化參數(shù)λ應(yīng)取一個(gè)較小的正值，本文取λ為10-4。學(xué)習(xí)速率η則應(yīng)在保證濾波器收斂的前提下選擇盡可能大的值，以提升收斂速度，通過(guò)區(qū)間消去法確定η為0.02。

性能評(píng)估指標(biāo)：在跟蹤精度上，通過(guò)統(tǒng)計(jì)預(yù)測(cè)跟蹤框與人工標(biāo)注跟蹤框的重疊率超過(guò)一定閾值的圖像幀在視頻序列中所占比例，繪制成功率圖，以衡量跟蹤精度的高低[18]，可以同時(shí)反映算法在位置和尺度估計(jì)上的準(zhǔn)確率。

(36)

式中：boxp為預(yù)測(cè)跟蹤框；boxt為人工標(biāo)注的實(shí)際跟蹤框。再統(tǒng)計(jì)重疊率超過(guò)閾值{0.1，0.2，0.3，…，1}的圖像幀在視頻序列中的占比，來(lái)繪制AUC曲線(xiàn)，可以得到成功率圖。通常將AUC曲線(xiàn)下的面積作為得分，反映算法的跟蹤精度，AUC得分與跟蹤精度呈正比。跟蹤速度可以通過(guò)計(jì)算各算法平均每秒處理的圖像幀數(shù)來(lái)衡量。

5.2 尺度金字塔層數(shù)的性能影響測(cè)試

當(dāng)尺度金字塔層數(shù)d過(guò)小時(shí)，會(huì)因尺度測(cè)試樣本少而降低尺度估計(jì)的準(zhǔn)確度；而當(dāng)d過(guò)大時(shí)，會(huì)間接影響尺度測(cè)試樣本的降維效果，降低跟蹤速度。繪制尺度金字塔層數(shù)d取不同值時(shí)，本文所提PSA-Kcf算法在視頻序列T和S上運(yùn)行的AUC得分和跟蹤速度圖，以考察尺度金字塔層數(shù)d對(duì)PSA-Kcf算法跟蹤性能的影響，結(jié)果見(jiàn)圖8。由圖8可得，當(dāng)d=0時(shí)，PSA-Kcf算法等同于無(wú)尺度估計(jì)環(huán)節(jié)的原生Kcf算法，其跟蹤精度、速度與Kcf算法一致。當(dāng)d<25時(shí)，PSA-Kcf算法的跟蹤精度會(huì)隨著d的增大而不斷提升，以至d≥25后，其AUC得分會(huì)逐漸趨于平穩(wěn)，最終收斂于72%附近。d=25僅是一個(gè)中間值，若要PSA-Kcf跟蹤算法針對(duì)不同場(chǎng)景下的鐵路侵限視頻，其精度性能均可得到最大開(kāi)發(fā)，d應(yīng)取大于25的值。又觀(guān)察到算法的跟蹤速度會(huì)隨著d的增大而不斷降低，特別以尺度金字塔層數(shù)d=33為拐點(diǎn)，算法跟蹤速度此后的下降斜率會(huì)陡然激增。為了在保證跟蹤精度的前提下盡量提升速度性能，將PSA-Kcf算法的尺度估計(jì)層級(jí)d設(shè)置為33層，并參與后續(xù)性能對(duì)比實(shí)驗(yàn)。

圖8 尺度金字塔層數(shù)的性能影響測(cè)試

5.3 跟蹤精度對(duì)比實(shí)驗(yàn)

分別使用Mean Shift算法、Kcf算法和尺度自適應(yīng)的SA-Kcf、SAMF算法對(duì)實(shí)驗(yàn)算例中的侵限異物進(jìn)行跟蹤，并與本文所提的PSA-Kcf算法的跟蹤精度進(jìn)行對(duì)比，實(shí)驗(yàn)效果見(jiàn)圖9。

圖9 不同算法的跟蹤效果

由圖9可得，PSA-Kcf、SA-Kcf和SAMF算法均能較為準(zhǔn)確的對(duì)視頻序列T1、T2中的侵限異物進(jìn)行跟蹤。而Mean Shift算法不對(duì)目標(biāo)模板進(jìn)行更新，分別在第72幀和第416幀完便全丟失T1和T2中的跟蹤目標(biāo)。Kcf算法則在第453幀，將T1中FHOG特征與侵限異物接近的軌旁低壓開(kāi)關(guān)箱誤認(rèn)為跟蹤目標(biāo)。視頻序列S1、S2中的侵限異物存在較大規(guī)模的尺度變化，無(wú)尺度估計(jì)環(huán)節(jié)的Kcf算法和Mean Shift算法分別會(huì)學(xué)習(xí)到過(guò)量背景FHOG特征和RGB顏色特征，導(dǎo)致跟蹤框漂移。為了更加直觀(guān)地對(duì)各跟蹤算法的精度性能進(jìn)行比較，分別繪制不同算法在視頻序列T和S中的成功率圖，見(jiàn)圖10。

(a)序列T

(b)序列S圖10 各類(lèi)算法的跟蹤成功率

為了量化各算法的跟蹤精度，計(jì)算其在視頻序列T和S中的AUC得分，見(jiàn)表2。

表2 各跟蹤算法的AUC得分 %

由表2可得，本文所提PSA-Kcf算法的跟蹤精度要明顯優(yōu)于無(wú)尺度估計(jì)環(huán)節(jié)的Kcf和Mean Shift算法，特別在尺度劇烈變化的視頻序列S中，PSA-kcf算法的跟蹤精度可達(dá)73.8%，而Kcf和Mean Shift算法則僅達(dá)48.1%和21.68%。SAMF算法因尺度估計(jì)層級(jí)僅有較淺的7層，平均跟蹤精度次之，也可達(dá)70.3%。PSA-Kcf算法對(duì)尺度測(cè)試樣本進(jìn)行了PCA降維，屏蔽了大量噪聲干擾，平均跟蹤精度要略高于SA-Kcf算法的71.94%。

5.4 跟蹤速度對(duì)比實(shí)驗(yàn)

分別記錄PSA-Kcf、SA-Kcf、Kcf、SAMF和Mean Shift算法在視頻序列T和S上的運(yùn)行總耗時(shí)，并依此計(jì)算各算法單位時(shí)間內(nèi)處理的圖像幀數(shù)，來(lái)反映各類(lèi)算法的目標(biāo)跟蹤速度，得到的結(jié)果見(jiàn)圖11。

圖11 各類(lèi)算法的跟蹤速度

由圖11可得，相關(guān)濾波類(lèi)跟蹤算法的跟蹤速度均在100幀/s以上，遠(yuǎn)遠(yuǎn)快于SAMF算法的22.68幀/s和生成類(lèi)算法Mean Shift的7.41幀/s。其中，Kcf算法因無(wú)須進(jìn)行異物尺度估計(jì)，跟蹤速度達(dá)到163.07幀/s。新增尺度估計(jì)環(huán)節(jié)的SA-Kcf算法雖然在跟蹤精度上優(yōu)于Kcf算法，但跟蹤速度卻下降至104.37幀/s。PSA-Kcf算法利用主成分分析大幅縮減了尺度估計(jì)環(huán)節(jié)的二維離散傅里葉變換次數(shù)，使跟蹤速度回升至137.53幀/s。對(duì)比Kcf算法，PSA-Kcf算法在僅犧牲25.54幀/s速度性能的情況下，大幅提升了目標(biāo)跟蹤精度。

6 結(jié)論

(1)綜合運(yùn)用核相關(guān)濾波和密集循環(huán)采樣方法，實(shí)現(xiàn)了對(duì)侵限異物位置信息的準(zhǔn)確判斷，并通過(guò)誤差最小平方和函數(shù)和尺度金字塔技術(shù)將尺度濾波器融入到尺度估計(jì)階段，有效提升了算法的跟蹤精度，實(shí)驗(yàn)結(jié)果表明：本文所提PSA-Kcf算法在跟蹤精度上優(yōu)于無(wú)尺度估計(jì)的Mean Shift和Kcf算法，略高于尺度自適應(yīng)的SA-Kcf和SAMF算法。

(2)通過(guò)PCA降維大幅縮減了尺度估計(jì)環(huán)節(jié)的二維離散傅里葉變換次數(shù)，降低了新增尺度估計(jì)環(huán)節(jié)的計(jì)算耗時(shí)，使PSA-Kcf算法的跟蹤速度由SA-Kcf算法的104.37幀/s回升至137.53幀/s，能達(dá)到與原生Kcf算法相當(dāng)?shù)目焖俑櫺Ч?/p>