仲夢潔，張艷彬

(南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京，210003)

0 引 言

道路監(jiān)控視頻數(shù)據(jù)由于其攝像頭靜止、拍攝環(huán)境質(zhì)量差等特點使其含有大量的冗余數(shù)據(jù)。為克服視頻數(shù)據(jù)量越大、檢索效率越低的矛盾，視頻關(guān)鍵幀提取技術(shù)應(yīng)運而生。關(guān)鍵幀是視頻中最重要、最具代表性的圖像幀，它反映了一個視頻的主要內(nèi)容，該技術(shù)能夠去除視頻數(shù)據(jù)中大部分冗余信息僅保留視頻數(shù)據(jù)有用的部分[1-3]。

研究人員為提取能夠充分反映視頻信息的關(guān)鍵幀，提出了各種改進的視頻數(shù)據(jù)量壓縮方法。Ejaz等[4]針對基于鏡頭的關(guān)鍵幀提取中存在的普遍問題即許多方法將鏡頭第一幀作為關(guān)鍵幀這一弊端，提出了一種基于顯著性的幀間差視頻摘要方法。袁晶等[5]針對道路監(jiān)控視頻中特定車輛圖像序列的關(guān)鍵幀提取問題，在運動對象檢測的基礎(chǔ)上，提出一種關(guān)鍵幀提取方法。將積分通道特征和面積特征作為圖像特征描述子，結(jié)合AdaBoost訓(xùn)練分類器，實現(xiàn)道路監(jiān)控視頻車輛序列圖像中關(guān)鍵幀的提取。藍章禮等[6]為從固定攝像頭的道路監(jiān)控視頻中有效地提取出關(guān)鍵幀，提出了基于相關(guān)系數(shù)的關(guān)鍵幀提取算法,但算法中閾值不能自動選取,需要根據(jù)不同的應(yīng)用場景憑經(jīng)驗選取。Lai等[7]提取顏色特征、紋理特征形成靜態(tài)視覺注意模型，提取運動強度、方向形成動態(tài)視覺顯著性模型，并將兩種顯著性模型進行線性融合形成視覺注意力曲線，最后將顯著性具有局部最大值的幀取出作為關(guān)鍵幀。劉云鵬等[8]針對道路監(jiān)控視頻，提出了一種基于高層語義和低層特征相結(jié)合的視覺注意模型，突出了道路監(jiān)控中高度關(guān)注的交通對象和交通事件，有效地提取有較高應(yīng)用價值的關(guān)鍵幀。

文中提出的關(guān)鍵幀提取方法主要解決的問題是如何快速檢索出在道路監(jiān)控中含有最豐富車輛信息的關(guān)鍵幀。該方法針對的監(jiān)控視頻是限定視頻，視頻內(nèi)容以車輛的運動為主。為了定量描述視頻幀中車輛包含的信息量，采用基于視覺顯著性的車輛監(jiān)測技術(shù)，依據(jù)視覺顯著性技術(shù)，提取FT、LBP和邊緣三種底層特征圖以及車牌相似圖，將根據(jù)車牌相似圖優(yōu)化后的三大底層特征加權(quán)平均融合得到顯著性具有局部最大值的幀取出作為關(guān)鍵幀。提取的關(guān)鍵幀是運動車輛從進入到離開監(jiān)控區(qū)域的序列圖像幀中車輛信息最豐富的圖像，實現(xiàn)道路車輛監(jiān)控視頻中車輛數(shù)據(jù)的有效壓縮。

1 監(jiān)控視頻中基于視覺顯著性的車輛關(guān)鍵幀提取流程

提出的關(guān)鍵幀提取流程如圖1所示。

圖1 監(jiān)控視頻中基于視覺顯著性的車輛關(guān)鍵幀提取流程

首先對運動車輛進行目標檢測、跟蹤及背景分離得到前景圖像；其次提取車輛圖像的FT、LBP、邊緣三種底層特征圖及車牌相似圖，為突顯車牌區(qū)域同時減少非車牌區(qū)域?qū)θN底層特征顯著性區(qū)域的干擾，采用車牌相似圖對三種底層特征進行優(yōu)化，得到優(yōu)化后的三種底層特征；在多特征圖融合階段，采用多特征加權(quán)平均融合得到多特征融合圖像；最后在多特征融合圖像中進行比較，選取運動軌跡中車輛顯著性程度最大的多特征融合圖像對應(yīng)的視頻幀作為車輛關(guān)鍵幀。

2 基于視覺顯著性的車輛關(guān)鍵幀提取技術(shù)方案

2.1 車輛檢測、跟蹤與分割

為了獲取車輛相應(yīng)的運動狀態(tài)以及運動軌跡，需要首先對運動目標進行檢測與跟蹤。車輛檢測以及跟蹤目前已經(jīng)有了比較成熟的算法，綜合考慮計算復(fù)雜度、準確度和魯棒性等因素，同時考慮監(jiān)控畫面質(zhì)量較差的問題，車輛檢測算法采用效果較好的混合高斯模型[9]。

目標跟蹤算法采用CamShift算法[10]。CamShift基本思想是以視頻圖像中運動物體的FT信息作為特征，對輸入圖像的每一幀分別作MeanShift運算，并將上一幀的目標中心和搜索窗口大小作為下一幀MeanShift算法的中心和搜索窗口大小的初始值，如此迭代下去，就可以實現(xiàn)對目標的跟蹤。

為減少圖像背景區(qū)域?qū)η熬澳繕孙@著性的干擾，文中采用基于標記的分水嶺算法[11]對背景與前景目標進行分割。針對傳統(tǒng)基于梯度的分水嶺算法由于局部最小值過多造成分割后的分水嶺較多的不足，采用基于標記點的分水嶺算法，其思想是水淹過程從預(yù)先定義好的標記像素開始，較好地克服了過度分割的不足。

2.2 車牌特征圖提取

根據(jù)顏色空間改進后的加權(quán)歐氏距離來提取車牌特征。顏色距離指的是兩個顏色之間的差距，通常距離越大，兩個顏色相差越大，反之，兩個顏色越相近。由于RGB空間是線性的并且相互正交，而人眼的視覺系統(tǒng)并不是線性的，RGB空間并不能反映人眼對顏色的感知，相對應(yīng)的顏色距離也不能很好地反映兩個顏色是否相近。所以采用了改進的加權(quán)歐氏距離來計算顏色相似度，具體公式如下：

(1)

其中，ΔC為與車牌的顏色距離，1/ΔC為車牌顏色相似度值；C1,R,C1,G,C1,B分別為該像素點的RGB分量；C2,R,C2,G,C2,B分別為標準車牌底部顏色像素點的RGB分量。由于車牌為藍底白字的車輛較多，因此將車牌藍底白字的車輛作為研究重點。則C2,R為0，C2,G為0，C2,B為255。得到車牌相似度之后，就可知道該像素點趨近于車牌的程度，若車牌相似度值越大，該像素點的顏色越接近車牌的顏色。

車牌特征計算公式如下：

(2)

其中，W(i,j)為該幀第(i,j)個像素點的車牌顏色相似度的權(quán)重；P(i,j)為該幀中第(i,j)個像素點的車牌顏色相似度值即為1/ΔC；Pmin和Pmax分別為該幀像素點的車牌顏色相似度中的最小值和最大值。對Plate進行歸一化即得到車牌特征圖。由公式可以看出，當車牌顏色相似度值P(i,j)越大時，權(quán)重W(i,j)越大，則像素點的值越大，由此使車牌區(qū)域有較大的顯著性。

2.3 底層特征圖提取

文中選取LBP(局部二值模式)[12]提取圖像的紋理特征。因其具有的灰度不變和旋轉(zhuǎn)不變的性質(zhì)，可避免由光照顯著改變而引起的實驗結(jié)果的誤差。LBP算子的基本思想是定義在像素3*3的鄰域內(nèi)，以鄰域中心像素為閾值，相鄰的8個像素的灰度值與其進行比較，若周圍像素大于中心像素值，則該像素點的位置被標記為1，否則為0。3*3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進制數(shù)，轉(zhuǎn)化為十進制數(shù)即可得到中心像素的LBP值，并用這個值來反映該區(qū)域的LBP信息。具體計算公式如下：

(3)

其中，(xc,yc)為中心像素的坐標；p為鄰域的第p個像素，ip為鄰域像素的灰度值；ic為中心像素的灰度值；s(x)為符號函數(shù)：

(4)

文中顏色特征提取采用基于圖像頻域分析的顯著性算法即FT算法[13]。該算法首先將原圖像由RGB顏色空間轉(zhuǎn)換為LAB顏色空間，對LAB顏色空間三通道分別取均值得Lμ，aμ，bμ，由此得到Iμ即平均圖像特征向量。隨后將原圖像進行高斯濾波，得到Iwhc即圖像高斯濾波后對應(yīng)的矢量。最后計算輸入圖像的平均矢量Iμ和高斯濾波后的矢量Iwhc間的歐氏距離作為顯著圖S(x,y)。其中Iμ，Iwhc，S(x,y)具體公式如下：

(5)

LAB模式彌補了RGB和CMYK兩種色彩模式的不足。它是一種設(shè)備無關(guān)的顏色系統(tǒng)，是用數(shù)字化的方法來描述人的視覺感應(yīng)，一個理論上包括了人眼可以看見的所有色彩的色彩模式。LAB顏色空間中的L分量用于表示像素的亮度；a和b是兩個顏色通道。a表示從紅色到綠色的范圍；b表示從黃色到藍色的范圍。

Canny算子[14]邊緣檢測時具有信噪比良好、計算量小以及定位性能較好等優(yōu)點，因此采用Canny算子來提取物體的邊緣特征。Canny算子對圖像進行邊緣檢測主要分為四步進行：對圖像進行二維高斯濾波；通過一階微分計算圖像的灰度梯度幅值和方向；對計算出的梯度幅值進行非極大值抑制；通過雙閾值確定圖像的邊緣。由于Canny算子使用兩種不同的閾值分別檢測強邊緣和弱邊緣，且僅當弱邊緣與強邊緣相連時，才將弱邊緣包含在輸出圖像中。這種方法不容易被噪聲填充，更容易檢測出真正的弱邊緣。

2.4 底層特征圖優(yōu)化

由于車牌是人們高度關(guān)注的信息，且車牌區(qū)域相較于整個車輛區(qū)域所占面積較小，為突顯車牌區(qū)域并減輕其他非車牌區(qū)域?qū)T、LBP與邊緣三種底層特征的干擾，文中采用車牌特征圖像對FT、LBP與邊緣三種底層特征圖像分別進行優(yōu)化。優(yōu)化思想是使車牌特征作為生成FT、LBP、邊緣特征大小的條件，車牌相似度越小，則給FT、LBP、邊緣特征越大的懲罰，使FT、LBP與邊緣特征值變小，處理公式為：

(6)

其中，LBP(i,j)、Plate(i,j)、FT(i,j)、Edge(i,j)分別表示LBP特征圖、車牌特征圖、FT特征圖、邊緣特征圖中第(i,j)個像素值。由式6可以得出優(yōu)化后的底層特征比原底層特征在車牌區(qū)域較突出，非車牌區(qū)域得到了抑制，但仍保有原特征的信息。

2.5 特征融合及關(guān)鍵幀提取

由于根據(jù)車牌特征圖像對FT、LBP與邊緣三種特征圖像分別進行優(yōu)化，車牌特征的有效信息都包含在FT、LBP與邊緣三種特征圖像中，則在多特征融合時采用FT、LBP與邊緣三種底層特征平均加權(quán)融合的方法，從而得到融合顯著圖。文中關(guān)鍵幀提取算法處理的問題可以具體描述如下：

(7)

3 實驗結(jié)果分析

因為缺乏道路中車輛監(jiān)控視頻的公共測試數(shù)據(jù)集，為測試文中算法的效果和性能，實驗采用了在天橋上拍攝的道路中車輛視頻，共6個數(shù)據(jù)集。

實驗環(huán)境：實驗采用Intel (R) Core (TM) i5-3230 CPU @2.60 GHz(4 CPUS)，顯卡為NVIDIA GeForce GT 650 M。操作系統(tǒng)為64位Windows 10專業(yè)版，開發(fā)環(huán)境為Visual Studio 2013,Opencv為Opencv-3.0。

實驗中每個數(shù)據(jù)集的每一幀圖像都是采用CamShift算法對目標車輛區(qū)域進行跟蹤。第一個和第二個數(shù)據(jù)集是車輛由遠處直行逐漸靠近監(jiān)控攝像機的情況，分別有50幀和81幀。第三個和第四個數(shù)據(jù)集是車輛直行行駛速度較慢且離攝像機較近的情況，分別有75幀和70幀。第五個和第六個數(shù)據(jù)集是車輛直行行駛速度較快且離攝像機適中的情況，分別有61幀和60幀。

圖2為實驗所用的各個數(shù)據(jù)集描述圖，每個數(shù)據(jù)集取三幀圖像進行描述。

圖2 各種數(shù)據(jù)集描述圖

由于文中的關(guān)鍵幀提取算法是以多特征融合顯著圖的顯著性值為參考，融合的三種特征都采用車牌特征對其進行了優(yōu)化，突顯了車牌區(qū)域，所以采用車牌識別置信度的方法來評價該關(guān)鍵幀提取算法的有效性。采用HyperLPR來進行車牌識別得到車牌置信度。HyperLPR是一個使用深度學(xué)習(xí)針對中文車牌識別的實現(xiàn)，與開源的其他框架相比，其檢測速度和魯棒性和多場景的適應(yīng)性都要好于目前開源的框架。HyperLPR車牌識別置信度使用softmax回歸函數(shù)將神經(jīng)網(wǎng)絡(luò)輸出轉(zhuǎn)成概率分布作為車牌識別的置信度。

(8)

為了更加清晰地展示實驗效果，實驗中計算了6個數(shù)據(jù)集中的車牌識別置信度，其結(jié)果如表1所示。表1中的車牌識別失敗或識別錯誤是指沒有檢測到車牌或者檢測到車牌，但是車牌識別錯誤。車牌識別正確是指檢測到了車牌，并且車牌識別正確。HyperLPR檢測到車牌則將識別出的車牌與其置信度大小顯示，通過將識別出的車牌與正確車牌進行比較，將正確識別的置信度保留，識別錯誤的置信度大小置為零。

表1 數(shù)據(jù)集的識別結(jié)果

在數(shù)據(jù)集1中，由于車輛離攝像機的距離較遠，視頻幀不夠清晰，導(dǎo)致前22幀中雖然能檢測到車牌但是車牌識別錯誤，所以在數(shù)據(jù)集1中前22幀有很多車牌識別失敗或識別錯誤的幀；在數(shù)據(jù)集2中，由于車輛從很遠處朝著攝像機方向行駛，在第1幀到第30幀由于車輛在攝像機中所占面積較小，無法檢測到車牌。在第31到45幀隨著車輛離攝像機越來越近，車輛在攝像機中所占面積變大，有的可以檢測到車牌，但是車牌識別錯誤，因此在數(shù)據(jù)集2中前45幀均為車牌識別失敗或識別錯誤的幀；在數(shù)據(jù)集3中，車輛離攝像機距離較近，在前29幀基本都能檢測到車牌，但是由于將正確車牌中的Q識別為0，導(dǎo)致車牌識別錯誤，因此在數(shù)據(jù)集3中前29幀有很多車牌識別失敗或識別錯誤的幀；數(shù)據(jù)集4中，由于車輛行駛速度較慢且離攝像機較近，因此數(shù)據(jù)集4中車牌識別正確幀置信度范圍較高；在數(shù)據(jù)集5和數(shù)據(jù)集6中，車輛雖離攝像機距離適中，但由于速度較快，數(shù)據(jù)集5的前21幀和數(shù)據(jù)集的前12幀大多為車牌識別失敗或識別錯誤的幀。在數(shù)據(jù)集1的第45～50幀、數(shù)據(jù)集2的第70～81幀、數(shù)據(jù)集3的第69～75幀、數(shù)據(jù)集4的第56～70幀、數(shù)據(jù)集5的第54～61幀、數(shù)據(jù)集6的第55～60幀，由于在圖像幀中檢測不到車牌區(qū)域或者車牌區(qū)域不在攝像機范圍內(nèi)無法檢測到車牌，因此為車牌識別失敗或識別錯誤的幀。

從表1的第五行和第六行可以看出，文中算法提取出的關(guān)鍵幀置信度值均優(yōu)于數(shù)據(jù)集中車牌識別正確的置信度平均值，文中算法雖然用車牌特征優(yōu)化了三種底層特征，但仍保留了車輛三種底層特征信息，因此文中算法提取出的關(guān)鍵幀并不是車牌識別置信度最大值所對應(yīng)的幀，但也優(yōu)于數(shù)據(jù)集的大多數(shù)幀，也證明文中算法提取出的關(guān)鍵幀可以為車牌識別等提供樣本，提高車牌識別的置信度。

人們對從進入視頻到離開監(jiān)控區(qū)域的運動車輛的車牌、車型、車輛顏色、車輛品牌、駕駛員是否系帶了安全帶、副駕駛是否坐人等信息都有一定的關(guān)注度，因此用車牌特征優(yōu)化了三種底層特征，但仍保留了車輛三種底層特征信息。由圖2各個數(shù)據(jù)集描述圖可知，當車輛離攝像機較遠時，車輛的車型、顏色、品牌標識都不夠清晰，無法得到具體準確的信息；當車輛離攝像機很近時，車輛的車型、顏色能夠看得很清晰，但車輛的品牌標識在車輛前臉處，有可能已經(jīng)不在攝像機范圍內(nèi)，無法得到車輛的品牌信息；由圖3可以看出，關(guān)鍵幀包含豐富的車輛信息。圖3中文中算法提取的關(guān)鍵幀中所關(guān)注的運動車輛均能清晰準確地得到車輛車型、車輛顏色、車輛品牌等信息，且數(shù)據(jù)集2、5、6提取的關(guān)鍵幀可以明顯地觀察到駕駛員系帶了安全帶；其他數(shù)據(jù)集由于光照原因?qū)е虏ＡХ垂?，無法明顯地觀察到駕駛員是否系帶安全帶，副駕駛是否坐人。這證明文中提出的關(guān)鍵幀提取算法能提取監(jiān)控區(qū)域的序列圖像幀中車輛信息較豐富的圖像，實現(xiàn)道路車輛監(jiān)控視頻中車輛數(shù)據(jù)的有效壓縮，且能夠有效地為后續(xù)車牌識別等提供樣本，提高車牌識別的準確率。

圖3 文中算法提取的關(guān)鍵幀

4 結(jié)束語

針對道路監(jiān)控視頻中車輛的關(guān)鍵幀提取問題，在視覺顯著性的基礎(chǔ)上，提出一種關(guān)鍵幀提取方法。采用車牌相似度優(yōu)化車輛的FT、LBP與邊緣三種底層特征，通過加權(quán)平均融合優(yōu)化后的FT、LBP與邊緣三種底層特征得到多特征融合圖像，最后選取出車輛顯著性程度最大的融合圖像對應(yīng)的視頻幀為關(guān)鍵幀，實現(xiàn)了道路車輛監(jiān)控視頻中車輛數(shù)據(jù)的有效壓縮。