逯 鵬, 婁亞飛, 劉奉哲, 李玉松, 黃石磊, 湯玉合
1.鄭州大學電氣工程學院,鄭州450001
2.中電投河南公司技術信息中心,鄭州450016
自動準確穩(wěn)健的車輛識別與統(tǒng)計是智能交通系統(tǒng)(intelligent transportation systems,ITS)領域中的關鍵技術[1].目前車輛的識別與統(tǒng)計[2]是基于計算機視覺完成的,典型算法[3-4]包括背景差法、邊緣檢測法、幀差法等.已經成熟的系統(tǒng)有美國PEER公司的VideoTrack-910系統(tǒng)和清華紫光的VS3001檢測系統(tǒng)等.然而,由于車輛類別、大小、形狀的多樣性,環(huán)境和背景條件的復雜性,以及陰影、光照和攝像頭抖動等對檢測設備的影響等因素,車輛檢測中的準確性和穩(wěn)定性受到影響.背景差分法對外界環(huán)境條件要求高,且需要背景實時更新;邊緣檢測法對色彩較暗或陰影造成的車輛邊緣模糊易引起漏檢;幀差法對車輛換道或檢測車道檢測窗被覆蓋的情況會引起誤檢.隨著媒體數據量的增加,基于計算機視覺的計算復雜性呈指數增長.
視覺系統(tǒng)僅用極少量的神經元就能捕獲外界環(huán)境海量信息中的關鍵特征[5].稀疏超完備表示機制[6]是其核心信息處理機理之一,即用少量非零響應稀疏系數就可以表達圖像的內在結構和本質屬性,且其內在的稀疏超完備表示模型有很強的抗干擾能力,魯棒性強[7],這為基于圖像處理的車輛識別提供了新的計算模型.基于該模型可以將車輛識別問題轉化為求解目標圖像對整體訓練樣本的稀疏表示問題.
以圖像單元作為處理對象,針對超完備所帶來的非線性稀疏分解難題,基于能量模型[8],以稀疏性最大化為目標實現感受野W的最優(yōu)估計.進而模擬視覺同步振蕩機制,篩選神經元最佳響應系數,解決求解圖像超完備基的稀疏分解系數問題.在此基礎上,計算目標和背景圖像之間的稀疏響應系數殘差ε,依據自適應閾值δ的大小識別車輛,并通過設置虛擬檢測線實現車流量的在線統(tǒng)計.多環(huán)境(晴天、陰天、有風)狀況下的實驗結果表明,對連續(xù)時間內的車流量檢測準確率達到98.89%.
基于視覺稀疏表示,圖像可以逼近分解為基函數集合分解系數的線性組合
稀疏模型的目標是求解最佳基函數集,使其表示的自然圖像最大可能地接近外界自然圖像的統(tǒng)計特性[12].然而在超完備集中,由于A不可逆,所以不能再將感受野定義為W=A-1,而且響應系數si的計算也為非線性算法.因此,必須基于能量模型并通過最大化稀疏性來最優(yōu)估計感受野W,而且采用非歸一化對數似然函數定義能量模型
式中,x是觀測數據,即圖像單個樣本數據向量.wi的歸一化常數為
式中,Gi為si的對數概率密度,其計算公式為
采用得分匹配[13-14]直接估計線性感受野wk,簡化超完備條件Z(W)的計算,定義數據向量的對數密度函數
式中,wk=(wk1,···,wkn)約束為單位形式.m為感受野數量,n為數據維數,根據數據向量的對數密度函數梯度可將得分函數定義為
式中,g=G′.以數據得分函數和模型得分函數的平方距離作為最佳目標函數
式中,T為樣本數,于是可將樣本表示為X(1),X(2),···,X(T).
以梯度下降學習算法極小化式(6)
式中,學習速率η(t)是負梯度方向步長,由此得到感受野的超完備集表示.
基于稀疏表示,圖像I=W S,可見同一超完備集W下稀疏系數矩陣S與圖像等價,從而將不同圖像特征的識別轉變?yōu)槿绾潍@得不同目標特征的稀疏矩陣.從神經生理角度來看,視覺系統(tǒng)通過神經元之間同步振蕩等特征選擇機制,稀疏地響應自然場景中的關鍵信息.模擬該機制,采用脈沖耦合神經網絡(pulse-coupled neural networks,PCNN)模型[15]篩選稀疏響應系數,獲得了不同圖像的響應矩陣S.
稀疏系數接受來自其他系數的輸出Y1,Y2,···,Yk和外部激勵信號Sj,經過積分及加權來獲得饋送輸入信號Fj和神經元連接輸入信號Lj
式(9)中,Mkj表示神經元之間的饋送權系數;式(10)中,Wkj為神經元之間的連接系數.將Fj和Lj相乘獲得內部活動項
式中,β為連接強度系數.設動態(tài)閾值
式中,αθ為θj的衰減時間常數. 將內部活動項Uj與θj匹配,如果Uj> θj,輸出時序脈沖序列Yj(n),并將響應系數置1,該系數響應強烈;反之置0,系數不響應,即
識別算法流程大致如下:對背景和目標圖像順序采樣,得到圖像單元序列;分別提取目標圖像單元與背景圖像單元的稀疏響應系數,計算目標與背景圖像單元的稀疏響應系數殘差,將大于閾值的單元判定為車輛的一部分.
算法1識別算法
①輸入背景和目標圖像順序采樣矩陣Xi;
②對Xi白化,降維并去除局部均值;
③計算背景和目標圖像的最佳響應系數S1、S2;
④計算殘差ε=|S2i-S1i|,設置自適應閾值
⑤若ε<δ,則為背景單元,并賦值0;
⑥若ε≥δ,則為目標圖像中的車輛單元并賦值1;
⑦根據坐標系標識車輛單元;⑧輸出識別結果,算法結束.
車輛識別和統(tǒng)計算法(vehicle identif ication and counting algorithm,VICA)的基本流程如圖1所示.
以像素大小為16×16的滑動空間子窗口采樣10幅交通圖像,得到50000個圖像單元,并將其轉為列向量X,其維數為256×50000;然后對X進行白化,去除局部均值,降維得到28×50000的數據集合.基于能量模型和得分匹配進行訓練,得到的512維感受野超完備集W如圖2所示.
圖1 車輛識別和統(tǒng)計算法的基本流程Figure 1 Basic idea of VICA
圖2 感受野超完備集Figure 2 Receptive field super perfect set
在感受野超完備集的基礎上篩選圖像單元的最佳響應系數,得到單個圖像單元的響應如圖3所示.
采用窗口為16×16對背景圖像進行順序采樣,依次按從左到右、從上到下的順序采樣得到1024圖像單元序列.計算背景圖像的稀疏響應系數,以PCNN篩選最佳響應系數作為圖像本質特征,建立背景圖像的特征庫,如圖4所示.選取某市公路上的視頻圖像并進行灰度處理,基于算法1得到的識別結果見圖5中的顏色加深部分.
圖3 最佳響應系數篩選Figure 3 Best response coefficient f ilter
圖4 背景圖像特征庫Figure 4 Characteristics library of the background image
在車輛的識別中,外界環(huán)境的干擾(如風、光線的變化,攝像頭和陰影的抖動)會對車輛的識別結果帶來兩種誤差:一是將背景單元誤判為車輛單元,如圖5(b)誤差1所示;二是將車輛單元誤判為背景單元,如圖5(b)誤差2所示.
經分析可知這兩種誤差是獨立的.為提高算法魯棒性,用算法2對算法1中外界干所擾引起的誤差進行優(yōu)化,得到的優(yōu)化結果見圖5(c).
圖5 車輛識別與優(yōu)化結果Figure 5 Vehicle identif ication and optimization results
圖6 虛擬檢測線Figure 6 Virtual test line
算法2優(yōu)化算法
①輸入算法1識別結果;
②對于誤差1,若其上下左右有2個以上為0的單元,則判定該單元為背景單元,并將其值置0;
③對于誤差2,若其上下左右有2個以上為1的單元,則判定該單元為車輛單元,并將其值置1;
④輸出優(yōu)化結果,算法結束.
統(tǒng)計算法基本流程,在識別算法的基礎上設置虛擬檢測線.如圖6所示,對道路車輛進行在線統(tǒng)計,并解決車輛并道和跨道行駛的檢測準確率問題.
檢測線垂直道路的長為道路寬度,寬為采樣單元的寬度(16個像素).當運動車輛通過檢測線時,檢測線單元由背景變?yōu)檐囕v單元,線上連續(xù)的0值會變?yōu)?值,判定有車輛通過檢測線,并把連續(xù)1值單元的寬度設置為動態(tài)車道,如圖7所示,在線統(tǒng)計如算法3所示.
圖7 檢測線車輛統(tǒng)計Figur e 7 Vehicle counting in line
算法3車輛統(tǒng)計算法
①輸入幀序列;
②設置虛擬檢測線,記錄檢測線對應的單元在背景序列的位置.
③掃描檢測線,當檢測線有連續(xù)1值出現時,判定車輛通過,信號狀態(tài)由“關”到“開”,允許計數器計數;
④檢測線值由1變?yōu)?時,判定駛出,信號狀態(tài)由“開”到“關”,計數器加1,算法結束.
⑤輸出統(tǒng)計結果
算法在MATLAB 2010b環(huán)境下運行,操作系統(tǒng):Windows 7,CPU:Intel Core i5 670@3.47 GHz,內存:DDR3 1 600 MHz@4G.
對某市公路分別在晴天、陰天、有風的環(huán)境下拍攝3min視頻,得到1800幀交通圖像,以此測試算法的魯棒性和統(tǒng)計正確率,得到的實測數據統(tǒng)計結果如表1所示.在晴、陰、有風情況下準確率分別為98.89%、97.65%、96.21%.測試結果表明,當存在光線變化、風引起的擾動等干擾因素時,VICA算法對干擾的敏感性比較弱,適應能力強,能準確地統(tǒng)計車輛,魯棒性強.
表1 實驗結果Table 1 Experimental results
在有風條件下,背景差、邊緣檢測和VICA算法對比如圖8所示.以800幀圖像實際通過120個車輛為例,背景差分、邊緣檢測和VICA算法統(tǒng)計準確率分別為91.67%、90.00%、97.50%.VICA算法基于超完備集提取稀疏系數作為車輛特征,受外部環(huán)境影響較小.
圖8 實驗對比結果Figure 8 Experimental comparison results
背景差分標識出了車輛以及綠化帶和隔離線的輪廓,但由于光線變化、樹葉或攝像機抖動造成的干擾等因素,當前幀圖像的背景與背景圖像有偏差,特別是動態(tài)場景.邊緣檢測方法識別出了車輛的邊緣,但對綠化帶和隔離帶的邊緣識別也比較明顯,標識出了圖像中所有不同的邊緣,對識別率造成影響.
采用稀疏超完備模型表示車輛的待識別圖像,通過對目標圖像單元稀疏響應系數殘差與自適應動態(tài)閾值的對比準確識別車輛;基于虛擬檢測線,設置動態(tài)車道實現車輛在線統(tǒng)計.實驗結果表明,該方法能克服外部環(huán)境的干擾準確實現車輛的識別和統(tǒng)計.后續(xù)工作是將視覺方法應用到車速檢測等方面.
[1]DIMITRAKOPOULOS G,DEMESTICHAS P.Intelligent transportation systems[J].Vehicular Technology Magazine,Institute of Electrical and Electronics Engineers,2010,5(1):77-84.
[2]HEALEY C G.Attention and visual memory in visualization and computer graphics[J].IEEE Transactions on Visualization and Computer Graphics,2012,18(7):1170-1188.
[3]SUN Z,BEBISG,MILLER R.On-road vehicle detection:a review[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(5):694-711.
[4]張暉,董育寧.基于視頻的車輛檢測算法綜述[J].南京郵電學報,2006,27(3):88-94.
ZHANG Hui,DONG Yuning.Video-based vehicle detection algorithmsreview[J].Journal of Nanjing University of Posts,2006,27(3):88-94.(in chinese)
[5]GUO Shenyu.Image modeling and enhancement via structured sparse model selection[C]//IEEE 17th International Conference,2010,1641-1644.
[6]路錦正,張啟衡,徐智勇,彭真明.超完備稀疏表示的圖像超分辨率重構方法[J].系統(tǒng)工程與電子技術,2012,34(2):403-408.
LU Jinzheng,ZHANG Qiheng,XU Zhiyong,PENG Zhenming.Image super-resolution reconstruction algorithm using over-complete sparse representation[J].Systems Engineering and Electronics,2012,34(2):403-408.(in chinese)
[7]MEI Xue,LING Haibin.Robust visual tracking and vehicle classif ication via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(11):2259-2272.
[8]LU Peng,TANG Yuhe,CHEN Eryan,SHI Huige,ZHANG Shanshan.Unstructured scene object localization algorithm based on sparse overcomplete representation[M]//Intelligent Computing Technology.Berlin Heidelberg:Springer 2012:618-625.
[9]YANG Shuyuan,WANG min,WEI Meirong,JIAO Licheng.Evolution-enhanced multiscale overcomplete dictionaries learning for image denoising[J].Engineering Applications of Artif icial Intelligence,2012,25(6):1259-1264.
[10]WEI C,ODRIGUESM R D R,WASSELL I J.On the design of optimized projections for sensing sparse signals in overcomplete dictionaries[C]//Acoustics,Speech and Signal Processing(ICASSP),2012 IEEE International Conference on.IEEE,2012:3457-3460.
[11]ZHANGST,ZHAN Y Q,ZHOU Yan,METAXASD N.Efficient sparse shape composition with its applications in biomedical image analysis:an overview[C]//Biomedical Imaging(ISBI),2012 9th IEEE International Symposium on IEEE,2012:976-979.
[12]DONOHO D L,TSAIG Y,DRORI I,STARCK J L.Sparse solution of underdetermined systems of linear equations by stagewise orthogonal matching pursuit[J].IEEE Transactions on Information Theory,2012,58(2):1094-1121.
[13]WONGY K,HARANDIM T,SANDERSON C,LOVELL B C.On robust biometric identity verif ication via sparse encoding of faces:holistic vs local approaches[C]//Neural Networks(IJCNN),The 2012 International Joint Conference on IEEE,2012:1-8.
[14]YAO B P,BRADSKI G,LI F F.A codebook-free and annotation-free approach for f ine-grained image categorization[C]//Computer Vision and Pattern Recognition(CVPR),2012 IEEE Conference on Institute of Electrical and Electronics Engineers,2012:3466-3473.
[15]WANG Zhaobin,MA Yide,CHENG Feiyan,YANG Lizhen.Review of pulse-coupled neural networks[J].Image and Vision Computing,2010,28(1):5-13.