祁海軍,劉智嘉,趙金博,夏寅輝,高旭輝

(北京波譜華光科技有限公司,北京 100015)

1 引 言

紅外熱像儀可在黑暗、雨霧以及煙云條件下對周圍環(huán)境及探測目標成像,所以熱像儀具有全天候及全時段工作的特點而廣泛應用于國防及安全領域。由于早期的紅外成像設備較為昂貴,使用紅外成像設備的車輛輔助駕駛系統(tǒng)僅針對軍用車輛使用而開發(fā),以便在煙塵、無照明條件的野外以及各種可視條件不佳的情況下為軍用車輛提供駕駛輔助信息。隨著半導體技術的發(fā)展及紅外焦平面探測器成本的不斷下降,紅外熱像儀的應用已經從軍用領域逐漸擴展至民用領域。

早期的紅外圖像目標檢測算法主要基于傳統(tǒng)的圖像處理方法,如HOG[1],LBP[2-3]以及SIFT[4-5]等方法。傳統(tǒng)檢測方法的基本原理均采用人工設計的樣本輪廓特征提取方法,這樣的做法通常不可避免如下缺點:一方面對設計人員要求較高,需要設計人員具有相當程度的專業(yè)知識和設計經驗；另一方面由于僅使用簡單的輪廓作為判斷特征,識別準確率很難隨算法改進而不斷提高?；趥鹘y(tǒng)圖像算法的紅外車輛輔助駕駛系統(tǒng)也沒有消除上述缺點。

近些年隨著人工智能技術的發(fā)展,智能車輛輔助駕駛系統(tǒng)已經越來越成熟,隨著智能檢測算法在很多領域取得接近甚至超過人類對相同目標的識別準確率,一些廠商已經推出具備自動駕駛功能的車輛。不過,當前的智能車輔幾乎都是基于可見光成像設備,工作環(huán)境受到可見光成像條件的制約。將紅外成像和智能識別的優(yōu)勢相結合就成為解決上述一系列問題的重要方法之一。作為智能檢測算法種非常重要的組成部分——深度學習檢測算法利用大量卷積運算對圖像中樣本特征進行全面提取并自主抽象高級別特征,具有傳統(tǒng)識別算法無法比擬的檢測準確率,常用的方法如R-CNN[6]、Fast R-CNN[7]、Faster R-CNN[8]、SSD[9-10]及YOLO[11-12]等。由于深度學習檢測算法對硬件的算力要求較高,所以智能檢測算法雖然在檢測準確率的表現上遠超傳統(tǒng)檢測算法,但其檢測速度卻相對緩慢得多,如何在保證檢測準確率的前提下提升檢測速度一直相關研究的重點和難點。特別是紅外智能車輔系統(tǒng)關系到目視條件較差的行車安全問題,所以應用中的實時性需要絕對保證。

紅外智能車輛輔助系統(tǒng)硬件部分均為可部署于車輛的移動終端,通常使用嵌入式硬件平臺或FPGA。盡管近些年移動終端在小型化、低功耗、高性能方面取得了不小的進步,但相對于使用專業(yè)計算卡的計算機性能仍相差甚遠,所以大部分嵌入式硬件平臺即使可以部署深度學習算法,也要在檢測準確率和檢測速度之間進行取舍。目前基于深度學習的紅外目標檢測方法的終端應用優(yōu)化主要利用對卷積網絡中卷積層數量進行壓縮以減少卷積運算,提高整體運行速度。但是這樣的結果會導致檢測準確率下降和目標漏檢及誤檢。為了盡可能不降低算法模型的檢測準確率,優(yōu)化策略往往選擇在滿足實時檢測的最低條件下盡可能少的降低檢測準確率。但是,在實際應用中由于車速突然改變或者檢測背景發(fā)生較大變化時,可能會出現檢測速度突然明顯下降的情況,導致紅外智能車輛輔助駕駛系統(tǒng)的顯示畫面出現卡頓。上述情況的出現不僅影響車輛輔助駕駛系統(tǒng)對成像視野內目標的檢測,也會嚴重影響對外界環(huán)境成像,妨礙駕駛者判斷,甚至導致惡性交通事故發(fā)生。

2 智能算法視頻檢測原理分析

紅外智能識別算法檢測視頻的本質是先將視頻分解為逐幀圖像,然后對分解圖像依照順序進行逐幀檢測,再將帶有檢測信息的圖像合成視頻輸出至顯示設備。每幀圖像的檢測信息包括圖片內所有被檢測出目標的檢測框坐標信息和目標的類別信息,并根據當前圖像檢測速度計算出即時視頻檢測速度,即每秒檢測幀數(FPS):

(1)

式中,t為檢測模型檢測單張圖像所用時間,FPS也稱即時檢測幀率,由智能識別算法實時獲得并輸出。

深度學習算法網絡模型逐幀檢測流程如下(如圖1所示):

(1)視頻信號輸入；

(2)視頻被拆分為逐幀圖像；

(3)逐幀圖像送入智能檢測模型；

(4)對圖像進行檢測并對識別目標進行標記；

基建工程是一項龐大而繁雜的工程，它不僅歷時較長，耗資巨大，而且在施工過程中，所涉及的單位、人員也比較多，所需專業(yè)面也非常廣。基建檔案作為工程項目建設的第一手資料，可以為企業(yè)各環(huán)節(jié)的工作提供重要依據，減少資源浪費現象，有效維護企業(yè)權益，促進企業(yè)健康持續(xù)的發(fā)展。

(5)將標記后圖像序列合成視頻；

(6)合成視頻輸出至顯示設備。

圖1 逐幀智能檢測流程圖

通過上述檢測流程,輸入視頻經過智能檢測算法模型檢測標記后再輸出顯示,為駕駛員提供駕駛輔助信息。當每幀圖像檢測時間小于40 ms時,即FPS不少于25時實現實時檢測。若使用中FPS小于25,則顯示畫面會出現卡頓,駕駛者不能實時獲得檢測及成像信息。

3 自適應隔幀檢測算法

自適應隔幀檢測算法原理說明:

為了方便敘述定義變量如下:IB為存儲檢測模型對被檢圖像檢測過程中生成的最新目標檢測信息及檢測幀率(FPS)的臨時變量；JF為隔幀總數,表示檢測模式為每隔JF幀圖像檢測一幀圖像,缺省值為0；RJF為當前隔幀數,若RJF>0,表示當前圖像為被隔圖像,若RJF=0,則當前圖像需進行目標檢測,RJF缺省值為0；LT為閾值下限,預設為25；HT為閾值上限,預設為為32,閾值可根據具體使用場景設置；JFPS為整體輸出幀率即每秒輸出圖像數量,由于檢測過程輸出的即時速度不包括隔幀幀數,所以應重新計算全部圖像的輸出幀率,計算公式為:

JFPS=(JF+1)×FPS

(2)

當逐幀檢測時,JF為0,JFPS即為FPS。若隔幀總數為1,則速度加快一倍。

視頻信號輸入后被拆分為逐幀圖像,圖像依次進入檢測系統(tǒng)前通過RJF數值對當前圖像是否需要檢測進行判斷。由于參數設置,首幀圖像默認為被檢圖像,檢測所獲得的目標檢測信息及速度信息保存于IB中并根據圖像檢測速度對JF進行操作:若檢測速度高于實時檢測速度,則保持目前檢測狀態(tài)不變；若檢測速度低于實時檢測速度,則JF值增加并將更新后的JF值賦于RJF,從檢測下一幀圖像開始增加隔幀數量,以提升檢測速度,直至滿足實時檢測及顯示的速度需求。被隔圖像跳過檢測流程直接將IB中的檢測信息復制至圖像并顯示檢測框及類別信息,并根據IB中保存的速度信息計算根據公式(2)計算即使速度JFPS,并根據JFPS進行判斷以選擇后續(xù)隔幀檢測模式。

當JFPS超過HT則說明檢測條件好轉,可減少隔幀數量,則JF減少并賦值于RJF,立即增加檢測圖像數量,隨后根據JFPS繼續(xù)判斷是否需要繼續(xù)減少JF,直至恢復逐幀檢測。

由于被隔圖像不進行目標檢測,圖像中缺少檢測信息,所以將IB中的檢測信息直接復制至被隔圖像,以避免因合成視頻中僅被檢圖像具有檢測框而出現顯示畫面閃爍的問題,方便使用者觀察。并利用保存在IB中的檢測速度信息計算不同隔幀模式下的整體即時檢測速度。結合智能檢測算法的整體流程如圖2。

圖2 自適應隔幀智能檢測流程圖

整體檢測流程如下:

(1)采集視頻或者已錄制視頻作為輸入讀入至識別網絡；

(2)待檢測視頻拆分為順序逐幀圖像；進行圖像是否被檢測判斷:如果 RJF > 0:復制檢測信息至被隔圖像,并將檢測框標注至被隔圖像相應位置；轉至流程(6)；否則:進行下一步；

(3)被檢圖像送至檢測模型；

(4)檢測模型對送入圖像進行檢測并標記檢測信息,并將檢測信息及當前圖像目標檢測的速度信息更新至變量IB；

(6)利用公式(2)計算當前整體即時檢測速度；

(7)檢測速度判斷:如果JFPS < LT:JF=JF+1;RJF=JF；如果 JFPS > 30:如果JF>0,JF=JF-1;RJF=JF；否則:RJF=RJF-1；如果 RJF<0:RJF=JF；

(8)依照拆分順序合成視頻；

(9)終端顯示。

視頻的檢測過程為上述過程的持續(xù)循環(huán),直至視頻檢測結束。

由于實時檢測最低檢測速度為25 f/s,故LT設定為25。根據紅外視頻的智能檢測在實際應用中檢測速度會在較小范圍內波動的現象,將HT設定為32 f/s,該值可根據具體檢測算法和檢測環(huán)境自行設定。通過閾值判斷進行增減隔幀數量實現對序列圖像檢測模式的改變,保證紅外智能車輛輔助駕駛系統(tǒng)檢測及成像的實時性。

4 實驗驗證及結果分析

本文對同一智能檢測算法模型分別使用逐幀和隔兩幀檢測模式進行速度對比實驗,通過實驗結果分析,驗證自適應隔幀算法對智能檢測算法模型檢測速度提升的有效性。為使實驗平臺更接近實際應用終端硬件性能,本次實驗選擇Nvidia Jetson TX2嵌入式平臺,算法模型使用相同的Darknet深度學習框架下的YOLOv3改進模型。由于使用相同軟硬件進行測試,實驗結果具有可對比性。

表1 Nvidia Jetson TX2主要參數

圖3 Nvidia Jetson TX2

實驗對同一視頻分別利用逐幀檢測和隔兩幀檢測模式進行檢測,結果如圖4所示。

圖4(a)為使用逐幀檢測模式檢測幀率,最低檢測幀率及最高檢測幀率分別為29.1 f/s和32 f/s。圖4(b)所示為使用隔兩幀檢測模式下整體檢測幀率,檢測最低幀率和檢測最高幀率分別為55 f/s和77.2 f/s。通過圖中所示實驗結果對比可以看出使用隔兩幀檢測模式相對于逐幀檢測模式的檢測速度提升效果顯著。

相同圖像使用逐幀與隔兩幀檢測模式效果對比如圖5所示,圖5(a)為逐幀檢測模式效果圖像,圖5(b)所示為隔兩幀檢測同一圖像效果。圖像中目標行人從攝像設備左側向右側步行通過,距離適中。從圖像中可以看到,使用相同模型對同一圖像進行檢測,但是由于采用不同隔幀檢測模式所以檢測效果有較明顯區(qū)別。逐幀檢測圖像檢測框緊貼行人外輪廓,定位準確。隔兩幀檢測由于檢測信息為前兩幀圖像檢測信息直接復制獲得,檢測框相對檢測樣本有輕微偏移現象,行人身體有很小部分在檢測框外,但被檢目標絕大部分仍在檢測框包圍面積內。

行人徑向移動是逐幀和隔兩幀模式下檢測效果對比如圖6所示。圖中行人以徑向遠離攝像設備方向步行移動,距離攝像設備距離適中。其中圖6(a)為逐幀檢測圖像,圖像中檢測框緊貼行人外輪廓,檢測效果良好。圖6(b)為相同圖像使用隔兩幀檢測方式檢測效果圖像,可以看到檢測框的位置和形態(tài)與上圖完全一樣,這是因為6(b)為6(a)隔1幀后圖像,圖像中檢測框為6(a)圖檢測信息復制獲得,所以行人有部分身體在檢測框外,其中以左側行人更加明顯。圖6(c)為(b)圖像逐幀檢測效果,可見檢測框緊貼行人,行人身體完全在檢測框內,檢測效果良好。

通過對使用隔幀檢測的檢測速度進行定量對比實驗可以看到隔幀算法對檢測提速具有明顯效果,證明了算法的有效性。而后通過檢測效果實驗可以看到,使用了隔幀檢測算法后雖然檢測框相對于檢測目標稍有偏移,但樣本的絕大部分面積仍然被檢測框覆蓋,對于駕駛者來說仍然具有一定程度的提示和輔助意義。并且使用自適應隔幀算法的紅外智能車輛輔助系統(tǒng)即使在完全不能進行目標檢測的極端情況,也可以保證紅外智能車輛輔助系統(tǒng)對環(huán)境的實時探測成像,這對于駕駛者在可視條件不佳的狀況下安全駕駛具有重要意義。

5 結 論

本文針對紅外智能車輔在應用過程中可能出現的檢測速度下降而導致的畫面卡頓及不能實時成像的問題,通過對常規(guī)智能算法模型檢測模式流程的分析,提出了自適應隔幀檢測算法。該算法可以在紅外智能車輔使用過程中根據當前檢測速度對檢測策略進行自動調整,自主平衡檢測精度和速度的關系,確保紅外智能車輔檢測及成像的實時性。通過實驗及實驗結果分析,自適應隔幀算法對檢測速度提升的有效性得到驗證。根據圖像檢測效果實驗的結果,證明使用隔幀檢測模式的檢測圖像仍具有一定的輔助提示作用,實現了算法提出的預期目的。與此同時,在算法的改進提出的過程中仍有一些不足,如是否可以簡單預測被隔圖像的檢測框信息,使隔幀圖像的檢測信息更為準確,可以作為下一步改進的方向。