姜尚潔，羅 斌，賀 鵬，楊國鵬，顧亞平，劉 軍，張 云，張良培

1. 武漢大學(xué)測(cè)繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢430079； 2. 解放軍95899部隊(duì)，北京 100085； 3. 淮安市水利勘測(cè)設(shè)計(jì)研究院有限公司，江蘇 淮安223000

交通是經(jīng)濟(jì)可持續(xù)發(fā)展的基礎(chǔ)，并隨著科學(xué)技術(shù)以及社會(huì)經(jīng)濟(jì)的發(fā)展而日益發(fā)達(dá)。交通需求的迅速增長導(dǎo)致交通阻塞、交通事故等一系列問題，成為困擾許多城市的通病[1]。 針對(duì)交通環(huán)境的惡化，各國都積極采取相應(yīng)的措施來改善交通狀況，智能交通系統(tǒng)(intelligent traffic system，ITS)作為一種高效率的管理方法應(yīng)運(yùn)而生，也成為當(dāng)今道路交通管理的發(fā)展趨勢(shì)[2]。其中車輛速度檢測(cè)是交通信息采集的重要組成部分，也是ITS研究中的熱點(diǎn)和難點(diǎn)。

隨著傳感器和通信技術(shù)的發(fā)展，車輛速度檢測(cè)方法主要有：線圈檢測(cè)、激光檢測(cè)、雷達(dá)檢測(cè)等[3]。其中感應(yīng)線圈是應(yīng)用最早的檢測(cè)技術(shù)之一，其利用電磁感應(yīng)原理進(jìn)行車輛速度的檢測(cè)，具備穩(wěn)定性強(qiáng)，測(cè)量精度高等優(yōu)點(diǎn)，但其安裝維修困難。激光檢測(cè)通過發(fā)射激光與反射激光到車輛的時(shí)間差來計(jì)算車輛速度，具備高精度、測(cè)速范圍大的優(yōu)點(diǎn)，但安裝要求較高且成本較高。雷達(dá)檢測(cè)在固定時(shí)間間隔發(fā)射兩個(gè)脈沖，通過測(cè)得的距離計(jì)算車輛速度，此方法測(cè)速范圍廣，不受天氣條件影響，但只能對(duì)單個(gè)目標(biāo)進(jìn)行測(cè)速，且容易受到無線電波的干擾[4-5]。隨著視頻檢測(cè)技術(shù)的發(fā)展，在交通視頻中可以獲取大量的交通狀況信息，應(yīng)用目標(biāo)識(shí)別等圖像處理技術(shù)可以獲取視頻中的車輛信息，進(jìn)而檢測(cè)車輛速度，其中利用相機(jī)獲取視頻數(shù)據(jù)簡單便捷，并且視頻檢測(cè)容易模塊化和集成化[6]。例如文獻(xiàn)[7]利用交通錄像視頻計(jì)算車輛的運(yùn)動(dòng)軌跡以及速度等參數(shù)。文獻(xiàn)[8]提出基于高斯-卡爾曼混合模型的背景模型對(duì)目標(biāo)進(jìn)行檢測(cè)，并在此基礎(chǔ)上提取運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)。文獻(xiàn)[9]提出實(shí)時(shí)監(jiān)測(cè)動(dòng)態(tài)場景中的運(yùn)動(dòng)目標(biāo)系統(tǒng)。但傳統(tǒng)的視頻檢測(cè)存在局限性[10]：①相機(jī)往往固定在道路特定位置，這意味著獲取數(shù)據(jù)位置較為固定，不具備數(shù)據(jù)采集位置的靈活性；②視頻獲取主要依靠可見光相機(jī)，其依賴良好的光照條件，晝夜或天氣的轉(zhuǎn)換都可能影響檢測(cè)結(jié)果[11]。

無人機(jī)是一種操作便捷、能搭載多類型裝備并且能重復(fù)使用的無人駕駛航空器[12]。在信息化技術(shù)、通信技術(shù)、空氣動(dòng)力技術(shù)等的迅猛發(fā)展下，無人機(jī)性能逐漸完善，其具有靈活機(jī)動(dòng)、實(shí)時(shí)性強(qiáng)、風(fēng)險(xiǎn)小等獨(dú)特優(yōu)點(diǎn)，不僅在軍用戰(zhàn)場上，也在民用資源調(diào)查等領(lǐng)域占據(jù)著不可或缺的位置[12-13]。本文為解決傳統(tǒng)視頻獲取位置較為固定問題，嘗試通過無人機(jī)平臺(tái)獲取視頻數(shù)據(jù)。當(dāng)然，無人機(jī)的廣泛應(yīng)用也得益于搭載的傳感器，傳統(tǒng)搭載可見光相機(jī)的無人機(jī)應(yīng)用于測(cè)繪、監(jiān)測(cè)與制圖領(lǐng)域[14]。由于傳感器技術(shù)的發(fā)展，獲取數(shù)據(jù)的類型和質(zhì)量都有了提升，例如：熱紅外相機(jī)也具備優(yōu)異的成像能力，而且成本也在急劇下降。本文嘗試通過熱紅外相機(jī)解決夜間車輛速度檢測(cè)問題，使得檢測(cè)方法不依賴光照條件，提高車輛速度檢測(cè)的穩(wěn)健性。

綜上，本文通過無人機(jī)平臺(tái)獲取可見光和熱紅外視頻數(shù)據(jù)，然后綜合利用多源數(shù)據(jù)檢測(cè)車輛，進(jìn)而提高車輛檢測(cè)的精度，最后依據(jù)檢測(cè)結(jié)果跟蹤車輛并計(jì)算車輛速度。

1 基于無人機(jī)多源影像的車輛速度檢測(cè)

本文的研究工作主要包括以下幾個(gè)方面：①多源數(shù)據(jù)采集，通過無人機(jī)平臺(tái)采集可見光影像和熱紅外影像；②多源數(shù)據(jù)預(yù)處理，對(duì)采集的多源影像進(jìn)行畸變校正并配準(zhǔn)；③車輛檢測(cè)，應(yīng)用深度學(xué)習(xí)對(duì)多源數(shù)據(jù)的車輛目標(biāo)進(jìn)行檢測(cè)，并將檢測(cè)結(jié)果進(jìn)行決策融合；④車輛跟蹤，首先對(duì)相鄰視頻幀進(jìn)行圖像特征匹配，重新定位車輛目標(biāo)位置，校正因無人機(jī)運(yùn)動(dòng)引起的誤差，然后采用離散卡爾曼濾波對(duì)識(shí)別出的車輛進(jìn)行跟蹤和預(yù)測(cè)；⑤車輛速度計(jì)算，根據(jù)車輛跟蹤結(jié)果，繪制車輛運(yùn)動(dòng)軌跡路線，并根據(jù)目標(biāo)車輛的像素移動(dòng)距離計(jì)算車輛實(shí)際行駛距離，通過采集圖像的頻率計(jì)算圖像采集的時(shí)間間隔，最后根據(jù)速度計(jì)算公式計(jì)算車速。方法流程如圖1所示。

圖1 本文方法流程Fig.1 Flowchart of the proposed approach

1.1 搭建無人機(jī)多源數(shù)據(jù)采集平臺(tái)

傳統(tǒng)無人機(jī)平臺(tái)由動(dòng)力系統(tǒng)、控制系統(tǒng)、可見光相機(jī)、圖像傳輸模塊、GPS模塊和電池等組成[15]。為獲取多源影像中的熱紅外影像，需增加熱紅外相機(jī)，同時(shí)需要解決相機(jī)獲取數(shù)據(jù)的同步問題和傳輸問題。本文嘗試在無人機(jī)平臺(tái)增加電腦主板，然后通過編碼在電腦主板中同時(shí)獲取多源影像，最后使用4G模塊傳輸多源數(shù)據(jù)。無人機(jī)數(shù)據(jù)采集平臺(tái)框架如圖2所示。由飛行遙控器控制無人機(jī)的數(shù)據(jù)采集范圍，電腦主板獲取多源數(shù)據(jù)并將數(shù)據(jù)通過4G模塊傳輸至連接到基站的地面監(jiān)控客戶端。

圖2 多源數(shù)據(jù)采集平臺(tái)框架Fig.2 Multi-source data acquisition system flow diagram

1.2 相機(jī)校正

目前相機(jī)鏡頭處理技術(shù)正飛速地發(fā)展，但依舊存在幾何畸變，為了減少因圖像變形導(dǎo)致的配準(zhǔn)誤差及圖像分辨率的計(jì)算誤差，本文需要對(duì)可見光相機(jī)和熱紅外相機(jī)進(jìn)行畸變校正。對(duì)于可見光相機(jī)，可以使用傳統(tǒng)的黑白棋盤格作為標(biāo)定板，提取棋盤格角點(diǎn)后估算理想無畸變情況下的內(nèi)參和外參，然后應(yīng)用最小二乘估算實(shí)際存在的畸變系數(shù)，最后使用最大似然法提升估算精度。校正流程使用Matlab中的相機(jī)校準(zhǔn)工具。但傳統(tǒng)的黑白棋盤格在熱紅外影像中成像幾乎相同，無法提取角點(diǎn)，所以并不適用于熱紅外相機(jī)校正。幸運(yùn)的是，本文發(fā)現(xiàn)了由不同顏色大理石組成的廣場，并且大理石的排列方式和棋盤格一致。由于不同顏色的大理石反射率和吸收率是不同的，所以在光照條件下溫度也是不同的，溫度較高的大理石在熱紅外相機(jī)中表現(xiàn)為較亮的區(qū)域，而溫度較低的大理石恰好相反，整個(gè)廣場在熱紅外相機(jī)的成像如圖3所示，本文將該區(qū)域作為熱紅外相機(jī)的畸變校正區(qū)域。采用最穩(wěn)定極值區(qū)域(maximally stableextremal regions，MSER)算法來定位圖像中的黑色區(qū)域，因?yàn)閳D像中的黑色區(qū)域較小，本文將區(qū)域大小和像素平均值作為閾值提取黑色區(qū)域，計(jì)算區(qū)域的中心點(diǎn)，將中心點(diǎn)視為“棋盤格”中的角點(diǎn)，提取的角點(diǎn)如圖4所示，提取角點(diǎn)后可使用Matlab中的相機(jī)校準(zhǔn)工具進(jìn)行畸變校正。

圖3 校正區(qū)域的熱紅外影像Fig.3 The calibration area in thermal infrared

圖4 提取校正區(qū)域的角點(diǎn)Fig.4 Detecting the points in the calibration area

1.3 多源數(shù)據(jù)的車輛檢測(cè)

車輛檢測(cè)是車輛速度檢測(cè)的基礎(chǔ)。選擇一個(gè)準(zhǔn)確可靠的檢測(cè)方法是重中之重。其中車輛檢測(cè)方法主要有光流法、背景差異法、梯度比較法及知識(shí)型檢測(cè)法等[16-17]。這些檢測(cè)方法容易受到光照、陰影、圖像質(zhì)量的影響，而且本文中無人機(jī)獲取多源影像時(shí)存在運(yùn)動(dòng)，也就意味著背景存在差異。近些年來，基于機(jī)器學(xué)習(xí)的方法取得良好的試驗(yàn)結(jié)果，利用大量正負(fù)樣本進(jìn)行學(xué)習(xí)，從而對(duì)目標(biāo)進(jìn)行識(shí)別，從2013的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network，R-CNN)到Fast-R-CNN，F(xiàn)aster-R-CNN,SDD(the single shot detector)，YOLO(arxiw preprint arxiv:1612.08242,2016)等，一系列的方法不斷刷新目標(biāo)檢測(cè)精度的新高[18]。本文采用的深度學(xué)習(xí)方法是YOLO，其具備速度快和效果佳的優(yōu)點(diǎn)，十分適合處理視頻數(shù)據(jù)。

1.3.1 基于YOLO的車輛檢測(cè)

YOLO的核心思想是利用整張圖像作為網(wǎng)絡(luò)的輸入，然后在輸出層直接回歸出目標(biāo)框的位置和目標(biāo)所屬的類別，以實(shí)現(xiàn)端對(duì)端的直接優(yōu)化。YOLO的基本實(shí)現(xiàn)思路如下：

(1) 首先將圖像分成S×S個(gè)網(wǎng)格，當(dāng)某個(gè)目標(biāo)中心落在這個(gè)網(wǎng)格中，則該網(wǎng)格就負(fù)責(zé)預(yù)測(cè)該目標(biāo)。

(2) 然后在每個(gè)網(wǎng)格中預(yù)測(cè)B個(gè)目標(biāo)框及對(duì)應(yīng)的可信度(Confidence)。目標(biāo)框包含5個(gè)參數(shù)：目標(biāo)框的中心點(diǎn)坐標(biāo)，寬度，高度及可信度。

(3) 在每個(gè)網(wǎng)格中預(yù)測(cè)C個(gè)目標(biāo)類別的可能性。

(4) 最后在測(cè)試階段，將目標(biāo)類別可能性和置信度相乘，計(jì)算出每個(gè)目標(biāo)框的特定類別的可能性。

通過上述過程，YOLO從整個(gè)訓(xùn)練圖像中學(xué)習(xí)目標(biāo)的特征，在測(cè)試階段利用訓(xùn)練模型進(jìn)行目標(biāo)檢測(cè)?；赮OLO的原理，在多源影像中檢測(cè)車輛目標(biāo)，首先標(biāo)記預(yù)處理后影像中的車輛目標(biāo)，并分為訓(xùn)練和測(cè)試數(shù)據(jù)集，使用YOLO深度學(xué)習(xí)框架訓(xùn)練模型，然后將保存的模型用于車輛檢測(cè)，并將檢測(cè)結(jié)果決策融合，流程如圖5所示。

圖5 車輛檢測(cè)流程Fig.5 Flowchart of the vehicle detection

1.3.2 目標(biāo)框決策融合

在多源數(shù)據(jù)車輛檢測(cè)結(jié)果中存在同一車輛多次被檢測(cè)的情況，如圖6所示。本文以車輛目標(biāo)框中心點(diǎn)距離作為閾值，判斷是否將目標(biāo)框融合。當(dāng)中心點(diǎn)距離較小時(shí)，認(rèn)為檢測(cè)結(jié)果為同一車輛目標(biāo)，需進(jìn)行融合[19]。

圖6 車輛檢測(cè)結(jié)果決策融合Fig.6 Decision fusion of vehicle detection result

新目標(biāo)框的計(jì)算如式(1)所示

(1)

式中，(x,y)為目標(biāo)框的中心點(diǎn)；(w,h)為目標(biāo)框的高度和寬度；p表示目標(biāo)框的可信度。

1.4 車輛跟蹤與速度計(jì)算

檢測(cè)出車輛目標(biāo)后，為準(zhǔn)確獲取車輛位移，需要圖像特征匹配校正車輛位置和卡爾曼濾波跟蹤車輛。

1.4.1 圖像區(qū)域特征匹配

為更準(zhǔn)確地計(jì)算車輛位移，需考慮無人機(jī)平臺(tái)在懸停獲取多源數(shù)據(jù)時(shí)的運(yùn)動(dòng)。本文試驗(yàn)數(shù)據(jù)中背景變化差異較小，采用圖像特征匹配方法匹配視頻幀間的背景，估算因無人機(jī)平臺(tái)抖動(dòng)導(dǎo)致的背景位移，進(jìn)而校正車輛在視頻幀中的位置。

本文首先提取圖像中SURF(speeded up robust features)特征點(diǎn)，并對(duì)特征點(diǎn)作匹配[20-21]，根據(jù)特征點(diǎn)的位置變動(dòng)情況計(jì)算位移變換關(guān)系，進(jìn)而校正車輛位置。以可見光視頻中的兩幀圖像為例，區(qū)域特征匹配結(jié)果如圖7所示，綠色標(biāo)記點(diǎn)表示某一幀的特征點(diǎn)，紅色標(biāo)記點(diǎn)表示對(duì)應(yīng)匹配特征點(diǎn)在下一幀的位置。當(dāng)紅色標(biāo)記點(diǎn)和綠色標(biāo)記點(diǎn)距離較近時(shí)，意味著無人機(jī)平臺(tái)相對(duì)較為穩(wěn)定，距離較遠(yuǎn)時(shí)則相反。同理，熱紅外圖像特征匹配結(jié)果如圖8所示。

本文獲取多源影像時(shí)，無人機(jī)高度較為固定，所以相同車輛目標(biāo)在視頻幀中的大小幾乎不會(huì)發(fā)生變化，并且試驗(yàn)中的圖像配準(zhǔn)結(jié)果也表明無需考慮車輛大小的變化。

圖7 可見光圖像匹配Fig.7 Visible image matching

圖8 熱紅外圖像匹配Fig.8 Thermal infrared image matching

1.4.2 目標(biāo)跟蹤

本文根據(jù)圖像區(qū)域特征匹配校正視頻幀間車輛位置后，需要對(duì)車輛目標(biāo)進(jìn)行跟蹤預(yù)測(cè)，進(jìn)而獲取車輛的運(yùn)動(dòng)軌跡，當(dāng)車輛即將離開拍攝范圍時(shí)，結(jié)束對(duì)車輛目標(biāo)的跟蹤，然后繪制車輛的運(yùn)動(dòng)軌跡。

20世紀(jì)60年代卡爾曼濾波理論被提出，其利用統(tǒng)計(jì)估計(jì)理論進(jìn)行遞推，能根據(jù)過去的信號(hào)對(duì)未來的信號(hào)做出估計(jì)，依據(jù)的原理是時(shí)變隨機(jī)信號(hào)的統(tǒng)計(jì)特征和線性均方誤差最小化的優(yōu)化準(zhǔn)則[22-23]。本文首先將檢測(cè)車輛位置的矩形框中心作為車輛的形心，采用卡爾曼濾波不斷更新車輛目標(biāo)的真實(shí)位置和預(yù)測(cè)位置，實(shí)現(xiàn)車輛的目標(biāo)跟蹤并繪制運(yùn)動(dòng)軌跡。

1.4.3 車速計(jì)算

在實(shí)際試驗(yàn)時(shí)，為了避免把不必要的因素引入計(jì)算中，本文對(duì)試驗(yàn)中的無人機(jī)平臺(tái)和交通情況做出3點(diǎn)假設(shè)：①無人機(jī)平臺(tái)可以精準(zhǔn)懸停獲取數(shù)據(jù)，并提供高度信息，試驗(yàn)中采用的無人機(jī)平臺(tái)垂直方向上的懸停精度為±0.5 m，這不僅為圖像分辨率計(jì)算提供數(shù)據(jù)，也可以保證相同車輛目標(biāo)在視頻幀中幾乎不會(huì)發(fā)生大小變化，試驗(yàn)中的圖像配準(zhǔn)結(jié)果也表明無須考慮車輛大小的變化。②無人機(jī)平臺(tái)采集數(shù)據(jù)區(qū)域的路面是相對(duì)平坦的，可以在處理中近似認(rèn)為是平面，因?yàn)閺?fù)雜的路面情況會(huì)影響相機(jī)的標(biāo)定，因此本試驗(yàn)中的路面情況相對(duì)簡單。③無人機(jī)平臺(tái)增加增穩(wěn)云臺(tái)進(jìn)行相機(jī)的姿態(tài)調(diào)整，角度抖動(dòng)量為±0.03°，保證相機(jī)是垂直向下進(jìn)行數(shù)據(jù)的獲取，盡量保證車輛位移計(jì)算的準(zhǔn)確性。

基于以上假設(shè)，根據(jù)車輛在n幀發(fā)生的位移計(jì)算車輛速度，由式(2)計(jì)算得到

v=

(2)

式中，v為目標(biāo)車輛速度；f為圖像分辨率，根據(jù)無人機(jī)獲取數(shù)據(jù)的高度和相機(jī)的焦距計(jì)算得知；(X(t+n),Y(t+n))表示車輛在第(t+n)幀的坐標(biāo)位置；(X(t),Y(t))表示車輛在第t幀的坐標(biāo)位置；T表示拍攝n幀圖像的時(shí)間間隔，根據(jù)相機(jī)獲取圖像的幀率計(jì)算得知。

2 試驗(yàn)結(jié)果

2.1 數(shù)據(jù)采集

本試驗(yàn)使用大疆MATRICE 100作為無人機(jī)平臺(tái)。在MATRICE 100上搭載DLCW工業(yè)相機(jī)用于采集可見光影像，其像元尺寸為5.0 μm×5.2 μm，并搭載熱紅外相機(jī)用于采集熱紅外影像，其波長范圍為8～14 μm。采集平臺(tái)以視頻的方式保存多源影像，其中視頻幀大小為1280×960，可見光圖像和熱紅外圖像的大小為640×480。試驗(yàn)數(shù)據(jù)采集范圍為武漢市洪山區(qū)珞瑜路及光谷一路，其中珞瑜路路況較為復(fù)雜，如圖9和圖10所示。此數(shù)據(jù)主要用于車輛目標(biāo)檢測(cè)模型的訓(xùn)練，無人機(jī)相對(duì)于地面懸停高度范圍為20～80 m，獲取更為豐富的訓(xùn)練樣本。光谷一路路況較為簡單，如圖11和圖12所示。此數(shù)據(jù)主要用于車輛速度計(jì)算的精度評(píng)價(jià)。為說明熱紅外影像在光照條件不足情況下的優(yōu)勢(shì)，在光谷一路分別采集白天和夜晚數(shù)據(jù)，無人機(jī)相對(duì)于地面懸停高度分別為34 m和37 m。

圖9 可見光圖像(珞瑜路)Fig.9 Visible image

圖10 熱紅外圖像(珞瑜路)Fig.10 Thermal infrared image

圖11 可見光圖像(光谷一路)Fig.11 Visible image

圖12 熱紅外圖像(光谷一路)Fig.12 Thermal infrared image

2.2 數(shù)據(jù)預(yù)處理

根據(jù)1.2節(jié)的介紹，搭載的可見光相機(jī)和熱紅外相機(jī)存在幾何畸變，使用傳統(tǒng)的棋盤格和廣場區(qū)域分別校正可見光相機(jī)和熱紅外相機(jī)。將校正后的多源影像手動(dòng)選擇地面控制點(diǎn)，采用單映射矩陣進(jìn)行配準(zhǔn)，基于固定的相機(jī)和不變的模型，將圖像的變換關(guān)系應(yīng)用于所有圖像，并將配準(zhǔn)后的結(jié)果進(jìn)行裁剪。其中配準(zhǔn)時(shí)因可見光圖像的分辨率較高，將其作為基準(zhǔn)影像，以珞瑜路中一段為例，配準(zhǔn)結(jié)果如圖13和圖14所示。

圖13 可見光基準(zhǔn)影像Fig.13 Visible based image

圖14 熱紅外圖像匹配結(jié)果Fig.14 Thermal infrared image matching result

下一步是選擇訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，在多源圖像中對(duì)車輛目標(biāo)進(jìn)行標(biāo)記，標(biāo)簽包含五個(gè)參數(shù)(class,x,y,w,h)分別為類別車輛，以及車輛的位置坐標(biāo)，寬度和高度。在試驗(yàn)中，本文對(duì)2000輛車進(jìn)行了訓(xùn)練數(shù)據(jù)的標(biāo)記，并標(biāo)記了500輛車輛作為測(cè)試數(shù)據(jù)?？梢姽鈹?shù)據(jù)和熱紅外數(shù)據(jù)的標(biāo)記樣本分別如圖15和圖16所示。

圖15 可見光影像中的標(biāo)記樣本Fig.15 Tagged samples from the visible image

圖16 熱紅外影像中的標(biāo)記樣本Fig.16 Tagged samples from the infrared thermal image

2.3 車輛檢測(cè)

本文的YOLO訓(xùn)練參數(shù)設(shè)置如下：權(quán)值衰減率為0.000 5，批尺寸為15,以及學(xué)習(xí)率為0.000 5，而且輸入圖像尺寸歸一化為448×448。對(duì)可見光影像和熱紅外影像進(jìn)行模型訓(xùn)練，保證訓(xùn)練結(jié)果滿足收斂條件，并保存訓(xùn)練模型結(jié)果。試驗(yàn)訓(xùn)練共3000次，訓(xùn)練情況如圖17所示。

圖17 可見光和熱紅外影像訓(xùn)練情況Fig.17 Iterations of visible image and infrared thermal image

將訓(xùn)練模型加載，對(duì)無人機(jī)平臺(tái)采集的多源影像進(jìn)行車輛檢測(cè)，以視頻中的一幀為例查看車輛檢測(cè)結(jié)果，檢測(cè)結(jié)果如圖18至圖21所示，其中檢測(cè)結(jié)果中的可信度設(shè)置為0.5。

其中，編號(hào)為1、2、4的車輛在可見光圖像中未被檢測(cè)，編號(hào)為6的車輛在熱紅外圖像中未被檢測(cè)，而通過目標(biāo)框決策融合，這些編號(hào)車輛可以在圖21中被檢測(cè)，可見決策融合可以提高車輛的檢測(cè)率，并且在一定程度上提升目標(biāo)框的位置準(zhǔn)確度。

圖18 車輛真實(shí)位置Fig.18 Ground truth

圖19 可見光圖像檢測(cè)結(jié)果Fig.19 Visible image detection

圖20 熱紅外圖像檢測(cè)結(jié)果Fig.20 Thermal infrared image detection

圖21 決策融合檢測(cè)結(jié)果Fig.21 Decision fusion detection

同時(shí)，熱紅外影像可以使車輛檢測(cè)方法不依賴于光照條件。夜晚情況下的光照條件較差，可見光相機(jī)成像能力較差，如圖22所示，其車輛檢測(cè)難度較高。而熱紅外相機(jī)成像相對(duì)來說不受影響，如圖23所示，可以對(duì)車輛目標(biāo)進(jìn)行檢測(cè)。

圖22 可見光圖像(夜晚)Fig.22 Visible image(night)

圖23 熱紅外圖像(夜晚)Fig.23 Thermal infrared image (night)

2.4 車輛跟蹤

試驗(yàn)中使用卡爾曼濾波對(duì)目標(biāo)車輛跟蹤，并在白天和夜晚進(jìn)行試驗(yàn)，以其中一組為例，運(yùn)動(dòng)軌跡如圖24和圖25所示，紅色運(yùn)動(dòng)軌跡為手動(dòng)標(biāo)記的車輛運(yùn)動(dòng)軌跡，藍(lán)色運(yùn)動(dòng)軌跡為本文方法跟蹤的運(yùn)動(dòng)軌跡，其中數(shù)字表示一定時(shí)間間隔的車輛位置。

圖24 車輛在白天的跟蹤情況Fig.24 Vehicle tracking during daylight

本方法也同樣適用于道路車輛較為復(fù)雜的情況，跟蹤效果如圖26所示，其中紅色數(shù)字編號(hào)代表車輛，運(yùn)動(dòng)路徑表明編號(hào)27和38的車輛靜止，編號(hào)11車輛轉(zhuǎn)向，其余車輛近似直線行駛。

2.5 車輛速度計(jì)算

試驗(yàn)中，對(duì)同一車輛目標(biāo)采集了連續(xù)的k幀圖像，基于車輛跟蹤的結(jié)果，可通過1.4.3節(jié)方法計(jì)算其速度v。以圖24和圖25跟蹤結(jié)果為例，計(jì)算圖像分辨率(單位：m/像素)分別為0.145和0.134，同時(shí)手動(dòng)標(biāo)記每幀圖像中目標(biāo)車輛的位置并計(jì)算速度，將其作為真實(shí)速度值，將本文方法計(jì)算的速度值與真實(shí)速度值作比較。圖24的速度計(jì)算結(jié)果如圖27所示，此時(shí)車輛儀表盤顯示車輛速度為35 km/h。圖25的速度計(jì)算結(jié)果如圖28所示，此時(shí)車輛儀表盤顯示車輛速度為25 km/h。

圖25 車輛在夜晚的跟蹤情況Fig.25 Vehicle tracking during night

圖26 多車輛目標(biāo)的跟蹤情況(顯示部分車輛)Fig.26 Tracking of multiple vehicles (show partial vehicles)

圖27 車輛計(jì)算速度與實(shí)際速度比較(白天)Fig.27 Comparison of vehicle calculated speed and actual speed (daylight)

圖28 車輛計(jì)算速度與實(shí)際速度比較(夜晚)Fig.28 Comparison of vehicle calculated speed and actual speed (night)

依據(jù)車輛儀表盤顯示的速度及手動(dòng)標(biāo)記車輛位置計(jì)算的速度，圖27和圖28表明本文的車輛速度檢測(cè)方法誤差較小。然后進(jìn)行精度評(píng)價(jià)，每一小段時(shí)間間隔的精度由式(3)計(jì)算得知

(3)

式中，vD表示本文方法計(jì)算的車輛速度;vp表示車輛速度的真實(shí)值。然后由式(4)計(jì)算一組試驗(yàn)的精度

(4)

式中，P表示一組試驗(yàn)的精度；n表示一組試驗(yàn)中計(jì)算速度的時(shí)間段總數(shù)；i表示第i段時(shí)間；accur由式(3)計(jì)算得出。統(tǒng)計(jì)車輛速度檢測(cè)的精度，白天和夜晚分別采用5組數(shù)據(jù)試驗(yàn)，計(jì)算每組的精度P并求均值，白天車輛速度檢測(cè)的統(tǒng)計(jì)情況如表1所示，夜晚車輛速度檢測(cè)的統(tǒng)計(jì)情況如表2 所示。

表1 車輛速度檢測(cè)精度(白天)

表2 車輛速度檢測(cè)精度(夜晚)

從表1和表2可以得知，白天和夜晚車輛速度檢測(cè)平均精度分別為93.75%和93.71%，可見本文方法能較為準(zhǔn)確地檢測(cè)車輛速度，并且基本滿足靈活性、適應(yīng)性等要求。

3 總結(jié)與展望

本文依據(jù)車輛交通監(jiān)控的需求，嘗試搭建了小型無人機(jī)多源數(shù)據(jù)采集平臺(tái)，無人機(jī)平臺(tái)為數(shù)據(jù)的獲取增加靈活性。多源數(shù)據(jù)包括可見光影像和熱紅外影像，熱紅外影像的增加使得監(jiān)測(cè)車輛不受光照條件限制。將采集的多源數(shù)據(jù)實(shí)時(shí)傳輸至地面監(jiān)控客戶端，使用深度學(xué)習(xí)框架YOLO進(jìn)行車輛目標(biāo)檢測(cè)，并將多源數(shù)據(jù)的檢測(cè)結(jié)果進(jìn)行決策融合，這在一定程度上提升了檢測(cè)精度。最后根據(jù)檢測(cè)結(jié)果對(duì)車輛目標(biāo)進(jìn)行跟蹤并計(jì)算車輛速度。試驗(yàn)結(jié)果表明，本文方法檢測(cè)車輛速度具備有效性，為道路監(jiān)控管理部門提高了一種易操作、高效率的車輛速度監(jiān)控方式。試驗(yàn)結(jié)果也表現(xiàn)出，在描述車輛運(yùn)動(dòng)軌跡時(shí)有波動(dòng)情況，這主要由于車輛檢測(cè)的定位不夠精準(zhǔn)，下一步將優(yōu)化深度學(xué)習(xí)框架，提高車輛檢測(cè)位置的精度，進(jìn)而更為準(zhǔn)確地描述車輛運(yùn)動(dòng)。