安徽師范大學(xué)物理與電子信息學(xué)院 王 鑫

安徽師范大學(xué)物理與電子信息學(xué)院 安徽華通電纜集團(tuán)有限公司 陳 浩

安徽華通電纜集團(tuán)有限公司 陶天寶

無人機(jī)體積小、視野廣、靈活性好，在事故處理、交通疏導(dǎo)、流量監(jiān)測等方面具有巨大優(yōu)勢。本文設(shè)計了一種基于無人機(jī)圖像的車輛識別系統(tǒng)，設(shè)計開發(fā)實時圖像傳輸模塊，用于將無人機(jī)采集的圖像同步傳輸?shù)絇C端，利用YOLO v4目標(biāo)檢測算法對車輛進(jìn)行實時檢測，設(shè)計用戶界面顯示數(shù)據(jù)信息、基本操作以及檢測結(jié)果。測試結(jié)果表明，該車輛識別系統(tǒng)具有較好的檢測精度和實時性。

利用無人機(jī)圖像的車輛識別系統(tǒng)，具有視野好、時效性強(qiáng)、靈活采集等優(yōu)點(diǎn)，對于道路監(jiān)管，尤其是春運(yùn)、大型集會（如運(yùn)動比賽、演唱會）等時段的道路監(jiān)管尤其重要。相對于傳統(tǒng)的道路監(jiān)控，無人機(jī)高度機(jī)動、布點(diǎn)靈活，在事故處理、交通疏導(dǎo)、流量檢測等方面具有巨大應(yīng)用優(yōu)勢，特別是在一些監(jiān)控盲區(qū)，無人機(jī)高空監(jiān)測可以發(fā)揮重要作用。

目前，很多學(xué)者開展了基于無人機(jī)無人機(jī)圖像的的車輛目標(biāo)識別研究，使用無人機(jī)可以增大檢測道路的靈活性，但處理圖像處理的速度影響了系統(tǒng)的實時性。許多算法對于高空圖像下的小目標(biāo)識別精確度有待提高。趙凱迪等采用了改進(jìn)后的SSD目標(biāo)檢測算法，其優(yōu)點(diǎn)在于網(wǎng)絡(luò)架構(gòu)小、速度快，可直接用在便攜式計算板卡上搭載到無人機(jī)上。但其對小目標(biāo)和大分辨率圖像的識別不夠完善，這限制了無人機(jī)的飛行高度和機(jī)載相機(jī)的性能。文中等測試了多種目標(biāo)檢測算法對車輛的識別，并對其進(jìn)行改進(jìn)，但系統(tǒng)的可操作性不佳。

本文研究通過無人機(jī)實地拍攝獲取車輛目標(biāo)高空圖像進(jìn)行訓(xùn)練；得到模型后對圖像進(jìn)行預(yù)測處理，圖像處理部分運(yùn)用到以神經(jīng)網(wǎng)絡(luò)的YOLO4目標(biāo)檢測算法；設(shè)計系統(tǒng)地面站界面顯示圖像信息；最后設(shè)計無人機(jī)圖像無線傳輸硬件實現(xiàn)系統(tǒng)軟硬件結(jié)合。經(jīng)系統(tǒng)測試，及空地聯(lián)調(diào)，該車輛識別系統(tǒng)具有較好的檢測精度和運(yùn)算速度。

1 系統(tǒng)設(shè)計

1.1 車輛目標(biāo)識別系統(tǒng)

系統(tǒng)由無人機(jī)和地面站（電腦）組成，其中無人機(jī)負(fù)責(zé)高空拍攝圖像并傳回，地面站負(fù)責(zé)處理傳回的數(shù)據(jù)。由于無人機(jī)未實現(xiàn)智能自動飛行，需要專業(yè)操作人員進(jìn)行控制。數(shù)據(jù)傳回地面站后，通過智能預(yù)測、GUI顯示等功能使用戶獲取道路上車輛的分布情況更加便捷。從高空俯瞰，可以獲取更多人類不方便獲取的信息；無人機(jī)飛行器可以靈活地在可控范圍內(nèi)高空飛行和采集信息，因此使用無人機(jī)偵察就成了車輛目標(biāo)檢測系統(tǒng)需求的關(guān)鍵。系統(tǒng)概要設(shè)計如圖1所示。

圖1 系統(tǒng)概要設(shè)計圖

1.2 系統(tǒng)功能

根據(jù)無人機(jī)車輛檢測系統(tǒng)要求，本系統(tǒng)包括三個功能：圖像檢測功能、數(shù)據(jù)顯示功能、圖像無線傳輸功能，其中數(shù)據(jù)顯示功能又包括圖像展示和數(shù)據(jù)分析。

1.2.1 目標(biāo)檢測

目標(biāo)檢測功能通過無人機(jī)高空飛行獲取圖像傳回地面站，地面站（電腦端）對獲取到的每一幀圖像中道路車輛目標(biāo)進(jìn)行檢測，獲取到道路車輛的位置以及類別信息。本文通過大疆無人機(jī)在一定區(qū)域內(nèi)飛行采集獲取目標(biāo)識別網(wǎng)絡(luò)訓(xùn)練圖片，利用YOLO v4算法對無人機(jī)傳回來的道路車輛圖像進(jìn)行檢測。

1.2.2 數(shù)據(jù)顯示

數(shù)據(jù)顯示功能通過構(gòu)建一個用戶界面；設(shè)置按鍵、輸出數(shù)字（包括坐標(biāo)、loss值等數(shù)據(jù)）區(qū)、圖像區(qū)方便人機(jī)交互。其中數(shù)據(jù)區(qū)是顯示圖像中道路車輛的位置、類別等信息的區(qū)域，圖像區(qū)將數(shù)據(jù)區(qū)的信息映射到原圖中方便用戶通過視覺直接獲得信息。

1.2.3 圖像無線傳輸

圖像無線傳輸功能主要是數(shù)字無線圖傳的軟硬件結(jié)合設(shè)計。設(shè)計利用樹莓派采集攝像頭圖像，利用無線網(wǎng)卡將圖像傳輸?shù)搅硗庖粡垬漭缮?，然后利用HDMI采集卡將視頻流傳輸?shù)降孛嬲荆娔X）。

2 系統(tǒng)的設(shè)計和功能實現(xiàn)

2.1 圖像無線傳輸模塊設(shè)計

圖像無線功能模塊設(shè)計分為接收端和發(fā)射端，如圖2所示。圖2(a)是無線圖傳接收端，由一張樹莓派3B+、一張AC8812網(wǎng)卡、兩個5.3G天線和一塊樹莓派供電板組成。樹莓派供電板將鋰電池轉(zhuǎn)化成5V3A的穩(wěn)壓電源為接收端供電。AC8812網(wǎng)卡通過usb與樹莓派相連，用于接收發(fā)射端傳回的數(shù)據(jù)。最終圖像從樹莓派的HDMI接口輸出。

圖2 無線圖傳模塊實物圖

圖2(b)是無線圖傳發(fā)射端，包括一張樹莓派3Bmini、一張AC8812網(wǎng)卡、一個攝像頭、兩個5.3G天線和穩(wěn)壓電源。AC8812網(wǎng)卡與樹莓派相連用于發(fā)送攝像頭采集的圖像。

2.2 目標(biāo)識別模塊

本實驗中無人機(jī)高空飛行采集的圖像分辨率為5472x3648。因為圖片過大，需要進(jìn)行預(yù)處理才能作為YOLO v4網(wǎng)絡(luò)的輸入。

2.2.1 高分辨率圖像處理

數(shù)據(jù)預(yù)處理實驗表明，剪裁后拼接耗時是直接輸入的54倍，且兩者預(yù)測的準(zhǔn)確度相當(dāng)。因此，本文設(shè)計的系統(tǒng)將原圖resize處理后直接送入模型進(jìn)行預(yù)測。將原圖通過resize的方式縮小到608x608大小，每幅原圖只需要進(jìn)行一次預(yù)測。

2.2.2 Mosaic數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)可以使圖片數(shù)據(jù)變得更加多樣，放入模型訓(xùn)練中可以提高模型的魯棒性，降低額外因素對預(yù)測結(jié)果的影響，比如：亮度和形態(tài)等。

YOLO v4的Mosaic數(shù)據(jù)增強(qiáng)參考了CutMix數(shù)據(jù)增強(qiáng)方式，因此兩者在原理上有一定的相似性。CutMix數(shù)據(jù)增強(qiáng)將兩張圖片進(jìn)行拼接，而Mosaic則是拼接四張圖片。YOLO v4在讀取四張圖片后進(jìn)行翻轉(zhuǎn)、扭曲、色域變化等，并且按照不同方向依次擺放進(jìn)行圖片的組合和框的組合。

2.2.3 車輛目標(biāo)檢測

訓(xùn)練數(shù)據(jù)為960張大疆無人機(jī)在學(xué)校周邊高空拍攝的圖片。在圖片中標(biāo)注出有用信息，將車輛框出來并標(biāo)注類型，生成.xml文件；運(yùn)行數(shù)據(jù)訓(xùn)練程序，輸入預(yù)訓(xùn)練框架。將圖片和標(biāo)簽文件輸入YOLO v4模型中，利用預(yù)訓(xùn)練框架訓(xùn)練模型。多次訓(xùn)練改善模型。系統(tǒng)的圖像處理部分流程如圖3所示，訓(xùn)練集圖像經(jīng)過resize處理后尺寸變?yōu)?08x608，輸入到Y(jié)OLO v4框架中加載預(yù)訓(xùn)練權(quán)重文件進(jìn)行訓(xùn)練，經(jīng)過數(shù)據(jù)增強(qiáng)算法、學(xué)習(xí)率退火算法的處理，輸出訓(xùn)練結(jié)果。YOLO v4權(quán)重文件；測試集圖像經(jīng)過resize處理后輸入到上述訓(xùn)練好的YOLO v4權(quán)重文件進(jìn)行預(yù)測，對輸出結(jié)果進(jìn)行解碼：將預(yù)測框、類別、置信度等信息映射到原圖中。

根據(jù)計算機(jī)顯卡性能將模型的batch_size設(shè)置為8，學(xué)習(xí)率初始化為0.001，采用余弦退火算法，在經(jīng)過280個epoch后，loss值低至16.8。

訓(xùn)練用的圖片分為訓(xùn)練集和測試集，訓(xùn)練集圖片800張，總共含有不同樣式的車輛10000多輛，測試集圖片160張，總共含有車輛2500多輛。根據(jù)圖片中車輛的類別信息，將網(wǎng)絡(luò)輸入類別更改為car、truck、buugy、bus四類。在訓(xùn)練進(jìn)行14500次迭代后，模型達(dá)到飽和，loss不再繼續(xù)下降，訓(xùn)練自動停止。

2.3 GUI設(shè)計

本文設(shè)計的系統(tǒng)是面向用戶的，因此，為目標(biāo)識別系統(tǒng)最外層設(shè)計一個GUI界面是必要的，GUI界面中，車輛目標(biāo)識別結(jié)果如圖3所示。

圖3 GUI界面演示圖

2.3.1 圖像顯示

利用tkinter工具創(chuàng)建菜單、創(chuàng)建畫布、創(chuàng)建label。菜單用來選取圖像，當(dāng)未檢測時，在畫布上顯示原圖，label顯示狀態(tài)為“原圖”；檢測后畫布顯示處理后的圖片，label顯示狀態(tài)為“預(yù)測后”。

2.3.2 檢測結(jié)果顯示

創(chuàng)建文本框，讀取模型輸出后分辨出要顯示的信息并打印。

3 系統(tǒng)測試

3.1 測試環(huán)境

本文中代碼運(yùn)行的硬件環(huán)境：CPU為酷睿處理器10代i5，GPU為英偉達(dá)gtx1660ti

本文中代碼運(yùn)行的軟件環(huán)境：windows10+python 3.6.12+tensorflow-gpu 1.13.1+keras==2.1.5。

無人機(jī)配置：大疆精靈

3.2 功能測試

圖像檢測功能測試：利用opencv觀察模型的輸出情況。

數(shù)據(jù)顯示功能測試：上述GUI界面創(chuàng)建完畢后，進(jìn)行測試。

圖像無線傳輸功能測試：測試圖傳的距離、抗干擾能力與傳輸延時情況。經(jīng)過實驗，測得圖傳在空中5km以內(nèi)可以穩(wěn)定傳輸，傳輸延時在200ms以內(nèi)。

3.3 結(jié)果精確度測試

本文目標(biāo)檢測的精度用準(zhǔn)確率、漏檢率、虛檢率指標(biāo)進(jìn)行評價。經(jīng)過多次訓(xùn)練預(yù)測，系統(tǒng)的精度評價如表1所示，達(dá)到目標(biāo)效果。

表1 車輛檢測精度評價

準(zhǔn)確率=準(zhǔn)確檢測車輛數(shù)/車輛總數(shù)

虛檢率=錯誤檢測車輛數(shù)/檢測到車輛數(shù)

漏檢率=漏掉檢測目標(biāo)數(shù)/車輛總數(shù)

本文研究一種基于無人機(jī)的車輛識別系統(tǒng)的設(shè)計。根據(jù)中無人機(jī)性能和應(yīng)用場景，利用了YOLO v4算法進(jìn)行車輛目標(biāo)檢測，結(jié)合數(shù)據(jù)增強(qiáng)算法、學(xué)習(xí)率退火衰減算法等，使得基于無人機(jī)圖像的車輛檢測可以達(dá)到預(yù)期效果。同時，選取樹莓派自制了一款無線數(shù)字圖傳模塊，自主開發(fā)了圖像無線傳輸模塊和系統(tǒng)控制界面。經(jīng)聯(lián)調(diào)測試，該系統(tǒng)操作便捷，可搭載大多數(shù)無人機(jī)平臺，且具有較好的運(yùn)算速度和識別精度。