李登覽，宋曉煒，范存輝，朱魯曉

（1.中原工學院 電子信息學院，河南 鄭州 450007；2.開封大學，河南 開封 475004）

0 引 言

隨著社會經(jīng)濟的快速發(fā)展和人們物質(zhì)生活水平的不斷提高，人們也越來越注重個人興趣愛好的培養(yǎng)。高性能的遙控車（Remote Control Car）備受年輕人的喜愛，而遙控車比賽也是一項很受追捧的比賽項目。速度競賽在這類比賽中是一個較為重要的競技項目。遙控車的速度測量主要有兩種方式：一種是由遙控車本身搭載的測速設備實現(xiàn)的速度測量，另一種是通過外部測速裝置實現(xiàn)的速度測量。第一種方式常常是在遙控車上搭載GPS定位設備，這種方式具有精度高、測速準確的特點，但是往往會受測速環(huán)境的限制。GPS設備無法實現(xiàn)室內(nèi)等場景下的定位，速度的測量只能夠在室外進行。除了搭載GPS之外，還有一部分遙控車的速度測量是通過電機測速實現(xiàn)的。電機測速是通過霍爾傳感器輸出的電動勢大小計算電機轉(zhuǎn)速來實現(xiàn)的。其缺點是電機轉(zhuǎn)速與車速存在一定的關(guān)系，而遙控車輪胎的更換會改變這種關(guān)系。第二種方式通常是通過感應式環(huán)路檢測器（ILD）實現(xiàn)的。通過記錄車輛經(jīng)過ILDS時一定長度的時間間隔來計算車輛的平均速度。但是ILDS常常用于固定賽道，安裝、維護比較復雜，也無法實現(xiàn)多目標的同時測速。為了擺脫遙控車受測速場地和搭載GPS定位設備等的限制，本文提出了基于雙目立體視覺的實時測速系統(tǒng)。設計致力于復雜背景下實現(xiàn)對各類遙控車的實時監(jiān)測，在對遙控車進行測距、測速的同時，還能夠?qū)崿F(xiàn)對視頻圖像的實時傳送，以便記錄遙控車比賽的精彩過程。

1 方案論證與設計

1.1 總體方案設計

總體設計框架如圖1所示，測速系統(tǒng)的硬件包括NVIDIA Jetson Xavier NX處理器、雙目攝像頭、電源、通信設備、Wi-Fi模塊等。其中，Jetson Xavier NX處理器是系統(tǒng)的核心部件，負責控制系統(tǒng)中的所有運算任務，包括目標檢測、車速計算、圖像顯示等。

NVIDIA Jetson Xavier NX處理器連接電源后，啟動實時測速程序，首先，通過已經(jīng)標定好的CSI雙目攝像頭來捕獲畫面信息，然后將雙目攝像頭獲取的每幀圖像送入YOLOv5s神經(jīng)網(wǎng)絡進行目標檢測；然后，SURF算法對左右目圖像的檢測框范圍進行特征點提取和匹配，選擇一組最佳匹配點，利用雙目模塊的標定參數(shù)恢復特征點在空間中的位置信息。最后，利用極短時間內(nèi)幀間空間點位置變化求出平均速度代替目標的瞬時速度。并將得到的距離與速度信息實時顯示在圖像的左上角，再利用Wi-Fi模塊與VNC將圖像實時回傳。

圖1 測速系統(tǒng)整體設計框架

1.2 目標檢測算法的選擇

目標檢測的主流算法可分為兩種，一種是兩階段（Two Stage）網(wǎng)絡，另一種是一階段（One Stage）網(wǎng)絡。一階段網(wǎng)絡在檢測速度上更有優(yōu)勢。為了便于目標檢測算法在邊緣設備上的部署，選擇對一階段網(wǎng)絡中比較優(yōu)秀的幾種算法進行對比，其中包括SSD、YOLOv3、YOLOv4、YOLOv5。表1來源于參考文獻[3]。

表1 多種目標檢測算法在MS COCO數(shù)據(jù)集上的對比

YOLOv4目標檢測算法是以上幾種算法中檢測精度最高的一個。但是由于它使用CSPDarkNet-53作為Backbone引入了巨大的參數(shù)量，并不適用于在邊緣設備上進行部署。在目標檢測領(lǐng)域與YOLOv4算法在精度上難分伯仲的算法是YOLOv5。相較于YOLOv4，YOLOv5在模型量和推斷速度上有很大的優(yōu)勢。表2統(tǒng)計了不同結(jié)構(gòu)YOLOv5算法的數(shù)據(jù)對比。其中Speed為不同結(jié)構(gòu)的YOLOv5在Tesla V100上的推斷速度。

表2 不同結(jié)構(gòu)的YOLOv5在MS COCO數(shù)據(jù)集上的對比

不難發(fā)現(xiàn)，相較于參數(shù)量較高的YOLOv4算法，YOLOv5更適用于在邊緣設備上進行部署。為了提高系統(tǒng)的整體效率，我們選擇了推斷速度最快的YOLOv5s網(wǎng)絡。

1.3 圖像特征點提取與匹配

SURF算法首先通過構(gòu)建Hessian生成興趣點并構(gòu)建尺度空間，然后對特征點進行定位、分配主方向后生成描述子。在匹配過程中選擇快速近鄰法對SURF算法提取的特征點進行匹配。該方法通過使用歐式距離來篩選兩個匹配點之間最鄰近的點，距離值越小被視為特征點越接近。

1.4 雙目測距測速原理

雙目系統(tǒng)的測距與測速原理參考文獻[4]，首先利用雙目相機獲取不同視點遙控車的圖像，接著采用1.3部分提到的方法進行特征點的匹配。將特征點在不同視點圖像中的像素坐標帶入到標定好的雙目系統(tǒng)中獲得特征點在空間中的位置。以特征點前后時刻的空間位置表示遙控車前后時刻的位置，求出遙控車通過一段距離的平均速度。速度計算公式為：

其中，（x，y，z）和（x，y，z）表示相鄰兩幀測速點的世界坐標，Δ表示相鄰幀之間的時間間隔。

2 系統(tǒng)的硬件與軟件設計

2.1 硬件設計方案

系統(tǒng)硬件由雙目立體視覺模塊、開發(fā)板、圖傳通信系統(tǒng)組成，系統(tǒng)全貌圖如圖2所示。

圖2 雙目立體視覺實時測速系統(tǒng)全貌圖

雙目立體視覺模塊由兩個索尼攝像頭（IMX219）組成，IMX219具有800萬像素，幀率可以達到180 FPS。由于模塊設計得比較小巧，常常是便攜式設備的首選模塊。

雙目實時測速系統(tǒng)選用的開發(fā)板為NVIDIA Jetson Xavier NX。它采用Volta架構(gòu)的384個CUDA核心，并加入48個Tensor Cores。此外，它還提供2個NVDLA引擎作為深度學習加速器。經(jīng)測試，YOLOv5s目標檢測算法在該邊緣計算機上處理一幀640×480分辨率圖像的平均耗時僅18ms，幀率可達55 FPS，滿足課題要求。

由于NVIDIA Jetson Xavier NX主板原廠無天線，信號弱，為此我們?yōu)槠渑鋫湫盘柗糯箅p天線，以增強其信號接收能力與信號穩(wěn)定性，增加其傳輸距離。中繼部分采用SKW77模塊，該模塊是一款大功率Wi-Fi模塊。NVIDIA Jetson Xavier NX將標注好目標距離和速度的視頻圖像傳輸給內(nèi)置SKW77模塊的中繼器，然后由中繼器將視頻圖像實時傳輸給帶有VNC的電腦設備。VNC（Virtual Network Console）是一款卓越的遠程控制軟件，能夠在Linux系統(tǒng)下為客戶端提供實時穩(wěn)定的畫面。

2.2 軟件設計方案和算法的優(yōu)化

2.2.1 軟件設計方案

對雙目立體視覺車輛測速系統(tǒng)進行任務流程分解。首先由雙目采集運動車輛的視頻，通過已經(jīng)標定好的CSI雙目攝像頭捕獲畫面信息，然后將雙目攝像頭獲取的當前幀圖像送入YOLOv5神經(jīng)網(wǎng)絡進行目標檢測，對于檢測到的目標會用檢測框標記；然后在左右目當前幀圖像檢測框的范圍內(nèi)，采用SURF算法進行特征點的提取及特征點的匹配，匹配后系統(tǒng)將選擇一組最佳匹配點，利用其坐標值及標定雙目得到的相機內(nèi)外參數(shù)，獲取目標在該時刻的空間信息。最后使用極短時間內(nèi)幀間深度差得到的平均速度代替目標的瞬時速度，并將得到的距離與速度信息實時顯示在圖像的左上角，最后利用Wi-Fi模塊及VNC將圖像實時回傳到計算機設備。

2.2.2 YOLOv5s算法的優(yōu)化

為了提高設備的檢測性能，我們對原有的YOLOv5s網(wǎng)絡進行了優(yōu)化，通過網(wǎng)絡剪枝以及利用TensorRT加快模型推理速度。

網(wǎng)絡剪枝（Network Pruning）是常用的模型壓縮方法。在剪枝過程中，對冗余權(quán)重進行修剪并保留重要權(quán)重以保持精確性。剪枝通常能減少參數(shù)量和運算量。通過對YOLOv5s網(wǎng)絡的剪枝，降低了網(wǎng)絡的寬度，以此降低模型的參數(shù)量，增強目標檢測的實時性。從對比剪枝前后結(jié)果來看，參數(shù)量由原來的7.3 M變?yōu)?.9 M，運算量由17.1 G變?yōu)?.7 G。

NVIDIA TensorRT是高性能深度學習推理的SDK。在推理過程中，基于TensorRT的應用程序執(zhí)行速度比純CPU平臺快40倍。使用TensorRT可以優(yōu)化訓練的神經(jīng)網(wǎng)絡模型，為深度學習推理的生產(chǎn)部署提供INT8和FP16優(yōu)化。表3為TensorRT加速前后8組數(shù)據(jù)推斷速度的統(tǒng)計和對比。

表3 TensorRT加速前后推斷速度對比

由表3可知，經(jīng)過TensorRT加速后模型的推斷速度提升了大約4倍，可大幅提高設備目標檢測的實時性能。

3 系統(tǒng)測試

在使用實時測速系統(tǒng)之前首先需要對雙目視覺模塊進行標定，包括相機的內(nèi)參和外參。雙目實時測速系統(tǒng)標定時使用的是張正友標定法。相機標定的目的是建立攝像機圖像像素位置與物體空間位置之間的關(guān)系。由已知特征點的坐標求解攝像機的模型參數(shù)，從而從圖像出發(fā)恢復空間點的三維坐標。需要求解的參數(shù)包括4個內(nèi)參數(shù)和5個畸變參數(shù)，以及外參旋轉(zhuǎn)矩陣和平移矩陣。

3.1 系統(tǒng)距離實驗

雙目標定后，我們利用標定好的相機參數(shù)并通過SURF算法進行了幾組測距實驗，結(jié)果如表4所示。本系統(tǒng)在3米以內(nèi)的測距誤差可以控制在2%以內(nèi)，具有很高的測距精度，為后面的測速奠定基礎(chǔ)。

表4 系統(tǒng)測距實驗結(jié)果

3.2 遙控車測速實驗

將設備放置到穩(wěn)定的位置，打開Wi-Fi中繼模塊以保持網(wǎng)絡通信暢通，從而保證視頻圖像可以實時回傳，開啟設備，連接Wi-Fi，運行測試程序，獲取雙目視野，將模型小車擺在雙目視野內(nèi)，準備開始測速。

一切準備就緒后，運行實時測速程序開始測速，以一定速度從各個路線行駛小車，測速效果如圖3所示。從結(jié)果顯示來分析，測速效果基本穩(wěn)定，實時幀率可達11 FPS，具有良好的測速性能。

圖3 VNC實時傳輸?shù)倪b控車測速畫面

4 結(jié) 論

該文設計的主要創(chuàng)新點在于將Jetson Xavier NX與雙目立體視覺相結(jié)合，實現(xiàn)了對遙控車的實時檢測和測速。在車輛檢測方面采用了YOLOv5s網(wǎng)絡，同時對該網(wǎng)絡進行一定的改進，一方面采用網(wǎng)絡剪枝壓縮網(wǎng)絡模型，另一方面利用TensorRT針對GPU的特性進行加速，提高目標的檢測效率。實驗測試表明，基于雙目立體視覺的實時測速系統(tǒng)具有良好的穩(wěn)定性，同時具有較高的測距精度和較好的測速效果。