侯英娟

中國直升機設計研究所

作為無人直升機偵察領域的關鍵技術，目標識別與跟蹤技術正在快速發(fā)展。但是，無人直升機難以識別和跟蹤小型目標。鑒于此，本文提出深度學習yolov5算法與圖像特征算法相融合的方法，以解決無人直升機不易跟蹤小型目標的問題。

作為當代低空超低空作戰(zhàn)領域的重要裝備之一，無人直升機具有空中懸停、低空飛行等優(yōu)勢，在監(jiān)視、偵察、精確打擊等作戰(zhàn)任務中發(fā)揮著重要作用。隨著計算機視覺技術的發(fā)展，無人直升機自主飛行能力得到快速提升，可出色完成目標識別與跟蹤任務。當前，目標識別與跟蹤技術已成為眾多學者及開發(fā)者重點研究的熱點方向。

無人直升機目標跟蹤算法

早期目標跟蹤技術主要采用雷達發(fā)射電磁波，雷達對所獲取的回波信息進行分析，進而識別目標。近年來，隨著圖像處理技術的發(fā)展，許多基于圖像處理技術的目標檢測算法應運而生。無人直升機在識別與跟蹤目標時，選用基于圖像處理技術的目標檢測算法，能夠快速而精準地識別、跟蹤目標。

本文提出深度學習yolov5算法與圖像特征算法相融合的目標跟蹤算法，該算法提升了無人直升機識別與跟蹤小型目標的精度與速度。

本文算法

本文提出的目標跟蹤算法分為兩方面內容。一是使用yolov5算法對目標進行檢測，在復雜背景下提取候選目標；二是使用圖像特征算法，從候選目標中篩選出最終目標。相較于普通目標跟蹤算法，本文提出的算法具有識別與跟蹤精度高、檢測速度快等優(yōu)勢。

yolov5算法

在計算機視覺技術領域，yolo系列算法是比較流行的單階段目標檢測算法，它的創(chuàng)新點是將候選區(qū)域識別和對象識別這兩個階段融于一體，算法結構簡單，提高了目標檢測速度。yolov5算法是yolo系列中的第五個版本，在yolov4算法的基礎上，添加了如下新的改進思路，計算速度與精度得到極大的提升。

1.輸入端

在模型訓練階段，yolov5算法提出了一些改進思路，主要包括Mosaic數據增強、自適應錨框計算、自適應圖片縮放。

2.準網絡

yolov5算法融合了其他檢測算法的一些新思路，例如Focus結構與CSP結構。

3.Neck網絡

目標檢測網絡通常會在輸入端與最后的Head輸出層之間插入一些層。yolov5算法添加了FPN+PAN結構。

4.Head輸出層

輸出層的錨框機制與yolov4算法相同，訓練時的損失函數GIOU_Loss以及預測框篩選的DIOU_nms獲得改進。

yolov5算法的網絡結構

yolov5算法的網絡結構以coco數據集為基準。網絡結構由輸入端，輸出端組成。此外，還包含CBL模塊、Resunit模塊、CSPX模塊、SPP模塊、Focus模塊共5個基本組件。其他基礎操作包括張量拼接和張量相加。

損失函數

yolov5算法用到的損失函數為定位損失(box_loss)、置信度損失(object_loss)和分類損失(class_loss)三部分的加權和。yolov5算法的定位損失使用的是CIoU_loss，損失函數計算公式如式(1)所述。

其中，IoU為預測框和真實框的交并比，交并比計算公式如式(2)所述；dc為預測框中心點與真實框中心點之間的距離；ds為預測框和真實框最小外接矩形的對角線長度；α表示平衡參數；ν表示真實框寬高比的傾斜角度。

α的計算公式如式(3)所述，ν的計算公式如式(4)所述。

其中，w表示寬度；h表示高度；wgt表示真實框寬度；hgt表示真實框高度。

CIoU_Loss的計算公式如式(5)所述。

圖像特征提取

無人直升機光電系統(tǒng)拍攝的視頻存在光照引起的顏色誤差以及不同角度拍攝導致的形態(tài)多樣化問題。單一的圖像匹配算法不能很好地解決上述問題，所以本文圖像特征提取同時采用感知哈希算法、HSV顏色直方圖算法以及LBP局部紋理直方圖算法，對圖像相似度進行打分，篩選出分數最高的候選目標，作為光電系統(tǒng)識別與跟蹤的目標。

在感知哈希算法中，一維離散余弦變換公式如式(6)所述。

式(6)中，F(n)表示一維離散余弦變換后的系數；c(n)表示補償系數，公式(7)可計算補償系數；f(i)表示最原始信號；N表示原始信號的點數；n表示廣義頻率，i表示第i個信號。

二維離散余弦變換公式如式(8)所述。

式(8)中，F(n,m)表示二維離散余弦變換后的系數；f(i,j)表示在i行j列的圖像的像素值；m，n表示離散頻率變量(0，1，2……7)。

HSV顏色直方圖算法第一步把圖像從RGB格式轉換到HSV格式，HSV顏色直方圖算法公式如式(9)、式(10)所述。

式(9)中，V表示亮度值，(R、G、B)表示顏色空間內的任一像素值，而R,G,B屬于[0,255]。

式(10)中，S表示飽和度值。

式(11)中，H表示色彩值。假如H＜0，則H=H+360，輸出0≤V≤1,0≤S≤1,0≤H≤1。

LBP局部紋理直方圖算法公式如式(12)所述。

式(12)中，(xc,yc)表示中心像素；p表示采樣點數；s表示一個函數；ip表示相鄰像素的灰度值；ic表示灰度值。

式(13)中，s(x)為符號函數。

圖像相似度計算打分

本文使用漢明距離算法對感知哈希算法進行相似度計算。HSV顏色直方圖算法和LBP局部紋理直方圖算法用巴氏距離算法進行相似度計算。

漢明距離算法如式(14)所述。

式(14)中，d(r,t)表示距離；j=0,1,..n-1；r，j都是n位的編碼；⊕表示異或。

公式(15)可計算出HSV顏色直方圖算法的相似度的巴氏距離。

式(15)中，d(H1+H2)為HSV顏色直方圖算法相似度距離值；H1和H2分別表示目標圖像和檢測圖像的HSV顏色直方圖算法特征提取值；R表示直方圖的bin數目；I表示bin的序號。

公式(16)可計算出LBP局部紋理直方圖算法的相似度的巴氏距離。

式(16)中，d(L1+L2)為LBP局部直方圖算法相似度巴氏距離值；T表示直方圖的bin數目;L1和L2分別表示目標圖像和檢測目標圖像的LBP局部紋理直方圖算法提取的向量。

計算打分時相似度得分設置閾值為60%。當最高相似度得分低于閾值時，則當前幀沒有目標。當最高相似度得分大于閾值時，即該候選目標為當前幀的目標。本文HSV顏色直方圖算法相似度的權重系數a=0.4；LBP局部紋理直方圖算法相似度的權重系數b=0.4，感知哈希算法特征相似度的權重系數c=0.2。

式(17)中，Si表示相似度打分；Y表示放大系數；d(Hi+H0)表示HSV顏色直方圖算法巴氏相關系數；d(Li+L0)表示LBP局部紋理直方圖算法巴氏相關系數；d(r,t)表示感知哈希算法相關系數。

實驗與結果

數據采集

制作數據集的圖片來源于無人直升機光電系統(tǒng)拍攝的視頻及圖片。在拍攝過程中，光電系統(tǒng)應在不同角度、光照下對地面情報物體進行拍攝。數據采集者將錄制好的視頻以MP4格式保存，使用opencv開發(fā)庫讀取視頻總幀數，并將視頻文件轉換成圖片格式的文件。

圖1 部分數據集樣本。

圖2 標記后的圖片。

數據集制作

本文采用人工標注的方法，首先使用VoTT工具對圖像進行標記，然后設置標簽，最后導出需要的數據集格式。VoTT工具支持CNTK Faster-RCNN、TFRcords、TensorFlow Pascal VOC和YOLO等多種導出格式的數據集。

實驗結果對比

本文采用yolov5算法作為目標檢測算法，與原來的yolo系列算法相比，yolov5算法在性能、靈活性、計算速度以及模型快速部署等方面均有一定的提升。本文采用yolo系列算法和Faster-RCNN算法進行模型訓練與對比，實驗結果是，對于一些小目標檢測，yolov5算法的精確度占優(yōu)勢。本文以船舶、人員、車輛作為實驗對象進行實驗對比。

表1 基于yolov5、yolov3、Faster-RCNN算法的目標檢測精度。

總結

本文提出的無人直升機目標跟蹤算法，采用深度學習yolov5算法與圖像特征算法相融合的方法，提高了目標跟蹤精度與速度。在每次執(zhí)行任務時，使用者可以切換不同種類的數據集進行目標檢測，對檢測出的圖像進行圖像特征對比，最后得到跟蹤的目標。該算法不足之處是須要提前訓練好各種目標跟蹤的模型，以及須要大量數據進行訓練。