管秀云，郭永紅，李旭光，趙登輝，史 超，崔令飛，溫 昕

(1.中國(guó)兵器工業(yè)標(biāo)準(zhǔn)化研究所，北京 100089；2.中國(guó)兵器工業(yè)計(jì)算機(jī)應(yīng)用技術(shù)研究所，北京 100089)

1 概述

在武器裝備中，瞄具是不可或缺的重要裝置，瞄具能夠?yàn)槲淦魈峁?zhǔn)確的瞄準(zhǔn)角，從而實(shí)現(xiàn)武器裝備對(duì)目標(biāo)的準(zhǔn)確打擊。隨著社會(huì)的進(jìn)步和計(jì)算機(jī)技術(shù)的廣泛應(yīng)用，特別是近幾年圖像處理以及深度學(xué)習(xí)等相關(guān)領(lǐng)域的深入研究，為武器裝備瞄具的發(fā)展提供了更多的方向?；谖淦鲬?zhàn)術(shù)性能和目標(biāo)機(jī)動(dòng)性能的提高，武器的瞄具逐步向全天化和高度自動(dòng)化等方向發(fā)展，逐步形成完整的武器控制系統(tǒng)。本文將計(jì)算機(jī)視覺(jué)領(lǐng)域的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤相關(guān)技術(shù)應(yīng)用到槍械瞄具中，為瞄具的智能化提供一種可實(shí)現(xiàn)的手段。

1.1 槍械瞄具的發(fā)展現(xiàn)狀

瞄準(zhǔn)具是武器裝備的重要組成部分，根據(jù)武器分類，可以分為槍械瞄具、火炮瞄具、坦克瞄具和航空瞄具[1]。其中的槍械瞄具按照結(jié)構(gòu)和作用原理可以分為機(jī)械瞄具、激光瞄具和光學(xué)瞄具。

機(jī)械瞄具是最早的瞄具裝備，其結(jié)構(gòu)簡(jiǎn)單、堅(jiān)固、耐用，因此在槍械方面具有很廣泛的應(yīng)用[2]。激光瞄具是利用激光束進(jìn)行瞄準(zhǔn)的裝置，主要由激光器和高低、方向調(diào)整機(jī)構(gòu)組成，基于激光光束直線傳播的原理，只要光束對(duì)準(zhǔn)目標(biāo)，就可以射擊。激光瞄具能夠使用雙目瞄準(zhǔn)，具有反應(yīng)快、射擊準(zhǔn)的特點(diǎn)。光學(xué)瞄具是由瞄準(zhǔn)鏡、方向、表尺分劃筒和高低機(jī)等裝置組成，在槍械光學(xué)瞄具中主要分為望遠(yuǎn)式和反射式瞄具[3]。反射式光學(xué)瞄具是最近幾年新型瞄具，主要通過(guò)精確的光學(xué)曲面反射透鏡，將瞄準(zhǔn)器內(nèi)的光線發(fā)射出去，這種瞄具忽略了視線偏移的影響，實(shí)現(xiàn)快速瞄準(zhǔn)，例如，SIT公司IPSC競(jìng)賽手槍上裝有反射式瞄具[4]。在智能瞄具方向，俄羅斯卡拉什尼科夫集團(tuán)公司已研制出由人工智能元件殺傷系統(tǒng)組成的步槍系統(tǒng)，該系統(tǒng)可以做到識(shí)別、瞄準(zhǔn)、跟蹤、射擊一體化。

1.2 運(yùn)動(dòng)目標(biāo)跟蹤的發(fā)展現(xiàn)狀

依據(jù)運(yùn)動(dòng)目標(biāo)的表達(dá)和相似性度量，運(yùn)動(dòng)目標(biāo)跟蹤算法可以分為4類：基于主動(dòng)輪廓的跟蹤、基于特征的跟蹤、基于區(qū)域的跟蹤和基于模型的跟蹤。跟蹤算法的精度和速度很大程度上取決于對(duì)運(yùn)動(dòng)目標(biāo)的表達(dá)和相似性度量的定義，跟蹤算法的實(shí)時(shí)性取決于匹配搜索策略和濾波預(yù)測(cè)算法。

基于主動(dòng)輪廓的跟蹤包括Kass等提出的主動(dòng)輪廓模型Snake[5]，是在圖像域內(nèi)定義的可變形曲線通過(guò)對(duì)其能量函數(shù)的最小化。基于特征的跟蹤不考慮運(yùn)動(dòng)目標(biāo)的整體特征，只通過(guò)目標(biāo)圖像的一些顯著特征來(lái)進(jìn)行跟蹤。除了用單一的特征來(lái)實(shí)現(xiàn)跟蹤外，還可以采用多個(gè)特征信息融合在一起作為跟蹤特征?；趨^(qū)域的跟蹤基本思想是得到包含目標(biāo)的模板[6]，該模板可通過(guò)圖像分割獲得或預(yù)先人為確定，模板為略大于目標(biāo)的矩形，也可為不規(guī)則形狀。基于模型的跟蹤通過(guò)一定的先驗(yàn)知識(shí)對(duì)所跟蹤目標(biāo)建立模型，然后通過(guò)匹配跟蹤目標(biāo)進(jìn)行模型的實(shí)時(shí)更新。

縱觀目前運(yùn)動(dòng)目標(biāo)的跟蹤算法，大多是基于較單一的工學(xué)視角，還存在一些尚未很好解決的共性問(wèn)題，如跟蹤過(guò)程中目標(biāo)物形狀、尺寸、位置、運(yùn)動(dòng)方向的改變，背景環(huán)境及光照條件的改變，目標(biāo)物被遮擋及部分遮擋的情況等。

本文基于目標(biāo)檢測(cè)算法SSD網(wǎng)絡(luò)和目標(biāo)跟蹤核相關(guān)濾波KCF，設(shè)計(jì)了一套基于視覺(jué)檢測(cè)的實(shí)時(shí)目標(biāo)跟蹤方法，為了提升模型性能，采用圖像序列分組的方法，對(duì)圖像序列以組為單位分別設(shè)置檢測(cè)幀和跟蹤幀；采用一種新的組間邏輯匹配算法最大性能地提高檢測(cè)與跟蹤效率，并且設(shè)計(jì)前端展示界面，對(duì)槍械提供指定的偏移方向。本文介紹了槍瞄技術(shù)的國(guó)內(nèi)外現(xiàn)狀，給出了系統(tǒng)的整體框架；介紹了目標(biāo)檢測(cè)和目標(biāo)跟蹤的算法原理，并且詳細(xì)闡述了組間匹配機(jī)制的算法原理；下述進(jìn)行試驗(yàn)并分析試驗(yàn)結(jié)果。

2 系統(tǒng)總體框架

本文設(shè)計(jì)的智能瞄具系統(tǒng)基于計(jì)算機(jī)視覺(jué)任務(wù)中目標(biāo)檢測(cè)與目標(biāo)跟蹤的相關(guān)算法，目標(biāo)檢測(cè)算法使用SSD網(wǎng)絡(luò)，目標(biāo)跟蹤算法使用KCF。

首先，通過(guò)瞄準(zhǔn)鏡對(duì)物體進(jìn)行瞄準(zhǔn)，首次對(duì)目標(biāo)進(jìn)行人為點(diǎn)標(biāo)記，移開(kāi)瞄準(zhǔn)鏡且保證目標(biāo)物未出大視野區(qū)域，隨后對(duì)目標(biāo)物跟蹤M幀，將上述過(guò)程記為初始組，數(shù)量記為1，人為點(diǎn)標(biāo)記記為初始幀，則初始組共包括(M+1)幀圖像序列。

然后，提出將后續(xù)視頻圖像序列進(jìn)行分組識(shí)別，每一組包括目標(biāo)檢測(cè)幀和目標(biāo)跟蹤幀，在目標(biāo)檢測(cè)幀中，基于目標(biāo)檢測(cè)算法實(shí)現(xiàn)目標(biāo)物的重檢測(cè)、目標(biāo)物特征重提取等過(guò)程，在目標(biāo)跟蹤幀中對(duì)本組目標(biāo)檢測(cè)到的目標(biāo)物進(jìn)行跟蹤，且設(shè)置目標(biāo)跟蹤幀為M，M的設(shè)置應(yīng)進(jìn)行最優(yōu)選擇，將上述過(guò)程記為更新組，數(shù)量記為N，每組包含(M+1)幀圖像序列。

圖1 系統(tǒng)整體框架圖

智能瞄具系統(tǒng)瞄準(zhǔn)鏡區(qū)分為大視野區(qū)域與小視野區(qū)域，大視野區(qū)域被定義為瞄準(zhǔn)鏡不變焦距時(shí)所能看到的區(qū)域S，且在整體過(guò)程中目標(biāo)物包含于S；小視野區(qū)域被定義為瞄準(zhǔn)鏡擴(kuò)大α倍所能看到的區(qū)域S′，α為給定整數(shù)且不改變。在智能瞄具系統(tǒng)目標(biāo)檢測(cè)與目標(biāo)識(shí)別過(guò)程中，瞄準(zhǔn)鏡視野被定義為小視野區(qū)域S′，示意圖如圖2所示。

智能瞄具系統(tǒng)前端由標(biāo)準(zhǔn)瞄準(zhǔn)鏡和智能指針兩部分組成，圖2表示目標(biāo)物跟蹤過(guò)程，此時(shí)，智能指針的指向表示待跟蹤目標(biāo)物所在位置，智能指針的長(zhǎng)度表示瞄準(zhǔn)鏡與目標(biāo)物之間的相對(duì)長(zhǎng)度；待再次識(shí)別到目標(biāo)物之后，瞄準(zhǔn)鏡狀態(tài)由圖2轉(zhuǎn)變?yōu)閳D3，此時(shí)，智能指標(biāo)為一個(gè)圓點(diǎn)，表示瞄準(zhǔn)鏡中心已經(jīng)與目標(biāo)物再次重合，且瞄準(zhǔn)鏡會(huì)閃爍數(shù)次，提醒射擊者可以進(jìn)行射擊。

圖2 瞄準(zhǔn)鏡瞄準(zhǔn)過(guò)程前端設(shè)計(jì)

圖3 瞄準(zhǔn)鏡符合射擊條件前端設(shè)計(jì)

3 主要算法

3.1 SSD網(wǎng)絡(luò)

SSD方法[7]基于前饋卷積網(wǎng)絡(luò)，產(chǎn)生固定大小的邊界框集合和框中對(duì)象類別的分?jǐn)?shù)，并通過(guò)非最大化抑制步驟產(chǎn)生最終的檢測(cè)結(jié)果。通過(guò)使用AlexNet[8]、VGG16[9]等已經(jīng)成熟的網(wǎng)絡(luò)結(jié)構(gòu)，截止全連接層之前的全部卷積層和池化層作為圖像特征網(wǎng)絡(luò)。SSD的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 SSD基本結(jié)構(gòu)

通過(guò)向網(wǎng)絡(luò)添加輔助結(jié)構(gòu)，可產(chǎn)生具有如下主要特征的檢測(cè)。

1)多尺度特征圖檢測(cè)：將卷積層添加到截?cái)嗟幕A(chǔ)網(wǎng)絡(luò)末尾。隨著尺寸逐漸減小，得到多個(gè)尺寸檢測(cè)的預(yù)測(cè)值。檢測(cè)的卷積模型對(duì)于每個(gè)特征層是不同的，這些層預(yù)測(cè)了不同尺寸和寬高比對(duì)默認(rèn)框偏移及其相關(guān)置信度。

2)檢測(cè)的卷積預(yù)測(cè)器：每個(gè)添加的特征層可以使用一組卷積濾波器產(chǎn)生固定的預(yù)測(cè)集合。對(duì)于具有p個(gè)通道的大小為m×n的特征層，使用3×3×p的卷積核進(jìn)行操作，產(chǎn)生類別的分?jǐn)?shù)或相對(duì)于默認(rèn)框的坐標(biāo)偏移。

3)默認(rèn)框與寬高比：將一組默認(rèn)邊界框與頂層網(wǎng)絡(luò)每個(gè)特征圖單元關(guān)聯(lián)。默認(rèn)框?qū)μ卣鲌D作卷積運(yùn)算，使得每個(gè)框?qū)嵗鄬?duì)于其對(duì)應(yīng)單元格的位置是固定的，在每個(gè)特征映射單元中，預(yù)測(cè)相對(duì)于單元格中的默認(rèn)框形狀的偏移，以及每個(gè)框中實(shí)例的每類分?jǐn)?shù)。默認(rèn)框類似于Faster-RCNN中使用的anchor boxes，但SSD將其應(yīng)用于不同分辨率的特征圖中。在多個(gè)特征圖中使用不同的默認(rèn)框形狀，可以有效離散可能的輸出框形狀空間。

3.2 KCF算法原理

(1)

式中，λ用于控制系統(tǒng)的結(jié)構(gòu)復(fù)雜性，即VC維以保證分類器的泛化性能，對(duì)式1進(jìn)行最小二乘法求解得：

ω=(XHX+λ)-1XHy

(2)

在KCF算法中，訓(xùn)練樣本和測(cè)試樣本都是由基礎(chǔ)樣本xi=(xi1,xi2,…,xin)產(chǎn)生的循環(huán)矩陣Xi構(gòu)成的，即：

(3)

Xi可以通過(guò)離散傅里葉矩陣F得到。

(4)

(5)

(6)

(7)

(8)

圖像序列中，對(duì)于目標(biāo)發(fā)生變化或者存在部分遮擋時(shí)，會(huì)造成嚴(yán)重的漏檢現(xiàn)象，如果僅使用單一的檢測(cè)算法，將無(wú)法克服此種情況的發(fā)生。KCF是快速目標(biāo)跟蹤算法，故本文目標(biāo)跟蹤模型SSD進(jìn)行模型更新，利用模型檢測(cè)到第1幀目標(biāo)邊界框之后啟動(dòng)KCF進(jìn)行目標(biāo)跟蹤，為了避免跟蹤的丟失，重新更新為檢測(cè)模型。因此，KCF算法起到的作用是：1)加強(qiáng)圖像序列中目標(biāo)檢測(cè)對(duì)姿態(tài)、角度等變化；2)在DTD模型中起到鏈接和加速的作用，提高了整個(gè)系統(tǒng)的檢測(cè)速度。

4 試驗(yàn)與結(jié)果分析

測(cè)試數(shù)據(jù)集由兩部分組成：1)使用目標(biāo)跟蹤數(shù)據(jù)集VOT2017[10]中的長(zhǎng)時(shí)間目標(biāo)跟蹤序列；2)在自建的10段動(dòng)態(tài)圖像序列上進(jìn)行目標(biāo)檢測(cè)與跟蹤，使用的評(píng)估指標(biāo)為準(zhǔn)確率和速率。

首先，利用訓(xùn)練好的模型遷移到檢測(cè)網(wǎng)絡(luò)中進(jìn)行邊界框回歸和分類回歸的微調(diào)。選擇5種寬高比的默認(rèn)框，分別為1.0、2.0、3.0、0.5和0.33，并且設(shè)定默認(rèn)框的最大尺度為0.95，最小尺度為0.2。6層卷積特征中每一個(gè)特征單元的默認(rèn)框個(gè)數(shù)分別為4、6、6、6、6、6。訓(xùn)練過(guò)程中，IOU在[0.5, 1]區(qū)間內(nèi)的為正樣本，在(0.2, 0.5)區(qū)間內(nèi)的為負(fù)樣本，在[0, 0.2]區(qū)間內(nèi)的作為難例。另外，本文的學(xué)習(xí)率是初始化為0.1的指數(shù)衰減的學(xué)習(xí)率，并且隨機(jī)初始化權(quán)值和偏置項(xiàng)。KCF跟蹤器中正則化系數(shù)為0.000 1，目標(biāo)物體向外padding的倍數(shù)為2.5倍，高斯目標(biāo)的帶寬系數(shù)為0.125，提取圖像的特征為hog特征并且采用多尺度的方式。時(shí)間閾值設(shè)定為每50幀進(jìn)行一次更新。VOT2017測(cè)試結(jié)果如圖5所示。

圖5 VOT2017測(cè)試結(jié)果

利用自建的10段動(dòng)態(tài)圖像序列(每段圖像序列時(shí)間均大于10 min，頻率為30 Hz，即每段序列均大于18 000張)來(lái)測(cè)試模型的性能，GPU選用GTX1070ti，顯然，SSD-KCF模型對(duì)于動(dòng)態(tài)圖像中序列的角度變化、遮擋等情況下具有較好的檢測(cè)功能，同時(shí)，SSD-KCF模型具有更高的速率，速率可達(dá)到150 fps以上。10段自建動(dòng)態(tài)序列的平均準(zhǔn)確率分別為95.74%、96.38%、92.88%、88.98%、94.32%、96.45%、91.78%、90.88%、91.27%和93.88%(見(jiàn)表1)。

表1 SSD-KCF統(tǒng)計(jì)物體檢測(cè)與跟蹤準(zhǔn)確率與速率

某一段對(duì)于人頭的檢測(cè)以及跟蹤動(dòng)態(tài)顯示結(jié)果如圖6所示。

圖6 SSD-KCF對(duì)于人頭的檢測(cè)與跟蹤

5 結(jié)語(yǔ)

本文結(jié)合目標(biāo)檢測(cè)算法SSD網(wǎng)絡(luò)和快速跟蹤模型KCF提出了一種新的DTD模式，即SSD-KCF目標(biāo)檢測(cè)與跟蹤模型。綜合了SSD網(wǎng)絡(luò)在目標(biāo)檢測(cè)任務(wù)中的高準(zhǔn)確率和高召回率，以及KCF算法的高速率，同時(shí)提出了時(shí)間閾值處理機(jī)制和異常峰值處理機(jī)制，對(duì)跟蹤過(guò)程中的錯(cuò)誤跟蹤進(jìn)行及時(shí)規(guī)避，能夠?qū)崟r(shí)、快速、穩(wěn)定地檢測(cè)出動(dòng)態(tài)圖像序列中變化角度較大、遮擋較為嚴(yán)重的目標(biāo)。因此，對(duì)智能瞄具等嵌入式機(jī)器視覺(jué)強(qiáng)調(diào)實(shí)時(shí)性的應(yīng)用場(chǎng)合具有較高的參考意義。