汪 丁， 黃 葵，朱興動(dòng)，范加利，王 正

(1.海軍航空大學(xué)青島校區(qū)， 山東 青島 266041；2.海軍航空大學(xué)，山東 煙臺(tái) 264001)

1 引言

航母作為艦載機(jī)出動(dòng)回收及保障的重要平臺(tái)，艦面目標(biāo)的管理和安全問題一直受到高度的關(guān)注。根據(jù)美國(guó)海軍艦艇事故數(shù)據(jù)的分析結(jié)果，艦面因其復(fù)雜環(huán)境成為事故的高發(fā)區(qū)，造成大量人員傷亡和設(shè)備損壞，事故達(dá)到占比的55%。因此，如何通過可靠的技術(shù)手段來對(duì)甲板調(diào)度和轉(zhuǎn)運(yùn)過程中的艦面目標(biāo)進(jìn)行監(jiān)測(cè)和定位，成為亟須解決的難題。同時(shí)，艦面目標(biāo)的定位也是艦面位置感知的重要數(shù)據(jù)來源，將為整個(gè)調(diào)運(yùn)流程和路徑規(guī)劃提供信息支撐，是艦面感知技術(shù)重要發(fā)展方向之一。

目標(biāo)定位方法的研究是各行業(yè)的熱點(diǎn)問題。當(dāng)前主要的定位方法有激光雷達(dá)、毫米波雷達(dá)等雷達(dá)類，單目視覺、雙目視覺、多目視覺等視覺類，以及GPS等傳感器類。但受限于艦面裝備構(gòu)型限制和電磁環(huán)境的要求，部分成熟的定位技術(shù)無法使用。機(jī)器視覺的不斷成熟，使視覺類方案成為最優(yōu)的選擇之一。相比于多目視覺，單目視覺使用的位置固定攝像頭更加簡(jiǎn)單可靠，利用單目視覺定位可以為定位提供足夠的硬件支撐，已經(jīng)廣泛應(yīng)用在各領(lǐng)域。在關(guān)鍵點(diǎn)定位方法上，國(guó)內(nèi)外已經(jīng)開展了相關(guān)的研究及試驗(yàn)。Johnton等提出了艦面可持續(xù)監(jiān)控系統(tǒng)，利用艦載機(jī)機(jī)翼兩側(cè)的GPS進(jìn)行差分定位和記錄運(yùn)動(dòng)軌跡，對(duì)艦載機(jī)實(shí)現(xiàn)持續(xù)性的監(jiān)控。Davis B J等提出了基于機(jī)器視覺的艦載機(jī)定位方法，通過采集圖像的邊緣與模板進(jìn)行匹配，從而來評(píng)估艦載機(jī)所處的位置。隨著計(jì)算機(jī)神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，深度學(xué)習(xí)技術(shù)在這一領(lǐng)域的應(yīng)用日趨廣泛，基于深度學(xué)習(xí)的機(jī)器視覺應(yīng)用效果得到了各方驗(yàn)證。田少兵等實(shí)現(xiàn)了艦載機(jī)的目標(biāo)檢測(cè)及跟蹤，并對(duì)人體骨骼關(guān)鍵點(diǎn)檢測(cè)在艦載機(jī)上的應(yīng)用也開展了相關(guān)研究。但目前的關(guān)鍵點(diǎn)檢測(cè)方法所適用的艦面目標(biāo)較為單一，尤其是對(duì)于出現(xiàn)自我遮擋的關(guān)鍵點(diǎn)無法實(shí)現(xiàn)檢測(cè)及定位。

本文針對(duì)上述定位方法的局限性，融合目標(biāo)檢測(cè)、關(guān)鍵點(diǎn)檢測(cè)以及目標(biāo)模型，提出了一種局部遮擋情況下基于目標(biāo)匹配的艦面目標(biāo)關(guān)鍵點(diǎn)定位方法，利用目標(biāo)檢測(cè)方法識(shí)別模型后通過坐標(biāo)解算來實(shí)現(xiàn)遮擋點(diǎn)的定位，對(duì)輪廓點(diǎn)的定位可以對(duì)后續(xù)目標(biāo)之間的碰撞檢測(cè)提供支撐。

2 原理分析

在機(jī)器視覺領(lǐng)域，目標(biāo)檢測(cè)的準(zhǔn)確率和速率隨著神經(jīng)網(wǎng)絡(luò)和硬件設(shè)備的發(fā)展都有了巨大的提升，但其能力因?yàn)殡s波、遮擋、光照等因素卻始終與人類有著不小的差距，遮擋便是其中一個(gè)難點(diǎn)問題。目標(biāo)檢測(cè)中的遮擋問題按照遮擋方式可以大致分為兩類，一類是由于非目標(biāo)造成的遮擋，另一類是檢測(cè)目標(biāo)造成的遮擋。神經(jīng)網(wǎng)絡(luò)在對(duì)存在遮擋的目標(biāo)進(jìn)行檢測(cè)時(shí)準(zhǔn)確率會(huì)有所下降，且遮擋物體的檢測(cè)目前仍沒有與之對(duì)應(yīng)的數(shù)據(jù)集，但可以在目標(biāo)檢測(cè)時(shí)通過數(shù)據(jù)增強(qiáng)、非極大抑制等方法強(qiáng)化神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)局部特征的識(shí)別與篩查能力以實(shí)現(xiàn)對(duì)被遮擋物體的檢測(cè)。

由于目標(biāo)的不規(guī)則輪廓邊界以及甲板狹窄的活動(dòng)空間限制，僅僅依靠目標(biāo)檢測(cè)的方框來描述目標(biāo)輪廓信息無法達(dá)到實(shí)際要求的精度，在安全距離時(shí)容易出現(xiàn)誤報(bào)警，所以需要更加精確的目標(biāo)輪廓點(diǎn)坐標(biāo)來判斷兩者的安全狀態(tài)，如圖1所示。相比于目標(biāo)檢測(cè)中的遮擋，關(guān)鍵點(diǎn)檢測(cè)中的遮擋問題表現(xiàn)的更為突出。對(duì)于被遮擋的關(guān)鍵點(diǎn)，其特征將無法在圖片像素中表現(xiàn)，從而導(dǎo)致無法進(jìn)行標(biāo)注訓(xùn)練以及檢測(cè)定位。關(guān)鍵點(diǎn)遮擋方式同樣可以分為兩類，一類是其他物體引起的遮擋，另一類是自身空間結(jié)構(gòu)造成的自遮擋或隱蔽點(diǎn)。在人臉檢測(cè)中關(guān)鍵點(diǎn)中典型的遮擋被當(dāng)作隨機(jī)非結(jié)構(gòu)的噪聲源，其問題是對(duì)遮擋點(diǎn)如何進(jìn)行檢測(cè)以及對(duì)大角度人臉點(diǎn)位置預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性。Ghiasi,G通過用大量合成遮擋物來拓展正訓(xùn)練樣本，從而訓(xùn)練得到一個(gè)虛擬的正樣本模型。這種方式可以解決一定角度情況下的遮擋問題，但無法解決自身遮擋以及超大角度的遮擋等問題。

圖1 檢測(cè)框與關(guān)鍵點(diǎn)定位效果示意圖

從人類識(shí)別物體的方法來類比，主要區(qū)別在于人類對(duì)于目標(biāo)先有認(rèn)知，在大腦記憶中提前存儲(chǔ)了目標(biāo)物體的模型，便可以通過模型來進(jìn)行畫面補(bǔ)償。通過對(duì)艦面目標(biāo)進(jìn)行分析，目前需要進(jìn)行關(guān)鍵點(diǎn)檢測(cè)的目標(biāo)空間幾何關(guān)系相對(duì)固定，即它們的一個(gè)特征點(diǎn)可以用他們自身的空間幾何關(guān)系來表示。當(dāng)輪廓點(diǎn)存在遮擋嚴(yán)重的情況下，設(shè)置一套檢測(cè)點(diǎn)與一套輪廓關(guān)鍵點(diǎn)，利用檢測(cè)點(diǎn)的結(jié)果進(jìn)行坐標(biāo)解算來實(shí)現(xiàn)輪廓關(guān)鍵點(diǎn)以及遮擋點(diǎn)的定位。

本研究中采用自上而下的關(guān)鍵點(diǎn)檢測(cè)方法，通過多目標(biāo)檢測(cè)方法獲取到目標(biāo)的類型，然后根據(jù)目標(biāo)類型將匹配的目標(biāo)圖像送入關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)并進(jìn)行單應(yīng)轉(zhuǎn)換，將關(guān)鍵點(diǎn)檢測(cè)的結(jié)果通過坐標(biāo)解算以實(shí)現(xiàn)遮擋關(guān)鍵點(diǎn)的定位或修正，具體流程如圖2所示。

圖2 輪廓關(guān)鍵點(diǎn)定位流程示意圖

3 多目標(biāo)檢測(cè)方法

3.1 YOLOv3介紹

目標(biāo)匹配是進(jìn)行關(guān)鍵點(diǎn)檢測(cè)的先要條件，因此需要對(duì)檢測(cè)的目標(biāo)進(jìn)行分類并獲取其像素范圍。計(jì)算機(jī)視覺的中心問題是如何從圖像中解析出計(jì)算機(jī)需要的信息，主要可以分為圖像分類、目標(biāo)檢測(cè)以及圖像語義分割三大任務(wù)。因此在目標(biāo)匹配階段需要進(jìn)行目標(biāo)檢測(cè)和圖像分類操作，來獲取目標(biāo)的類型以及位置信息。圖像分類是解決圖片中存在目標(biāo)歸屬類別的問題，而目標(biāo)檢測(cè)還需要解決目標(biāo)在圖像中的位置問題。傳統(tǒng)的檢測(cè)方法是通過對(duì)目標(biāo)手工設(shè)計(jì)特征，然后通過模板窗口滑動(dòng)來完成目標(biāo)特征的匹配，并利用分類器進(jìn)行目標(biāo)類別的確定。但隨著近年神經(jīng)網(wǎng)絡(luò)的深入發(fā)展，基于深度學(xué)習(xí)的檢測(cè)高速有效，已經(jīng)成為目標(biāo)檢測(cè)新的發(fā)展方向?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)主要可以分為兩大類，一種是基于候選框的兩步檢測(cè)網(wǎng)絡(luò)，例如R-CNN系列算法，其具有較高的精準(zhǔn)度，但檢測(cè)速度較低。另一類是基于回歸的端對(duì)端的目標(biāo)檢測(cè)網(wǎng)絡(luò)，例如YOLO系列和SSD系列，其精確度不如R-CNN系列，但是在檢測(cè)速度上提升顯著。本文中目標(biāo)匹配可以進(jìn)行目標(biāo)圖像的擴(kuò)大框選，對(duì)實(shí)時(shí)性的要求高于準(zhǔn)確率。在檢測(cè)效果滿足需求的情況下，為保證目標(biāo)檢測(cè)算法與關(guān)鍵點(diǎn)檢測(cè)算法深度學(xué)習(xí)框架環(huán)境的一致性，采用相對(duì)可靠的YOLOv3算法對(duì)多類目標(biāo)進(jìn)行檢測(cè)。

YOLOv3網(wǎng)絡(luò)的檢測(cè)流程如圖3所示，將輸入圖像縮放或填充為大小為416×416的圖像，以防止目標(biāo)產(chǎn)生變形。然后將其劃分為13×13、26×26及52×52三種不同尺度大小的網(wǎng)格，利用不同規(guī)格的網(wǎng)格以實(shí)現(xiàn)對(duì)不同尺度目標(biāo)的檢測(cè)。

(1)

圖3 YOLOv3目標(biāo)檢測(cè)流程示意圖

圖4 IoU計(jì)算示意圖

在輸出結(jié)果時(shí)，利用非極大抑制算法對(duì)預(yù)測(cè)結(jié)果進(jìn)行篩選，對(duì)每一個(gè)預(yù)測(cè)中心僅保留置信最高的唯一候選框作為最終的目標(biāo)檢測(cè)框，并在圖像上繪制出目標(biāo)的預(yù)測(cè)框。

3.2 非極大抑制算法改進(jìn)

在艦面目標(biāo)較多的情況下，目標(biāo)檢測(cè)的遮擋問題依然凸顯，主要體現(xiàn)在檢測(cè)目標(biāo)之間的相互遮擋。YOLOv3算法在檢測(cè)框在輸出時(shí)用的是傳統(tǒng)的非極大抑制(Non-maximum Suppression,NMS)方法，在檢測(cè)框抑制上存在一定的限制。因?yàn)闄z測(cè)框的置信度分布連續(xù)，固定的閾值難以將負(fù)樣本與遮擋目標(biāo)區(qū)分開，當(dāng)存在被遮擋物體時(shí)，算法會(huì)識(shí)別其為重疊框并將其置信度歸零，導(dǎo)致其無法檢測(cè)出，如式(2)所示。針對(duì)艦面的特點(diǎn)，采用Soft-NMS算法，在該算法中，將單位階躍函數(shù)替換為連續(xù)的高斯函數(shù)

(2)

(3)

其中：表示當(dāng)前檢測(cè)框的得分；(,)為的閾值；為得分最高的檢測(cè)框；表示當(dāng)前檢測(cè)框；為人工設(shè)定的閾值。

Soft-NMS方法會(huì)隨著值的增大而加大對(duì)得分懲罰力度，在多輪的映射中重疊框因?yàn)橹递^大而被不斷懲罰，而與遮擋物的得分不斷拉開，使正負(fù)樣本的分布區(qū)間分開，因而利用一個(gè)合適的閾值就可以進(jìn)行篩選出遮擋物。在對(duì)閾值設(shè)定時(shí)，通過統(tǒng)計(jì)正樣本和負(fù)樣本的置信度的正態(tài)分布情況，計(jì)算其在(-3，3)區(qū)間的分布，在正負(fù)樣本3區(qū)間外選定閾值=0.5，從而保證閾值的有效性，如圖5所示。

圖5 正樣本與負(fù)樣本的分布曲線

4 關(guān)鍵點(diǎn)檢測(cè)與定位

4.1 關(guān)鍵點(diǎn)檢測(cè)介紹

關(guān)鍵點(diǎn)檢測(cè)方法早期用于描述人體姿態(tài)，可以實(shí)現(xiàn)人體動(dòng)作分類、異常行為檢測(cè)等。近年隨著深度學(xué)習(xí)的發(fā)展檢測(cè)效果不斷提升，已經(jīng)開始廣泛應(yīng)用于機(jī)器視覺的相關(guān)領(lǐng)域?；谏疃葘W(xué)習(xí)的關(guān)鍵點(diǎn)檢測(cè)方法有兩條路線，自上而下(Top-Down)的檢測(cè)方法和自下而上(Bottom-Up)的檢測(cè)方法。自上而下的方法首先通過目標(biāo)檢測(cè)算法實(shí)現(xiàn)目標(biāo)的分類和圖像框選，然后在檢測(cè)的基礎(chǔ)上進(jìn)行單個(gè)人體關(guān)鍵點(diǎn)的檢測(cè)。自下而上的方法是對(duì)圖像中所有的關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，然后通過一定的策略將所有的關(guān)鍵點(diǎn)都聚類成不同的個(gè)體進(jìn)行識(shí)別，在檢測(cè)效果上略遜于自上而下的方法。

本文中采用Bin Xiao等的SimplePose Baselines方法搭建關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)，SimplePose Baselines采用一種single-stage網(wǎng)絡(luò)結(jié)構(gòu)，取消了Hourglass網(wǎng)絡(luò)和CPN網(wǎng)絡(luò)中的金字塔結(jié)構(gòu)，直接由Resnet和3個(gè)反卷積模塊組成，在網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單的同時(shí)具有更好的效果，如圖6所示。首先通過Resnet50特征提取網(wǎng)絡(luò)圖像特征信息，并通過3個(gè)反卷積模塊提升輸出Feature Map的尺寸，配合一個(gè)1×1卷積輸出7張熱力圖，其中反卷積模塊實(shí)際上是將反卷積層(Transpose Convolution)、批歸一化(Batch Normalization)以及ReLU激活函數(shù)封裝成一個(gè)結(jié)構(gòu)。每一張Heatmap對(duì)應(yīng)一個(gè)關(guān)鍵點(diǎn)，熱力圖的表示每個(gè)像素存在的關(guān)鍵點(diǎn)的概率大小，其中概率最大的點(diǎn)便是關(guān)鍵點(diǎn)所在坐標(biāo)，兩型艦載飛機(jī)關(guān)鍵點(diǎn)的熱力圖如圖7所示。

圖6 關(guān)鍵點(diǎn)檢測(cè)神經(jīng)網(wǎng)絡(luò)圖

圖7 艦載飛機(jī)熱力圖

在關(guān)鍵點(diǎn)的檢測(cè)上，艦載機(jī)遮擋較少，因此可以直接使用輪廓關(guān)鍵點(diǎn)進(jìn)行檢測(cè)與定位。但對(duì)于自遮擋嚴(yán)重的艦載直升機(jī)，將關(guān)鍵點(diǎn)分為兩類，一類是在同一平面的藍(lán)色檢測(cè)點(diǎn)，一類是直升機(jī)輪廓的紅色關(guān)鍵點(diǎn)，某一角度下的非遮擋點(diǎn)與遮擋點(diǎn)如圖8所示。在側(cè)面視角下自身的關(guān)鍵點(diǎn)由于自遮擋而導(dǎo)致無法檢測(cè)，因此利用直升機(jī)上層同一平面且視野較好的藍(lán)色關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，后通過直升機(jī)的空間結(jié)構(gòu)對(duì)輪廓上的紅色關(guān)鍵點(diǎn)進(jìn)行坐標(biāo)解算以實(shí)現(xiàn)定位，同時(shí)可以對(duì)艦載機(jī)輪廓檢測(cè)中出現(xiàn)的異常關(guān)鍵點(diǎn)進(jìn)行補(bǔ)償，以便于提高定算法的定位性能。

圖8 檢測(cè)點(diǎn)與輪廓關(guān)鍵點(diǎn)示意圖

4.2 相機(jī)標(biāo)定及單應(yīng)陣變換

為了利用艦載飛機(jī)的空間幾何特征，首先需要將圖像中的像素點(diǎn)與世界坐標(biāo)系中的坐標(biāo)點(diǎn)聯(lián)系起來。由于相機(jī)、艦面以及飛機(jī)關(guān)鍵點(diǎn)的高度關(guān)系相對(duì)固定，通過單目視覺測(cè)量技術(shù)將目標(biāo)的像素坐標(biāo)還原成世界坐標(biāo)系下的真實(shí)坐標(biāo)，以通過艦載飛機(jī)的真實(shí)模型來進(jìn)行坐標(biāo)解算，得到艦面目標(biāo)平面與相機(jī)平面的映射關(guān)系。攝像機(jī)成像模型(見圖9)由像素坐標(biāo)系(,)圖像坐標(biāo)系(,)相機(jī)坐標(biāo)系(,,)和世界坐標(biāo)系(,,)四個(gè)坐標(biāo)系組成。

圖9 攝像機(jī)成像模型示意圖

數(shù)字化圖像信號(hào)都是以像素點(diǎn)的形式表示，像素坐標(biāo)系表示目標(biāo)像素點(diǎn)與圖像左上角像素點(diǎn)的相對(duì)位置；不同的相機(jī)由于分辨率不同，同一物理尺寸對(duì)應(yīng)像素往往不同，圖像坐標(biāo)系的坐標(biāo)表示的是像素點(diǎn)在圖像中的物理尺寸位置；攝像機(jī)坐標(biāo)系通常以攝像機(jī)的光心與成像平面所組成的，而攝像機(jī)坐標(biāo)系通過平移和旋轉(zhuǎn)向量(+)便可以得到世界坐標(biāo)系。聯(lián)立4個(gè)坐標(biāo)系的轉(zhuǎn)換關(guān)系，得到像素坐標(biāo)系下到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系

(4)

其中：(,)為像素坐標(biāo)系下的坐標(biāo)；為攝像機(jī)模型的內(nèi)參矩陣；[]為攝像機(jī)外參模型矩陣；(,,)為世界坐標(biāo)系下的坐標(biāo)。

攝像機(jī)的內(nèi)參包括攝像機(jī)本身的焦距、畸變等參數(shù)，而外參反映了世界坐標(biāo)原點(diǎn)與相機(jī)的位置關(guān)系。通過張正友標(biāo)定方法獲取相機(jī)的內(nèi)外參數(shù)，計(jì)算獲得一個(gè)3×4的投影矩陣，即得到了像素坐標(biāo)系和世界坐標(biāo)系的單應(yīng)性矩陣。根據(jù)上文關(guān)鍵點(diǎn)的設(shè)定，艦載機(jī)與直升機(jī)的檢測(cè)點(diǎn)都大致位于同一個(gè)平面，因而可以令=0，所以像素坐標(biāo)點(diǎn)與世界坐標(biāo)點(diǎn)的映射關(guān)系可以變?yōu)?/p>

(5)

通過相機(jī)標(biāo)定獲得單應(yīng)陣，得到了艦載飛機(jī)關(guān)鍵點(diǎn)所在平面與圖像平面的映射關(guān)系，從而獲得圖像中關(guān)鍵點(diǎn)在現(xiàn)實(shí)模型中的平面位置關(guān)系。

4.3 基于模型的坐標(biāo)解算方法

通過多目標(biāo)檢測(cè)方法可以獲得檢測(cè)目標(biāo)的類型，而通過單應(yīng)陣可以在獲得目標(biāo)世界坐標(biāo)系下的坐標(biāo)。在存在遮擋的情況下，可以結(jié)合目標(biāo)模型的空間幾何關(guān)系來實(shí)現(xiàn)遮擋點(diǎn)的定位。通過幾何約束關(guān)系進(jìn)行關(guān)鍵點(diǎn)定位，相比于直接從2D圖像中提取目標(biāo)的特征，不僅精度更高，而且對(duì)于光照變化具有更好的魯棒性。在利用檢測(cè)出的關(guān)鍵點(diǎn)解算輪廓關(guān)鍵點(diǎn)時(shí)，難點(diǎn)問題便是如何選定用于解算的關(guān)鍵點(diǎn)。如果僅僅依靠檢測(cè)出的某一個(gè)關(guān)鍵點(diǎn)進(jìn)行解算整個(gè)輪廓的精確度將依賴于該點(diǎn)的準(zhǔn)確度，會(huì)導(dǎo)致局部誤差擴(kuò)散至全局誤差。

針對(duì)解算點(diǎn)的選擇與誤差問題設(shè)計(jì)了一套坐標(biāo)解算方法，流程如圖10所示。算法主要步驟通過設(shè)計(jì)的損失函數(shù)依次選擇飛機(jī)最優(yōu)的檢測(cè)點(diǎn)以及輪廓關(guān)鍵點(diǎn)最優(yōu)的橫縱坐標(biāo)，實(shí)現(xiàn)過程的偽代碼如下：

圖10 坐標(biāo)解算流程框圖

在第一步從關(guān)鍵點(diǎn)網(wǎng)絡(luò)輸出中獲取目標(biāo)的類型、坐標(biāo)以及置信度等信息，將置信度較低的點(diǎn)篩除，因其像素坐標(biāo)本身可能存隨機(jī)在誤差，無法作為可靠點(diǎn)使用。在置信度的閾值設(shè)定上，通過多次實(shí)驗(yàn)進(jìn)行測(cè)試，發(fā)現(xiàn)閾值在0.83時(shí)能夠?qū)Φ椭眯哦赛c(diǎn)進(jìn)行剔除且保證有足夠的高置信度點(diǎn)參與后續(xù)解算。

在第二步中依次用各個(gè)關(guān)鍵點(diǎn)通過目標(biāo)上關(guān)鍵點(diǎn)的幾何關(guān)系去解算其余點(diǎn)的坐標(biāo)，并將解算點(diǎn)與檢測(cè)點(diǎn)的距離記為誤差，設(shè)置一個(gè)損失函數(shù)來計(jì)算各點(diǎn)解算后的總誤差，如公式(6)所示。同時(shí)，對(duì)于艦載機(jī)和直升機(jī)，分別采用兩套關(guān)鍵點(diǎn)計(jì)算航向角，利用2種角度解算關(guān)鍵點(diǎn)所產(chǎn)生的損失誤差總和來評(píng)價(jià)航向角的優(yōu)劣，并將誤差較小者記為航向角。

(6)

其中：為用來進(jìn)行解算的點(diǎn)；為解算出的點(diǎn)；表示網(wǎng)絡(luò)檢測(cè)出的橫坐標(biāo)；表示網(wǎng)絡(luò)檢測(cè)出的縱坐標(biāo)。

通過損失函數(shù)可以計(jì)算得到各個(gè)點(diǎn)進(jìn)行解算時(shí)的總誤差，然后對(duì)誤差偏離較大的點(diǎn)進(jìn)行剔除。本文中采用格拉布斯(Grubbs)準(zhǔn)則來剔除異常值，格拉布斯準(zhǔn)則在剔除數(shù)據(jù)時(shí)會(huì)剔除數(shù)據(jù)集中偏離較遠(yuǎn)的數(shù)據(jù)，可以減少異常點(diǎn)對(duì)總體輪廓點(diǎn)的影響。在對(duì)誤差進(jìn)行剔除時(shí)，取消了計(jì)算偏差值時(shí)絕對(duì)值操作，使其能夠?qū)崿F(xiàn)異常數(shù)據(jù)的最大值剔除，并通過設(shè)定顯著水平來實(shí)現(xiàn)剔除閾值的控制。在個(gè)數(shù)據(jù)中，將第個(gè)數(shù)據(jù)的殘差與標(biāo)準(zhǔn)差的比值記為偏離度，當(dāng)偏離度大于臨界值時(shí)，將該點(diǎn)數(shù)據(jù)剔除，重復(fù)該過程直至所有數(shù)據(jù)偏差都符合要求

(7)

其中：作為數(shù)據(jù)列表；(,)為格拉布斯準(zhǔn)則的臨界表值；為顯著水平；為數(shù)據(jù)量。

在第三步，關(guān)鍵點(diǎn)檢測(cè)的結(jié)果通過篩除低置信度點(diǎn)和異常點(diǎn)后，再次利用目標(biāo)的幾何關(guān)系，每一個(gè)可靠點(diǎn)解算一組橫坐標(biāo)和一組縱坐標(biāo)，同樣采取格拉布斯準(zhǔn)則的雙邊剔除分別除去橫坐標(biāo)和縱坐標(biāo)中的異常值，并將橫縱坐標(biāo)按照其置信度進(jìn)行加權(quán)求和得到輪廓關(guān)鍵點(diǎn)或者篩除點(diǎn)的坐標(biāo)。通過坐標(biāo)解算方法，不僅可以通過檢測(cè)點(diǎn)來對(duì)輪廓關(guān)鍵點(diǎn)進(jìn)行定位，還可以對(duì)置信度低的點(diǎn)以及誤差較大的異常檢測(cè)點(diǎn)進(jìn)行篩除后通過模型解算進(jìn)行補(bǔ)償，以實(shí)現(xiàn)對(duì)輪廓關(guān)鍵點(diǎn)較高精度的定位。

5 試驗(yàn)與結(jié)果分析

5.1 試驗(yàn)設(shè)備及工具

本試驗(yàn)環(huán)境根據(jù)等比目標(biāo)模型進(jìn)行搭建，盡可能還原真實(shí)場(chǎng)景。試驗(yàn)采集了2 000張不同角度和狀態(tài)下艦面目標(biāo)的圖像，訓(xùn)練集、驗(yàn)證集以及測(cè)試集的比例為6∶2∶2。通LabelImg對(duì)目標(biāo)檢測(cè)的圖像進(jìn)行標(biāo)注生成PASCAL VOC格式的數(shù)據(jù)集，用于目標(biāo)檢測(cè)網(wǎng)絡(luò)的訓(xùn)練。然后通過自己編寫的關(guān)鍵點(diǎn)標(biāo)注工具對(duì)各目標(biāo)關(guān)鍵點(diǎn)進(jìn)行標(biāo)注得到 COCO格式的數(shù)據(jù)集，用于關(guān)鍵點(diǎn)檢測(cè)網(wǎng)絡(luò)模型的訓(xùn)練。網(wǎng)絡(luò)訓(xùn)練的環(huán)境及配置信息如表1所示。

表1 試驗(yàn)環(huán)境配置信息

5.2 評(píng)價(jià)指標(biāo)及性能

目標(biāo)檢測(cè)算法的平均準(zhǔn)確率均值(mean Average Precision， mAP)是一種目標(biāo)檢測(cè)任務(wù)的評(píng)價(jià)方法，通常將準(zhǔn)確率和召回率所形成的PR(Precision-Recall)所圍成的最大面積作為最優(yōu)解，而圍成的面積便用AP來衡量，而所有類的AP的均值就是mAP

(8)

對(duì)于關(guān)鍵點(diǎn)算法的評(píng)價(jià)，通常采用關(guān)鍵點(diǎn)相似度(object keypoint similarity，)作為分段標(biāo)準(zhǔn)，計(jì)算取0.5,0.55,…,0.9,0.95時(shí)檢測(cè)準(zhǔn)確率的均值

(9)

其平均準(zhǔn)確率(Average Precision，)定義在閾值下艦載飛機(jī)關(guān)鍵點(diǎn)在整個(gè)測(cè)試集上的平均準(zhǔn)確率

(10)

最后用不同閾值下的平均準(zhǔn)確率均值(mean Average Precision，)來描述算法的性能

={@(0.50∶0.05∶0.95)}

(11)

幀率(Frames Per Second，)是每秒鐘定位圖片的數(shù)量，用來表示算法的實(shí)時(shí)性。

經(jīng)過訓(xùn)練和測(cè)試，算法性能如表2所示，多目標(biāo)檢測(cè)效果和關(guān)鍵點(diǎn)檢測(cè)示意圖分別如圖11和圖12所示。

表2 算法性能

圖11 多目標(biāo)檢測(cè)效果圖

圖12 關(guān)鍵點(diǎn)檢測(cè)示意圖

5.3 定位精度分析

為了驗(yàn)證本文中方法的定位性能，在實(shí)驗(yàn)室環(huán)境下利用等比模型開展了相關(guān)試驗(yàn)。

試驗(yàn)設(shè)備包括單目相機(jī)、支架、標(biāo)定板(50cm×50cm)、直尺以及兩型艦載飛機(jī)模型，如圖所示13所示，試驗(yàn)步驟如下：

圖13 定位精度試驗(yàn)示意圖

1將標(biāo)定板平放于地面并固定，調(diào)整相機(jī)角度及鏡頭，使整個(gè)標(biāo)定板位于相機(jī)視野內(nèi)。

2依次將兩型艦載飛機(jī)放于標(biāo)定板表面，在標(biāo)定板上對(duì)飛機(jī)輪廓關(guān)鍵點(diǎn)的真實(shí)位置進(jìn)行測(cè)量記錄。

3取消標(biāo)定板固定后采集15～20張不同角度的標(biāo)定板圖像，并將第一張用于計(jì)算外參，利用張正友標(biāo)定法計(jì)算內(nèi)外參，得到像素坐標(biāo)與標(biāo)定板坐標(biāo)的單應(yīng)陣。

4用飛機(jī)平面一點(diǎn)的真實(shí)值和像素值對(duì)單應(yīng)陣進(jìn)行校正，得到飛機(jī)所在平面的單應(yīng)陣。

5對(duì)飛機(jī)輪廓關(guān)鍵點(diǎn)的真實(shí)坐標(biāo)和解算坐標(biāo)進(jìn)行對(duì)比和誤差計(jì)算，分析定位性能。在試驗(yàn)中，對(duì)關(guān)鍵點(diǎn)檢測(cè)結(jié)果加入隨機(jī)噪聲以模擬環(huán)境干擾，以檢驗(yàn)算法的魯棒性。

按照試驗(yàn)步驟完成方法定位精度分析試驗(yàn)，以及直升機(jī)為例進(jìn)行了多次定位精度分析試驗(yàn)。表3 為定位精度試驗(yàn)坐標(biāo)解算結(jié)果。直升機(jī)模型真實(shí)六點(diǎn)輪廓坐標(biāo)依次為(50,250)(169,218)(212,219)(348,255)(213,282)(168,281)。

表3 定位精度試驗(yàn)坐標(biāo)解算結(jié)果

在試驗(yàn)中，分別利用直升機(jī)7個(gè)檢測(cè)點(diǎn)進(jìn)行單點(diǎn)解算和本文中的算法進(jìn)行坐標(biāo)解算進(jìn)行對(duì)比，共獲得8組6個(gè)輪廓關(guān)鍵點(diǎn)的坐標(biāo),并計(jì)算各組坐標(biāo)與真實(shí)橫縱坐標(biāo)差值的均值以及利用單點(diǎn)解算的誤差波動(dòng)，取一次試驗(yàn)結(jié)果如表3所示。試驗(yàn)結(jié)果表明，在各單點(diǎn)進(jìn)行解算的效果會(huì)隨著點(diǎn)位自身的準(zhǔn)確度產(chǎn)生波動(dòng)，導(dǎo)致全部輪廓點(diǎn)的坐標(biāo)出現(xiàn)較大的波動(dòng)。而通過本文中算法進(jìn)行解算，融合了7個(gè)檢測(cè)點(diǎn)的幾何特征，分別對(duì)置信度低的點(diǎn)進(jìn)行了篩選，對(duì)誤差較大的點(diǎn)進(jìn)行了屏蔽，防止對(duì)整體的輪廓點(diǎn)精度產(chǎn)生影響，并對(duì)橫縱坐標(biāo)進(jìn)行了加權(quán)平均，在兩個(gè)方向上的誤差都較小且具對(duì)極端的異常結(jié)果具有抵抗性，結(jié)果如圖14所示。

圖14 輪廓關(guān)鍵點(diǎn)定位精度圖

同時(shí)，通過試驗(yàn)方法和數(shù)據(jù)分析，定位誤差的來源主要有以下：一是飛機(jī)模型和真實(shí)輪廓關(guān)鍵點(diǎn)的測(cè)量誤差，二是飛機(jī)輪廓關(guān)鍵點(diǎn)不在同一個(gè)平面產(chǎn)生的微小平移誤差，三是坐標(biāo)轉(zhuǎn)換模型中單應(yīng)陣映射誤差，四是坐標(biāo)解算過程中精度丟失產(chǎn)生的誤差。

6 結(jié)論

提出了局部遮擋情況下基于目標(biāo)匹配的艦面目標(biāo)輪廓關(guān)鍵點(diǎn)定位方法，通過改進(jìn)YOLOv3算法提高了對(duì)遮擋物的檢測(cè)能力，同時(shí)基于攝像機(jī)模型及目標(biāo)類型建立了坐標(biāo)轉(zhuǎn)換與艦載飛機(jī)幾何關(guān)系模型，實(shí)現(xiàn)了干擾情況下對(duì)遮擋關(guān)鍵點(diǎn)的檢測(cè)以及遮擋輪廓關(guān)鍵點(diǎn)的定位，并且對(duì)艦載飛機(jī)低置信度與異常的檢測(cè)點(diǎn)篩除和補(bǔ)償能力。試驗(yàn)結(jié)果表明，該方法在目標(biāo)框檢測(cè)和關(guān)鍵點(diǎn)檢測(cè)準(zhǔn)確率分別為95.6%和91.5%經(jīng)統(tǒng)計(jì)分析，在7個(gè)輪廓關(guān)鍵點(diǎn)精確定位時(shí)，橫縱坐標(biāo)平均誤差范圍在1.5%和1.7%，滿足艦面目標(biāo)輪廓點(diǎn)定位的實(shí)際需求。