柳碧輝，王培元

（海軍航空大學(xué)，山東 煙臺 264001）

0 引言

艦船目標(biāo)識別技術(shù)在許多領(lǐng)域具有廣泛的應(yīng)用。在民用領(lǐng)域上，有利于監(jiān)視海運(yùn)交通、維護(hù)海洋權(quán)益；在軍事領(lǐng)域上，有利于進(jìn)行預(yù)警探測、對敵偵查識別、精確制導(dǎo)打擊、提高海防預(yù)警防范能力，因此，對海洋實(shí)際場景中艦船目標(biāo)的準(zhǔn)確識別具有重要意義。

在復(fù)雜應(yīng)用背景下，近些年來，人們對機(jī)器視覺系統(tǒng)的需求逐步提升，對圖像的判讀、目標(biāo)的全方位精確識別也提出了更高的要求，獲取的艦船二維圖像還存在著抗干擾性、適應(yīng)性較差的問題，自然也無法進(jìn)行全方位的目標(biāo)識別。例如，仇榮超等人對不同波段的紅外圖像進(jìn)行采集，并在艦船目標(biāo)候選區(qū)域進(jìn)行拓展以融入局部上下文信息，生成檢測區(qū)域，但該過程太過于復(fù)雜，紅外圖像易受海洋復(fù)雜環(huán)境影響。孫嘉赤等人在遙感影像中設(shè)計出旋轉(zhuǎn)回歸器對艦船目標(biāo)進(jìn)行精細(xì)識別，但是存在著背景冗余過多、二維圖像并不能表征目標(biāo)深度信息的問題。魏存?zhèn)サ热颂岢隽伺灤暯菂?shù)估計方法，但對于雷達(dá)回波信號的目標(biāo)識別來說，目標(biāo)是主動的，觀察者是被動的，觀察者無法在所有視向上對目標(biāo)取樣，導(dǎo)致目標(biāo)特征提取困難。因此，能夠較好地呈現(xiàn)出物體空間信息、表征出物體細(xì)節(jié)、全面體現(xiàn)出客觀事實(shí)的三維模型在目標(biāo)識別方面具有明顯的應(yīng)用優(yōu)勢。

根據(jù)利用的特征及提取方式的不同，可以將現(xiàn)有的三維識別方法分類如下：基于特征匹配的目標(biāo)識別、基于圖匹配的目標(biāo)識別以及基于深度學(xué)習(xí)的目標(biāo)識別方法?；谏疃葘W(xué)習(xí)的三維識別算法已經(jīng)應(yīng)用于國內(nèi)外眾多領(lǐng)域。針對艦船的目標(biāo)識別，陳東等人提出基于改進(jìn)型YOLOv3 的SAR 圖像艦船目標(biāo)檢測方法，實(shí)現(xiàn)了嵌入式的應(yīng)用，但存在著泛化性差的問題。王冰提出利用深度殘差網(wǎng)絡(luò)結(jié)合超像素方法對目標(biāo)進(jìn)行分割來識別艦船目標(biāo)，但在實(shí)驗(yàn)中深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練層數(shù)不夠，使得魯棒性不高，從而影響了檢測精度。如今在瞬息萬變的海洋戰(zhàn)場環(huán)境中，艦船目標(biāo)的三維識別越來越注重于“時效性、準(zhǔn)確性、適用性”，因此，本文采用基于Faster R-CNN 方法對艦船目標(biāo)進(jìn)行三維識別研究。

針對艦船目標(biāo)三維識別中存在的問題，本文所提的算法框架主要包含3 部分：1）利用三維重建軟件生成艦船目標(biāo)的三維模型；2）通過增加滑動窗口的方法，改進(jìn)Faster R-CNN 的卷積層結(jié)構(gòu)，采用合適的錨點(diǎn)對目標(biāo)進(jìn)行識別；3）設(shè)計了一個根據(jù)實(shí)景模型標(biāo)識框與區(qū)域建議相結(jié)合的識別方法得到目標(biāo)信息，最后，利用非極大值抑制的方法對冗余矩形標(biāo)識框進(jìn)行過濾去除，實(shí)現(xiàn)對三維艦船實(shí)景目標(biāo)的準(zhǔn)確識別。

1 Faster R-CNN 算法

基于區(qū)域建議方法的R-CNN 識別模型是深度學(xué)習(xí)在目標(biāo)識別領(lǐng)域的重要發(fā)展。R-CNN 突破性地解決了傳統(tǒng)方法對目標(biāo)進(jìn)行特征選擇的問題，在此基礎(chǔ)上Faster R-CNN創(chuàng)新性地改善了選擇性搜索方法，引入?yún)^(qū)域生成網(wǎng)絡(luò)（region proposal network，RPN），真正意義上實(shí)現(xiàn)了端到端的目標(biāo)識別，從目標(biāo)識別算法的功能上看，F(xiàn)aster R-CNN 是由RPN 候選區(qū)域框生成模塊與Fast R-CNN 識別模塊兩部分組成，如圖1 所示。

圖1 Faster R-CNN 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 RPN 網(wǎng)絡(luò)結(jié)構(gòu)

區(qū)域提議網(wǎng)絡(luò)RPN 的輸入是任意大小的圖像，利用CNN 卷積操作后特征圖以一組矩形生成區(qū)域提議（region proposals），并且每一個提議都會有相應(yīng)的目標(biāo)得分。替代了選擇性搜索等方法，明顯提升了識別速度，是Faster-RCNN 的核心組成網(wǎng)絡(luò)。

為了生成區(qū)域提議，在最后的共享卷積層輸出的卷積特征映射上面滑動一個小網(wǎng)絡(luò)。這個小網(wǎng)絡(luò)將卷積特征映射的空間窗口作為輸入，如圖2所示。

圖2 RPN 網(wǎng)絡(luò)結(jié)構(gòu)示意圖

每個滑動窗口映射到一個低維艦船特征，得到的艦船特征對應(yīng)關(guān)系為：256 維長度與ZF 網(wǎng)絡(luò)相對應(yīng)，512 維長度與VGG 網(wǎng)絡(luò)相對應(yīng)，將提取特征輸入到兩個子全鏈接層，分別為分類層（cls）和回歸層（reg）。分類層的主要作用是與區(qū)域提案中心錨點(diǎn)的寬度、高度以及二維坐標(biāo)相對應(yīng)，進(jìn)行艦船的分類判斷；回歸層主要是對矩形識別框內(nèi)的物體進(jìn)行識別回歸，判斷其屬于前景還是后景，以便對艦船目標(biāo)進(jìn)行更準(zhǔn)確地識別?；瑒哟翱诳梢詫Χ鄠€區(qū)域同時進(jìn)行提議預(yù)測，每滑動一次就會預(yù)測出k 個區(qū)域建議，其中分類層輸出2k 個分?jǐn)?shù)；回歸層具有4k個分?jǐn)?shù)的輸出。把每個滑窗的中心點(diǎn)稱為一個錨點(diǎn)。錨點(diǎn)具有平移不變性。無論是計算錨點(diǎn)還是計算相對于錨點(diǎn)的區(qū)域提議函數(shù)，如果在圖像中平移目標(biāo)，提議也會平移，并且同樣的函數(shù)在任一位置被預(yù)測提議，這樣會減少模型的大小、降低過擬合的問題，有助于RPN 在很大尺度范圍內(nèi)獲得艦船目標(biāo)。經(jīng)過端到端訓(xùn)練后的RPN 網(wǎng)絡(luò)，可以生成高質(zhì)量的區(qū)域提議，最后，對得到的矩形標(biāo)識邊框進(jìn)行坐標(biāo)編碼，即區(qū)域建議作為Fast R-CNN 框架的輸入，繼續(xù)進(jìn)行系統(tǒng)的訓(xùn)練。

1.2 訓(xùn)練RPN

為了訓(xùn)練RPN，要給每個錨點(diǎn)分配一個二值類別標(biāo)簽，根據(jù)矩形邊框及其分類得分?jǐn)?shù)判斷該目標(biāo)是否為艦船目標(biāo)。對以下兩種類型的錨點(diǎn)分配正標(biāo)簽：1）具有與實(shí)際邊界框（訓(xùn)練集中人工標(biāo)識出的真實(shí)艦船目標(biāo)矩形包圍框）的重疊最高交并比（IoU，intersection over union）的錨點(diǎn)；2）與實(shí)際邊界框的重疊超過0.7IoU 的錨點(diǎn)。對于與實(shí)際邊界框重疊的IoU 比率低于0.3 的一個錨點(diǎn)，分配一個負(fù)標(biāo)簽。舍棄未得到正標(biāo)簽或者負(fù)標(biāo)簽的錨點(diǎn)，不參與訓(xùn)練目標(biāo)函數(shù)。

根據(jù)以上定義，對目標(biāo)函數(shù)Fast R-CNN 采用最小化的多任務(wù)損失函數(shù)，將損失函數(shù)定義為：

另外，目前對艦船目標(biāo)識別應(yīng)用中，方程式（1）中cls 項(xiàng)通過小批量數(shù)據(jù)的大?。碞=256）進(jìn)行歸一化，reg 項(xiàng)根據(jù)錨點(diǎn)位置的數(shù)量（即N～2 400）進(jìn)行歸一化。上面的歸一化不是必須的，可以簡化。

對于從錨盒到鄰近的實(shí)際邊界框的邊界框回歸（bounding box regression），如式（5）所示：

式中，x，y，ω 和h 表示邊界框的中心坐標(biāo)及其寬和高；變量x，x和x分別表示預(yù)測邊界框，錨盒和實(shí)際邊界框（y，ω 和h 同理）。

1.3 聯(lián)合訓(xùn)練

采用4 步交替優(yōu)化學(xué)習(xí)共享特征的方法來訓(xùn)練由RPN 和Fast R-CNN 組成的具有共享卷積層的統(tǒng)一網(wǎng)絡(luò)，如圖3 所示。

圖3 Faster R-CNN 目標(biāo)識別網(wǎng)絡(luò)

Step 1 單獨(dú)訓(xùn)練RPN 網(wǎng)絡(luò)，使用ImageNet 的預(yù)訓(xùn)練模型對該網(wǎng)絡(luò)進(jìn)行初始化，并針對區(qū)域提議任務(wù)進(jìn)行了端到端的微調(diào)。

Step 2 單獨(dú)訓(xùn)練Fast R-CNN 網(wǎng)絡(luò)，將Step 1 RPN 生成的提議作為識別網(wǎng)絡(luò)的輸入。該識別網(wǎng)絡(luò)也由ImageNet 的預(yù)訓(xùn)練模型進(jìn)行初始化。此時兩個網(wǎng)絡(luò)不共享卷積層。

Step 3 又一次訓(xùn)練RPN，固定網(wǎng)絡(luò)公共部分的參數(shù)，并且只對RPN 特有的層進(jìn)行微調(diào)?，F(xiàn)在這兩個網(wǎng)絡(luò)共享卷積層。

Step 4 保持共享卷積層的固定，對Fast R-CNN網(wǎng)絡(luò)進(jìn)行微調(diào)。因此，兩個網(wǎng)絡(luò)共享相同的卷積層形成統(tǒng)一的網(wǎng)絡(luò)。至此網(wǎng)絡(luò)訓(xùn)練結(jié)束，類似的交替訓(xùn)練可以運(yùn)行更多的迭代。

2 本文算法描述

本文提出的算法框架主要包含3 部分：1）通過增加滑動窗口的方法，使用卷積層改進(jìn)的Faster R-CNN 的結(jié)構(gòu)，采用合適的錨點(diǎn)對目標(biāo)進(jìn)行準(zhǔn)確識別；2）根據(jù)得出的圖像設(shè)計了一個根據(jù)實(shí)景模型標(biāo)注框與區(qū)域建議相結(jié)合識別的方法得到目標(biāo)信息，其后利用非極大值抑制的方法對多余不準(zhǔn)確矩形標(biāo)識框進(jìn)行過濾去除，實(shí)現(xiàn)對三維艦船實(shí)景目標(biāo)的識別。本文所提出的基于改進(jìn)的Faster RCNN 的艦船目標(biāo)三維識別流程如圖4 所示。

圖4 本文改進(jìn)方法的流程圖

2.1 改進(jìn)的Faster R-CNN 的結(jié)構(gòu)

原始的Faster R-CNN 中的AlexNet 網(wǎng)絡(luò)結(jié)構(gòu)共有8 層，前面5 層為卷積層，后面3 層為全連接層，殘差塊在TOP-5 的錯誤率達(dá)到了16.4豫，而且隨著網(wǎng)絡(luò)深度的增加，優(yōu)化較為困難，使得深層網(wǎng)絡(luò)表現(xiàn)反而不如淺層網(wǎng)絡(luò)，為了解決這類“退化”問題，選擇由殘差塊（residual block）構(gòu)建的RetNet網(wǎng)絡(luò)。在TOP-5 的錯誤率僅為4.6豫，所以，使用殘差塊能夠訓(xùn)練更深的神經(jīng)網(wǎng)絡(luò)，可以減少梯度過擬合的現(xiàn)象。

通過實(shí)驗(yàn)證明，選擇預(yù)訓(xùn)練的ResNet-101 模型比其他預(yù)訓(xùn)練模型（如VGG和Inception）可以獲得更好的性能。之后，默認(rèn)情況下，我們選擇ResNet-101 模型作為Faster R-CNN 中的主干。RetNet101 網(wǎng)絡(luò)結(jié)構(gòu)如下頁圖6 所示。

圖5 RetNet101 網(wǎng)絡(luò)結(jié)構(gòu)

圖6 本文改進(jìn)的基于ResNet101 的Faster RCNN 結(jié)構(gòu)

本文將利用基于ResNet101 的Faster RCNN 結(jié)構(gòu)。RetNet101 網(wǎng)絡(luò)由輸入圖片、conv1、conv2_x、conv3_x、conv4_x 和conv5_x 組成，該模型由ImageNet 分類模型初始化。在conv2_x、conv3_x、conv4_x和conv5_x 每層使用3 個殘差塊。在conv4_x 最后的輸出為RPN 和RoI Pooling 共享的部分，然后將RPN 的輸出一起作用于RoI Pooling 之后的特征圖，作為conv5_x 的輸入，conv5_x 后加入一層卷積層，對conv5_x 的輸出進(jìn)行線性形變，使用2 048 個1*1，步長為1 的卷積核輸出為2 048 維特征，將分別用于分類和框回歸。

由于三維模型是立體的，可以比較真實(shí)地還原物體特征，所以對細(xì)節(jié)采集讀取非常關(guān)鍵。原始的RPN 網(wǎng)絡(luò)中只有一種3×3 的滑動窗口，通過一種感受野是不夠的，限制了模型目標(biāo)識別能力，但也會帶來更多的參量。本文在原始的RPN 網(wǎng)絡(luò)采用兩個連續(xù)的3×3 與5×5 的卷積層來代替單個的3×3。3×3 與5×5 級聯(lián)的卷積層參數(shù)個數(shù)為36，原有的參數(shù)個數(shù)為10。計算量作對比：輸入記為x，為了方便討論，假設(shè)padding=0，stride=1。利用卷積計算公式可得如表1 所示。

表1 計算過程

總的來說，雖然參量變多了，但是采用兩個卷積核級聯(lián)的方式在計算量上占有優(yōu)勢識別性能優(yōu)于單個滑動窗口的性能，感受野范圍也得到了提高，可以較為全面細(xì)致地識別出三維圖形的艦船目標(biāo)，如圖6 所示。

2.2 區(qū)域組合識別模型

我們將設(shè)計一個新的區(qū)域組合模型，以更好地利用三維模型提供的區(qū)域信息。利用三維重建生成三維模型，艦船的邊緣輪廓相對平滑，在艦船輪廓的延長線上，圖像梯度變化是非常緩慢的，在艦船輪廓垂直方向上的梯度變化較為明顯。所以，首先通過canny邊緣檢測算子，提高模糊邊界的清晰度，同時抑制噪聲，進(jìn)而再對模型提供的艦船信息進(jìn)行分析。同時經(jīng)過在RPN 階段生成對象建議后，基于Faster RCNN 階段的卷積網(wǎng)絡(luò)步幅，使用ROI 池層將每個區(qū)域建議投影到共享特征圖上。然后，將與每一個區(qū)域建議對應(yīng)的特征圖進(jìn)行編碼，編碼為具有預(yù)定義空間分辨率的固定尺寸的表達(dá)形式。之后，這些表示將作為幾個完全連接的層的輸入，以進(jìn)行分類和邊界框回歸。

由于三維模型有助于物體識別，而且無人機(jī)拍攝艦船目標(biāo)遠(yuǎn)，得到的艦船目標(biāo)小，因此，考慮將三維模型實(shí)際框出的目標(biāo)與經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)識別后的目標(biāo)進(jìn)行提案區(qū)域結(jié)合，這樣將有助于識別遠(yuǎn)距離小型物體。此外，由于小型對象通常占據(jù)的圖像區(qū)域較小，與較小候選提案相對應(yīng)的特征圖（在經(jīng)過多次卷積處理后得到的其空間分辨率可能不足1×1）難以分辨。因此，本文選擇區(qū)域組合識別的方法來提高小型目標(biāo)識別的性能。如圖7 所示，分別在三維模型進(jìn)行框選后的區(qū)域和在ROI 池層之后得到的提案區(qū)域合并在一起，候選區(qū)域中的空間分辨率遵循默認(rèn)設(shè)置，即7×7。這是用來合并上下文信息的簡單且直觀的方式，在我們的實(shí)驗(yàn)中證明了這種方法是有效的。此外，我們從沒有完全連接的層的預(yù)訓(xùn)練ResNet101 模型中，構(gòu)造了所有卷積層的共享特征圖。因此，在最終分類和邊界框回歸之前，附加兩個隱藏的1 024 維全連接層，它們通過Xavier 方法隨機(jī)初始化，如圖7 所示。

圖7 區(qū)域組合識別模型

2.3 非極大值抑制（NMS）

為了減少冗余，建議區(qū)域根據(jù)其框分類得分采用非極大值抑制（NMS，non maximum suppression）。非極大值抑制在很多計算機(jī)視覺任務(wù)中都有廣泛應(yīng)用，如：邊緣檢測、目標(biāo)識別等。步驟如下：1）將所有框的得分進(jìn)行升序排序，選中最高分及其對應(yīng)的框；2）遍歷其余的框，如果和當(dāng)前最高分框的重疊最高交并比（IoU）大于一定閾值，就將這個框刪除；3）從未處理的框中繼續(xù)選一個得分最高的，重復(fù)上述過程。經(jīng)試驗(yàn)，將本文中NMS 的IoU 閾值固定為0.5。如圖8 所示。

圖8 NMS 處理結(jié)果

3 數(shù)據(jù)實(shí)測與分析

3.1 數(shù)據(jù)準(zhǔn)備

目前，國內(nèi)和國際上沒有公開的關(guān)于真實(shí)海面場景下的艦船三維實(shí)景目標(biāo)識別數(shù)據(jù)集，無法在統(tǒng)一平臺上比較艦船目標(biāo)三維識別各方法的性能，給出定量精度指標(biāo)。故文中自建了某退役軍艦的數(shù)據(jù)集。使用無人機(jī)對該退役軍艦艦船進(jìn)行360 °實(shí)景航拍，利用photoscan 軟件重建三維模型，經(jīng)過對齊照片、形成點(diǎn)云、形成紋理等步驟作出該艦船的三維實(shí)景立體模型，如圖9 所示。

圖9 某退役軍艦艦船三維實(shí)景模型圖

實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)集分別來自三維網(wǎng)格模型、三維點(diǎn)云模型、三維紋理模型、退役軍艦的航拍圖片和退役軍艦艦船三維手工建模模型等5 種數(shù)據(jù)集，如圖10 所示。訓(xùn)練集樣本已被調(diào)整為406×720 像素，以方便查看。這些訓(xùn)練數(shù)據(jù)集包含了艦船的各個角度、清晰、背景簡單等特征，還專門采集了背景冗雜、艦船特征部位較相近的干擾圖像，人為增加了數(shù)據(jù)集圖片，以驗(yàn)證本文方法的有效性和魯棒性。為了進(jìn)行評估，我們的數(shù)據(jù)集被隨機(jī)分為70豫用于訓(xùn)練和30豫用于測試。圖10 為部分訓(xùn)練圖像示例圖。實(shí)驗(yàn)硬件環(huán)境為：Intel Core i5 CPU、NVIDIA GeForce GTX 1 650 顯卡和8 G 內(nèi)存。

圖10 5 種訓(xùn)練集部分示例圖

3.2 實(shí)驗(yàn)步驟

Step 1 實(shí)驗(yàn)對目標(biāo)識別時的檢測器統(tǒng)一使用ResNet101 模型，按照2.1 和2.2 節(jié)的模型框圖進(jìn)行網(wǎng)絡(luò)模型的構(gòu)建，并對模型進(jìn)行初始化。

Step 2 將數(shù)據(jù)集使用canny 邊緣檢測算子進(jìn)行降噪處理，作為網(wǎng)絡(luò)模型的輸入。

Step 3 RPN 中的區(qū)域建議窗口分別采用3 種尺度比例（1∶1，1∶2，2∶1）和3 個長寬比（128×128，256×256，512×512）條件進(jìn)行設(shè)置，產(chǎn)生9 種候選框。

Step 4 分別利用原始Faster R-CNN 方法和本文改進(jìn)的Faster R-CNN 方法，對上述退役軍艦艦船3 種實(shí)拍照片、民船實(shí)拍圖片、郵輪實(shí)拍圖片進(jìn)行測試實(shí)驗(yàn)，均使用IoU 閾值固定為0.5。

Step 5 經(jīng)過Step 4 后得出標(biāo)識框的位置并進(jìn)行分析對比。利用MATLAB 中自帶的evaluate Detection Precision 函數(shù)進(jìn)行評估，并計算精準(zhǔn)率-召回率（precision-recall，p-r）曲線指標(biāo)來作為評估標(biāo)準(zhǔn)。

3.3 本文方法性能評估測試

3.3.1 三維紋理模型數(shù)據(jù)集進(jìn)行測試實(shí)景數(shù)據(jù)

本小節(jié)利用的是三維紋理模型，分別基于原始ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)，和基于本文改進(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)測試實(shí)際場景下拍攝的3 種退役軍艦艦船圖片、民船圖片和郵輪圖片。得到的矩形標(biāo)示框如圖11 所示。其中，青藍(lán)色矩形標(biāo)識框?yàn)槭褂没谠糝esNet-101 的Faster R-CNN 網(wǎng)絡(luò)對艦船識別的結(jié)果，黃色矩形標(biāo)識框?yàn)槭褂没诒疚母倪M(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)對艦船識別的結(jié)果。由于本實(shí)驗(yàn)的輸入訓(xùn)練集均為某退役軍艦艦船，利用原始網(wǎng)絡(luò)和本文改進(jìn)后的網(wǎng)絡(luò)均無法識別出民船和郵輪，故無法繪制出二者的矩形標(biāo)識框。因此，表明本實(shí)驗(yàn)方法對此退役軍艦的目標(biāo)識別是有效可行的。從圖中可以看出，改進(jìn)后的方法得到的標(biāo)識框包圍的區(qū)域比原始方法標(biāo)識框包圍的區(qū)域大，改進(jìn)后的方法所包含的冗余少于原始方法標(biāo)識框框選的區(qū)域，并且改進(jìn)后的方法識別數(shù)據(jù)值高于原始方法識別數(shù)據(jù)值，直觀說明了使用基于本文改進(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)能夠更大范圍、更全面地識別出該艦船目標(biāo)。

圖11 三維紋理模型測試結(jié)果

對以上3 種實(shí)測數(shù)據(jù)下的退役軍艦艦船目標(biāo)識別的p-r 曲線如下頁圖13 所示，圖中3 種顏色的數(shù)據(jù)線分別表示3 種實(shí)測數(shù)據(jù)，圖12 中左圖為原始網(wǎng)絡(luò)測試的結(jié)果，右圖為利用本文改進(jìn)網(wǎng)絡(luò)測試取得的結(jié)果。左圖曲線在召回率r 升高的過程中出現(xiàn)了大幅度下降，這說明原始方法識別準(zhǔn)確率較低，僅正確檢測到船只但未能識別正確，而右圖曲線較為平滑，在同樣在召回率r 升高的過程中，仍有50豫的精準(zhǔn)率，利用改進(jìn)的方法對于艦船目標(biāo)識別準(zhǔn)確率較高。經(jīng)過計算左圖mAP 值為0.73，右圖mAP 值為0.83，識別精確率提高了10豫，顯然右圖的精確度更高，相比于原始網(wǎng)絡(luò)，本文改進(jìn)的方法識別效果有明顯提升。

圖12 兩種網(wǎng)絡(luò)識別結(jié)果p-r 曲線

圖13 其他模型測試結(jié)果

3.3.2 其他模型數(shù)據(jù)集進(jìn)行測試實(shí)景數(shù)據(jù)

本小節(jié)使用的模型分別是三維網(wǎng)格模型、三維點(diǎn)云模型、退役軍艦航拍圖片和退役軍艦艦船三維手工建模模型，與3.3.1 節(jié)使用的測試數(shù)據(jù)一樣，同樣分別在基于原始ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)和基于本文改進(jìn)后ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)實(shí)測。得到的矩形標(biāo)示框如圖13 所示。其中，同樣使用青藍(lán)色框?yàn)槭褂没谠糝esNet-101的Faster R-CNN 網(wǎng)絡(luò)對艦船識別的結(jié)果，黃色框?yàn)槭褂没诒疚母倪M(jìn)后ResNet-101 的Faster R-CNN網(wǎng)絡(luò)對艦船識別的結(jié)果。得到的實(shí)驗(yàn)結(jié)論與3.3.1得出的結(jié)論是一致的。利用以上數(shù)據(jù)集經(jīng)原始網(wǎng)絡(luò)和本文改進(jìn)的網(wǎng)絡(luò)后均無法識別出民船和郵輪，無法得到二者的矩形標(biāo)識框，因此，表明本文采用的實(shí)驗(yàn)方法對此退役軍艦的目標(biāo)識別是可行的。

在以上測試集上實(shí)驗(yàn)得p-r 曲線如圖14 所示。其中，圖中3 種顏色的數(shù)據(jù)線分別表示3 種實(shí)測數(shù)據(jù)，圖14（a）中左圖為三維點(diǎn)云模型經(jīng)原始網(wǎng)絡(luò)測試的結(jié)果，其mAP 值為0.71，右圖為三維點(diǎn)云模型利用本文改進(jìn)網(wǎng)絡(luò)測試取得的結(jié)果，其mAP 值為0.8。14（b）中左圖為三維網(wǎng)格模型利用原始網(wǎng)絡(luò)測試的結(jié)果，其mAP 值為0.61，右圖為利用三維網(wǎng)格模型經(jīng)本文改進(jìn)網(wǎng)絡(luò)測試取得的結(jié)果，其mAP 值為0.7。14（c）中左圖為退役軍艦航拍圖片基于原始網(wǎng)絡(luò)測試的結(jié)果，其mAP 值為0.57，右圖為退役軍艦航拍圖片利用本文改進(jìn)網(wǎng)絡(luò)測試取得的結(jié)果，其mAP 值為0.60。14（d）中左圖為三維手工建模模型使用原始網(wǎng)絡(luò)測試的結(jié)果，其mAP 值為0.63，右圖為三維手工建模模型在本文改進(jìn)網(wǎng)絡(luò)測試后取得的結(jié)果，其mAP 值為0.67。由圖中數(shù)據(jù)也可以看出，右一側(cè)的圖識別精度以及召回率均好于左一側(cè)的圖，即本文改進(jìn)后的基于ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)目標(biāo)識別效果要優(yōu)于原始基于ResNet-101 的Faster R-CNN 網(wǎng)絡(luò)目標(biāo)識別效果，我們的方法提高了卷積神經(jīng)網(wǎng)絡(luò)魯棒性。

圖14 兩種網(wǎng)絡(luò)識別結(jié)果p-r 曲線

圖14 經(jīng)過計算得出，識別精確率右圖比左圖分別提高了9豫、9豫、3豫、4豫，將三維模型作為數(shù)據(jù)集經(jīng)過本文改進(jìn)的網(wǎng)絡(luò)進(jìn)行目標(biāo)識別訓(xùn)練得到的測試效果要好于其他類型的數(shù)據(jù)集。兩種方法識別性能的詳細(xì)對比如表2 所示。對比可得將三維紋理模型作為訓(xùn)練集對艦船目標(biāo)識別準(zhǔn)確率最高，基于本文改進(jìn)的方法比原始方法對5 種艦船目標(biāo)的識別準(zhǔn)確率提高了6豫，經(jīng)試驗(yàn)證實(shí)本文提出的方法是有效的。

表2 識別性能的詳細(xì)對比

4 結(jié)論

本文提出了一種改進(jìn)的Faster R-CNN 方法，以解決艦船目標(biāo)識別中二維圖像提供信息少、遠(yuǎn)海識別艦船困難的問題。合理使用了三維重建軟件重建三維模型。其次，針對原始Faster R-CNN 網(wǎng)絡(luò)存在過擬合、小物體識別困難的問題，對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了優(yōu)化，然后為了改善感受野獲取信息有限問題，在原始的RPN 網(wǎng)絡(luò)中選取級聯(lián)的方法增加滑動窗口數(shù)量，提高了模型信息攝取范圍，并同時提出區(qū)域組合識別模型，來進(jìn)一步提高訓(xùn)練過程中的艦船目標(biāo)識別性能。最后結(jié)合非極大值抑制的方法對冗余框進(jìn)行過濾去除，實(shí)現(xiàn)對三維艦船實(shí)景目標(biāo)的識別。為了驗(yàn)證所提算法的有效性，本文進(jìn)行了充分的實(shí)驗(yàn)，使用某退役軍艦的5 種艦船目標(biāo)信息來源作為數(shù)據(jù)集分別經(jīng)過Faster R-CNN 方法和改進(jìn)的Faster R-CNN 方法進(jìn)行了訓(xùn)練，使用5 種實(shí)際海景下的艦船目標(biāo)為測試集進(jìn)行測試，對艦船目標(biāo)識別任務(wù)上的性能進(jìn)行了全面分析，實(shí)驗(yàn)結(jié)果表明了利用改進(jìn)后的卷積神經(jīng)網(wǎng)絡(luò)算法對三維實(shí)景模型目標(biāo)識別的優(yōu)越性與魯棒性。