鞏文靜 田 杰 李寶奇 劉紀(jì)元

(1 中國(guó)科學(xué)院聲學(xué)研究所 北京 100190)

(2 中國(guó)科學(xué)院大學(xué) 北京 100049)

(3 中國(guó)科學(xué)院先進(jìn)水下信息技術(shù)重點(diǎn)實(shí)驗(yàn)室 北京 100190)

0 引言

水下目標(biāo)成像及分類可以通過(guò)不同的成像技術(shù)實(shí)現(xiàn)，利用光學(xué)傳感器獲得的圖像分辨率較高、目標(biāo)較為直觀[1]，在目標(biāo)分類研究中有重要應(yīng)用。Gleason等[2]使用監(jiān)督分類的方法對(duì)水下光學(xué)圖像中的目標(biāo)和海床進(jìn)行分類，將海床的局部地形或高度作為附加特征添加到分類器中，具有一定的有效性；Pramunendar等[3]提出了一種應(yīng)用于反向傳播神經(jīng)網(wǎng)絡(luò)的圖像增強(qiáng)模型，通過(guò)選擇合適的插值方法和反向傳播神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提高圖像分辨率，取得了較高的分類準(zhǔn)確率；王士龍等[4]提取目標(biāo)的邊界矩，利用改進(jìn)的FCM 聚類算法較好地實(shí)現(xiàn)了對(duì)水下目標(biāo)的分類識(shí)別。

雖然以上利用光圖實(shí)現(xiàn)水下目標(biāo)分類已經(jīng)取得了一定成果，但是受成像條件復(fù)雜性的影響，水下光成像作用距離近，圖像對(duì)比度較差。由于聲吶的探測(cè)距離較遠(yuǎn)，成像范圍較大[5?6]，聲成像技術(shù)的不斷發(fā)展使得利用聲吶圖像進(jìn)行目標(biāo)分析成為可能[7?9]。Sinai等[10]利用C-V輪廓算法將聲吶圖像分割為目標(biāo)及陰影兩部分，通過(guò)人工提取幾何特征來(lái)實(shí)現(xiàn)水下目標(biāo)分類；Williams[11]利用卷積神經(jīng)網(wǎng)絡(luò)將水聲圖像分為有目標(biāo)和無(wú)目標(biāo)兩類，取得了滿意的效果；朱可卿等[12]使用高斯混合模型對(duì)聲圖的陰影部分進(jìn)行提取，設(shè)計(jì)融合分類器實(shí)現(xiàn)對(duì)水下沉底小目標(biāo)的分類，分類性能較好。

然而，受聲吶自身技術(shù)參數(shù)的限制以及水下噪聲、混響的影響，聲成像的清晰度較低，且聲圖獲取較為困難。現(xiàn)有水下目標(biāo)分類方法的研究大多依靠單一的光學(xué)或聲學(xué)圖像數(shù)據(jù)集，通過(guò)人工提取特征或使用卷積神經(jīng)網(wǎng)絡(luò)完成對(duì)目標(biāo)的分類。但是，單一數(shù)據(jù)集對(duì)目標(biāo)的描述具有一定限制，且卷積神經(jīng)網(wǎng)絡(luò)模型較為復(fù)雜，網(wǎng)絡(luò)的計(jì)算和分類速度較慢。因此，如何降低模型復(fù)雜度，節(jié)約計(jì)算資源，獲得更好的分類效果，都是亟待解決的關(guān)鍵問(wèn)題。

為了改善網(wǎng)絡(luò)的分類性能，適應(yīng)小樣本背景下的水下目標(biāo)分類任務(wù)，主要從以下角度解決上述問(wèn)題。首先，選擇輕量化的MobilenetV2 網(wǎng)絡(luò)并對(duì)其結(jié)構(gòu)進(jìn)行改進(jìn)，減小網(wǎng)絡(luò)的參數(shù)量，進(jìn)一步提高網(wǎng)絡(luò)運(yùn)算效率。其次，在改進(jìn)網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)并行網(wǎng)絡(luò)結(jié)構(gòu)，將采集的聲、光學(xué)圖像真實(shí)數(shù)據(jù)集同時(shí)輸入網(wǎng)絡(luò)，采用中間層融合策略，利用融合特征得到最終的分類結(jié)果。該方法規(guī)避了單一數(shù)據(jù)集對(duì)目標(biāo)描述的限制，充分利用聲、光學(xué)兩種圖像各自的優(yōu)勢(shì)以及MobilenetV2網(wǎng)絡(luò)參數(shù)少、輕量化的特點(diǎn)，在節(jié)約網(wǎng)絡(luò)計(jì)算資源的同時(shí)，提高了算法的分類準(zhǔn)確率。

1 改進(jìn)MobilenetV2網(wǎng)絡(luò)

1.1 MobilenetV2網(wǎng)絡(luò)模型

MobileNet 是Google 于2017年提出的新型輕量化網(wǎng)絡(luò)[13]，MobileNetV2 與其相比，具有較少的網(wǎng)絡(luò)參數(shù)數(shù)量和更低的運(yùn)算成本，相比普通的全卷積網(wǎng)絡(luò)能夠減少8～9 倍的計(jì)算量，網(wǎng)絡(luò)性得到了進(jìn)一步改善，與VGG16 等常用網(wǎng)絡(luò)相比具有低消耗和實(shí)時(shí)性等優(yōu)點(diǎn)，符合目標(biāo)分類任務(wù)的要求[14]。MobileNetV2網(wǎng)絡(luò)包括普通卷積(Conv)、反向殘差結(jié)構(gòu)的深度分離卷積(Bottleneck)和平均池化(Avgpool)幾部分，網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 MobileNetV2 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of Mobilenetv2

Bottleneck結(jié)構(gòu)是MobileNetV2網(wǎng)絡(luò)的核心部分，每個(gè)Bottleneck 由兩個(gè)普通卷積和一個(gè)深度分離卷積(Dwise)組成[15]。該結(jié)構(gòu)首先通過(guò)1×1的卷積進(jìn)行維度擴(kuò)展，再用3×3 的深度分離卷積提取特征，最后使用1×1 的卷積來(lái)壓縮數(shù)據(jù)[16]，兩個(gè)普通卷積分別使用ReLU6和Linear函數(shù)進(jìn)行激活，深度分離卷積使用標(biāo)準(zhǔn)化BN 層[17]和線性整流函數(shù)ReLU6[18]進(jìn)行正則化和激活。圖2(a)和圖2(b)分別表示步長(zhǎng)為1 和步長(zhǎng)為2 時(shí)的Bottleneck 網(wǎng)絡(luò)結(jié)構(gòu)，當(dāng)步長(zhǎng)為1 時(shí)，需要將該網(wǎng)絡(luò)結(jié)構(gòu)的輸出與上一層的輸出進(jìn)行疊加，實(shí)現(xiàn)不同位置的信息整合。

圖2 Bottleneck 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Bottleneck network structure

1.2 改進(jìn)的MobileNetV2網(wǎng)絡(luò)

MobilenetV2 網(wǎng)絡(luò)使用ImageNet 數(shù)據(jù)集進(jìn)行訓(xùn)練，數(shù)據(jù)集圖片數(shù)量達(dá)到140 萬(wàn)張，而水下目標(biāo)圖像采集較為困難，獲取的數(shù)據(jù)數(shù)量較少，直接使用原網(wǎng)絡(luò)進(jìn)行訓(xùn)練無(wú)法得到較好的擬合效果，且ImageNet 數(shù)據(jù)集共包含圖像1000 個(gè)類別，目標(biāo)種類與水下目標(biāo)差別懸殊，無(wú)法直接進(jìn)行遷移學(xué)習(xí)。MobilenetV2 網(wǎng)絡(luò)第9 層的輸出通道由320 增加到1280，通道數(shù)的增加會(huì)消耗更多的計(jì)算資源；網(wǎng)絡(luò)使用平均池化Avgpool 降采樣來(lái)減少特征數(shù)量，更多地保留圖像的背景信息，不完全適用于水下目標(biāo)分類任務(wù)。

因此，為了增強(qiáng)網(wǎng)絡(luò)在水下場(chǎng)景的適用性，充分發(fā)揮深度分離卷積在特征提取中的優(yōu)勢(shì)，提高目標(biāo)分類的精確度，本文在MobileNetV2 網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了如下改進(jìn)：(1) 為了在訓(xùn)練網(wǎng)絡(luò)時(shí)進(jìn)一步減少計(jì)算資源、節(jié)約內(nèi)存空間，在保證精度的前提下充分考慮參數(shù)量和運(yùn)算成本，借鑒文獻(xiàn)[14]的方法，通過(guò)多次實(shí)驗(yàn)對(duì)比，本文去掉第9層之后的網(wǎng)絡(luò)層，并將該卷積層通道數(shù)由1280改為128。(2) 為了適應(yīng)水下目標(biāo)分類任務(wù)，在保留目標(biāo)特征信息的同時(shí)提升網(wǎng)絡(luò)的收斂速率，本文使用Flatten層進(jìn)行數(shù)據(jù)降維，將三維的輸出轉(zhuǎn)化為一維后，添加Dropout層改善網(wǎng)絡(luò)擬合，丟棄率設(shè)為0.5，最后增加一個(gè)全連接層，得到最終的分類結(jié)果。

圖3為改進(jìn)MobileNetV2 網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，網(wǎng)絡(luò)包括特征提取和分類兩個(gè)部分。特征提取網(wǎng)絡(luò)包括1 個(gè)普通卷積、7 個(gè)具有反向殘差結(jié)構(gòu)的深度分離卷積和1 個(gè)普通卷積，通過(guò)Flatten 層將三維特征圖轉(zhuǎn)換為一維后，使用Dropout層改善網(wǎng)絡(luò)擬合。分類網(wǎng)絡(luò)使用全連接層結(jié)構(gòu)，從而得到每一個(gè)目標(biāo)屬于各個(gè)類別的概率。

圖3 改進(jìn)Mobilenetv2 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure of improved Mobilenetv2

網(wǎng)絡(luò)的參數(shù)量和計(jì)算量作為兩個(gè)重要的指標(biāo)，通常用來(lái)對(duì)網(wǎng)絡(luò)模型的復(fù)雜度進(jìn)行評(píng)估，參數(shù)量對(duì)應(yīng)的是算法的空間復(fù)雜度，表示對(duì)計(jì)算機(jī)內(nèi)存資源的消耗；計(jì)算量對(duì)應(yīng)時(shí)間復(fù)雜度，關(guān)系到網(wǎng)絡(luò)的運(yùn)算時(shí)間。參數(shù)量和計(jì)算量主要來(lái)網(wǎng)絡(luò)中的自卷積層和全連接層，計(jì)算過(guò)程可以表示為

其中，P和F分別代表模型的參數(shù)量和計(jì)算量，下標(biāo)cnn 和dense 分別表示卷積層和全連接層，Ml和Kl分別表示輸入圖片的尺寸和網(wǎng)絡(luò)使用的卷積核大小，Cl?1和Cl為卷積運(yùn)算中輸入、輸出特征圖的通道數(shù)，D1、D2為網(wǎng)絡(luò)中的卷積層與全連接層個(gè)數(shù)。使用式(1)～(2)對(duì)原始及改進(jìn)后的MobileNetV2網(wǎng)絡(luò)模型進(jìn)行復(fù)雜度計(jì)算，計(jì)算結(jié)果如表1所示。

表1 原始及改進(jìn)MobileNetV2 網(wǎng)絡(luò)復(fù)雜度Table 1 Network complexity of original and improved Mobilenetv2

MobileNetV2 網(wǎng)絡(luò)模型需要訓(xùn)練的參數(shù)數(shù)量約為3.4 M，改進(jìn)后網(wǎng)絡(luò)模型的參數(shù)數(shù)量約為1.9 M，與原始網(wǎng)絡(luò)相比，模型參數(shù)數(shù)量減少了近一倍。與此同時(shí)，改進(jìn)的MobileNetV2 網(wǎng)絡(luò)計(jì)算量為230 M，相比原始網(wǎng)絡(luò)的計(jì)算量也有一定數(shù)量的減少。由此可見(jiàn)，改進(jìn)后的網(wǎng)絡(luò)復(fù)雜度有所減小，能夠提高網(wǎng)絡(luò)運(yùn)算效率，進(jìn)一步節(jié)約計(jì)算資源。

2 聲光圖像融合分類網(wǎng)絡(luò)

聲學(xué)圖像能夠大范圍獲取，效率較高，光學(xué)圖像的高分辨率能夠?qū)崿F(xiàn)對(duì)目標(biāo)細(xì)節(jié)的描述。為了實(shí)現(xiàn)二者的優(yōu)勢(shì)互補(bǔ)，提出一種聲光圖像融合分類網(wǎng)絡(luò)模型。目前，對(duì)異源圖像的聯(lián)合處理網(wǎng)絡(luò)主要有輸入前融合和輸入后融合兩種[19]，前者是將圖像進(jìn)行融合處理后再輸入特征提取網(wǎng)絡(luò)，此種方式通常需要改變第一層卷積的數(shù)量，使得訓(xùn)練結(jié)果變差；后者是對(duì)圖像進(jìn)行特征提取之后，將特征提取網(wǎng)絡(luò)的中間層信息融合[20]，能夠保證網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)確性。

本文使用輸入后融合的思想，將水下目標(biāo)的聲、光兩種圖像并行輸入網(wǎng)絡(luò)進(jìn)行特征提取，在某一層將兩個(gè)模塊輸出的特征圖進(jìn)行融合，實(shí)現(xiàn)兩種圖像的信息交流。特征提取使用的網(wǎng)絡(luò)主干為1.2 節(jié)中改進(jìn)的MobileNetV2 網(wǎng)絡(luò)，在網(wǎng)絡(luò)的特征提取過(guò)程中，圖像的原始信息更多地體現(xiàn)在網(wǎng)絡(luò)的淺層特征當(dāng)中，網(wǎng)絡(luò)的深層特征較為抽象，具有更多的分類信息。因此，根據(jù)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)，本文選擇在網(wǎng)絡(luò)的深層位置進(jìn)行特征融合，將網(wǎng)絡(luò)最后一個(gè)卷積層的輸出作為待融合特征，使用融合操作的結(jié)果實(shí)現(xiàn)水下目標(biāo)分類，從而達(dá)到更高的分類準(zhǔn)確率。

融合分類網(wǎng)絡(luò)模型如圖4所示，該網(wǎng)絡(luò)由特征提取、特征融合、融合特征提取、分類4 個(gè)部分組成。聲學(xué)圖像和光學(xué)圖像分別送入改進(jìn)的MobileNetV2網(wǎng)絡(luò)，特征提取部分包括一個(gè)普通卷積、具有反向殘差結(jié)構(gòu)的深度分離卷積及其之后的卷積層。在網(wǎng)絡(luò)的最后一個(gè)卷積層位置，將輸出的特征圖按通道對(duì)應(yīng)實(shí)現(xiàn)特征融合，這里應(yīng)用的融合算法是通道拼接(concatenate)，融合過(guò)程的數(shù)學(xué)表達(dá)式為

圖4 基于改進(jìn)MobileNetV2 的融合分類網(wǎng)絡(luò)Fig.4 Fusion classification network based on improved Mobilenetv2

其中，Xoptical和Xacoustic表示輸入的光學(xué)圖像和聲學(xué)圖像；和表示光學(xué)圖像和聲學(xué)圖像從輸入到最后一個(gè)卷積層之間的特征提取網(wǎng)絡(luò)；H2代表融合操作的通道拼接算法；output 為融合后輸出的新特征，用以實(shí)現(xiàn)目標(biāo)分類。分類過(guò)程可以表示為

其中，K為分類結(jié)果，S代表Softmax 分類函數(shù)，將網(wǎng)絡(luò)最后一層的輸出轉(zhuǎn)化為輸入圖像屬于各類別的概率，公式為

3 數(shù)據(jù)獲取及預(yù)處理

水下目標(biāo)聲圖由成像聲吶獲得，三維成像聲吶具有圖像的深度信息，同時(shí)可以獲得更清晰的目標(biāo)輪廓[21]，因此使用前視三維聲吶獲取聲圖。本文所用的水下目標(biāo)數(shù)據(jù)集由千島湖實(shí)驗(yàn)獲得，實(shí)驗(yàn)裝置布放如圖5所示。數(shù)據(jù)采集裝置由一個(gè)綠激光水下攝像機(jī)和一個(gè)前視三維聲吶組成，二者成對(duì)獲取水下目標(biāo)圖像。其中，綠激光水下攝像機(jī)型號(hào)為WWA-6226，波長(zhǎng)為532 nm，分辨率1920×1080，最大可視范圍設(shè)置為8 m；聲吶設(shè)備為高頻三維成像聲吶，工作頻率為300 kHz，帶寬30 kHz，波束開(kāi)角45?，波束數(shù)目為128×128，實(shí)驗(yàn)過(guò)程中最大工作深度設(shè)置為30 m。

圖5 實(shí)驗(yàn)裝置布放圖Fig.5 Layout of experimental apparatus

三維成像聲吶得到的數(shù)據(jù)為三維圖像，攜帶方位、距離和散射強(qiáng)度等信息。數(shù)據(jù)獲取過(guò)程中，受水下復(fù)雜環(huán)境以及設(shè)備自身限制的影響，可能包含一定的噪點(diǎn)，首先使用式(6)所示過(guò)程對(duì)歸一化后的原始數(shù)據(jù)進(jìn)行濾波處理。

其中，pi=(xi,yi,zi)為三維圖像中每個(gè)點(diǎn)的坐標(biāo)，f(pi)為該點(diǎn)的散射強(qiáng)度，k為濾波閾值。將原始三維圖像及濾波后的圖像以點(diǎn)云形式進(jìn)行可視化，效果如圖6所示。

圖6 水下三維圖像可視化效果圖Fig.6 Visualization of underwater 3D image

為了方便數(shù)據(jù)處理，將三維圖像距離向上散射強(qiáng)度最強(qiáng)的點(diǎn)投影到二維平面，用其深度值作為該點(diǎn)的像素值，得到目標(biāo)的深度圖。將攝像機(jī)拍攝的圖像作為光學(xué)圖像數(shù)據(jù)集，三維圖像處理后得到的深度圖作為聲學(xué)圖像數(shù)據(jù)集。兩個(gè)數(shù)據(jù)集中的圖像成對(duì)存在，數(shù)據(jù)格式為三通道RGB圖像，共2196張，包括鐵框、蛙人、繩子、繩子拖曳的小球、橋墩5類水下目標(biāo)，部分?jǐn)?shù)據(jù)集圖像如圖7所示。

圖7 部分實(shí)驗(yàn)數(shù)據(jù)集圖像Fig.7 Images of some experimental data sets

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提網(wǎng)絡(luò)在水下目標(biāo)分類任務(wù)中的可行性，設(shè)計(jì)了以下實(shí)驗(yàn)。首先采集水下目標(biāo)圖像，制作實(shí)驗(yàn)數(shù)據(jù)集。(1) 在光學(xué)圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，對(duì)比VGG16、Resnet50、MobileNetV2以及改進(jìn)的MobileNetV2網(wǎng)絡(luò)對(duì)5種水下目標(biāo)的分類性能，驗(yàn)證了改進(jìn)MobileNetV2 網(wǎng)絡(luò)在水下目標(biāo)分類任務(wù)中的適用性；(2) 利用改進(jìn)的MobileNetV2 網(wǎng)絡(luò)以及提出的聲光圖像融合分類網(wǎng)絡(luò)模型對(duì)水下目標(biāo)進(jìn)行分類，驗(yàn)證融合網(wǎng)絡(luò)結(jié)構(gòu)對(duì)水下目標(biāo)分類準(zhǔn)確率的提高；(3) 使用不同融合算法在不同位置進(jìn)行融合，利用融合網(wǎng)絡(luò)對(duì)目標(biāo)圖像進(jìn)行分類，討論融合位置及融合算法對(duì)分類準(zhǔn)確率的影響；(4)在數(shù)據(jù)缺失的條件進(jìn)行融合網(wǎng)絡(luò)的分類實(shí)驗(yàn)，記錄網(wǎng)絡(luò)的分類準(zhǔn)確率，驗(yàn)證網(wǎng)絡(luò)的魯棒性。以下實(shí)驗(yàn)使用的所有網(wǎng)絡(luò)均基于Keras 深度學(xué)習(xí)框架搭建，并利用CUDNN進(jìn)行加速處理。實(shí)驗(yàn)計(jì)算機(jī)CPU 為6核i7-10750H、Win10操作系統(tǒng)、GPU為RTX2070。

在采集的5 類水下目標(biāo)圖像中，隨機(jī)抽取20%的目標(biāo)數(shù)據(jù)作為測(cè)試集，余下的作為訓(xùn)練集。為了確保目標(biāo)分類的準(zhǔn)確性，在抽取數(shù)據(jù)時(shí)需要將聲學(xué)圖像和光學(xué)圖像數(shù)據(jù)一一對(duì)應(yīng)。訓(xùn)練集和測(cè)試集的樣本組成如表2所示。

表2 訓(xùn)練集和測(cè)試集樣本數(shù)量Table 2 Sample number of training set and test set

4.1 不同分類網(wǎng)絡(luò)在本文數(shù)據(jù)集上的分類性能

分別使用VGG16、Resnet50、MobileNetV2 以及改進(jìn)的MobileNetV2 網(wǎng)絡(luò)對(duì)本文數(shù)據(jù)集(以光學(xué)圖像為例)進(jìn)行分類，驗(yàn)證幾種分類網(wǎng)絡(luò)對(duì)水下目標(biāo)的分類性能。將水下目標(biāo)圖像輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，在網(wǎng)絡(luò)訓(xùn)練前，應(yīng)用高斯分布G(μ,σ2)對(duì)網(wǎng)絡(luò)中的所有參數(shù)進(jìn)行隨機(jī)初始化，其中μ=0，σ=1。采用Optimizers 優(yōu)化器對(duì)整個(gè)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化，學(xué)習(xí)率設(shè)為0.00001。在訓(xùn)練數(shù)據(jù)中每次隨機(jī)抽取16張圖像訓(xùn)練網(wǎng)絡(luò)，迭代次數(shù)為100，網(wǎng)絡(luò)采用代價(jià)函數(shù)選用分類交叉熵。幾種模型的分類結(jié)果可見(jiàn)表3，其中，分類時(shí)間是測(cè)試過(guò)程中對(duì)一張圖像得出分類結(jié)果所用的平均時(shí)間。

表3 目標(biāo)分類網(wǎng)絡(luò)性能比較Table 3 Comparison of performance of target classification network

由表3可以看出，分類準(zhǔn)確率最高的是VGG16網(wǎng)絡(luò)，可以達(dá)到93.7%，但是其分類時(shí)間最長(zhǎng)，參數(shù)量最大，計(jì)算代價(jià)較高。Resnet50 網(wǎng)絡(luò)的分類時(shí)間和計(jì)算代價(jià)有所減少，但分類準(zhǔn)確率較低，MobilenetV2網(wǎng)絡(luò)與之相比準(zhǔn)確率有所提高，在參數(shù)量上也具有一定優(yōu)勢(shì)。綜合考慮分類準(zhǔn)確率、時(shí)間、參數(shù)量幾種指標(biāo)，MobilNetV2 網(wǎng)絡(luò)要優(yōu)于另外兩種網(wǎng)絡(luò)模型。相比于原始MobilNetV2網(wǎng)絡(luò)，改進(jìn)后的網(wǎng)絡(luò)得到的分類準(zhǔn)確率更高，且分類時(shí)間、參數(shù)量均有減小，說(shuō)明本文做出的改進(jìn)對(duì)模型性能有一定的提升，更加適用于水下目標(biāo)分類任務(wù)。

4.2 融合前后網(wǎng)絡(luò)性能比較

分別使用改進(jìn)的MobileNetV2 網(wǎng)絡(luò)對(duì)聲學(xué)圖像和光學(xué)圖像進(jìn)行分類，之后應(yīng)用本文提出的融合分類網(wǎng)絡(luò)將對(duì)應(yīng)的聲學(xué)圖像和光學(xué)圖像成對(duì)輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測(cè)試，對(duì)水下目標(biāo)圖像進(jìn)行分類。網(wǎng)絡(luò)超參數(shù)的設(shè)置均與前述實(shí)驗(yàn)一致，訓(xùn)練過(guò)程曲線如圖8所示。

由代價(jià)函數(shù)變化曲線可以看出，幾種模型的函數(shù)值在整個(gè)訓(xùn)練過(guò)程中不斷下降，最終都逐漸趨于平穩(wěn)，改進(jìn)后的MobileNetV2 網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集上具有較小的損失值，融合網(wǎng)絡(luò)的損失值最小，相比單通道的分類網(wǎng)絡(luò)具有更好的性能。圖8(b)為訓(xùn)練過(guò)程不同分類模型的分類準(zhǔn)確率變化曲線，將測(cè)試集輸入訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行分類，檢驗(yàn)?zāi)Ｐ偷姆诸愋阅埽倪M(jìn)前后與融合網(wǎng)絡(luò)在本文數(shù)據(jù)集上的分類準(zhǔn)確率如表4所示。

圖8 訓(xùn)練過(guò)程變化曲線Fig.8 Change curve of training process

由表4可以看出，改進(jìn)MobilNetV2 網(wǎng)絡(luò)對(duì)兩種圖像的分類準(zhǔn)確率分別為87.9%和93.1%，網(wǎng)絡(luò)模型的擬合情況較好，能適應(yīng)水下目標(biāo)分類的小樣本數(shù)據(jù)。本文提出的融合分類網(wǎng)絡(luò)對(duì)水下目標(biāo)圖像的分類準(zhǔn)確率達(dá)到96.5%，相比融合前的網(wǎng)絡(luò)模型對(duì)聲學(xué)圖像和光學(xué)圖像的分類準(zhǔn)確率分別提高8.6%和3.4%，具有良好的分類性能。

表4 不同網(wǎng)絡(luò)的分類準(zhǔn)確率Table 4 Classification accuracy of different networks

4.3 不同融合方式下網(wǎng)絡(luò)性能比較

本文在對(duì)聲光圖像進(jìn)行融合時(shí)使用的算法是通道拼接(concatenate)，在網(wǎng)絡(luò)的深層位置進(jìn)行特征融合。除此之外，融合算法還包括直接疊加(add)、最大化運(yùn)算(maximum)等，融合位置也可以選在網(wǎng)絡(luò)的淺層部分。分別使用add、maximum、concatenate三種融合算法，在改進(jìn)MobileNetV2網(wǎng)絡(luò)的第一個(gè)卷積層后進(jìn)行特征融合，將該融合網(wǎng)絡(luò)記為淺層融合網(wǎng)絡(luò)，本文提出的融合網(wǎng)絡(luò)記為深層融合網(wǎng)絡(luò)，利用聲、光學(xué)圖像分別在兩種融合網(wǎng)絡(luò)上進(jìn)行實(shí)驗(yàn)，訓(xùn)練過(guò)程代價(jià)函數(shù)及準(zhǔn)確率的變化如圖9所示。

圖9 融合網(wǎng)絡(luò)訓(xùn)練過(guò)程變化曲線Fig.9 Change curve of fusion network training process

兩種融合網(wǎng)絡(luò)在不同的融合算法下代價(jià)函數(shù)值均下降并收斂，融合算法的選擇對(duì)網(wǎng)絡(luò)性能的影響不明顯，深層融合網(wǎng)絡(luò)的收斂速率更快。將測(cè)試集數(shù)據(jù)輸入訓(xùn)練好的融合分類網(wǎng)絡(luò)，得到最終分類結(jié)果，融合網(wǎng)絡(luò)對(duì)水下目標(biāo)的分類結(jié)果可見(jiàn)表5。

表5 不同融合網(wǎng)絡(luò)對(duì)本文數(shù)據(jù)集的分類性能Table 5 Classification performance of different fusion networks on the dataset in this paper

由表5可以看出，淺層融合和本文提出深層融合的平均準(zhǔn)確率分別達(dá)到95.3%和96.4%，相比使用單通道網(wǎng)絡(luò)對(duì)水下目標(biāo)圖像的分類準(zhǔn)確率均有明顯提高，深層位置的融合網(wǎng)絡(luò)分類準(zhǔn)確率更高。由于深層融合需要的參數(shù)更多，運(yùn)算成本也略有增加。同一融合位置下不同融合算法的選擇對(duì)分類結(jié)果的影響較小。

4.4 融合網(wǎng)絡(luò)魯棒性實(shí)驗(yàn)

在實(shí)際水下應(yīng)用中，由于水下攝像機(jī)和聲吶的作用距離不同，遠(yuǎn)距離條件下只有聲吶能夠獲取到有效數(shù)據(jù)，且水下環(huán)境的復(fù)雜性及實(shí)驗(yàn)過(guò)程的各種不可控因素可能會(huì)導(dǎo)致其中一臺(tái)設(shè)備無(wú)法正常工作。考慮到最差的情況，假設(shè)其中一臺(tái)設(shè)備失效，將該設(shè)備獲得的圖像記為一個(gè)全0 數(shù)組，另一設(shè)備獲得的為正常圖像，將其輸入本文的融合網(wǎng)絡(luò)進(jìn)行測(cè)試，兩種情況下不同數(shù)據(jù)集在網(wǎng)絡(luò)中的分類結(jié)果如表6所示。

表6 不同數(shù)據(jù)集下的融合網(wǎng)絡(luò)分類準(zhǔn)確率Table 6 Classification accuracy of fusion networks under different data sets

由表6可以看出，在光圖缺失的情況下，融合網(wǎng)絡(luò)的分類準(zhǔn)確率為85.7%，聲圖缺失情況下的分類準(zhǔn)確率達(dá)到90.3%，相比正常數(shù)據(jù)下的分類準(zhǔn)確率有所降低，原因可能是融合后的特征圖中包含無(wú)效數(shù)據(jù)，對(duì)網(wǎng)絡(luò)具有一定干擾作用。由此可見(jiàn)，當(dāng)一臺(tái)設(shè)備失效時(shí)，融合網(wǎng)絡(luò)的分類準(zhǔn)確率會(huì)受到一定影響，但是最低仍能達(dá)到85%以上，而普通的單路網(wǎng)絡(luò)在此種情況下會(huì)失去分類能力，說(shuō)明本文提出的融合網(wǎng)絡(luò)具有一定的容錯(cuò)能力和魯棒性。

5 結(jié)論

本文主要以下從兩個(gè)角度改善網(wǎng)絡(luò)的分類性能，以適應(yīng)小樣本條件下的水下目標(biāo)分類任務(wù)。首先，將改進(jìn)的MobilenetV2 網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)，以減小網(wǎng)絡(luò)訓(xùn)練過(guò)程的計(jì)算開(kāi)銷和內(nèi)存占用，使用實(shí)驗(yàn)采集的真實(shí)數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，改善網(wǎng)絡(luò)擬合效果。其次，將改進(jìn)網(wǎng)絡(luò)作為融合網(wǎng)絡(luò)的分支，使用中間層融合策略將水下目標(biāo)的聲、光學(xué)圖像特征圖進(jìn)行融合，實(shí)現(xiàn)各自的優(yōu)勢(shì)互補(bǔ)，進(jìn)一步提高分類準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，與其他常用分類模型相比，MobilenetV2 網(wǎng)絡(luò)的分類準(zhǔn)確率較提高，在參數(shù)量上和分類時(shí)間上也具有一定優(yōu)勢(shì)。改進(jìn)的MobilenetV2 網(wǎng)絡(luò)與原網(wǎng)絡(luò)相比，參數(shù)量及計(jì)算資源消耗減少，分類準(zhǔn)確率進(jìn)一步提高，在水下目標(biāo)分類任務(wù)中具有更好的性能。相比融合前的網(wǎng)絡(luò)，融合網(wǎng)絡(luò)模型的學(xué)習(xí)曲線收斂更快，且準(zhǔn)確率更高，在add、maximum、concatenate三種融合算法下，融合網(wǎng)絡(luò)的分類準(zhǔn)確率均有不同程度的提升。在單路數(shù)據(jù)缺失的情況下，融合網(wǎng)絡(luò)的分類準(zhǔn)確率仍能達(dá)到85%以上，具有一定的魯棒性。