陳鑫哲, 梁紅, 徐微雨

(西北工業(yè)大學(xué) 航海學(xué)院, 陜西 西安 710072)

隨著水下勘探技術(shù)的不斷發(fā)展與水下環(huán)境的逐漸開(kāi)發(fā),更多未經(jīng)訓(xùn)練過(guò)的水下目標(biāo)信息會(huì)被獲取,水下目標(biāo)識(shí)別系統(tǒng)的需求也隨之增加。目前,大部分用于水下目標(biāo)聲吶圖像的分類(lèi)識(shí)別網(wǎng)絡(luò)采用的都是一次性輸入所有類(lèi)別樣本的訓(xùn)練方法,這樣訓(xùn)練好的分類(lèi)識(shí)別網(wǎng)絡(luò)只能對(duì)學(xué)習(xí)過(guò)的類(lèi)別樣本進(jìn)行分類(lèi)識(shí)別,當(dāng)有新的類(lèi)別樣本需要學(xué)習(xí)時(shí),就只能將目前的所有類(lèi)別樣本重新進(jìn)行訓(xùn)練,需要耗費(fèi)大量的時(shí)間與算力。

類(lèi)別增量學(xué)習(xí)(class-incremental learning,C-IL)[1]要求分類(lèi)識(shí)別網(wǎng)絡(luò)能不斷地從新獲取的任務(wù)類(lèi)別樣本中學(xué)習(xí)到新知識(shí),同時(shí)保留歷史學(xué)習(xí)過(guò)的任務(wù)目標(biāo)類(lèi)別知識(shí)。但是,類(lèi)別增量學(xué)習(xí)網(wǎng)絡(luò)在學(xué)習(xí)了新任務(wù)類(lèi)別樣本后,通常會(huì)對(duì)歷史學(xué)習(xí)過(guò)的任務(wù)類(lèi)別樣本出現(xiàn)災(zāi)難性遺忘問(wèn)題[2],導(dǎo)致所有任務(wù)目標(biāo)的分類(lèi)識(shí)別準(zhǔn)確率嚴(yán)重降低。

為了緩解災(zāi)難性遺忘問(wèn)題,研究人員提出了各種增量學(xué)習(xí)方法,依據(jù)方法原理的不同,可以將目前的增量學(xué)習(xí)方法分為以下2類(lèi):基于正則化(regularization)和基于重放(replay)?；谡齽t化的代表方法有:Li等[3]提出的不忘學(xué)習(xí)(learning without forgetting,LWF),DeepMind團(tuán)隊(duì)提出的彈性權(quán)重鞏固(elastic weight consolidation,EWC)[4]。基于重放的代表方法是Shin等[5]提出的生成重放(generated replay,GR),基于生成重放的增量學(xué)習(xí)方法對(duì)類(lèi)別增量學(xué)習(xí)總體表現(xiàn)更好,它對(duì)于光學(xué)圖像取得了較高的類(lèi)別增量識(shí)別準(zhǔn)確率,并且在一定程度上緩解了災(zāi)難性遺忘問(wèn)題。

相比數(shù)以百萬(wàn)計(jì)的高質(zhì)量光學(xué)圖像數(shù)據(jù),由于獲取難度高、水下環(huán)境噪聲干擾大和觀測(cè)角度有限,聲吶圖像存在樣本數(shù)少、分辨率低和邊緣不連續(xù)的問(wèn)題[6],直接將光學(xué)領(lǐng)域的識(shí)別方法應(yīng)用于聲吶圖像,通常表現(xiàn)較差[7]。因此,GR增量網(wǎng)絡(luò)對(duì)聲吶圖像類(lèi)別增量學(xué)習(xí)的可行性還待進(jìn)一步研究。

本文研究GR增量網(wǎng)絡(luò)對(duì)于聲吶圖像類(lèi)別增量學(xué)習(xí)的可行性,提出一種適用于聲吶圖像類(lèi)別增量學(xué)習(xí)的改進(jìn)GR增量網(wǎng)絡(luò),緩解災(zāi)難性遺忘問(wèn)題,提高聲吶圖像所有任務(wù)目標(biāo)類(lèi)別的平均識(shí)別準(zhǔn)確率。

1 數(shù)據(jù)集的建立

本文建立的數(shù)據(jù)集包含前視聲吶和側(cè)掃聲吶等多種聲吶成像設(shè)備得到的聲吶圖像,依據(jù)圖像的目標(biāo)類(lèi)別將其整理劃分為6類(lèi),分別是飛機(jī)、沉船、瓶子、輪胎、石塊和水下機(jī)器人。采用雙線性插值法對(duì)聲吶圖像進(jìn)行尺寸統(tǒng)一,規(guī)范后的圖像尺寸為(112,112),每個(gè)目標(biāo)類(lèi)別的數(shù)據(jù)按照4∶1的比例隨機(jī)分為訓(xùn)練集和測(cè)試集,數(shù)據(jù)集分布如表1所示。

表1 數(shù)據(jù)集分布

本文將數(shù)據(jù)集劃分為如圖1所示的3個(gè)任務(wù)目標(biāo),依次輸入到類(lèi)別增量學(xué)習(xí)網(wǎng)絡(luò)中,作為新的類(lèi)別知識(shí)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

圖1 任務(wù)目標(biāo)

2 GR增量網(wǎng)絡(luò)

2.1 GR增量網(wǎng)絡(luò)結(jié)構(gòu)

GR增量網(wǎng)絡(luò)是由重構(gòu)模型和識(shí)別網(wǎng)絡(luò)組成的合作雙模型架構(gòu)。利用這種模型架構(gòu),網(wǎng)絡(luò)可使用重構(gòu)的歷史數(shù)據(jù)和真實(shí)當(dāng)前數(shù)據(jù)的集合進(jìn)行聯(lián)合訓(xùn)練,緩解災(zāi)難性遺忘問(wèn)題,GR增量網(wǎng)絡(luò)學(xué)習(xí)流程如圖2所示。

圖2 GR增量網(wǎng)絡(luò)學(xué)習(xí)流程

GR增量網(wǎng)絡(luò)在類(lèi)別增量學(xué)習(xí)過(guò)程中,對(duì)歷史類(lèi)別數(shù)據(jù)進(jìn)行重構(gòu)的模型是變分自編碼器(variational autoencoder,VAE)[8],由編碼器、采樣模塊和解碼器組成。編碼器將圖像數(shù)據(jù)分布的高維特征映射到低維特征上,這一部分主要是均值和方差的計(jì)算;圖像數(shù)據(jù)經(jīng)過(guò)編碼后,采樣模塊從正態(tài)分布中采樣數(shù)據(jù),并與編碼器得到的均值和方差聯(lián)合計(jì)算,從而得出采樣變量;獲得采樣變量后,將其作為解碼器的輸入,利用解碼器進(jìn)行圖像還原,輸出生成圖像。對(duì)圖像進(jìn)行訓(xùn)練的識(shí)別網(wǎng)絡(luò)采用多層感知機(jī)(multilayer perceptron,MLP)[9]這一淺層全連接網(wǎng)絡(luò)。

2.2 GR增量網(wǎng)絡(luò)實(shí)驗(yàn)分析

本文實(shí)驗(yàn)平臺(tái)為AMD 5900X CPU、Nvidia RTX 3080 GPU和32G內(nèi)存的工作站,Pytorch版本為1.9,操作系統(tǒng)為Windows10。針對(duì)本文建立的聲吶圖像數(shù)據(jù)集,采用GR增量網(wǎng)絡(luò)進(jìn)行訓(xùn)練。隨著任務(wù)目標(biāo)的不斷增加,網(wǎng)絡(luò)對(duì)新任務(wù)目標(biāo)和舊任務(wù)目標(biāo)的識(shí)別率變化如圖3所示。

圖3 GR增量網(wǎng)絡(luò)的識(shí)別率

當(dāng)?shù)谝粋€(gè)任務(wù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對(duì)所有目標(biāo)類(lèi)別的識(shí)別準(zhǔn)確率為89.9%。當(dāng)?shù)诙€(gè)任務(wù)作為新類(lèi)別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對(duì)所有目標(biāo)類(lèi)別的平均識(shí)別率為73.6%,對(duì)歷史學(xué)習(xí)的第一個(gè)任務(wù)的識(shí)別率從89.9%降為50.5%。當(dāng)?shù)谌齻€(gè)任務(wù)作為新類(lèi)別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對(duì)所有目標(biāo)類(lèi)別的平均識(shí)別率為67.6%,對(duì)歷史學(xué)習(xí)的舊任務(wù)目標(biāo)的識(shí)別率明顯下降,其中,對(duì)第一個(gè)任務(wù)的識(shí)別準(zhǔn)確率降到了27.3%,對(duì)第二個(gè)任務(wù)的識(shí)別準(zhǔn)確率降到了79.6%。結(jié)果表明,GR增量網(wǎng)絡(luò)的平均識(shí)別率較低,對(duì)歷史任務(wù)目標(biāo)產(chǎn)生了較嚴(yán)重的災(zāi)難性遺忘。

3 改進(jìn)的GR增量網(wǎng)絡(luò)

3.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)原理

由2.2節(jié)可知,GR增量網(wǎng)絡(luò)對(duì)于聲吶圖像的類(lèi)別增量學(xué)習(xí)效果較差,本文對(duì)GR增量網(wǎng)絡(luò)的重構(gòu)模型和識(shí)別網(wǎng)絡(luò)進(jìn)行改進(jìn),以期望獲得更好的類(lèi)別增量學(xué)習(xí)性能。

GR增量網(wǎng)絡(luò)的重構(gòu)模型VAE雖然可以通過(guò)編碼與解碼重構(gòu)圖像,但是這種方式下生成的圖像較為模糊[10]。深層卷積生成對(duì)抗網(wǎng)絡(luò)(deep convolutional generative adversarial network,DCGAN)[11]由生成器和判別器兩部分組成,二者結(jié)構(gòu)近似于卷積神經(jīng)網(wǎng)絡(luò),但是使用帶步長(zhǎng)的反卷積層或卷積層代替池化層,DCGAN通過(guò)生成器與判別器的生成對(duì)抗來(lái)重構(gòu)圖像。本文隨機(jī)選取飛機(jī)和沉船的重構(gòu)圖像進(jìn)行對(duì)比,VAE和DCGAN重構(gòu)的聲吶圖像分別如圖4a)和圖4b)所示。兩圖的上半部為原始聲吶圖像,下半部為重構(gòu)的圖像。VAE重構(gòu)的圖像中,當(dāng)飛機(jī)較小時(shí),圖像無(wú)法清晰分辨目標(biāo),并且所有沉船的重構(gòu)圖像均嚴(yán)重失真。相比而言,DCGAN重構(gòu)的飛機(jī)與沉船圖像輪廓更明顯、細(xì)節(jié)更豐富,大部分重構(gòu)圖像可較為清晰地分辨目標(biāo)。

圖4 VAE和DCGAN重構(gòu)的聲吶圖像

GR增量網(wǎng)絡(luò)的識(shí)別網(wǎng)絡(luò)MLP是由多個(gè)神經(jīng)元層組成的全連接網(wǎng)絡(luò)模型,它早期在手寫(xiě)數(shù)字識(shí)別和行人檢測(cè)中獲得了不錯(cuò)的效果[12]。但是,在進(jìn)行聲吶圖像類(lèi)別增量學(xué)習(xí)訓(xùn)練時(shí),MLP這種全連接網(wǎng)絡(luò)模型的參數(shù)量是十分巨大的,過(guò)大的參數(shù)量會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過(guò)擬合,而且在圖像的特征提取過(guò)程中,MLP會(huì)將所有圖像轉(zhuǎn)換成一維向量,導(dǎo)致其失去空間特征,影響圖像的分類(lèi)識(shí)別準(zhǔn)確率。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)[13]利用卷積層和池化層實(shí)現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)的局部連接、權(quán)值共享和空間下采樣,在提取出圖像局部空間特征的同時(shí),有效降低了網(wǎng)絡(luò)模型訓(xùn)練的參數(shù)量,避免訓(xùn)練過(guò)擬合,對(duì)圖像的準(zhǔn)確識(shí)別起到積極作用。

本文基于水下目標(biāo)聲吶圖像的特點(diǎn),設(shè)計(jì)搭建新的DCGAN和CNN,并將設(shè)計(jì)搭建好的DCGAN和CNN分別替換GR增量網(wǎng)絡(luò)的VAE和MLP,作為網(wǎng)絡(luò)新的重構(gòu)模型和識(shí)別網(wǎng)絡(luò),得到改進(jìn)的GR增量網(wǎng)絡(luò)。改進(jìn)的GR增量網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

圖5 改進(jìn)的GR增量網(wǎng)絡(luò)結(jié)構(gòu)

3.2 網(wǎng)絡(luò)模型搭建

3.2.1 DCGAN模型搭建

基于生成對(duì)抗網(wǎng)絡(luò)理論與水下目標(biāo)聲吶圖像特點(diǎn),設(shè)計(jì)搭建DCGAN需考慮以下幾點(diǎn):

1) 生成器與判別器模型的設(shè)置。生成器與判別器要求模型對(duì)稱(chēng),即生成器的反卷積層與判別器的卷積層數(shù)目相等,這樣才能達(dá)到網(wǎng)絡(luò)可微的目的,從而使網(wǎng)絡(luò)的損失函數(shù)在訓(xùn)練過(guò)程中向著一個(gè)方向穩(wěn)定收斂。

2) 反卷積層和卷積層數(shù)目的設(shè)置。由于聲吶圖像樣本數(shù)少,應(yīng)使用較少的層數(shù)進(jìn)行模型搭建,避免因參數(shù)過(guò)多而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練出現(xiàn)過(guò)擬合。

3) 卷積層參數(shù)的設(shè)計(jì),包括卷積核大小、步長(zhǎng)、邊界填充數(shù)目。聲吶圖像經(jīng)過(guò)裁剪等預(yù)處理操作后,圖像的尺寸相較原始圖像減小了很多,為了避免網(wǎng)絡(luò)模型在聲吶圖像的特征提取過(guò)程中丟失大量的有用特征,應(yīng)使用較小的卷積核,如3×3卷積核。設(shè)置步長(zhǎng)可以壓縮卷積層的運(yùn)算量,加快網(wǎng)絡(luò)訓(xùn)練的擬合速度,但是步長(zhǎng)不宜設(shè)置過(guò)大,過(guò)大的步長(zhǎng)會(huì)使卷積層提取不到充足的聲吶圖像特征。邊界填充是為了避免帶步長(zhǎng)的卷積運(yùn)算錯(cuò)過(guò)聲吶圖像的邊緣信息,邊界填充的數(shù)目需根據(jù)輸入圖像、步長(zhǎng)與卷積核來(lái)設(shè)置,不能超過(guò)卷積核的大小,以避免無(wú)效運(yùn)算。

4) 網(wǎng)絡(luò)參數(shù)優(yōu)化算法和激活函數(shù)的選取。Adam算法能基于訓(xùn)練數(shù)據(jù)迭代更新網(wǎng)絡(luò)參數(shù),具有計(jì)算高效和所需內(nèi)存少等優(yōu)勢(shì)。ReLU、Leaky ReLU激活函數(shù)在圖像處理的卷積神經(jīng)網(wǎng)絡(luò)中使用較多,它們能夠保持梯度不衰減,從而緩解梯度消失問(wèn)題。

綜合考慮以上幾點(diǎn)設(shè)計(jì)要求,本文設(shè)計(jì)搭建的DCGAN的生成器與判決器模型分別如表2～3所示。

表2 生成器模型

表3 判別器模型

生成器首先產(chǎn)生隨機(jī)噪聲輸入到網(wǎng)絡(luò)第一層——全連接層,通過(guò)全連接層進(jìn)行尺寸變換,轉(zhuǎn)化為7×7×128的特征矩陣,然后該特征矩陣通過(guò)4層反卷積核大小為3×3,步長(zhǎng)s=2的反卷積層,同時(shí),對(duì)反卷積層進(jìn)行p=1的邊界填充。其中,在每個(gè)反卷積層進(jìn)行反卷積操作前,都使用批次標(biāo)準(zhǔn)化BatchNorm和激活函數(shù)Leaky ReLU,將特征歸一化與非線性整合,以加速網(wǎng)絡(luò)訓(xùn)練和提升訓(xùn)練的穩(wěn)定性。最終,經(jīng)過(guò)4個(gè)反卷積層后,網(wǎng)絡(luò)輸出得到與歷史圖像尺寸(112,112)相同的生成圖像。

判別器與生成器形成模型對(duì)稱(chēng),同樣設(shè)置4層卷積核大小為3×3,步長(zhǎng)s=2的卷積層,并進(jìn)行p=1的邊界填充,經(jīng)過(guò)每一層卷積操作完成特征提取后,對(duì)得到的特征進(jìn)行BatchNorm批次標(biāo)準(zhǔn)化以及Leaky ReLU激活函數(shù)的非線性整合。然后,判別器網(wǎng)絡(luò)中加入了Dropout,可在一定程度上避免網(wǎng)絡(luò)過(guò)擬合。最后,將提取到的特征圖經(jīng)過(guò)全連接層輸出映射為一個(gè)值,并將這個(gè)值經(jīng)過(guò)sigmoid激活函數(shù)后,輸出該判別器網(wǎng)絡(luò)對(duì)輸入圖像數(shù)據(jù)類(lèi)別的概率值。

3.2.2 CNN模型搭建

CNN與DCGAN的判別器模型設(shè)計(jì)搭建原理大體相似,不同的是本文的CNN采用ReLU激活函數(shù),并且比DCGAN的判別器多了池化層的設(shè)計(jì),池化層通常位于卷積層之后,用于降低卷積層的尺寸,從而降低網(wǎng)絡(luò)訓(xùn)練復(fù)雜度,但是,池化層在降低網(wǎng)絡(luò)復(fù)雜度的同時(shí)會(huì)丟失掉圖像的許多特征。由于聲吶圖像分辨率低,應(yīng)用于聲吶圖像識(shí)別的CNN應(yīng)使用較少的池化層,池化方法可以選取最大池化。本文設(shè)計(jì)搭建的CNN模型如表4所示。

表4 CNN模型

3.3 改進(jìn)的GR增量網(wǎng)絡(luò)實(shí)驗(yàn)分析

為驗(yàn)證本文提出的改進(jìn)的GR增量網(wǎng)絡(luò)的類(lèi)別增量學(xué)習(xí)性能,使用該網(wǎng)絡(luò)對(duì)水下目標(biāo)聲吶圖像數(shù)據(jù)集進(jìn)行類(lèi)別增量學(xué)習(xí)訓(xùn)練,每一個(gè)任務(wù)目標(biāo)訓(xùn)練完成后,都用當(dāng)前學(xué)習(xí)過(guò)的所有類(lèi)別數(shù)據(jù)進(jìn)行測(cè)試,得到網(wǎng)絡(luò)對(duì)新任務(wù)目標(biāo)和舊任務(wù)目標(biāo)的識(shí)別率變化如圖6所示。

圖6 改進(jìn)的GR增量網(wǎng)絡(luò)的識(shí)別率

將GR增量網(wǎng)絡(luò)與改進(jìn)的GR增量網(wǎng)絡(luò)的平均識(shí)別準(zhǔn)確率進(jìn)行對(duì)比,網(wǎng)絡(luò)改進(jìn)前后的類(lèi)別增量識(shí)別率結(jié)果如表5所示。

表5 增量網(wǎng)絡(luò)改進(jìn)前后的類(lèi)別增量識(shí)別率

采用改進(jìn)的GR增量網(wǎng)絡(luò),第一個(gè)任務(wù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對(duì)所有目標(biāo)類(lèi)別的平均識(shí)別率為100%。當(dāng)?shù)诙€(gè)任務(wù)作為新類(lèi)別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,網(wǎng)絡(luò)對(duì)所有目標(biāo)類(lèi)別的平均識(shí)別率為94.3%,對(duì)歷史學(xué)習(xí)的第一個(gè)任務(wù)的識(shí)別率從100%降至98.6%,對(duì)第二個(gè)任務(wù)的識(shí)別率為90%。當(dāng)?shù)谌齻€(gè)任務(wù)作為新類(lèi)別數(shù)據(jù)進(jìn)入增量網(wǎng)絡(luò)訓(xùn)練完成后,對(duì)當(dāng)前所有目標(biāo)類(lèi)別的平均識(shí)別率為87%,對(duì)歷史學(xué)習(xí)的第一個(gè)任務(wù)的識(shí)別率從98.6%降到了79.3%,對(duì)歷史學(xué)習(xí)的第二個(gè)任務(wù)的識(shí)別率從90%降到了83.6%,對(duì)第三個(gè)任務(wù)的識(shí)別率為98%。改進(jìn)的GR增量網(wǎng)絡(luò)對(duì)當(dāng)前所有任務(wù)目標(biāo)的平均識(shí)別準(zhǔn)確率始終高于GR增量網(wǎng)絡(luò),平均識(shí)別率相比提高了19.4%。改進(jìn)的GR增量網(wǎng)絡(luò)對(duì)于歷史任務(wù)目標(biāo)的平均識(shí)別率相比GR增量網(wǎng)絡(luò)提升了34.7%。

為驗(yàn)證本文提出改進(jìn)的重構(gòu)模型和識(shí)別網(wǎng)絡(luò)分別對(duì)于聲吶圖像類(lèi)別增量學(xué)習(xí)的作用,將重構(gòu)模型VAE和DCGAN與識(shí)別網(wǎng)絡(luò)MLP和CNN分別進(jìn)行組合,重構(gòu)模型和識(shí)別網(wǎng)絡(luò)分別改進(jìn)前后的平均識(shí)別率和參數(shù)量如表6所示。

表6 增量網(wǎng)絡(luò)改進(jìn)前后的平均識(shí)別率和參數(shù)量

由表6可得,相比VAE+MLP,DCGAN+MLP的平均識(shí)別率提高了11.8%,參數(shù)量降低了47.5%;VAE+CNN的平均識(shí)別率提升了11.2%,參數(shù)量降低了31.5%;DCGAN+CNN的平均識(shí)別率提高了19.4%,參數(shù)量降低了79%。相比單獨(dú)改進(jìn)識(shí)別網(wǎng)絡(luò),單獨(dú)改進(jìn)重構(gòu)模型對(duì)GR增量網(wǎng)絡(luò)平均識(shí)別率的提高和參數(shù)量的降低更加明顯,而DCGAN+CNN是最佳的GR增量網(wǎng)絡(luò)結(jié)構(gòu)。

4 實(shí)驗(yàn)驗(yàn)證與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集的建立

為驗(yàn)證本文提出的改進(jìn)GR增量網(wǎng)絡(luò)對(duì)水下目標(biāo)聲吶圖像類(lèi)別增量學(xué)習(xí)的泛化性,通過(guò)外場(chǎng)試驗(yàn)建立水下目標(biāo)聲吶圖像數(shù)據(jù)集如表7所示,將實(shí)驗(yàn)數(shù)據(jù)集隨機(jī)劃分為圖7所示的3個(gè)任務(wù)目標(biāo)。

表7 實(shí)驗(yàn)數(shù)據(jù)集

圖7 任務(wù)目標(biāo)

4.2 增量網(wǎng)絡(luò)泛化性實(shí)驗(yàn)

分別采用GR增量網(wǎng)絡(luò)和改進(jìn)的GR增量網(wǎng)絡(luò)對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行類(lèi)別增量學(xué)習(xí)訓(xùn)練,得到改進(jìn)前后的GR增量網(wǎng)絡(luò)對(duì)所有任務(wù)目標(biāo)的識(shí)別率如表8所示。

表8 增量網(wǎng)絡(luò)改進(jìn)前后的類(lèi)別增量識(shí)別率

本文提出的改進(jìn)的GR增量網(wǎng)絡(luò)相比GR增量網(wǎng)絡(luò),第一次訓(xùn)練后的平均識(shí)別率提高了11.1%。第二次訓(xùn)練后的平均識(shí)別率提高了14.2%。第三次訓(xùn)練后,對(duì)所有任務(wù)目標(biāo)的平均識(shí)別率提升了8.6%。對(duì)歷史任務(wù)目標(biāo)的平均識(shí)別率提升了18.8%。

對(duì)于本文建立的實(shí)驗(yàn)數(shù)據(jù)集,采用經(jīng)典增量學(xué)習(xí)方法與本文提出的改進(jìn)GR增量網(wǎng)絡(luò)進(jìn)行對(duì)比,各種增量學(xué)習(xí)方法的識(shí)別率結(jié)果如表9所示。

由表9可得,基于正則化的EWC和LWF方法對(duì)于聲吶圖像類(lèi)別增量學(xué)習(xí)表現(xiàn)較差,當(dāng)網(wǎng)絡(luò)訓(xùn)練完成后,對(duì)所有任務(wù)目標(biāo)平均識(shí)別率均低于45%。相比而言,GR增量網(wǎng)絡(luò)總體表現(xiàn)更好,尤其是本文提出的改進(jìn)GR增量網(wǎng)絡(luò),對(duì)所有任務(wù)目標(biāo)的平均識(shí)別率達(dá)到86.9%。

表9 各種增量學(xué)習(xí)方法的識(shí)別率

5 結(jié) 論

本文基于深層卷積生成對(duì)抗網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)理論,對(duì)GR增量網(wǎng)絡(luò)的重構(gòu)模型與識(shí)別網(wǎng)絡(luò)進(jìn)行改進(jìn),提出了一種改進(jìn)的GR增量網(wǎng)絡(luò),對(duì)所有聲吶圖像任務(wù)目標(biāo)的平均識(shí)別率提升了19.4%,對(duì)歷史任務(wù)目標(biāo)的平均識(shí)別率提升了34.7%。采用外場(chǎng)實(shí)驗(yàn)獲得的水下目標(biāo)聲吶圖像實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行了網(wǎng)絡(luò)泛化性實(shí)驗(yàn),改進(jìn)的GR增量網(wǎng)絡(luò)對(duì)所有任務(wù)目標(biāo)的平均識(shí)別率提升了8.6%,對(duì)歷史任務(wù)目標(biāo)的平均識(shí)別率提升了18.8%。上述結(jié)果表明,本文提出的改進(jìn)GR增量網(wǎng)絡(luò)對(duì)于聲吶圖像具有良好的類(lèi)別增量學(xué)習(xí)性能,較好地緩解了對(duì)歷史任務(wù)目標(biāo)的災(zāi)難性遺忘問(wèn)題。