亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        側(cè)掃聲吶識(shí)別沉船影像的遷移學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)法

        2021-03-10 06:40:30湯寓麟金紹華張永厚
        測(cè)繪學(xué)報(bào) 2021年2期
        關(guān)鍵詞:聲吶集上準(zhǔn)確率

        湯寓麟,金紹華,邊 剛,張永厚,李 凡

        海軍大連艦艇學(xué)院軍事海洋與測(cè)繪系,遼寧 大連 116018

        海底沉船目標(biāo)探測(cè)與識(shí)別是水下礙航物探測(cè)和海上應(yīng)急搜救的重要內(nèi)容[1],側(cè)掃聲吶作為聲學(xué)探測(cè)設(shè)備,是海底目標(biāo)探測(cè)的主要技術(shù)手段。目前,對(duì)側(cè)掃聲吶圖像的識(shí)別一般采用人工判讀的方式,但人工判讀存在效率低、耗時(shí)長、資源消耗大及主觀不確定性強(qiáng)和過分依賴經(jīng)驗(yàn)等問題。當(dāng)前,隨著側(cè)掃聲吶在海底礙航物目標(biāo)探測(cè)中的廣泛應(yīng)用,特別是在失事船只搜救方面的應(yīng)用可快速探測(cè)海底目標(biāo),在障礙物核查以及失事船只搜救方面發(fā)揮了關(guān)鍵作用[2-6],如何客觀、精準(zhǔn)、快速、高效地識(shí)別側(cè)掃聲吶圖像沉船目標(biāo)顯得愈發(fā)重要。為了彌補(bǔ)人工判讀方式存在的問題,減弱人為主觀因素的影響,國內(nèi)外學(xué)者針對(duì)側(cè)掃聲吶圖像自動(dòng)檢測(cè)與分類識(shí)別做了大量工作。主要是,首先利用圖像處理的基本算法,包括基于脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)的圖像處理算法、形態(tài)學(xué)圖像處理算法,通過中值濾波、二值化處理、噪聲抑制、增益負(fù)反饋控制、邊緣特征提取、圖像增強(qiáng)、圖像分割等方式對(duì)側(cè)掃聲吶圖像進(jìn)行處理[7-15];然后基于顏色、紋理、灰度、形狀、主成分分析等算法提取目標(biāo)特征;最后利用人工提取的特征訓(xùn)練分類器,如隱馬爾可夫模型、K近鄰、支持向量機(jī)(SVM)、BP神經(jīng)網(wǎng)絡(luò)等分類器,實(shí)現(xiàn)水下目標(biāo)的識(shí)別[16]。文獻(xiàn)[17]提出一種基于DBN結(jié)構(gòu)用于水下目標(biāo)識(shí)別的深度學(xué)習(xí)框架,在40個(gè)類別的分類問題中達(dá)到90.23%準(zhǔn)確率。文獻(xiàn)[18]提出基于支持向量機(jī)對(duì)側(cè)掃聲吶圖像進(jìn)行目標(biāo)識(shí)別分類的方法。文獻(xiàn)[19]提出基于SVM算法和GLCM的側(cè)掃聲吶影像分類研究。文獻(xiàn)[20]使用簡(jiǎn)單的BP神經(jīng)網(wǎng)絡(luò)對(duì)水下圖像目標(biāo)進(jìn)行分類識(shí)別,人工選取特征后送入神經(jīng)網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練,正確率為80%。文獻(xiàn)[21]通過屬性直方圖提取目標(biāo)聲影特征,再使用模糊聚類和BP神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行識(shí)別。這些方法盡管在一定程度上實(shí)現(xiàn)了海底目標(biāo)的自動(dòng)探測(cè)與識(shí)別,但受聲吶圖像質(zhì)量、特征提取算法模型的針對(duì)性等影響,提取的特征參數(shù)的有效性、全面性和泛化性很難把握。

        近年來,隨著計(jì)算機(jī)算力的極大提高,卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為深度學(xué)習(xí)的代表算法在計(jì)算機(jī)視覺與自然語言方面獲得廣泛的應(yīng)用。不同于人工設(shè)計(jì)特征,CNN受到人類視覺神經(jīng)系統(tǒng)啟發(fā),對(duì)特征進(jìn)行不同層次的抽象化,學(xué)習(xí)的特征更適用于圖像解析,尤其在圖像識(shí)別領(lǐng)域取得巨大突破[22]。文獻(xiàn)[23]采用卷積神經(jīng)網(wǎng)絡(luò)模型將MNIST數(shù)據(jù)集上的錯(cuò)誤率降低到0.95%以下。文獻(xiàn)[24]建立的AlexNet深層卷積神經(jīng)網(wǎng)絡(luò)模型在圖像分類方面獲得較好的效果,將測(cè)試錯(cuò)誤率降低到16.4%。文獻(xiàn)[25]建立的VGGnet網(wǎng)絡(luò)模型的識(shí)別錯(cuò)誤率僅為7.3%。文獻(xiàn)[26]建立了金字塔卷積神經(jīng)網(wǎng)絡(luò)(pyramid CNN),在人臉驗(yàn)證上獲得97.3%的準(zhǔn)確率。卷積神經(jīng)網(wǎng)絡(luò)盡管在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用,但其性能只有在網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜、訓(xùn)練樣本數(shù)足夠多的情況下才能得以展現(xiàn),當(dāng)訓(xùn)練樣本缺失時(shí),模型容易出現(xiàn)過擬合、陷入局部最優(yōu)解以及模型泛化能力差等現(xiàn)象[27-28]。為了解決這一問題,一般采用目前在圖像識(shí)別領(lǐng)域得到廣泛應(yīng)用的遷移學(xué)習(xí)方法進(jìn)行訓(xùn)練[29-35]。

        鑒于卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域取得了巨大的成功,本文嘗試將卷積神經(jīng)網(wǎng)絡(luò)算法引入側(cè)掃聲吶海底沉船圖像識(shí)別。擬參照VGG-16模型,根據(jù)側(cè)掃聲吶沉船數(shù)據(jù)特點(diǎn)設(shè)計(jì)一個(gè)改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型。同時(shí),針對(duì)側(cè)掃聲吶沉船數(shù)據(jù)集樣本過少的問題,提出采用遷移學(xué)習(xí)的方法訓(xùn)練并優(yōu)化網(wǎng)絡(luò)模型,以提高模型訓(xùn)練效率和側(cè)掃聲吶沉船圖像自動(dòng)識(shí)別的準(zhǔn)確率。

        1 數(shù)據(jù)集與預(yù)處理

        本文試驗(yàn)用于訓(xùn)練和測(cè)試的側(cè)掃聲吶圖像主要由國內(nèi)外各涉海部門使用主要包括Klein3000、Klein3900、EdgeTech4200、Yellowfin、海卓系列和Shark系列等國內(nèi)外主流側(cè)掃聲吶設(shè)備,在我國渤海、黃海、東海和南海相關(guān)海域以及太湖、千島湖和鄱陽湖等內(nèi)陸湖泊實(shí)測(cè)數(shù)據(jù)組成,為了進(jìn)一步豐富樣本數(shù)據(jù),利用網(wǎng)絡(luò)搜集部分側(cè)掃聲吶沉船圖片。最終選擇具有海底沉船目標(biāo)的側(cè)掃聲吶圖像1000張。卷積神經(jīng)網(wǎng)絡(luò)采用權(quán)值共享策略,可以降低網(wǎng)絡(luò)模型的復(fù)雜度并減少權(quán)值的數(shù)量,適合于訓(xùn)練數(shù)據(jù)集較小的圖像識(shí)別分類問題[36-39]。但對(duì)數(shù)據(jù)集的要求仍然是樣本數(shù)目越大越好,以便卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的樣本特征更多且更具有普適性,從而生成更準(zhǔn)確的模型。鑒于海底沉船圖像數(shù)量較少、背景復(fù)雜和目標(biāo)區(qū)域占比少等問題,如果僅利用該數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò),可能會(huì)導(dǎo)致模型過擬合。針對(duì)這種情況,本文對(duì)數(shù)據(jù)集進(jìn)行相應(yīng)預(yù)處理。

        1.1 特征標(biāo)準(zhǔn)化及歸一化處理

        由于海底沉船的圖像來源較為復(fù)雜,存在很多異質(zhì)數(shù)據(jù)(有的數(shù)據(jù)的一個(gè)特征在0—1范圍內(nèi),另一個(gè)特征在100—200范圍內(nèi)),將其直接輸入到神經(jīng)網(wǎng)絡(luò)中存在風(fēng)險(xiǎn),可能引起網(wǎng)絡(luò)較大的梯度更新而導(dǎo)致網(wǎng)絡(luò)無法收斂。為了簡(jiǎn)化網(wǎng)絡(luò)學(xué)習(xí),防止梯度爆炸,以便加速網(wǎng)絡(luò)收斂,輸入數(shù)據(jù)應(yīng)具有取值較小且范圍大致相同的特征。因此,首先對(duì)整個(gè)數(shù)據(jù)集的像素進(jìn)行標(biāo)準(zhǔn)化,將尺寸不一致的圖像強(qiáng)制性統(tǒng)一為200×200。原圖的灰度值編碼為0—255范圍內(nèi)的整數(shù),在將數(shù)據(jù)輸入網(wǎng)絡(luò)前,對(duì)其進(jìn)行歸一化處理,對(duì)樣本的處理如式(1)和式(2)所示

        (1)

        (2)

        式中,Xi表示該樣本中第i個(gè)像素點(diǎn)的值;n表示該像素點(diǎn)的總數(shù);μ表示均值;σ表示方差。歸一化函數(shù)如式(3)所示

        (3)

        1.2 圖像數(shù)據(jù)集擴(kuò)充

        機(jī)器學(xué)習(xí)的目的是得到可以泛化的模型,深度學(xué)習(xí)模型自主學(xué)習(xí)特征的能力依賴于大量的訓(xùn)練數(shù)據(jù),圖像特征越好,模型學(xué)習(xí)效率越高,效果越好。樣本越少,特征信息價(jià)值越重要。為了擴(kuò)充海底沉船圖像數(shù)據(jù)集,獲取明顯的特征,本文采用數(shù)據(jù)增強(qiáng)方式,主要包括圖像多尺度剪裁放大、圖像平移、圖像旋轉(zhuǎn)、圖像鏡像、圖像加噪等,為了保證圖像目標(biāo)的完整性和有效性,剪裁的方式采用手動(dòng)操作。通過數(shù)據(jù)增強(qiáng)將輸入的1000張圖片擴(kuò)充到5000張,其中訓(xùn)練集中的800張擴(kuò)充到4000張,測(cè)試集中的200張擴(kuò)充到1000張。部分?jǐn)?shù)據(jù)增強(qiáng)后的圖像如圖1所示,其中最左列為原始圖像,往右依次為鏡像、旋轉(zhuǎn)、剪裁放大和加噪處理后的圖像。

        圖1 部分圖像增強(qiáng)后圖像Fig.1 Part of the enhanced image

        2 模型與方法

        2.1 改進(jìn)的CNN模型

        對(duì)于卷積神經(jīng)網(wǎng)絡(luò),在數(shù)據(jù)和算法相同的前提下,采用不同的網(wǎng)絡(luò)基礎(chǔ)模型會(huì)有不同的識(shí)別精度,為此,對(duì)模型的選擇必須綜合考慮識(shí)別準(zhǔn)確率和模型訓(xùn)練效率。本文選擇在ImageNet數(shù)據(jù)集上性能較好且具于代表性的3個(gè)模型,分別是VGG-16、Inception-v3及ResNet-101。經(jīng)比較,VGG-16模型綜合性能更好。

        VGG-16網(wǎng)絡(luò)是牛津大學(xué)計(jì)算機(jī)視覺實(shí)驗(yàn)室與谷歌DeepMind公司共同開發(fā)的一款深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),解決了ImageNet中1000類圖像的分類和定位問題[40-41]。VGG-16模型結(jié)構(gòu)由13個(gè)卷積層、5個(gè)池化層、3個(gè)基于激活函數(shù)ReLU的全連接層以及1個(gè)Softmax輸出層組成,網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,需要大量的數(shù)據(jù)集訓(xùn)練。一般來說,結(jié)構(gòu)越復(fù)雜,規(guī)模越大,層數(shù)越深的網(wǎng)絡(luò)模型識(shí)別精度更高,但相應(yīng)的模型參數(shù)更多,當(dāng)數(shù)據(jù)集不夠充足時(shí),容易產(chǎn)生過擬合的問題,同時(shí)訓(xùn)練難度更大,使模型難以收斂。

        為了適應(yīng)海底沉船數(shù)據(jù)樣本少的特點(diǎn),同時(shí)考慮到訓(xùn)練精度和訓(xùn)練效率因素,在VGG-16模型的基礎(chǔ)上進(jìn)行了改進(jìn),首先簡(jiǎn)化了模型結(jié)構(gòu),構(gòu)建一個(gè)由8個(gè)卷積層、4個(gè)池化層、2個(gè)基于激活函數(shù)ReLU的全連接層和1個(gè)Sigmoid輸出層組成的卷積神經(jīng)網(wǎng)絡(luò)模型。如圖2所示。

        圖2 VGG-16模型改進(jìn)示意Fig.2 Diagram of VGG-16 model improvement

        簡(jiǎn)化的模型和VGG-16模型一樣采用大小為3×3的卷積核,通過使用3×3的小卷積核堆疊代替大卷積核達(dá)到使用更少的參數(shù)表征更多強(qiáng)力特征的目的,同時(shí)使用大小為2×2的池化核以保留更多的圖像信息。卷積層通過卷積運(yùn)算提取局部特征,再通過激活函數(shù)得到新的特征圖。卷積層計(jì)算公式見式(4)

        (4)

        激活函數(shù)采用線性整流函數(shù)ReLU(rectified linear unit),如式(5)所示

        (5)

        ReLU函數(shù)的作用是增加神經(jīng)網(wǎng)絡(luò)各層之間的非線性關(guān)系,通過單側(cè)抑制把所有的負(fù)值都變?yōu)?,而正值不變,使得神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元也具有了稀疏激活性,能夠更好地挖掘相關(guān)特征,保留圖像的特征,擬合訓(xùn)練數(shù)據(jù)。傳統(tǒng)VGG-16模型的輸出層Softmax是一個(gè)1000類輸出的分類器,而本文試驗(yàn)的識(shí)別對(duì)象僅有沉船和背景兩種分類,是一個(gè)典型的二分類問題,所以本文采用目前公認(rèn)的最適合用于解決二分類問題的Sigmoid函數(shù)作為輸出函數(shù),如式(6)所示

        (6)

        改進(jìn)的模型具體結(jié)構(gòu)如圖3所示,由2個(gè)包含32個(gè)卷積核的卷積層+2個(gè)包含64個(gè)卷積核的卷積層+2個(gè)包含128個(gè)卷積核的卷積層+2個(gè)包含256個(gè)卷積核的卷積層+2個(gè)包含128個(gè)神經(jīng)元的全連接層+1個(gè)Sigmoid輸出層組成。為了進(jìn)一步降低過擬合,在每層池化層后面添加Dropout,就是在訓(xùn)練過程中隨機(jī)將上一個(gè)池化層的一些輸出特征舍棄(設(shè)置為0),其核心思想就是在輸出值中引入噪聲,消除或減弱神經(jīng)元節(jié)點(diǎn)間的聯(lián)合適應(yīng)性,降低過擬合,提高泛化能力。Dropout比率指被設(shè)為0的特征所占的比例,通常在0.2—0.5范圍內(nèi),往往模型結(jié)構(gòu)越復(fù)雜比率越高。根據(jù)本文卷積神經(jīng)網(wǎng)絡(luò)的模型結(jié)構(gòu),Dropout比率設(shè)置為25%。

        圖3 改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型Fig.3 Improved convolutional neural network model

        2.2 遷移策略與模型構(gòu)建

        由前所述,雖然卷積神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域得到了廣泛的應(yīng)用,但其性能只有在網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜、訓(xùn)練樣本數(shù)足夠多的情況下才能得以展現(xiàn),特別是針對(duì)本文所討論的側(cè)掃聲吶沉船數(shù)據(jù)集樣本過少,模型容易出現(xiàn)過擬合、陷入局部最優(yōu)解以及模型泛化能力差等現(xiàn)象,為此,本文嘗試通過遷移學(xué)習(xí)的方法訓(xùn)練并優(yōu)化網(wǎng)絡(luò)模型,以提高模型訓(xùn)練效率和側(cè)掃聲吶沉船圖像自動(dòng)識(shí)別的準(zhǔn)確率。

        遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)技術(shù),是對(duì)一個(gè)在特定數(shù)據(jù)集上訓(xùn)練結(jié)束并用于某個(gè)任務(wù)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改造或?qū)⒁褜W(xué)習(xí)獲得的知識(shí)遷移到一個(gè)不同的數(shù)據(jù)集中,重新用于第2個(gè)相關(guān)任務(wù)。遷移學(xué)習(xí)是一種優(yōu)化,重新訓(xùn)練一個(gè)復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)需要海量的數(shù)據(jù)資源、大量的計(jì)算資源和時(shí)間資源,考慮當(dāng)任務(wù)之間具有一定的相關(guān)性,先前任務(wù)中得到的知識(shí)可以經(jīng)過微小變換甚至無須任何改動(dòng)就可直接應(yīng)用于新的任務(wù)中,當(dāng)這些普遍有效的知識(shí)在新任務(wù)中使用少量數(shù)據(jù)很難獲得,遷移學(xué)習(xí)可以將已經(jīng)學(xué)到的模型參數(shù)通過遷移分享給新模型從而加快并優(yōu)化模型的學(xué)習(xí)效率,減少重復(fù)勞動(dòng)和對(duì)目標(biāo)任務(wù)訓(xùn)練數(shù)據(jù)的依賴,提高模型性能。

        通常來說,遷移學(xué)習(xí)的策略有兩種。第1種是微調(diào)(fine-tuning),在基礎(chǔ)數(shù)據(jù)集上使用預(yù)訓(xùn)練網(wǎng)絡(luò),并在目標(biāo)數(shù)據(jù)集上以較小的學(xué)習(xí)率反向傳播來微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)重,微調(diào)全部層參數(shù)。第2種是凍結(jié)和訓(xùn)練(freeze and train),移除預(yù)訓(xùn)練好模型的最后幾層,凍結(jié)剩下的卷積層,保持權(quán)重不更新并作為應(yīng)用于新數(shù)據(jù)集的固定不變的特征提取器,再基于新數(shù)據(jù)集訓(xùn)練移除的最后的卷積層和線性分類器。

        針對(duì)不同類型的數(shù)據(jù)集特點(diǎn)采用不同的遷移學(xué)習(xí)策略,一般來說,當(dāng)目標(biāo)數(shù)據(jù)集與基本數(shù)據(jù)集相比較小,且圖像相似時(shí),使用treeze and train,且僅訓(xùn)練最后一層分類器。當(dāng)圖像不相似時(shí),同樣使用feeze and train,不過需要重新訓(xùn)練模型的最后一些層。當(dāng)目標(biāo)數(shù)據(jù)集較大時(shí),一般使用fine-tuning方式。側(cè)掃聲吶沉船圖像數(shù)據(jù)集雖然是小樣本數(shù)據(jù)集,但是鑒于圖像與ImageNet數(shù)據(jù)集圖像的相似度無法定性的衡量,所以本文試驗(yàn)采取了兩種遷移學(xué)習(xí)的策略。

        第1種遷移學(xué)習(xí)方法采用Freeze and Train方式。卷積神經(jīng)網(wǎng)絡(luò)隨著層數(shù)的加深,層學(xué)習(xí)到的特征將從淺層特征變得越來越抽象。因此本文試驗(yàn)凍結(jié)了在ImageNet上預(yù)訓(xùn)練完成的改進(jìn)模型的前6層卷積層,在目標(biāo)數(shù)據(jù)集上初始化并重新訓(xùn)練最后2個(gè)包含256個(gè)卷積核的卷積層、2個(gè)包含128個(gè)神經(jīng)元的全連接層和Sigmoid輸出層,具體流程如圖4(a)所示。

        第2種遷移學(xué)習(xí)方法采用Fine-tuning方式。首先將改進(jìn)的模型在ImageNet數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練得到預(yù)訓(xùn)練模型,然后再用側(cè)掃聲吶沉船圖像數(shù)據(jù)集對(duì)預(yù)訓(xùn)練后的模型進(jìn)行參數(shù)精調(diào),具體流程如圖4(b)所示。

        圖4 兩種遷移學(xué)習(xí)方法識(shí)別流程Fig.4 The flow chart of two transfer learning methods

        3 試驗(yàn)與分析

        本文試驗(yàn)訓(xùn)練和測(cè)試均基于TensorFlow框架下用python編程實(shí)現(xiàn)。試驗(yàn)環(huán)境:Linux Ubuntu18.04版本操作系統(tǒng);CPU 為Inter(R) Xeon(R) CPU E5-2678 v3@2.50 GHz;GPU為NVIDIA TITAN RTX,24 GB內(nèi)存。側(cè)掃聲吶沉船圖像數(shù)據(jù)集經(jīng)預(yù)處理后共有5000張,通過程序隨機(jī)抽取4000張作為訓(xùn)練集,1000張作為測(cè)試集。為了讓模型盡可能學(xué)習(xí)到更加精細(xì)的圖像特征,獲得參數(shù)解的最優(yōu)值,模型訓(xùn)練時(shí)學(xué)習(xí)率初始值設(shè)置為0.001,采用小批量梯度下降法,即將所有圖片分88批次輸入模型訓(xùn)練,每批次輸入訓(xùn)練(batch size)的圖片為64張,共訓(xùn)練了100步(epoch)。

        3.1 改進(jìn)的VGG-16模型性能分析

        將VGG-16、Inceptional-v3和ResNet-101這3種模型在上述條件下,即輸入訓(xùn)練圖片、學(xué)習(xí)率、訓(xùn)練方式以及計(jì)算機(jī)硬件等條件都相同的前提下進(jìn)行訓(xùn)練。在訓(xùn)練過程中,為了有效避免模型過擬合,采用了early stoping策略,即當(dāng)模型在驗(yàn)證集上準(zhǔn)確率趨于穩(wěn)定時(shí)停止訓(xùn)練,具體模型在訓(xùn)練過程中每5步進(jìn)行一次驗(yàn)證,輸出一次驗(yàn)證結(jié)果,3種模型的訓(xùn)練結(jié)果如圖5,模型識(shí)別準(zhǔn)確率及訓(xùn)練時(shí)間見表1。

        表1 模型識(shí)別準(zhǔn)確率及訓(xùn)練時(shí)間

        圖5顯示了3種模型的訓(xùn)練結(jié)果,橫軸為訓(xùn)練輪數(shù)(epoch),縱軸為模型在驗(yàn)證集上的準(zhǔn)確率。從圖中可以看出,3個(gè)模型的準(zhǔn)確率均隨著訓(xùn)練輪數(shù)的增加而不斷上升,其中,VGG-16模型最終的識(shí)別準(zhǔn)確率雖然略低于ResNet-101模型,但是模型的訓(xùn)練效率明顯更高;VGG-16模型的訓(xùn)練效率雖然略有不如Inception-v3模型,但是最終的識(shí)別準(zhǔn)確率明顯更高。

        圖5 3種模型的訓(xùn)練結(jié)果Fig.5 Training results of the three models

        為了證明CNN方法的有效性和可靠性,同時(shí)與經(jīng)典的機(jī)器學(xué)習(xí)方法支持向量機(jī)(SVM)進(jìn)行對(duì)比,各模型識(shí)別準(zhǔn)確率及訓(xùn)練時(shí)間見表1。從表1數(shù)據(jù)可以看出,SVM在訓(xùn)練時(shí)間上有較大的優(yōu)勢(shì),但是識(shí)別的準(zhǔn)確率偏低,這是由于SVM需要靠人工提取全局和局部特征,需要足夠的經(jīng)驗(yàn)。而CNN通過模仿人類視覺神經(jīng)系統(tǒng),具有較高的識(shí)別準(zhǔn)確率,其中VGG-16和ResNet-101模型的識(shí)別準(zhǔn)確率相差不大,分別為90.03%和90.67%,但是VGG-16模型收斂更快,較ResNet-101模型節(jié)省了1825 s,訓(xùn)練效率更高。Inception-v3模型雖然訓(xùn)練效率最高,在訓(xùn)練5880 s后達(dá)到收斂,但是識(shí)別準(zhǔn)確率僅為87.65%,明顯低于另外兩個(gè)模型。綜合考慮模型訓(xùn)練效率和識(shí)別精度,為此本文采用了VGG-16模型。

        另外,本文對(duì)傳統(tǒng)的VGG-16模型和改進(jìn)的VGG-16模型在相同的條件下進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果見表2。

        表2 傳統(tǒng)VGG-16與改進(jìn)VGG-16模型識(shí)別準(zhǔn)確率及訓(xùn)練時(shí)間Tab.2 Accuracy rate and training time of traditional and improved VGG-16 models

        從表2數(shù)據(jù)可知,傳統(tǒng)VGG-16模型在訓(xùn)練了85步,耗時(shí)7135 s后趨于收斂,且識(shí)別準(zhǔn)確率達(dá)到90.03%;改進(jìn)的VGG-16模型的識(shí)別準(zhǔn)確率為90.58%,較傳統(tǒng)模型提高了0.55%,最重要的是模型在保證準(zhǔn)確率的前提下,僅訓(xùn)練了60步,耗時(shí)4740 s后便達(dá)到收斂,訓(xùn)練時(shí)間較傳統(tǒng)模型提高了近30%,訓(xùn)練效率大大提高,證明了改進(jìn)模型的有效性。為了驗(yàn)證改進(jìn)的VGG-16模型的穩(wěn)定性,在相同的條件下利用該模型進(jìn)行10次訓(xùn)練,識(shí)別準(zhǔn)確率誤差優(yōu)于±0.3%。

        3.2 遷移策略效果分析

        為了驗(yàn)證遷移學(xué)習(xí)策略能夠提高模型對(duì)側(cè)掃聲吶沉船圖像識(shí)別的準(zhǔn)確率,分析比對(duì)了第1種遷移學(xué)習(xí)方法(Freeze and Train)和第2種遷移學(xué)習(xí)方法(Fine-tuning)以及全新學(xué)習(xí)方法(即初始化模型參數(shù),在數(shù)據(jù)集上從頭訓(xùn)練)的試驗(yàn)結(jié)果。

        本文試驗(yàn)使用的評(píng)價(jià)標(biāo)準(zhǔn)為準(zhǔn)確率(accuracy)、查準(zhǔn)率(precision)、查全率(recall)和平均精確率(average precision,AP)。其中準(zhǔn)確率表示正確識(shí)別的樣本數(shù)占總樣本數(shù)的比值,如式(7)所示

        (7)

        查準(zhǔn)率表示識(shí)別為正樣本中實(shí)際為正樣本的概率,如式(8)所示

        (8)

        衡量結(jié)果的精確性;查全率表示正樣本中識(shí)別為正樣本的概率,衡量結(jié)果的完整性,如式(9)所示

        (9)

        式中,TP(true positives)表示正確識(shí)別的正樣本;FP(false positives)表示錯(cuò)誤識(shí)別的正樣本;TN(true negatives)表示正確識(shí)別的負(fù)樣本;FN(false negatives)表示錯(cuò)誤識(shí)別的負(fù)樣本。

        AP是反映整個(gè)模型性能的指標(biāo),為P-R(precision-recall)曲線的面積值,也就是平均精度,AP定義如式(10)所示

        (10)

        通過實(shí)時(shí)觀測(cè)3種方法的訓(xùn)練集與測(cè)試集的損失值發(fā)現(xiàn),3種方法的模型均在訓(xùn)練100步內(nèi)趨于穩(wěn)定,損失值的變化在0.1以內(nèi),準(zhǔn)確率的變化在1%內(nèi),因此,本文試驗(yàn)選擇了訓(xùn)練100步同時(shí)保存訓(xùn)練集與測(cè)試集的評(píng)估結(jié)果,并記錄訓(xùn)練后的模型測(cè)試的查準(zhǔn)率、查全率及AP值,具體結(jié)果如表3所示。

        表3 模型損失值和準(zhǔn)確率以及識(shí)別性能

        從表3可以看出在學(xué)習(xí)率設(shè)為0.001的情況下,第1種遷移學(xué)習(xí)方法在訓(xùn)練集上的損失值為0.56,在測(cè)試集上的損失值為0.61,不管是在訓(xùn)練集還是測(cè)試集上的損失值都明顯低于第2種遷移學(xué)習(xí)和全新學(xué)習(xí)兩種方法,說明第1種方法的模型擬合程度更高,更加具有普適性第1種遷移學(xué)習(xí)方法在準(zhǔn)確率上也明顯高于其他兩種方法,在訓(xùn)練集上達(dá)到了97.36%,比第2種遷移學(xué)習(xí)和全新學(xué)習(xí)分別提高了9.34%和2.22%。同時(shí)在測(cè)試集上準(zhǔn)確率達(dá)到了93.71%,比另外兩種方法分別高了9.22%和3.13%。證明了第1種遷移學(xué)習(xí)方法的可行性,凍結(jié)的卷積層已得到充分的訓(xùn)練,能夠很好地提取圖像的通用特征,通過初始化并重新訓(xùn)練的高層參數(shù)能夠很好地識(shí)別側(cè)掃聲吶沉船圖像的抽象特征,從而達(dá)到很好的識(shí)別準(zhǔn)確率。由于沉船數(shù)據(jù)集樣本過少且圖像存在一定特異性與ImageNet數(shù)據(jù)集差異較大,第2種遷移學(xué)習(xí)方法通過少量數(shù)據(jù)樣本對(duì)整個(gè)網(wǎng)絡(luò)模型的參數(shù)進(jìn)行微調(diào)的效果不理想,識(shí)別的準(zhǔn)確率甚至不如全新學(xué)習(xí),證明第2種遷移學(xué)習(xí)方法存在一定的局限性。

        第1種遷移學(xué)習(xí)方法、第2種遷移學(xué)習(xí)方法和全新學(xué)習(xí)的AP值及P-R曲線如圖6所示。第1種遷移學(xué)習(xí)方法的AP值最高為92.45%,分別比第2種遷移學(xué)習(xí)方法和全新學(xué)習(xí)高了8.06%和3.06%,且模型在查全率達(dá)到93%的情況下查準(zhǔn)率達(dá)到98%。而第2種遷移學(xué)習(xí)方法的識(shí)別性能在查準(zhǔn)率95%的情況下查全率僅為86%,各項(xiàng)指標(biāo)都不如全新學(xué)習(xí),證明第1種遷移學(xué)習(xí)方法識(shí)別效果性能更佳。

        圖6 3種方法的P-R曲線Fig.6 The P-R curves of the three methods

        為了更好地反映模型訓(xùn)練的實(shí)時(shí)變化與擬合程度,每訓(xùn)練一步便會(huì)保存模型的評(píng)估結(jié)果,3種方法的訓(xùn)練集與測(cè)試集損失值和準(zhǔn)確率如圖7所示。

        由圖7(a)訓(xùn)練與測(cè)試損失值可以看出,第1種遷移學(xué)習(xí)方法收斂速度最快,在訓(xùn)練集上訓(xùn)練了20步之后便開始趨于收斂,全新學(xué)習(xí)方法在30步之后開始趨于收斂,而第2種遷移學(xué)習(xí)方法收斂速度最慢,在訓(xùn)練了90步之后才趨于收斂。另外,測(cè)試集也明顯地反映出了訓(xùn)練集的特點(diǎn),第1種學(xué)習(xí)方法在25步左右便開始趨于收斂,相比全新學(xué)習(xí)的35步和第2種方法的90步具有更快的收斂速度。

        由圖7(b)訓(xùn)練與測(cè)試準(zhǔn)確率可以看出,3種學(xué)習(xí)方法的訓(xùn)練初始階段的準(zhǔn)確率分別為14.41%、10.03%和2.31%,在測(cè)試初始階段分別為35.53%、24.58%和8.83%。兩種遷移學(xué)習(xí)方法在初始階段的識(shí)別準(zhǔn)確率要明顯高于全新學(xué)習(xí)方法,證明了遷移學(xué)習(xí)在模型建立之初便擁有了一定的識(shí)別能力,其中第1種學(xué)習(xí)方法的效果最佳。另外,在遷移學(xué)習(xí)的基礎(chǔ)之上,第1種方法在訓(xùn)練集上快速學(xué)習(xí),在經(jīng)過15步之后就達(dá)到90%的識(shí)別準(zhǔn)確率,40步之后便趨于收斂,達(dá)到了97%左右的識(shí)別準(zhǔn)確率,而全新學(xué)習(xí)在訓(xùn)練了60步之后模型才趨于穩(wěn)定,識(shí)別準(zhǔn)確率為95%左右。第1種學(xué)習(xí)方式在測(cè)試集上經(jīng)過55步訓(xùn)練模型達(dá)到收斂,識(shí)別準(zhǔn)確率達(dá)到93%左右,而全新學(xué)習(xí)在測(cè)試集上訓(xùn)練了60步之后趨于穩(wěn)定,且波動(dòng)幅度較大,準(zhǔn)確率低于第1種方法,達(dá)到90%左右。第2種遷移學(xué)習(xí)方法雖然在初始識(shí)別準(zhǔn)確率上要高于全新學(xué)習(xí),但是模型的整體學(xué)習(xí)效率不高,訓(xùn)練集在訓(xùn)練了65步之后才達(dá)到收斂,且最終的識(shí)別準(zhǔn)確率為88.03%,低于全新學(xué)習(xí)的95.14%。在測(cè)試集上,第2種學(xué)習(xí)方式識(shí)別準(zhǔn)確率波動(dòng)幅度較大,模型難以達(dá)到收斂,在70步之后才趨于穩(wěn)定,僅達(dá)到84.49%,低于全新學(xué)習(xí)的90.58%。

        圖7 訓(xùn)練與測(cè)試損失值與準(zhǔn)確率Fig.7 Training and testing loss value and accuracy rate

        結(jié)合表3和圖6、圖7,第2種遷移學(xué)習(xí)方法通過小樣本數(shù)據(jù)進(jìn)行全局的參數(shù)調(diào)整并不能達(dá)到很好的遷移效果,而第1種遷移學(xué)習(xí)方法可以加速網(wǎng)絡(luò)收斂,相比全新訓(xùn)練方法,在模型的訓(xùn)練與優(yōu)化上速度更快,可以節(jié)省更多的資源,具有更高的效率,同時(shí)在提高模型識(shí)別準(zhǔn)確率和整體性能上具有明顯的促進(jìn)作用,證明了小樣本側(cè)掃聲吶沉船數(shù)據(jù)集利用該遷移學(xué)習(xí)方式是可行的,具有一定的優(yōu)越性。

        4 結(jié)束語

        針對(duì)傳統(tǒng)側(cè)掃聲吶圖像判圖存在過分依賴經(jīng)驗(yàn)、人為主觀性強(qiáng)及判讀效率低下等問題,以及側(cè)掃聲吶沉船圖像屬于小樣本數(shù)據(jù)庫的局限性,本文引進(jìn)卷積神經(jīng)網(wǎng)絡(luò)算法,并根據(jù)數(shù)據(jù)集特點(diǎn),參照VGG-16模型設(shè)計(jì)了改進(jìn)的模型,提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)側(cè)掃聲吶沉船圖像識(shí)別方法。試驗(yàn)結(jié)果表明,與全新學(xué)習(xí)和第2種遷移學(xué)習(xí)方法相比,基于第1種遷移學(xué)習(xí)方法的模型在訓(xùn)練效率以及識(shí)別的準(zhǔn)確率上都有很大的提升,模型收斂更快,節(jié)省大量的時(shí)間和資源,測(cè)試識(shí)別準(zhǔn)確率達(dá)到了93.71%,相比全新學(xué)習(xí)和第2種遷移學(xué)習(xí)方法分別提升了3.13%和9.22%;AP值最高為92.45%,分別比全新學(xué)習(xí)和第2種遷移學(xué)習(xí)方法高了3.06%和8.06%。驗(yàn)證了基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)識(shí)別方法的有效性,同時(shí)證明該方法理論上可以有效應(yīng)用于側(cè)掃聲吶對(duì)海上失事船只的搜救,具有一定的實(shí)際指導(dǎo)意義。下一步的研究重點(diǎn)是如何在進(jìn)一步提高模型的識(shí)別準(zhǔn)確率的同時(shí)提高識(shí)別的效率。

        猜你喜歡
        聲吶集上準(zhǔn)確率
        探索大洋的“千里眼”——聲吶
        乳腺超聲檢查診斷乳腺腫瘤的特異度及準(zhǔn)確率分析
        健康之家(2021年19期)2021-05-23 11:17:39
        不同序列磁共振成像診斷脊柱損傷的臨床準(zhǔn)確率比較探討
        2015—2017 年寧夏各天氣預(yù)報(bào)參考產(chǎn)品質(zhì)量檢驗(yàn)分析
        一種便攜式側(cè)掃聲吶舷側(cè)支架的設(shè)計(jì)及實(shí)現(xiàn)
        Cookie-Cutter集上的Gibbs測(cè)度
        鏈完備偏序集上廣義向量均衡問題解映射的保序性
        聲吶
        高速公路車牌識(shí)別標(biāo)識(shí)站準(zhǔn)確率驗(yàn)證法
        復(fù)扇形指標(biāo)集上的分布混沌
        亚洲av成人精品日韩一区| 天堂一区二区三区在线观看视频 | 蜜桃传媒免费观看视频| 国产人妖乱国产精品人妖| a级特黄的片子| 无码午夜剧场| 丰满熟女人妻一区二区三区| 老女老肥熟女一区二区| 久久久久女人精品毛片| 国产偷2018在线观看午夜| 在线观看免费的黄片小视频| 午夜人妻久久久久久久久| 国产熟女露脸大叫高潮| 久久精品免视看国产盗摄| 国产伦奸在线播放免费| 欧美老熟妇乱xxxxx| 亚洲av无码电影网| 精品国产福利一区二区三区| 91精品国自产拍老熟女露脸| 免费看黑人男阳茎进女阳道视频| 亚洲欧美日韩中文天堂| 亚洲人妻有码中文字幕| 麻豆精品国产av在线网址| 天天躁日日躁狠狠躁av| 中文乱码字幕高清在线观看| 亚洲国产一区一区毛片a| 国产电影一区二区三区| 亚洲AV无码不卡无码国产| 精品国产亚洲人成在线观看| 情爱偷拍视频一区二区| 青青草原综合久久大伊人| 欧洲国产精品无码专区影院| 国产亚洲精品一区在线| 粗大猛烈进出白浆视频| 亚洲男女免费视频| 日本在线无乱码中文字幕| 欧美老肥妇做爰bbww| 国产精品白浆一区二小说| 国产亚洲午夜高清国产拍精品不卡 | 久久精品亚洲一区二区三区浴池| 欧美日韩综合网在线观看|