孫東洋 劉 輝 張紀(jì)紅 孫利元 王 清 趙建民

(1. 中國(guó)科學(xué)院煙臺(tái)海岸帶研究所 煙臺(tái) 264003; 2. 煙臺(tái)大學(xué) 煙臺(tái) 264005; 3. 山東省水生生物資源養(yǎng)護(hù)管理中心煙臺(tái) 264000)

海洋牧場(chǎng)建設(shè)是我國(guó)近海環(huán)境修復(fù)和資源增殖的重要手段, 也是促進(jìn)海洋漁業(yè)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)的新業(yè)態(tài)(楊紅生等, 2016)。生物資源的精細(xì)化監(jiān)測(cè)是實(shí)現(xiàn)海洋牧場(chǎng)“信息化”和“智能化”的重要內(nèi)容。近年來(lái),基于全息影像和背影成像等技術(shù)的浮游生物識(shí)別、基于水聲學(xué)的漁業(yè)資源監(jiān)測(cè)等新技術(shù)不斷展現(xiàn), 具有較強(qiáng)的海洋牧場(chǎng)生物資源監(jiān)測(cè)應(yīng)用潛力(潘若凡,2014; Malletet al, 2014; 王歡歡等, 2018; 劉輝等,2020)。通過(guò)潛水進(jìn)行視頻采集或定置式的實(shí)時(shí)視頻設(shè)備開(kāi)展魚(yú)類等生物監(jiān)測(cè)也是目前常用的方式, 可直觀記錄和反映出生境和生物資源現(xiàn)狀和變動(dòng)。我國(guó)多數(shù)海洋牧場(chǎng)也已實(shí)現(xiàn)水質(zhì)參數(shù)和水下視頻的實(shí)時(shí)傳輸和可視化, 對(duì)于實(shí)現(xiàn)海洋牧場(chǎng)生物精細(xì)化監(jiān)測(cè)提供大規(guī)模的數(shù)量來(lái)源(翟方國(guó)等, 2020)。但是目前海洋牧場(chǎng)水下視頻分析尚缺少自動(dòng)圖像分類識(shí)別方法, 對(duì)于長(zhǎng)時(shí)間序列視頻數(shù)據(jù)的信息挖掘能力有限。

近幾年, 深度學(xué)習(xí)等人工智能技術(shù)發(fā)展迅速, 基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類和目標(biāo)檢測(cè)等算法取得高于人類檢測(cè)水平的精度。繼 2012 年AlexNet(Krizhevskyet al, 2017)取得超過(guò)傳統(tǒng)圖像分類算法的競(jìng)賽成績(jī), 后又出現(xiàn)了GoogLeNet(Szegedyet al, 2015)、Resnet50(Heet al, 2016a) 、MobileNetV3(Howardet al, 2019)等網(wǎng)絡(luò)模型, 在ImageNet 數(shù)據(jù)集中的錯(cuò)誤率降到3.57%以下。深度學(xué)習(xí)在水生生物圖像識(shí)別領(lǐng)域也有明顯優(yōu)勢(shì)。陳文輝等(2019)利用VGG(Visual Geometry Group) 19 和GoogLeNet 模型進(jìn)行遷移學(xué)習(xí)對(duì) 4 種淡水魚(yú)類的分類準(zhǔn)確率達(dá)到97.14%。Qin 等(2016)建立 DeepFish 網(wǎng)絡(luò)結(jié)構(gòu)在Fish4Knowledge 數(shù)據(jù)集上獲得 98.64%的準(zhǔn)確率。Tamou 等(2018)在Fish4-Knowledge 熱帶魚(yú)類數(shù)據(jù)集上使用稀疏和低等級(jí)矩陣分解的水下視頻前景提取方法獲取魚(yú)前景圖片, 微調(diào)AlexNet 達(dá)到了99.45%的準(zhǔn)確率。

豐富的圖像數(shù)據(jù)集是進(jìn)行深度神經(jīng)網(wǎng)絡(luò)建立和參數(shù)優(yōu)化的基礎(chǔ), 當(dāng)前海洋魚(yú)類分類算法研究常用的是Fish4Knowledge 項(xiàng)目建立的包含23 種臺(tái)灣海域魚(yú)類的圖像數(shù)據(jù)集。目前我國(guó)北方海洋牧場(chǎng)尚缺少數(shù)據(jù)集建立以及圖像處理和分類方法研究, 限制了深度學(xué)習(xí)等人工智能技術(shù)在海洋牧場(chǎng)生物監(jiān)測(cè)和管理領(lǐng)域的實(shí)踐和應(yīng)用。

煙威海區(qū)是山東半島的傳統(tǒng)漁場(chǎng), 漁業(yè)資源豐富, 具有多處國(guó)家級(jí)海洋牧場(chǎng)。近年來(lái)北方海域多出現(xiàn)高溫缺氧現(xiàn)象, 嚴(yán)重威脅海洋牧場(chǎng)生態(tài)系統(tǒng)的健康和安全。因此, 能否利用視頻觀測(cè)在更長(zhǎng)時(shí)間序列和更細(xì)致時(shí)間尺度上進(jìn)行生物群落監(jiān)測(cè), 以掌握海洋牧場(chǎng)海域漁業(yè)生物資源的時(shí)空變動(dòng)及其對(duì)極端氣候條件的響應(yīng), 該問(wèn)題受到廣泛關(guān)注。本研究針對(duì)煙威海區(qū)常見(jiàn)巖礁性生物, 從圖像增強(qiáng)、數(shù)據(jù)集建立和模型遷移學(xué)習(xí)方面開(kāi)展了較系統(tǒng)的生物圖像分類方法研究, 為我國(guó)北方海洋牧場(chǎng)水下生物的圖像識(shí)別和生物群落結(jié)構(gòu)變動(dòng)的精細(xì)化監(jiān)測(cè)提供方法和參考。

1 北方海洋牧場(chǎng)生物圖像數(shù)據(jù)集建立

1.1 視頻和圖像數(shù)據(jù)采集

本研究所用視頻資料來(lái)源于課題組收集的山東煙臺(tái)牟平北部海洋牧場(chǎng)等地的水下視頻, 視頻背景包含水泥構(gòu)件礁、海藻床和泥沙底3 種。水下視頻時(shí)間跨度為2019 年6 月至2020 年7 月, 圖像尺寸為1 920×1 080 像素, 幀率為30 幀/秒, 按照每30 或60 min 分段儲(chǔ)存, 視頻總大小為2.97 T。人工查看全部視頻并選擇包含生物的圖像4 494 張圖片進(jìn)行提取,完成待處理圖像的收集。

1.2 圖像增強(qiáng)方法及原理

紅光在海水中的衰減大于綠光和藍(lán)光, 導(dǎo)致水下圖像顏色失真(Liet al, 2015)。本研究所用視頻和圖像在白天顏色偏綠, 夜晚則由于補(bǔ)光而顏色真實(shí)度高于白天。為了便于人工查閱并進(jìn)行清晰的標(biāo)注, 本研究針對(duì)顏色偏差大的圖像嘗試了不同的圖像增強(qiáng)算法, 包括白平衡(Huoet al, 2006)、直方圖均衡(Pizeret al, 1987; Mohanet al, 2020)、基于亮通道的色彩補(bǔ)償(代成剛等, 2018)、限制對(duì)比度的自適應(yīng)直方圖均衡(Zuiderveld, 1994; 張璞等, 2011)等圖像增強(qiáng)方法。各算法的圖像增強(qiáng)效果演示見(jiàn)圖1。

圖1 不同圖像增強(qiáng)方法的效果對(duì)比Fig.1 Results of image enhancement by various methods

1.2.1 白平衡(White Balance, WB) 白平衡是通過(guò)控制色溫來(lái)解決由光源和光線問(wèn)題引起的圖像色彩偏差的方法, 主要思路是使圖像紅、綠和藍(lán)通道的平均灰度值趨于相近。三通道各乘系數(shù)進(jìn)行校正, 該系數(shù)為圖像總平均灰度值與相應(yīng)通道平均灰度值的比值。三通道灰度值整體改變, 使水下圖像看起來(lái)更符合真實(shí)色彩。以紅通道為例, 白平衡的公式計(jì)算為

1.2.2 直方圖均衡(Histgram Equalization, HE)直方圖均衡是灰度變換的一種應(yīng)用, 是通過(guò)改變?cè)紙D像的統(tǒng)計(jì)直方圖分布來(lái)改變圖像對(duì)比度以達(dá)到圖像增強(qiáng)效果; 處理后圖像的統(tǒng)計(jì)直方圖趨于均衡,亮度和對(duì)比度到得到提升。

1.2.3 基于綠通道的色彩補(bǔ)償(Color Compensation Based on Green Channel, CCBGC) 因本研究水下圖像綠通道灰度值較高, 因此本研究中基于亮通道的色彩補(bǔ)償即以綠通道為基準(zhǔn), 將紅、藍(lán)通道的灰度值補(bǔ)償?shù)胶途G通道相對(duì)均衡, 即對(duì)紅、藍(lán)通道分別增加其與綠通道灰度平均值差值相應(yīng)的補(bǔ)償值。以補(bǔ)償紅通道為例, 基于綠通道的色彩補(bǔ)償公式為

1.2.4 限制對(duì)比度的自適應(yīng)直方圖均衡(Contrast Limited Adaptive Histgram Equalization, CLAHE)

限制對(duì)比度的自適應(yīng)直方圖均衡是直方圖均衡的延伸版本, 將圖像劃分小塊并分塊計(jì)算直方圖, 通過(guò)累積直方圖函數(shù)前預(yù)先設(shè)定的閾值來(lái)裁剪直方圖來(lái)達(dá)到限制對(duì)比度的提高程度, 超出設(shè)定閾值的像素?cái)?shù)量重新均分到直方圖其他區(qū)間內(nèi), 每個(gè)小塊經(jīng)過(guò)對(duì)比度限制后重新分布亮度來(lái)提高整張圖片的對(duì)比度。通常, CLAHE 處理得到圖像比HE 的局部色彩對(duì)比度明顯, 圖片整體色彩效果更真實(shí)。

1.3 不同圖像增強(qiáng)方法的效果比較

本研究采用峰值信噪比和結(jié)構(gòu)相似度2 個(gè)指標(biāo)來(lái)評(píng)價(jià)圖像增強(qiáng)的效果(Zhouet al, 2004;劉黎明, 2016)。

峰值信噪比(dB)是信號(hào)最大值與增強(qiáng)前后圖像均方誤差比值的對(duì)數(shù), 用于表征原圖像與處理后圖像之間的相近程度, 數(shù)值越大表示增強(qiáng)圖像相比原圖失真越小。計(jì)算公式為

式中,SSSIM為結(jié)構(gòu)相似度值;xμ,yμ,xσ,yσ,σxy分別為圖像x和y的均值、標(biāo)準(zhǔn)差及交叉協(xié)方差,C1和C2為常數(shù)。

從RPSNR、SSSIM指標(biāo)進(jìn)行圖像質(zhì)量評(píng)價(jià), 評(píng)價(jià)結(jié)果如表1 所示。

表1 4 種圖像增強(qiáng)算法的RPSNR 值Tab.1 PSNR value of different image enhancement algorithm

由表1 和表2 中結(jié)果可知, 白平衡的RPSNR值最大, 但其SSSIM值最小, 其在四種方法中的數(shù)值排序位置并不一致, 綜合人眼感官, 該方法效果欠佳。在其余3 種圖像增強(qiáng)方法中, 對(duì)RPSNR和SSSIM值和人眼感官綜合比較, CLAHE 圖像增強(qiáng)后的圖像質(zhì)量更好, 本次數(shù)據(jù)集建立過(guò)程中對(duì)模糊圖像的增強(qiáng)主要用到該方法。

表2 4 種圖像增強(qiáng)算法的SSSIM 值Tab.2 SSIM value of different image enhancement algorithm

1.4 海洋牧場(chǎng)生物圖像分類數(shù)據(jù)集的建立

采用python 環(huán)境下的Labelme 圖像標(biāo)注軟件對(duì)4 494 張海洋牧場(chǎng)水下圖像進(jìn)行生物個(gè)體的多邊形標(biāo)注, 標(biāo)注信息以json 格式保存。標(biāo)注遵循以下規(guī)則開(kāi)展: 圖片中出現(xiàn)的所有生物個(gè)體都進(jìn)行標(biāo)注; 每個(gè)物種個(gè)體標(biāo)注的體型輪廓盡可能完整, 保留魚(yú)鰭、蟹螯等細(xì)節(jié)信息; 生物個(gè)體間出現(xiàn)遮擋則以先以完整的生物個(gè)體為主; 輪廓不完整但能清晰人眼鑒定的生物個(gè)體仍進(jìn)行標(biāo)注; 物種鑒定對(duì)照相應(yīng)海域漁業(yè)網(wǎng)具調(diào)查物種名錄。水下視頻中共鑒定出水下生物18種, 其中綠鰭?cǎi)R面 鲀等3 種魚(yú)類因出現(xiàn)頻率過(guò)低難以截取不同姿態(tài)的魚(yú)類圖像而沒(méi)有進(jìn)行標(biāo)注。

標(biāo)注完成后, 依據(jù)json 文件中記錄的多邊形和標(biāo)簽信息從原圖中分割出15 個(gè)物種共21 457 張圖片。初步截取的圖像中矛尾蝦虎魚(yú)、黑棘鯛和多棘海盤(pán)車(chē)的圖片數(shù)量較小和所占比例較小。為解決因物種出現(xiàn)頻次不同帶來(lái)的圖像數(shù)量不均衡問(wèn)題, 本研究通過(guò)隨機(jī)翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)、隨機(jī)平移、隨機(jī)修改對(duì)比度和亮度等圖像增廣方式, 使上述物種圖像數(shù)量擴(kuò)增 300 張以上, 最終建立的數(shù)據(jù)集圖像總數(shù)為23 211。物種類別及數(shù)量分布見(jiàn)表3, 物種標(biāo)注的示例圖像見(jiàn)圖2。

表3 煙威海洋牧場(chǎng)生物圖像數(shù)據(jù)集的物種組成及數(shù)量分布Tab.3 Species composition and count distribution of underwater biological image dataset at marine ranch in Yantai and Weihai

圖2 煙威海洋牧場(chǎng)生物分類圖像數(shù)據(jù)集物種及標(biāo)注的示例圖片F(xiàn)ig.2 Sample images in the underwater biological image dataset of marine ranch in Yantai and Weihai

數(shù)據(jù)集所包含的物種喜好棲息生境略有差異,花鱸、鎧平 鲉、方氏云 鳚、紋縞蝦虎魚(yú)、矛尾蝦虎魚(yú)、黑棘鯛、日本 蟳、砂海星、多棘海盤(pán)車(chē)共10 個(gè)物種主要出現(xiàn)礁石背景視頻中; 褐牙鲆和海燕2 個(gè)物種主要出現(xiàn)在泥沙底背景的視頻中; 鮻主要出現(xiàn)在以沙底或海水為背景的海域視頻中; 五帶高鰭蝦虎魚(yú)主要出現(xiàn)在海藻床為背景的海域視頻中; 許氏平 鲉和大瀧六線魚(yú)2 個(gè)物種在上述不同視頻背景中都有出現(xiàn)。

2 基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類模型

深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Networks, DCNN)是目前圖像分類領(lǐng)域廣泛應(yīng)用的高效識(shí)別方法, 其結(jié)構(gòu)主要包括輸入層、卷積層、激勵(lì)層、池化層和全連接層等, 分別實(shí)現(xiàn)圖像讀取及預(yù)處理、特征提取、非線性映射、過(guò)擬合抑制(特征信息過(guò)濾)和特征綜合等功能。AlexNet 模型的提出使卷積神經(jīng)網(wǎng)絡(luò)受到關(guān)注; ResNet50 模型為抑制過(guò)擬合引入殘差網(wǎng)絡(luò)結(jié)構(gòu); MobileNet 模型提出了深度可分離卷積以減少參數(shù)和運(yùn)算過(guò)程, 是適用于移動(dòng)端設(shè)備的輕量級(jí)深度卷積神經(jīng)網(wǎng)絡(luò)模型。

2.1 AlexNet 模型

AlexNet 模型包括輸入層、5 個(gè)卷積池化層、3個(gè)全連接層、Softmax 分類層, 其中網(wǎng)絡(luò)結(jié)構(gòu)共8 層。5 個(gè)卷積-池化層提取圖像特征, 局部響應(yīng)歸一化提高精度, 用Relu 激活函數(shù)(Heet al, 2015)代替之前網(wǎng)絡(luò)的sigmoid 激活函數(shù), 全連接層后使用Dropout 抑制過(guò)擬合。相比于之前的LeNet 模型, AlexNet 參數(shù)更多、結(jié)構(gòu)更深且更復(fù)雜。

2.2 ResNet 系列模型

單純?cè)黾泳W(wǎng)絡(luò)模型的層數(shù)會(huì)在一定范圍內(nèi)提升準(zhǔn)確率, 但層數(shù)過(guò)多會(huì)使得信息在網(wǎng)絡(luò)傳遞中大量損失, 從而引起網(wǎng)絡(luò)預(yù)測(cè)誤差的顯著增高。Kaiming He 等提出了殘差網(wǎng)絡(luò)(Residual Network)(Heet al,2015,2016b), 用Identity 和Bottleneck 兩種殘差模塊通過(guò)殘差學(xué)習(xí)的方式解決隨深度增加帶來(lái)的退化問(wèn)題。兩種殘差模塊結(jié)構(gòu)如圖3 所示。Identity 模塊其輸入輸出維度不變, 常用于Resnet34, 模型層數(shù)為34層; Bottleneck 是可添加維度的殘差模塊, 適用于維度不同的網(wǎng)絡(luò)短鏈接, 常用于Resnet50 和Resnet101,模型層數(shù)分別為50 層和101 層, 兩種方法都是不增加參數(shù)和計(jì)算過(guò)程的條件下將輸出特征與輸入特征合并, 避免了訓(xùn)練過(guò)程中信息的丟失。

圖3 Identity(a)和Bottleneck(b)兩種殘差模塊結(jié)構(gòu)圖Fig.3 Two types of residual block structure, Identity(a)和Bottleneck(b)

2.3 MobileNet 系列模型

MobileNet 是Google 提出的一種輕量級(jí)神經(jīng)網(wǎng)絡(luò)模型, 是在保證識(shí)別準(zhǔn)確率和模型訓(xùn)練速度的前提下提出了一種深度可分離卷積作為基本單元結(jié)構(gòu)(Howardet al, 2019; 邵偉平等, 2020)。深度可分離卷積將一個(gè)標(biāo)準(zhǔn)卷積拆分成深度卷積和逐點(diǎn)卷積, 深度卷積中每個(gè)卷積核都對(duì)應(yīng)一個(gè)特征圖的輸入通道, 使得卷積之后特征圖通道數(shù)不變, 之后對(duì)特征圖逐點(diǎn)卷積增加特征圖通道數(shù)。深度可分離卷積實(shí)現(xiàn)了更少參數(shù)和更少的運(yùn)算, 達(dá)到了與復(fù)雜模型相差不多的結(jié)果,為輕量級(jí)網(wǎng)絡(luò)模型在移動(dòng)端設(shè)備的應(yīng)用做鋪墊。

3 分類模型的訓(xùn)練及結(jié)果

3.1 開(kāi)發(fā)環(huán)境及網(wǎng)絡(luò)配置

本研究選擇飛槳深度學(xué)習(xí)框架PaddlePaddle 2.0、PaddleX 1.3 開(kāi)發(fā)工具為開(kāi)發(fā)平臺(tái), 使用配備Titan RTX 的戴爾T7920 工作站進(jìn)行模型訓(xùn)練、驗(yàn)證和測(cè)試。按照0.7︰0.15︰0.15 的比例, 將海洋牧場(chǎng)生物圖像數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。AlexNet、ResNet50 和MobileNetV3 模型的預(yù)訓(xùn)練參數(shù)來(lái)自于飛槳平臺(tái)。三種圖像分類模型在飛獎(jiǎng)PaddleCals 的信息如表 4 所示。三個(gè)模型的輸入圖片尺寸為224×224×3,分類數(shù)量為15, 批次迭代訓(xùn)練的圖像數(shù)量為256, 訓(xùn)練回合次數(shù)為120, 共迭代6 960 次。AlexNet 和ResNet50 的學(xué)習(xí)率調(diào)整采用分段降低方法, 初始值為0.01, 學(xué)習(xí)率衰減系數(shù)為0.1, 衰減回合數(shù)分別為30、60 和90, 即每過(guò)30 個(gè)回合模型學(xué)習(xí)率衰減為原先0.1 倍; 動(dòng)量值(momentum_rate)為0.9; 權(quán)重衰減為L(zhǎng)2 正則化, 權(quán)重衰減系數(shù)為0.000 1, 以防止過(guò)擬合。MobileNetV3 模型的學(xué)習(xí)率調(diào)整采用 Cosine Warmup 方法, 初始大小為0.01, 權(quán)重衰減為L(zhǎng)2 正則化, 權(quán)重衰減系數(shù)為0.000 2。

表4 AlexNet、ResNet50 和MobileNetV3 模型的參數(shù)量和準(zhǔn)確率信息Fig.4 Basic information of several typical network models

3.2 模型訓(xùn)練過(guò)程

損失值(loss)表示模型預(yù)測(cè)值與真實(shí)值的差距,可直觀反映模型訓(xùn)練過(guò)程中模型精確度的變化, 損失值越小表示模型參數(shù)越趨于最佳。ResNet50 模型訓(xùn)練前期損失值和Top1 準(zhǔn)確率的變化如圖4 所示;AlexNet、ResNet50、MobileNetV3 模型訓(xùn)練過(guò)程中驗(yàn)證集準(zhǔn)確率變化曲線如圖5 所示。

圖4 ResNet50 模型訓(xùn)練初期驗(yàn)證集損失值和準(zhǔn)確率的變化Fig.4 Loss and accuracy of ResNet50 in the initial training stage

圖5 AlexNet、ResNet50 和MobileNetV3 模型訓(xùn)練過(guò)程中驗(yàn)證集準(zhǔn)確率Fig.5 Accuracy of validation dataset among AlexNet, ResNet50, and MobileNetV3

如圖4 所示, ResNet50 模型訓(xùn)練前期損失值快速下降, 在200 次迭代后數(shù)值都穩(wěn)定在0.1 左右, 之后模型參數(shù)仍不斷優(yōu)化。ResNet50 模型訓(xùn)練前期準(zhǔn)確率提升較快, 500 次迭代之后準(zhǔn)確率穩(wěn)定在96%以上。如圖5 所示, ResNet50 模型收斂較快且準(zhǔn)確率較高,在94 回合驗(yàn)證集準(zhǔn)確率達(dá)到99.85%; AlexNet 模型第59 個(gè)回合時(shí)驗(yàn)證集準(zhǔn)確率達(dá)到99.53%; MobileNetV3準(zhǔn)確率相比較低。

3.3 模型評(píng)估

本研究采用準(zhǔn)確率(Accuracy)、類準(zhǔn)確率(Class-wise Accuracy)、精確率(Precision)3 個(gè)指標(biāo)對(duì)模型預(yù)測(cè)能力進(jìn)行評(píng)估。準(zhǔn)確率指驗(yàn)證集或測(cè)試集中圖片預(yù)測(cè)正確的比率, 類準(zhǔn)確率指各物種預(yù)測(cè)準(zhǔn)確率的平均值, 精確率指預(yù)測(cè)為某物種且預(yù)測(cè)正確的比率。上述指標(biāo)的計(jì)算公式為

如圖6 所示, ResNet50 模型在海洋牧場(chǎng)水下圖像分類中具有較好的準(zhǔn)確率, 出現(xiàn)錯(cuò)誤分類的個(gè)體為少量的大瀧六線魚(yú)、許氏平 鮋和黑棘鯛。如表5 所示,ResNet50 在模型驗(yàn)證集和測(cè)試集的準(zhǔn)確率最高, 分別達(dá)到 99.85%和 99.67%, 其次為 AlexNet 和MobileNet V3, 驗(yàn)證集準(zhǔn)確率分別為 99.34%和96.45%, 測(cè)試集準(zhǔn)確率為98.56%和98.14%。從驗(yàn)證集和測(cè)試集的準(zhǔn)確率和類準(zhǔn)確率結(jié)果來(lái)看, 實(shí)驗(yàn)中的3 個(gè)模型對(duì)我國(guó)北方海洋牧場(chǎng)水下生物圖像分類具有很好的預(yù)測(cè)效果。

表5 AlexNet、MobileNetV3、ResNet50 模型在驗(yàn)證集和測(cè)試集上的評(píng)估結(jié)果Tab.5 Evaluation results of the AlexNet,MobileNetV3, and ResNet50 model in validation dataset and test dataset

圖6 ResNet50 模型預(yù)測(cè)結(jié)果的混淆矩陣Fig.6 Confusion matrix of ResNet50 model test results

3.4 模型魯棒性評(píng)估

為評(píng)估海洋牧場(chǎng)生物圖像分類模型在應(yīng)對(duì)圖像采集和傳輸過(guò)程中的噪音干擾的性能, 本研究對(duì)訓(xùn)練完成的模型進(jìn)行了魯棒性的測(cè)試。通過(guò)對(duì)原始測(cè)試集中圖像添加方差為0.01 至0.1 的高斯噪音形成新的測(cè)試數(shù)據(jù)集, 進(jìn)一步對(duì)訓(xùn)練完成的模型進(jìn)行預(yù)測(cè)和評(píng)估。加入高斯噪音的圖像示例如圖7 所示, 3 個(gè)模型對(duì)含噪音數(shù)據(jù)集的Top1 準(zhǔn)確率如圖8 所示。

圖7 加入高斯噪音的水下魚(yú)類圖像示例Fig.7 Sample pictures of underwater fish image with Gaussian noise

如圖8 所示, 隨著高斯噪音方差的增加, 3 個(gè)模型的預(yù)測(cè)效果都出現(xiàn)下降趨勢(shì), 但下降幅度不同。當(dāng)高斯噪音方差達(dá)到0.02 時(shí), Mobilenetv3 模型準(zhǔn)確率降至0.7 附近; 高斯噪音方差增加到0.05 時(shí), AlexNet 模型的準(zhǔn)確率降至0.8 附近。相比而言, ResNet50 模型的魯棒性最高, 方差在0.05 時(shí)模型預(yù)測(cè)的準(zhǔn)確率基本穩(wěn)定, 但當(dāng)方差增加在0.1 時(shí)模型的預(yù)測(cè)準(zhǔn)確率降至0.8 左右。該結(jié)果表明圖像分類模型精度受水下圖像質(zhì)量和穩(wěn)定性影響。

圖8 AlexNet、ResNet50、MobileNetV3 模型對(duì)不同方差的高斯噪音圖像識(shí)別準(zhǔn)確率Fig.8 The recognition accuracy of different variance Gaussian noise images with AlexNet, ResNet50, and MobileNetV3 models

4 結(jié)語(yǔ)

深度卷積神經(jīng)網(wǎng)絡(luò)是當(dāng)前圖像分類領(lǐng)域的重要方法, 本研究基于我國(guó)北方海洋牧場(chǎng)生物資源觀測(cè)的需求, 建立了煙威地區(qū)海洋牧場(chǎng)水下生物圖像數(shù)據(jù)集, 利用AlexNet、ResNet50 和MobileNetV3 三種深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí), 驗(yàn)證了深度學(xué)習(xí)技術(shù)在海洋牧場(chǎng)常見(jiàn)巖礁性生物圖像分類應(yīng)用中性能和魯棒性。海洋生物分類準(zhǔn)確率受到圖像質(zhì)量、神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)及生物個(gè)體形態(tài)相似度的影響。海洋牧場(chǎng)海區(qū)的生物多以巖礁性生物為主, 鱸形目、鲉 形目偏多, 各物種在水下圖像中形態(tài)相似度較高, 尤其是同一屬內(nèi)物種相似性偏高, 給圖像分類帶來(lái)一定難度。本研究中棘皮類種數(shù)少, 與魚(yú)類和蟹類的特征差異明顯, 所以棘皮類分類準(zhǔn)確率相對(duì)較高, 而許氏平 鲉、大瀧六線魚(yú)、黑棘鯛有彼此錯(cuò)分類的情況。綜之, 從本研究結(jié)果來(lái)看, 深度學(xué)習(xí)技術(shù)在我國(guó)北方海洋牧場(chǎng)水下生物圖像分類上具有一定應(yīng)用潛力, 可豐富我國(guó)北方海洋牧場(chǎng)種群行為和群落結(jié)構(gòu)研究的技術(shù)體系, 進(jìn)一步仍需在海洋牧場(chǎng)水下生物目標(biāo)檢測(cè)、圖像增強(qiáng)算法優(yōu)化以及將圖像檢測(cè)結(jié)果與海洋牧場(chǎng)生態(tài)問(wèn)題耦合分析等方面繼續(xù)開(kāi)展工作。