亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于YOLOV5-MobilenetV3 和聲吶圖像的魚類識別輕量化模型

        2023-09-21 15:28:30羅毅智陸華忠周星星齊海軍劉志昌
        廣東農業(yè)科學 2023年7期
        關鍵詞:聲吶網箱魚類

        羅毅智,陸華忠,周星星,袁 余,齊海軍,李 斌,劉志昌

        (1.廣東省農業(yè)科學院設施農業(yè)研究所,廣東 廣州 510640;2.廣東省農業(yè)科學院動物科學研究所(水產研究所),廣東 廣州 510645;3.農業(yè)農村 部設施農業(yè)裝備與信息化重點實驗室,浙江 杭州 311000;4.廣東省農業(yè)科學院,廣東 廣州 510640)

        【研究意義】近年來,隨著對動物蛋白需求的不斷增加和傳統(tǒng)漁業(yè)資源的嚴重減少,漁業(yè)正逐步向水產設施養(yǎng)殖轉型[1-4]。其中,網箱生物識別是海洋牧場的關鍵作業(yè)流程之一。由于網箱養(yǎng)殖局部密度大、水體透光率不足,視覺成像效果不佳,大大影響智能漁場的作業(yè)效率[5-6]。渾濁水中懸浮顆??蓪е聢D像對比度低、模糊和失真[7],盡管光學成像類型的相機提供了高分辨率圖像,但未知的成像條件,包括光學水類型、場景位置以及海洋介質的吸收和散射特性,對光信息的傳輸有重大影響,進而導致嚴重的圖像失真[8]??紤]到光學傳感器在水下場景中的客觀局限性,渾濁水體成像檢測方法常利用非光學傳感器,如激光雷達、聲吶等[6,9-14]。聲吶系統(tǒng)根據(jù)聲波發(fā)射和回收的計算過程獲得圖像,其中發(fā)射的聲波在遇到目標物體后會被反射和接收。因此,接收到的回波包含不同物體顯著的聲波吸收特性。由于水聲通道的復雜性和聲波散射的多變性,接收到的回波中還混雜著環(huán)境噪聲、混響和聲吶自噪聲等干擾,對聲吶圖像的準確目標檢測提出重大挑戰(zhàn)。

        【前人研究進展】傳統(tǒng)的目標檢測 方法手動提取目標區(qū)域的特征,通常使用一定大小的幀作為滑動窗口來遍歷整個圖像,稱為“錨點”。通過設置不同的長寬比和尺寸,采用窮舉方法確定目標,導致模型耗時長、魯棒性差[15-17]。近年來,隨著計算機技術的發(fā)展,以深度學習為代表的技術在水下圖像除霧和目標識別領域得到廣泛應用[18-19]。Liu 等[20]利用圖像處理和深度學習相結合的方式,實現(xiàn)海洋生物的物種識別和密度計算,該模型主要解決了非均勻光場下生物圖像的特征優(yōu)化問題。鄧步等[21]提出一種基于聲吶信息融合的水下圖像增強模型,該模型采用去霧技術,顯 著提高檢測目標的對比度。劉承峰等[22]采用了一種基于多尺度卷積核雙端注意力機制融合的模型,該模型采用多尺度卷積濾波算子,構造多分辨率卷積神經網絡,進一步提高水下小目標的檢測精度。此外目標檢測的主流算法可大致分為兩階段檢測模型和單階段檢測模型兩種類型。其中基于區(qū)域卷積神經網絡(Faster Regions with CNN features,F(xiàn)aster RCNN)引入 區(qū)域生成網絡(Region Proposal Network,RPN),該模型提取輸入圖像的特征,同時生成候選區(qū)域,避免重復提取特征圖,同RCNN 相比,降低了模型的計算復雜度,提高了目標檢測的速度和精度[23]。單階段檢測模型將目標檢測定義為“一步完成”,同時完成目標分類、定位以及檢測,在精度上,兩階段檢測模型要優(yōu)于單階段檢測模型;在速度上,單階段模型實時性更強[24]。YOLO 系列模型被認為目標檢測領域的里程碑??蒲腥藛T在YOLO 模型基礎上進行了系列改進,提出YOLOV2、YOLOV3 以及YOLOV4 版本等,進一步提高了模型的檢測精度,同時保 持了模型的實時性。與Faster RCNN 不同,YO LO 系列將目標檢測作為一個回歸問題,直接得出檢測對象的位置、類別以及置信度。有效的目標特征檢測器和分類器為深度學習方法提供了在渾濁水環(huán)境中的優(yōu)勢[25-26]。此外,偏振成像技術通過深入挖掘散射光場中偏振信息的獨特性和差異性,在去除背景散射光和獲得清晰 的水下圖像方面具有明顯優(yōu)勢,該方法利用入射偏振光的偏振特性,可 以分離場景中的這兩種光,有效還原清 晰的場景,提高成像結果的對比度和清晰度,輔助水下目標的檢測和識別[27]。

        【本研究切入點】綜上所述,環(huán)境噪聲、混響和聲吶自噪聲為對水下聲魚類檢測的主要難點之一,對目標檢測模型的網絡結構進行優(yōu)化可以大幅度提高檢測精度,截至目前,很少學者研究兼容魚類檢測精度和輕量化模型?!緮M解決的關鍵問題】本文以羅非魚為研究對象,通過比較不同水下成像方式的優(yōu)缺點,采用一種前視聲吶聲學成像技術,提出一種輕量級的魚類識別網絡(LAPR-Net,Lightweight Aquatic product Recognition Network),實現(xiàn)渾濁水體下的魚類檢測。

        1 材料與方法

        1.1 試驗條件

        試驗周期為2022 年9—11 月。如圖1 所示,渾濁場景魚類識別平臺包含帆布池(長×寬×高=2.0 m×2.0 m×0.8 m)、多源信息采集平臺、網箱(長×寬×高=0.6 m×0.6 m×0.6 m)。其中,多源信息采集平臺包含機械結構、水下攝像頭、錄像機、聲吶以及聲吶數(shù)據(jù)采集器。

        圖1 試驗場景示意圖Fig.1 Schematic diagram of the test scene

        多源數(shù)據(jù)集由水下攝像頭(霸勒思,E5MP3CX10)和前視聲吶(珠海藍衡科技有限公司,1206D)記錄如圖2 所示。相機的底部固定在鋁型材上,為捕捉網箱以及魚群(網箱魚群數(shù)量n=6),相機鏡頭逆時針向上傾斜10°。視頻同時記錄并存儲在硬盤,聲吶數(shù)據(jù)集存儲于聲吶數(shù)據(jù)采集器。此外,聲吶的聲速為1 493.84 m/s,壓力約為0.0015 Mpa,聲吶采集視角設置為130°。

        圖2 檢測模型數(shù)據(jù)標注實例Fig.2 Data labeling instances of detection model

        1.2 數(shù)據(jù)集構建

        為提高模型的泛化能力與魯棒性,將全天視頻文件(.DB)轉化為MP4 視頻,分離出不同時段的圖像數(shù)據(jù)2 004 張,經圖像翻轉、對比度調整以及亮度調整后,最終渾濁場景魚類識別數(shù)據(jù)集(WR-dataset)擴增至6 012 張,其中訓練集和驗證集5 400 張、測試集612 張。采用開源交互式標記工具Labelme 進行標注,標注類別共有兩個,紅色框代表網箱,綠色框代表魚類。為減少人為標記誤差,標記時2 人1 組,標記過程中如果對圖像標記的結果不確定,則將圖像從數(shù)據(jù)集中刪除;最后,以MSCOCO 格式保存為JSON文件。

        1.3 網絡框架

        針對混響噪聲和復雜背景的干擾造成魚類難以檢測的問題,本文提出一種改進的YOLOV5深度學習模型,實現(xiàn)渾濁水體下魚類檢測。YOLOV5 采用共享卷積核的方式,減少計算次數(shù),降低模型參數(shù)量,提高網絡計算效率。模型架構如圖2 所示,主要由3 部分組成,包含主干特征提取網絡、頸部網絡以及預測頭[28]。

        (1)主干特征提取網絡:如圖3A 所示,沿用YOLOV5S 的網絡結構,圖片進入模型后經過切片后進行卷積操作,主體結構采用MobileNetV3 bneck 塊(淡藍色模塊),不同于VGG、Resnet、ViT 等網絡模型,MobileNet 參數(shù)少、計算快。如圖3E 所示,以MobileNetV3-Large 的網絡結構為例,模型使用非線性激活函數(shù) h-swish,將第一層卷積核的數(shù)量修改為16 個3×3 卷積,進一步降低模型參數(shù)量,模型的網絡配置見圖3E。此外,在block 基礎上引入通道注意力機制(Squeezeand-Excitation,SEnet)模塊,利用注意力模塊,提高對魚類特征的捕獲能力,如圖3D 所示。一方面,該模塊增強了圖像的局部信息特征的提取能力,另一方面,充分利用上下文信息,提高了網箱和魚的特征提取能力。

        圖3 LFR-Net 網絡框架Fig.3 LFR-Net Network framework

        (2)頸部網絡:如圖3B 所示,頸部網絡常用于特征圖融合,優(yōu)化特征表達能力,本文模型采用路徑聚合網絡結構(Path Aggregation Network,PANet),其最早用于圖像分割領域,例如,以輸入圖像尺寸(1 920×1 920 像素)為例,經過主干網絡后分別獲取4 種不同尺度的特征 圖(240×240、120×120、60×60、30×30 像素),經過上采樣和連接層后,用于檢測不同大小的目標,進一步緩解魚類目標檢測精度不高的問題,增強特征融合能力。

        (3)預測頭:預測頭是檢測器的預測部分,用于輸出圖像中魚類的位置和置信度,如圖3C所示。基于非極大抑制方法進行最大局部搜索,去除冗余的檢測框,篩選置信度最高的檢測框,最終輸出并顯示目標檢測結果,包含位置、類別以及檢測目標的概率。

        2 結果與分析

        2.1 模型訓練和評價指標

        試驗平臺訓練環(huán)境的基本設置如表1 所示。訓練過程采用遷移學習的方式進行,模型加載ImageNet 的預訓練權重進行微調,模型的超參數(shù)設置值見表2。為驗證改進模型的有效性及改進模型的檢測效果,采用4 種不同骨干網絡進行對比試驗[29-32]。

        表1 訓練環(huán)境設置Table 1 Training environment settings

        表2 模型超參數(shù)設置Table 2 Model hyperparameter settings

        如表3 所示,模型的評價指標包含精確率、召回率、平均精度及F1 分數(shù)[33-34],其計算公式如下:

        表3 模型評價指標Table 3 Model evaluation index

        式中,TP(True Positive)為IOU > IOU 閾值的檢測框數(shù)(IOU 閾值=0.5);FP(False Positive)為IOU <=IOU 閾值(IOU 閾值=0.5)的檢測框數(shù);FN(False Negative)為未檢測到GT的數(shù)量,GT為手工標注的外接矩形(標簽);n為類別,AP為平均精確度。

        此外,本文使用第三方Thop 庫中的Pofile 函數(shù)對模型參數(shù)量和模型計算量進行計算。Profile函數(shù)實現(xiàn)機制是 利用PyTorch 中的注冊模塊前鉤(Register_forward_hook),為所有模塊注冊一個全局前向鉤子。

        2.2 不同模型的試驗結果

        本文選擇4 種其他模型進行對比試驗,包含YOLOV3-ting(Darknet53)、YOLOV5(CSPdarknet53)、YOLOV5(Repvgg)、YOLOV5s(Transformer)。訓練輪數(shù)是300 Epoch,模型訓練的超參數(shù)見表2。對比結果如表4 所示,本模型的參數(shù)量最少、計算量最少,與YOLOV5 模型相比,改進后模型mAP 提高9.7%,推理數(shù)據(jù)集隨機抽取50 張圖片,本模型平均每張圖片推理速度為0.08868 s。

        表4 不同模型的檢測結果Table 4 Test results of different models

        各模型訓練過程的評價指標,包括精確度、召回率以及mAP0.5 的趨勢圖如圖4 所示,在精確度、召回率和mAP 的趨勢圖中,所有模型趨勢基本在epoch=180 穩(wěn)定,后續(xù)可以縮減訓練輪數(shù)、加快訓練進度。此外,本文提出的模型評價指標均優(yōu)于其他模型,在參數(shù)總量和計算量減少下,mAP 為0.957,模型消融實驗結果見表5。

        表5 消融試驗Table 5 Ablation experiment

        圖4 不同模型訓練過程Fig.4 Training process of different models

        圖5 展示了網箱和魚類檢測實例,圖5A、C為正確識別的實例,但由于姿態(tài)和噪聲,模型存在假陽性案例(圖5D),圖像顯示有兩個檢測框,后續(xù)可以提高冗余框篩選的閾值。另一現(xiàn)象表明,在網箱邊緣識別效果不佳,魚在網箱附近時,受噪聲干擾影響,易錯誤識別為魚(圖5B)。

        圖5 LAPR-Net 模型檢測實例Fig.5 Detection instances of LAPR-Net model

        2.3 類激活圖可視化分析

        為更好地理解基于所提出改進模型的學習能力,選取模型的類激活圖進行解釋,本文結合GradCAM 熱力圖可視化,可視化的部分結果如圖6所示[35]??梢园l(fā)現(xiàn),不同的特征圖激活不同區(qū)域,如魚所在的區(qū)域、魚的背景。此外,由于識別的對象顏色和背景相似,網箱的輪廓邊緣部分也被激活,后續(xù)在聲信號轉聲吶圖像過程中,可更換不同的顏色背景,提高模型的識別精度。

        圖6 不同卷積層熱力圖分析Fig.6 Thermodynamic diagram analysis o f different convolutional layers

        3 討論

        近年來,隨著對動物蛋白需求的不斷增加和傳統(tǒng)漁業(yè)資源的嚴重減少,漁業(yè)正逐步向水產設施養(yǎng)殖轉型。其中,網箱生物識別是海洋牧場的關鍵作業(yè)流程之一??紤]到光學傳感器在水下場景中的客觀局限性,渾濁水體成像方法常利用非光學傳感器,如激光雷達、聲吶等,該方式有助于對結構復雜、渾濁黑暗的水下環(huán)境進行目標識別和計數(shù)。但是該類型設備成像分辨率低,易受運動載體和環(huán)境噪聲影響,計算量較大[36]。本文采用前視聲納技術,提出一種輕量級的魚類識別模型(LAPR-Net),實現(xiàn)渾濁或黑暗場景下水體魚類識別。

        相比于傳統(tǒng)的機器視覺方法,利用基于人工設計特征,獲取目標的位置信息,本文提出的模型可以自動提取目標特征,主干網絡模塊采用輕量級MobileNetV3 benck 塊,利用線性瓶頸的逆殘差結構和深度可分離卷積提取聲吶圖像中魚類的特征,通過注意力機制SE-Net 來獲取聲納圖像多尺度語義特征并增強特征之間的相關性,本文選擇4 種其他模型進行對比試驗,包含YOLOV3-ting(Darknet53)、YOLOV5(CSPdarknet53)、YOLOV5(Repvgg)、YOLOV5s(Transformer),試驗結果顯示,本文提出的模型的參數(shù)量最少(3 545 453 M)、計算量最少(6.3 G),同YOLOV5 模型相比,改進后模型mAP 提高9.7%,為后續(xù)渾濁或者黑暗場景下魚類檢測模型部署提供參考。

        此外,受網箱和水流振動產生噪聲的影響,小目標易錯誤識別為噪聲。隨著設備算力的提高,以深度學習為代表的技術逐漸成為水產養(yǎng)殖識別研究的新方式,可以加快圖像的處理效率,可推動多模態(tài)圖像融合在水產領域的應用前景[37],結合不同類型的相機,利用信息融合技術實現(xiàn)水下動物多類型數(shù)據(jù)信息融合,在遠距離范圍,采用聲吶信息,近距離或者小型魚,采用光學相機,提高小型魚的檢測精度[38]。

        4 結論

        近年來,混響噪聲和復雜背景的干擾是魚類難以檢測的問題的關鍵。本文提出了一種輕量級的魚類識別模型(LAPR-Net),實現(xiàn)渾濁水體下魚類檢測。該模型在YOLOV5 模型基礎上,主體結構采用MobileNetV3 benck 塊,利用線性瓶頸的逆殘差結構和深度可分離卷積提取聲吶圖像中魚類的特征,通過注意力機制SE-Net 來獲取聲納圖像多尺度語義特征并增強特征之間的相關性。同YOLOV5模型相比,改進后模型mAP提高9.7%,模型參數(shù)量為3 545 453 M、計算量為6.3 G,對于海洋牧場智慧養(yǎng)殖提供魚類檢測方案。

        猜你喜歡
        聲吶網箱魚類
        探索大洋的“千里眼”——聲吶
        基于MFCC和ResNet的魚類行為識別
        一種便攜式側掃聲吶舷側支架的設計及實現(xiàn)
        聲吶
        奇妙的古代動物 泥盆紀的魚類
        探索科學(2017年5期)2017-06-21 21:16:16
        10kV配網箱變局放檢測案例分析
        電子制作(2017年24期)2017-02-02 07:14:45
        全國首例網箱豢養(yǎng)江豚繁育成功
        魚類是怎樣保護自己的
        池塘小網箱養(yǎng)殖黃鱔
        怎樣避免網箱養(yǎng)魚患“營養(yǎng)不良”癥
        日本一区人妻蜜桃臀中文字幕| 亚洲精品国偷拍自产在线观看蜜臀| 精品亚洲日韩国产一二三区亚洲| 精品中文字幕手机在线| av网站免费在线浏览| 无码国产精品久久一区免费| 伊人蕉久中文字幕无码专区| 天啦噜国产精品亚洲精品| 少妇性l交大片免费1一少| 人人澡人人妻人人爽人人蜜桃麻豆 | 人妻无码人妻有码中文字幕| 亚洲日本无码一区二区在线观看| 大陆少妇一区二区三区| 人人妻人人澡人人爽欧美一区双| 久久婷婷国产剧情内射白浆| 男女高潮免费观看无遮挡| 日韩中文字幕久久久老色批| 国产亚av手机在线观看| 人人妻人人玩人人澡人人爽| 亚洲AV无码日韩一区二区乱| 男女调情视频在线观看| 狠狠色综合7777久夜色撩人| 精品2021露脸国产偷人在视频| 中文字幕av人妻一区二区| 精品人妻一区三区蜜桃| 国产亚洲精品aaaa片小说| 乱人伦视频69| 人妻中文字幕在线一二区| 国产欧美精品一区二区三区四区| 开心婷婷五月激情综合社区| 无遮挡粉嫩小泬| 青青草在线这里只有精品| 老少配老妇老熟女中文普通话| 国产麻花豆剧传媒精品mv在线 | 一本色道久久88加勒比一| 国产精品自在线拍国产| 三级国产女主播在线观看| 成人av资源在线观看| 国产精品a免费一区久久电影| 久久精品国产精品青草色艺| 日韩在线精品视频免费|