王琪　孟娟

摘? 要：智慧海洋是智慧農(nóng)業(yè)的基礎性工程。文章針對傳統(tǒng)方法無法解決高密度粘連情況下蝦苗計數(shù)精度較差的問題，提出了一種基于改進Unet的蝦苗密度估計算法。鑒于現(xiàn)有蝦苗數(shù)據(jù)集不足，收集并標記了一個針對蝦苗計數(shù)的數(shù)據(jù)集（Dlou_Shrimp）。在該數(shù)據(jù)集上對所提出的算法進行了測試，實驗結(jié)果表明該算法可以解決蝦苗計數(shù)中的遮擋與粘連問題，可為其他領域的密度估計提供全新的思路。

關鍵詞：蝦苗計數(shù);密度估計;神經(jīng)網(wǎng)絡;深度學習

中圖分類號：TP273+.4? 文獻標識碼：A? 文章編號：2096-4706（2021）17-0012-06

Abstract： Smart ocean is the basic project of smart agriculture. Aiming at the problem that the traditional methods can not solve the poor counting accuracy of shrimp seedlings in the case of high-density adhesion， an shrimp seedling density estimation algorithm based on improved Unet is proposed in this paper. In view of the shortage of existing shrimp seedling data sets， a data set for shrimp seedling counting （Dlou_ Shrimp） is collected and marked. The proposed algorithm is tested on the data set， the experimental results show that the algorithm can solve the problems of occlusion and adhesion in shrimp seedling counting， and can provide a new idea for density estimation in other fields.

Keywords： shrimp seedling count; density estimation; neural network; deep learning

0? 引? 言

21世紀以來，我國邁入高速發(fā)展階段，其中電子商務、物流運輸模式等的迅猛發(fā)展，使得海產(chǎn)品的銷售渠道增多，銷售份額也隨之大幅度提升。隨著市場對魚類、貝類、蝦類等海產(chǎn)品的需求日益上升，中國擁有的自然海域中海產(chǎn)品的產(chǎn)出速度已不能滿足國內(nèi)蝦苗的購買需求，且過度捕撈會引起海產(chǎn)類漁業(yè)物種的滅絕。根據(jù)《2020年中國漁業(yè)統(tǒng)計年鑒》[1]，2019年全國水產(chǎn)養(yǎng)殖總量為5 079.07萬噸，同比增長1.76%。蝦類作為海產(chǎn)品的主要分類之一，其養(yǎng)殖方法十分重要。精準高效的養(yǎng)殖方法有助于產(chǎn)出更多更好的蝦產(chǎn)品。準確地估計養(yǎng)殖水域內(nèi)的蝦苗數(shù)量對蝦苗養(yǎng)殖、蝦苗交易以及蝦苗行為分析都有著十分重要的現(xiàn)實意義。

就蝦產(chǎn)品的養(yǎng)殖流程而言，最為關鍵的一步是蝦苗的篩選與計數(shù)。傳統(tǒng)蝦苗篩選與計數(shù)采用的是直接觀測的方法，即依賴專家肉眼觀察蝦苗。傳統(tǒng)的篩選與計數(shù)方式簡單，但是采用這種方式所需的時間成本和人力成本較大且準確度不高。因此，采用直接觀測的方法并不能保證長時間有效完成蝦苗數(shù)量統(tǒng)計任務。

近年來，計算機視覺技術得到了快速發(fā)展，廣泛應用于人臉識別、魚類計數(shù)、蝦苗計數(shù)等，但蝦苗計數(shù)依然面臨很多挑戰(zhàn)，例如蝦苗之間遮擋嚴重、光照情況復雜等。此外，以下兩方面因素使蝦苗計數(shù)變得更加困難：

（1）蝦苗極度擁擠。蝦苗的活動有一定規(guī)律，水面的蝦苗往往成群出現(xiàn)，相機所獲得的原始數(shù)據(jù)中蝦苗往往極度密集，互相遮擋嚴重，這就使得我們用傳統(tǒng)的目標提取、圖像分割等方法對蝦苗進行計數(shù)遇到了極大的挑戰(zhàn)，如圖1所示。

（2）相機透視效應嚴重。由于相機具有一定的透視效應，同一相機在不同位置、不同角度拍攝的同一場景，所得到的數(shù)據(jù)往往不盡相同。圖像中離相機較近的目標偏大，而離相機較遠的目標較小，這使得所獲得的圖像數(shù)據(jù)存在嚴重的相機透視效應，因此我們很難準確定位蝦苗。

為了解決上述問題，本文在深入研究現(xiàn)有蝦苗計數(shù)方法的基礎上，提出了一種基于改進的Unet蝦苗密度估計方法。本文所做的工作主要有以下幾點：

（1）為了更好地學習上下文信息和位置信息，在原有Unet網(wǎng)絡的特征圖融合階段增加了一個改進的注意機制模塊。

（2）針對幾何自適應高斯核與固定高斯核所存在的二值矩陣分布不均問題，本文采用DM-Count的損失函數(shù)替代原有的損失函數(shù)。

（3）考慮到現(xiàn)有蝦苗數(shù)據(jù)集不足的情況，我們收集并標記了一個針對蝦苗計數(shù)的數(shù)據(jù)集（Dlou_Shrimp），該數(shù)據(jù)集中搜集并整理了250幅圖像，并對約80 000個圖像中的蝦苗做了準確的標注。

1? 相關工作

1.1? 卷積神經(jīng)網(wǎng)絡在計數(shù)問題上的應用

隨著大數(shù)據(jù)、5G技術的廣泛普及，視頻監(jiān)控設備以及各種特定場景的圖像自動分析逐漸成為研究熱點。目前，特定場景的分析主要集中在密集人群的自動分析上。在早期，深度學習、統(tǒng)計蝦苗等技術發(fā)展迅速，人們的研究熱點主要集中在如何利用滑動的窗口將圖片中的人探測出來，但是蝦苗圖片存在遮擋嚴重的問題，采用該方法進行蝦苗統(tǒng)計效果并不理想。

通過計數(shù)問題和蝦苗密度圖之間建立的映射可以很好地解決該問題，有很多專家和學者使用密度估計來解決計算問題。周飛燕[2]等人總結(jié)了深度學習在目標檢測和計算機視覺、自然語言處理、語音識別和語義分析等領域的成果;Sang[3]等針對非線性動態(tài)系統(tǒng)提出了一種基于改進的混沌神經(jīng)網(wǎng)絡（CNN）的間接自適應神經(jīng)控制器;付宇豪[4]等實現(xiàn)了基于多列卷積神經(jīng)網(wǎng)絡（MCNN）的蝦苗計數(shù)算法和基于選擇卷積神經(jīng)網(wǎng)絡（Switch-CNN）的蝦苗計數(shù)算法;王金鳳[5]等基于水下魚類的群聚現(xiàn)象，采用基于擁塞場景識別的卷積神經(jīng)網(wǎng)絡（CSRNet）技術，將剔除了全連接層的VGG-16與空洞卷積神經(jīng)網(wǎng)絡相結(jié)合，在保持分辨率的同時擴大感知域，從而生成高質(zhì)量的魚群分布密度圖;汪夢婷[6]等依據(jù)蝦苗密度估計方法創(chuàng)建了魚群密度估計數(shù)據(jù)集，并針對蝦苗密度估計網(wǎng)絡中因使用空洞卷積而產(chǎn)生的“網(wǎng)格效應”，提出將空洞卷積替換為混合空洞卷積，建立了端到端的魚群密度估計網(wǎng)絡;Zhang[7]等受多列卷積神經(jīng)網(wǎng)絡（MCNN）和上下文金字塔卷積神經(jīng)網(wǎng)絡（CP-CNN）的啟發(fā)，提出了一個新的深度學習框架，用于對蝦苗進行高效而精確的計數(shù)，生成高質(zhì)量的密度圖;劉洋[8]等根據(jù)枚舉法的思想設計自動訓練算法，用于訓練遷移學習和人工設計的卷積神經(jīng)網(wǎng)絡。

1.2? 計算機視覺在蝦苗計數(shù)中的應用

近年來，深度學習發(fā)展迅速，被廣泛應用于各種場景，有不少實驗人員開始利用卷積神經(jīng)網(wǎng)絡來提取蝦苗的深層特征，估算蝦苗的密度，傳統(tǒng)的直接觀測蝦苗計數(shù)方法被取而代之。范大岳[9]通過降低孵化池水位來“濃縮”幼體，再由排出管排入細網(wǎng)眼塑料籠內(nèi)，移入充氣水體里，然后用玻璃杯舀起，慢慢倒入附近的暫養(yǎng)池，邊觀看邊計數(shù)。黃應生[10]等介紹了一種通過電子稱原理而制造的魚苗計數(shù)器，其具有計數(shù)率高、誤差小、魚苗存活率高、成本低以及便于推廣等優(yōu)點，適用于各類魚、蝦苗和其他顆粒狀或帶殼的水產(chǎn)苗種。張康德[11]通過制作一個四方盒，將魚苗連同水倒入盒里，將框格放入盒中。取出兩個方格里的魚苗，分別計數(shù)，取平均值，然后乘以方格數(shù)，即得出總的魚苗數(shù);薛志寧[12]等通過對日本對蝦仔在室內(nèi)人工養(yǎng)殖條件下的各種參數(shù)進行測試，得出了回歸方程，為蝦苗購買者提供參考;季玉瑤[13]等針對蝦苗圖像光照不均、圖像粘連等問題，對圖像復原的TV-L1模型進行了改進，提出了一種新的計數(shù)法;范松偉[14]等提出了一種基于卷積神經(jīng)網(wǎng)絡模型的蝦苗自動計數(shù)技術，該方法在均勻背光環(huán)境下能夠?qū)σ欢芏鹊奈r苗數(shù)量進行準確的估計，符合蝦苗養(yǎng)殖業(yè)的計數(shù)要求。于秋玉[15]提出了一種基于改進YOLOv4的蝦苗智能識別計數(shù)系統(tǒng)，但是該方法對于中高密度蝦苗圖像的計數(shù)精度較差。

2? 本文方法

2.1? Unet+SAM

本文提出一種在特征圖融合階段在增強的Unet網(wǎng)絡中加入改進的注意力機制SAM模塊的方法，本文提出的增強的UNet網(wǎng)絡結(jié)構(gòu)如圖2所示。整個網(wǎng)絡結(jié)構(gòu)主要分為跳躍連接、上采樣、縮減采樣和增強注意模塊四個部分。首先將該網(wǎng)絡分為左右兩個部分進行分析，左邊是壓縮過程，即Encoder。輸入任意尺寸的蝦苗圖片，通過卷積和縮減采樣減少圖像大小并提取一些簡單的功能。右邊是解碼過程，即Decoder。通過卷積和上采樣，可以獲得一些深刻特征。其中，用于卷積的valid的填充方式可得到上下文齊全的結(jié)果，因此每次經(jīng)過卷積之后，圖像大小都會減少。通過中間的concat，將編碼階段獲得的特征圖與改進的注意力機制模塊后解碼階段獲得的特征圖相結(jié)合，將深度和淺度的特征相結(jié)合，細化圖像，可以有效地觀察蝦苗的細節(jié)。密度圖預測是根據(jù)結(jié)果特征圖進行的。請注意，這里兩層的特點是大小不同，需要剪切。最后一層則是通過1×1的卷積生成最終密度貼圖。

傳統(tǒng)的注意力機制模塊SAM，是由Woo[16]等人于2018年在ECCV上提出的一種基于數(shù)據(jù)相關性的模塊，該模塊通?？梢苑旁诰矸e層的后面。任何的流行網(wǎng)絡都可以嵌入SAM模塊。在注意力機制模塊出現(xiàn)之前，Hu[17]等提出了SENet的模型結(jié)構(gòu)，該模型可以在特征圖的通道上執(zhí)行attention操作，乘以原來的特征圖，得到具有注意力機制的特征圖，但SENet方法的重點是在通道上執(zhí)行attention操作，在空間層面上無法反映attention。傳統(tǒng)SAM模塊可以在通道和空間層面同時使用attention，在不顯著增加計算量和參數(shù)量的情況下提高模型的特征提取能力。但是，傳統(tǒng)的注意力機制模塊集中在上下文頻道和空間兩個大維度上，忽視了對圖片核心點的學習。

針對蝦苗計數(shù)中蝦苗圖像的個體都比較小，采用傳統(tǒng)的SAM算法，由于包含平均池化與最大池化兩種操作，從而會使蝦苗圖像的細節(jié)信息丟失。針對這一問題，本文在原有SAM的基礎上去除池化模塊，用一個卷積得到特征圖，直接使用Sigmoid函數(shù)進行激活，然后對應點對點相乘，具體的網(wǎng)絡圖如圖3所示。本文所提出的Unet+SAM算法，在保持蝦苗計數(shù)精度的同時能夠有效地解決蝦苗計數(shù)中的遮擋與粘連問題。

2.2? DM-Count loss

高斯密度估計方法[18]是將密度估計視為生成高質(zhì)量的密度圖，在密度估計過程中，每個訓練圖像包含多個蝦苗，每個蝦苗都用一個點來標記。然后使用高斯核對標記的點進行平滑操作。然而，Wang[19]等人于2020年證明了將幾何自適應高斯方法強加于注釋會損害模型的泛化能力，因此本文采用分布匹配的方法對蝦苗進行計數(shù)，該方法不需要用高斯核來平滑帶注釋的點。DM-Count的泛化誤差范圍比高斯平滑方法的泛化誤差范圍更嚴格。

具體來講，本文用表示用于點注釋的矢量化二進制圖， 表示由神經(jīng)網(wǎng)絡返回的矢量化預測密度圖。將z和? 視為未歸一化的密度函數(shù)，用以下三項來表示DM-Count中的損失函數(shù)，包含計數(shù)損失、OT損失和總變量（TV）損失，如式（1）所示。計數(shù)損失測量總體密度圖之間的差異，而后兩項則測量歸一化密度函數(shù)分布之間的差異：

總變化損失?TV：在每次訓練迭代中，我們使用Sinkhorn算法來近似α*和β*。時間復雜度為O（n2logn/2），其中是所需的最佳差距，即返回的目標與最佳目標之間的差異的上限。使用Sinkhorn算法進行優(yōu)化時，目標在開始時急劇下降，但在以后的迭代中僅緩慢收斂到最佳目標。實際上我們設置了最大迭代次數(shù)，而Sinkhorn算法僅返回近似解。結(jié)果，當使用Sinkhorn算法優(yōu)化OT損耗時，預測的密度圖接近于真實密度圖，但并不完全相同。OT損耗接近蝦苗的密集區(qū)域，但是對于蝦苗的低密度區(qū)域，近似值可能會更差。為了解決此問題，我們另外使用總變化（TV）損失，定義為：

2.3? Dlou_Shrimp數(shù)據(jù)集

由于沒有公開的數(shù)據(jù)集可供神經(jīng)網(wǎng)絡對蝦苗計數(shù)進行訓練和測試，因此我們通過長期的搜集和整理，建立了一個蝦苗計數(shù)數(shù)據(jù)集（Dlou_Shrimp）。該數(shù)據(jù)集包含250張帶注釋的高密度蝦苗圖像，如圖4所示。我們對這些高密度的蝦苗圖像進行標注，標記的蝦苗數(shù)量約為80 000條。

蝦苗數(shù)據(jù)集樣本一部分來自蝦類養(yǎng)殖場，拍攝設備是一個800萬像素的攝像機。每幅圖像的分辨率為3 264×2 448。為豐富數(shù)據(jù)集并保證數(shù)據(jù)樣本的多樣性，在所拍攝的視頻中分別從不同的時段截取圖像，并保證所截取圖像中的蝦苗具有不同的狀態(tài);實驗樣本中的另一部分圖像是從互聯(lián)網(wǎng)上收集的，共有50張。

3? 實驗及實驗結(jié)果評估

3.1? 實驗環(huán)境

本次實驗的實驗環(huán)境是搭載Windows10操作系統(tǒng)，CPU處理器選擇intel Core i7-6800K，其主頻是3.4 GHz，GPU為GTX2080Ti，實驗平臺采用PyCharm（2018版），所用的深度學習框架為Pytorch。

3.2? 評價指標

我們采用平均絕對誤差MAE與均方誤差MSE對算法的性能進行評價。其中MAE與MSE都是用于衡量算法性能的標準，MAE表征算法估計的準確性，MSE表征算法估計的穩(wěn)定性，定義為：

其中，N表示測試集中圖像的數(shù)目，zi表示第i張圖像中實際含有的蝦苗數(shù)量，表示算法估計的圖像中含有的蝦苗數(shù)量。MAE、MSE的值越小，實驗效果越好。

MAE、MSE誤差相較于其他評估指標，優(yōu)點在于執(zhí)行簡單，較容易理解，比較適用于回歸的場景中，尤其是當回歸的值是實數(shù)值的時候。

同時，MAE損失對離群值的魯棒性更強，但其導數(shù)的不連續(xù)性使得尋找最優(yōu)解的過程效率低下;MSE損失對離群值比較敏感，但在優(yōu)化過程中更加穩(wěn)定和準確。

3.3? 實驗結(jié)果

我們將本文所提出的基于改進的Unet蝦苗密度估計算法與近幾年先進的密度估計方法進行對比實驗，具體對比值如表1所示。表中的數(shù)據(jù)表明，無論是平均絕對誤差MAE還是均方誤差MSE，本文提出的方法在Dlou_Shrimp數(shù)據(jù)集上所取得的結(jié)果都優(yōu)于其他密度估計算法。同時，相較于當前最先進的密度估計算法，MAE提升了7.87，MSE提升了約9.92。

圖5為Dlou_Shrimp數(shù)據(jù)集部分樣本樣例的可視化結(jié)果，可以看出本文生成的密度圖與標簽密度圖十分接近。

為了驗證本文所提出框架中各個構(gòu)建模塊的有效性，以控制變量的形式設計了幾組內(nèi)部模型間的對照實驗。為了更直觀地探明各模塊對模型性能的貢獻度及其各自的最優(yōu)配置，后續(xù)對照實驗均采用Dlou_Shrimp數(shù)據(jù)集，下文給出了各對照實驗設置及結(jié)果分析。

為了驗證改進SAM模塊在模型中的有效性，我們進行了傳統(tǒng)的UNet網(wǎng)絡與加入SE模塊、加入SAM模塊和加入改進SAM模塊的對比實驗，實驗結(jié)果如表2所示。當模型未使用改進SAM模塊時，模型在Dlou_Shrimp數(shù)據(jù)集上的各指標均有較大程度的回落。實驗結(jié)果表明，使用改進SAM模塊的算法比不使用改進SAM模塊的算法相比，雖然前一種算法在計算量上有所增大，但是在準確性和魯棒性方面，其計數(shù)精度最高。

為了找到一個最適合的下采樣深度，實驗將蝦苗圖片放入深度為3、4、5的改進的UNet網(wǎng)絡深度中進行試驗。表3是不同深度在Dlou_Shrimp數(shù)據(jù)集上的性能比較結(jié)果，從表中可以看出改進的UNet網(wǎng)絡在深度為4的情況下，MAE與MSE兩個指標上均有較好的效果。

為了驗證DMCountloss優(yōu)于傳統(tǒng)幾何高斯核密度估計方法，在改進的Unet模型上進行了DMCountloss與幾何高斯核密度估計的對比實驗，實驗結(jié)果表明，DMCountloss的MAE和MSE均優(yōu)于幾何高斯核密度估計方法，具體的對比值如表4所示。

4? 結(jié)? 論

本文提出了一種基于改進的Unet蝦苗密度估計方法，該方法可以通過神經(jīng)網(wǎng)絡將一張蝦苗圖像生成蝦苗密度圖，并由密度圖積分求和得到蝦苗總體數(shù)量，最后得出圖像中蝦苗的數(shù)量。本文所提出的算法能夠有效地克服蝦苗計數(shù)中的遮擋與粘連問題，雖然SAM模塊去掉了池化層，導致計算效率下降，但卻能有效地提高蝦苗計數(shù)的精度。在未來的研究工作中，我們將從以下兩個方面對本文算法不斷改進：

（1）由于大規(guī)模蝦苗計數(shù)數(shù)據(jù)集存在標注困難、樣本數(shù)量較少且存在誤標現(xiàn)象，因此我們下一步將研究如何引進無監(jiān)督或半監(jiān)督的標注方式，進一步擴大蝦苗計數(shù)數(shù)據(jù)集的規(guī)模和質(zhì)量。

（2）針對密度圖估計方法中對目標較少的蝦苗圖片估計精度不高的問題，計劃后續(xù)將目標檢測的計數(shù)方法與密度圖估計方法相結(jié)合，從而更高效地進行蝦苗密度估計。

參考文獻：

[1] 羅茵.《2020中國漁業(yè)統(tǒng)計年鑒》出版 廣東水產(chǎn)品總產(chǎn)量首次全國第一 [J].海洋與漁業(yè)，2020（6）：12-13.

[2] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡研究綜述 [J].計算機學報，2017，40（6）：1229-1251.

[3] KIM S H，AHN H W，WANG H O. A study on the Adaptive Neural Controller with Chaotic Dynamic Neural Networks [J].International Journal of Fuzzy Logic and Intelligent Systems，2007，7（4）：236-241.

[4] 付宇豪.基于卷積神經(jīng)網(wǎng)絡的人群計數(shù)算法研究與應用 [D].北京：北京工業(yè)大學，2019.

[5] 王金鳳，胡凱，江帆，等.基于改進深度學習模型的魚群密度檢測試驗研究 [J].漁業(yè)現(xiàn)代化，2021，48（2）：77-82.

[6] 汪夢婷，袁飛，程恩.魚類目標的密度估計模型 [J].哈爾濱工程大學學報，2020，41（10）：1545-1552.

[7] ZHANG W，WANG Y J，LIU Y Y. Deep Convolution Network for Dense Crowd Counting [J].IET Image Processing，2020，14（4）：621-627.

[8] 劉洋，張勝茂，王斐，等.海洋捕撈魚類BigH神經(jīng)網(wǎng)絡分類模型設計與實現(xiàn) [J].工業(yè)控制計算機，2021，34（6）：18-20.

[9] 范大岳.羅氏沼蝦苗的A型光電計數(shù)器 [J].漁業(yè)現(xiàn)代化，1986（3）：18-20.

[10] 黃應生，許斐力，馬應森.YJ-2型魚苗計數(shù)器 [J].漁業(yè)機械儀器，1989（3）：29-30+20.

[11] 張康德.框格式魚蝦苗計數(shù)法 [J].適用技術市場，1997（9）：11.

[12] 薛志寧，段吉旺.應用重量法計量出池日本對蝦蝦苗的研究 [J].河北漁業(yè)，2000（5）：11-12+15.

[13] 季玉瑤，魏偉波，趙增芳，等.基于改進TV-L1模型的蝦苗計數(shù)方法 [J].青島大學學報（自然科學版），2018，31（4）：62-68+82.

[14] 范松偉，林翔瑜，周平.基于改進的卷積神經(jīng)網(wǎng)絡的蝦苗自動計數(shù)研究 [J].漁業(yè)現(xiàn)代化，2020，47（6）：35-41.

[15] 于秋玉.基于改進YOLOv4的蝦苗智能識別算法研究 [J].河南科技，2021，40（6）：25-28.

[16] WOO S，PARK J，LEE J Y，et al. CBAM： Convolutional Block Attention Module [C]//European Conference on Computer Vision. Cham：Springer，2018：3-19.

[17] HU J，LI S，ALBANIE S，et al. Squeeze-and-Excitation Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

[18] NUALART E，SARDANYONS L Q. Gaussian estimates for the density of the non-linear stochastic heat equation in any space dimension [J]. Stochastic Processes and their Applications，2011，122（1）：418-447.

[19] WANG B Y，LIU H D，SAMARAS D，et al. Distribution Matching for Crowd Counting [J].Computer Science，2020（v2）：135-137.

[20] GABRIEL P，MARCO C. Computational Optimal Transport [J].Foundations and trends in machine learning，2019，11（5-6）：355+206.

[21] LARADJI I H，ROSTAMZADEH N，PINHEIRO P O，et al. Where are the Blobs： Counting by Localization with Point Supervision [C]// Computer Vision-ECCV 2018.Cham：Springer，2018：560-576.

作者簡介：王琪（1996—），男，漢族，遼寧瓦房店人，碩士研究生在讀，研究方向：深度學習;孟娟（1981—）女，漢族，山東龍口人，副教授，博士，研究方向：非線性控制、復雜網(wǎng)絡同步。