袁紅春,史經(jīng)偉

(上海海洋大學(xué)信息學(xué)院,上海 201306)

金槍魚(yú)遠(yuǎn)洋漁業(yè)中,漁獲量統(tǒng)計(jì)普遍采用人工計(jì)數(shù)[1-2],不僅人工成本高、效率低[3-4],還會(huì)出現(xiàn)統(tǒng)計(jì)偏差等現(xiàn)象。使用自動(dòng)計(jì)數(shù)方法可以有效提高效率,但目前針對(duì)金槍魚(yú)延繩釣漁業(yè)的漁獲量自動(dòng)統(tǒng)計(jì)研究還較少。傳統(tǒng)方法使用計(jì)數(shù)傳感器等硬件設(shè)備,船員等移動(dòng)物體經(jīng)常會(huì)自動(dòng)計(jì)入,計(jì)數(shù)誤差較大,而錯(cuò)誤的漁獲量統(tǒng)計(jì)會(huì)直接影響到漁業(yè)資源評(píng)估[5]與金槍魚(yú)漁情預(yù)報(bào)的準(zhǔn)確性[6],且不能識(shí)別魚(yú)的種類(lèi)、硬件成本昂貴[7]。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展,基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法成為主流解決方案[8-11],可以實(shí)現(xiàn)無(wú)接觸計(jì)數(shù),提高計(jì)數(shù)效率,解放人力。

Albuquerque等[12]提出了一種基于Blob跟蹤和高斯混合的魚(yú)類(lèi)計(jì)數(shù)方法,設(shè)計(jì)了一條計(jì)數(shù)線,當(dāng)魚(yú)停留時(shí)間滿足一定時(shí)長(zhǎng)后進(jìn)行計(jì)數(shù),并使用卡爾曼濾波跟蹤來(lái)避免重復(fù)計(jì)數(shù)。這種方法存在如下缺點(diǎn):首先,當(dāng)魚(yú)停留在計(jì)數(shù)線上的時(shí)間超過(guò)讀取時(shí)間間隔時(shí),卡爾曼濾波器不能實(shí)現(xiàn)去重;其次,當(dāng)魚(yú)被遮擋并重新跟蹤時(shí),容易產(chǎn)生漏計(jì)問(wèn)題。Yu等[13]提出了一種基于特征提取模塊和注意力機(jī)制的深度學(xué)習(xí)網(wǎng)絡(luò)模型來(lái)實(shí)現(xiàn)養(yǎng)殖魚(yú)類(lèi)的計(jì)數(shù),該模型由特征提取模塊、注意力模塊和密度圖模塊組成。該模型對(duì)靜態(tài)圖片中的魚(yú)計(jì)數(shù)的準(zhǔn)確率為97%,但忽略實(shí)際生產(chǎn)過(guò)程中由于魚(yú)的自由游動(dòng)導(dǎo)致的重復(fù)計(jì)數(shù)問(wèn)題。此外,該模型比較復(fù)雜,無(wú)法識(shí)別魚(yú)類(lèi)和提供不同魚(yú)類(lèi)數(shù)量的統(tǒng)計(jì),對(duì)動(dòng)態(tài)視頻計(jì)數(shù)也缺乏支持。吳必朗等[14]提出了改進(jìn)的Deepsort追蹤算法和虛擬計(jì)數(shù)線的方式對(duì)魚(yú)道內(nèi)通過(guò)的魚(yú)進(jìn)行計(jì)數(shù),計(jì)數(shù)準(zhǔn)確率僅為71%,這是由于Deepsort跟蹤算法對(duì)于遮擋問(wèn)題處理能力較差[15],且對(duì)于外觀差異較大的識(shí)別對(duì)象比較敏感,而同種魚(yú)類(lèi)的外形差異較小,無(wú)法穩(wěn)定跟蹤目標(biāo)[16],其次,如果魚(yú)類(lèi)在通過(guò)計(jì)數(shù)線時(shí)突然消失,將會(huì)導(dǎo)致漏計(jì)。綜上可知,已有研究在出現(xiàn)遮擋時(shí),模型提取目標(biāo)特征能力較差,易出現(xiàn)目標(biāo)遺失問(wèn)題[17],導(dǎo)致計(jì)數(shù)偏差。雖然可以通過(guò)引入注意力機(jī)制提高檢測(cè)模型的網(wǎng)絡(luò)性能,但是現(xiàn)有注意力機(jī)制還不足以解決上述問(wèn)題[18],同時(shí)計(jì)數(shù)線與跟蹤算法也無(wú)法彌補(bǔ)檢測(cè)算法遺失目標(biāo)時(shí)產(chǎn)生的計(jì)數(shù)偏差。陳子文等[19]在數(shù)據(jù)預(yù)處理階段提出自適應(yīng)圖片裁切算法,使用YOLOv5算法對(duì)養(yǎng)殖蝦進(jìn)行檢測(cè)與計(jì)數(shù),擴(kuò)展了數(shù)據(jù)集,減少了數(shù)據(jù)特征的丟失,但對(duì)拍攝設(shè)備要求較高,對(duì)低分辨率的圖片與大體型目標(biāo)不友好,易將圖片變得模糊丟失細(xì)節(jié),也會(huì)將大型目標(biāo)裁剪為多份,使網(wǎng)絡(luò)學(xué)習(xí)時(shí)產(chǎn)生混淆。

綜上可知,目前普遍使用的計(jì)數(shù)算法多為Deepsort跟蹤算法,檢測(cè)算法YOLOv5、YOLOv5s、YOLOv7等與Deepsort的結(jié)合計(jì)數(shù)方法,以及虛擬計(jì)數(shù)線,其中YOLO系列與Deepsort的結(jié)合方法在不同計(jì)數(shù)領(lǐng)域被廣泛使用[2,14,18-21]。

針對(duì)上述方法的局限性與數(shù)據(jù)集的特點(diǎn),提出了一種改進(jìn)的YOLOv7-tiny的輕量化檢測(cè)模型DP-YOLO,通過(guò)可變形卷積DCNv2提升骨干網(wǎng)絡(luò)對(duì)金槍魚(yú)不規(guī)則形體的特征提取能力,通過(guò)PConv降低模型的計(jì)算量,提高檢測(cè)速度。為解決已有計(jì)數(shù)線存在的問(wèn)題,設(shè)計(jì)了一條具有矯正和緩沖功能的動(dòng)態(tài)雙向計(jì)數(shù)線,稱為“動(dòng)態(tài)檢測(cè)門(mén)”。以上改進(jìn)提升YOLOv7-tiny 在真實(shí)金槍魚(yú)延繩釣捕撈中檢測(cè)的平均精度和計(jì)數(shù)性能指標(biāo)。

1 方法

1.1 數(shù)據(jù)獲取

延繩釣常用來(lái)捕獲海洋中的中大型動(dòng)物[22],每隔一段時(shí)間需要人工將捕獲的魚(yú)從海中經(jīng)過(guò)甲板上拖入貨艙[23]。本研究數(shù)據(jù)集與深圳市聯(lián)成遠(yuǎn)洋漁業(yè)有限公司合作采集,于2021年9月在其遠(yuǎn)洋延繩釣漁船上使用具有夜視攝像功能的720 px高清攝像頭固定于漁船上方俯視拍攝數(shù)據(jù),采集了40段不同時(shí)間段和不同光照下的捕撈數(shù)據(jù),視頻的幀率為30FPS,圖片與視頻大小皆為1 280 px×720 px,如圖1所示。

圖1 數(shù)據(jù)集示例Fig.1 Data set example

1.2 DP-YOLO框架設(shè)計(jì)

在真實(shí)捕撈作業(yè)中金槍魚(yú)與船員皆處于運(yùn)動(dòng)狀態(tài),對(duì)金槍魚(yú)的檢測(cè)和計(jì)數(shù)有較高的準(zhǔn)確性和實(shí)時(shí)性要求,YOLO系列具有計(jì)算成本小、推理速度快且保證性能的優(yōu)點(diǎn)[24-25]。其中YOLOv7同體量下比其他YOLO系列模型精度更高,能學(xué)習(xí)更多特征[26],比YOLOv5檢測(cè)速度快1.2倍[27]。YOLOv7精度較高,但參數(shù)量較大,實(shí)際捕撈過(guò)程中,為每艘漁船搭載高性能顯卡的設(shè)備成本較高,無(wú)法使用低成本邊緣計(jì)算機(jī)實(shí)現(xiàn)現(xiàn)場(chǎng)部署,在現(xiàn)有條件下無(wú)法運(yùn)行YOLOv7模型,無(wú)法滿足計(jì)數(shù)的實(shí)時(shí)性,而輕量級(jí)YOLOv7-tiny模型的計(jì)算量?jī)H為YOLOv7的1/7[17],適合在邊緣設(shè)備上運(yùn)行[28]。

DP-YOLO基于YOLOv7-tiny改進(jìn),其結(jié)構(gòu)如圖2所示,分為骨干網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)兩部分。數(shù)據(jù)輸入時(shí),模型會(huì)對(duì)數(shù)據(jù)進(jìn)行Mosaic數(shù)據(jù)增強(qiáng)[29]、自適應(yīng)調(diào)整輸入圖片為3通道大小為640 px×640 px的特征圖、自適應(yīng)錨框等數(shù)據(jù)預(yù)處理工作;骨干網(wǎng)絡(luò)負(fù)責(zé)金槍魚(yú)的特征提取;頭部網(wǎng)絡(luò)通過(guò)骨干網(wǎng)絡(luò)中輸出的3層不同大小的特征圖,經(jīng)過(guò)特征融合輸出3個(gè)檢測(cè)層,分別檢測(cè)不同大小的目標(biāo);最后輸出包括金槍魚(yú)類(lèi)別的置信度和錨框位置。

圖2 DP-YOLO結(jié)構(gòu)圖Fig.2 DP-YOLO structure diagram

為解決金槍魚(yú)魚(yú)體不規(guī)則、易變化,外形特征難以提取導(dǎo)致后續(xù)的計(jì)數(shù)誤差,在骨干網(wǎng)絡(luò)中,通過(guò)將DCNv2嵌入在高效層聚合網(wǎng)絡(luò)ELAN中實(shí)現(xiàn)D2模塊,提升了對(duì)金槍魚(yú)外形特征的提取能力;為緩解加入D2模塊導(dǎo)致模型檢測(cè)速度下降問(wèn)題,使用PConv替換骨干網(wǎng)絡(luò)中的常規(guī)卷積有效減少了模型的計(jì)算量,提升了模型的檢測(cè)速度,使得該模型可以在邊緣設(shè)備上運(yùn)行。綜上可知,DP-YOLO模型通過(guò)加強(qiáng)不規(guī)則形狀的特征提取的能力,提高了對(duì)易變形魚(yú)體的學(xué)習(xí)能力,通過(guò)減少參數(shù)量和內(nèi)存訪問(wèn)次數(shù),提高檢測(cè)速度,實(shí)時(shí)性和準(zhǔn)確性的改善為檢測(cè)門(mén)算法的計(jì)數(shù)效果提供了先決條件。

1.3 骨干網(wǎng)絡(luò)改進(jìn)

YOLOv7-tiny使用Mosica數(shù)據(jù)增強(qiáng)技術(shù)增加特征圖的特征豐度,提升骨干網(wǎng)絡(luò)的特征提取能力,但在金槍魚(yú)捕撈環(huán)境中,金槍魚(yú)外形易變,晝夜光照條件不同,模型中的預(yù)處理技術(shù)無(wú)法有效提取該類(lèi)問(wèn)題下金槍魚(yú)的外形特征。為解決上述問(wèn)題,使用可變形卷積DCNv2,可以有效提取金槍魚(yú)外形的特征[30-31]。

圖3顯示了DCNv2與常規(guī)卷積的工作原理,假設(shè)卷積核大小為3 px×3 px,以金槍魚(yú)魚(yú)鰭為例,綠色陰影部分為卷積的特征提取像素,常規(guī)卷積只能提取矩形范圍內(nèi)的像素特征,需多次卷積才能提取魚(yú)鰭的外形特征,但DCNv2使得卷積核可以根據(jù)輸入特征圖的內(nèi)容進(jìn)行自適應(yīng)空間變形,通過(guò)學(xué)習(xí)位置偏移量實(shí)時(shí)調(diào)整采樣位置,從而更好適應(yīng)形變物體。

圖3 常規(guī)卷積(a)和DCNv2(b)的卷積過(guò)程Fig.3 The process of regular convolutions (a) and DCNv2(b)

使用額外的回歸網(wǎng)絡(luò)來(lái)學(xué)習(xí)每個(gè)像素位置的偏移量,使卷積中心從固定位置移動(dòng)到自適應(yīng)位置,更好地適應(yīng)了輸入數(shù)據(jù)的特征分布。因此在相同卷積次數(shù)下,相較常規(guī)卷積,有較快的特征提取能力。YOLOv7中的高效層聚合網(wǎng)絡(luò)ELAN是一種高效的網(wǎng)絡(luò)架構(gòu),使用殘差結(jié)構(gòu)將每個(gè)中間層得到的特征圖都在最后一層聚合進(jìn)行特征融合,能提取不同卷積得到的特征圖和不同通道下的特征,同時(shí)將DCNv2嵌入ELAN網(wǎng)絡(luò)中組成D2模塊,D2模塊中通過(guò)連續(xù)使用DCNv2卷積可以在不同尺度上與感受野上提取特征,并將它們?nèi)诤?能夠捕捉到不同層次的細(xì)節(jié)和結(jié)構(gòu)信息,從而提高特征提取的準(zhǔn)確性與魯棒性。D2模塊結(jié)構(gòu)如圖4所示,使用LeakyRelu激活函數(shù)替代原來(lái)的Relu函數(shù),將所有負(fù)值權(quán)重改為非零斜率,擴(kuò)大了Relu函數(shù)的范圍,減少環(huán)境因素產(chǎn)生的金槍魚(yú)漏檢問(wèn)題。

圖4 D2模塊Fig.4 D2 module

D2模塊提升了骨干網(wǎng)絡(luò)的特征提取能力,但增加了較多計(jì)算量與檢測(cè)時(shí)的內(nèi)存訪問(wèn)次數(shù),使模型檢測(cè)時(shí)間增加。由于金槍魚(yú)捕撈是一個(gè)動(dòng)態(tài)過(guò)程,對(duì)檢測(cè)速度要求較高,為了使模型能夠部署在資源受限的船載邊緣設(shè)備上,使用PConv代替常規(guī)卷積,減少模型的計(jì)算量的同時(shí)提升硬件設(shè)備的每秒浮點(diǎn)運(yùn)算次數(shù),達(dá)到更低的檢測(cè)延遲。DP-YOLO提高了特征提取能力,降低了骨干網(wǎng)絡(luò)的計(jì)算量,同時(shí)優(yōu)化硬件性能,提高了模型速度,保證金槍魚(yú)計(jì)數(shù)的準(zhǔn)確性與實(shí)時(shí)性,適合現(xiàn)場(chǎng)部署,降低船載硬件成本。

(1)

C=h×w×k2×c2

(2)

M=h×w×2c+k2×c2

(3)

式(1)中:顯示了檢測(cè)延遲L與模型計(jì)算量f、硬件每秒浮點(diǎn)運(yùn)算次數(shù)F的關(guān)系。式(2)與式(3)中:兩式分別計(jì)算卷積的計(jì)算量C和卷積過(guò)程中的內(nèi)存訪問(wèn)次數(shù)M,其中h、w分別為輸入特征圖的高度和寬度。c是卷積的通道數(shù)量,k是卷積核的大小。

由式(1)知,檢測(cè)速度與模型計(jì)算量與設(shè)備單位時(shí)間的浮點(diǎn)運(yùn)算次數(shù)有關(guān),前者導(dǎo)致模型計(jì)算時(shí)間的延長(zhǎng),后者頻繁訪問(wèn)內(nèi)存會(huì)導(dǎo)致硬件的處理性能下降,故較大的模型計(jì)算量和頻繁的內(nèi)存訪問(wèn)會(huì)導(dǎo)致延遲增加。因?yàn)镻Conv的通道數(shù)c為常規(guī)卷積的1/4,由式(2)知,PConv計(jì)算量?jī)H為常規(guī)卷積的1/16,極大降低了模型的計(jì)算量;由式(3)知,PConv的內(nèi)存訪問(wèn)次數(shù)約為常規(guī)卷積的1/4,使硬件的性能提升約4倍左右。因此PConv通過(guò)減少自身的計(jì)算量和內(nèi)存訪問(wèn)次數(shù),同時(shí)優(yōu)化了模型與硬件性能,減少了一定延遲,提高了模型的檢測(cè)速度。

1.4 檢測(cè)門(mén)設(shè)計(jì)

由于金槍魚(yú)捕撈視頻是連續(xù)的,但目標(biāo)檢測(cè)模型按每幀圖片單獨(dú)提取檢測(cè),僅使用目標(biāo)檢測(cè)模型計(jì)算錨框的個(gè)數(shù)[32-33],無(wú)法判斷不同幀的金槍魚(yú)是否為同一條,卻將每幀中的魚(yú)都計(jì)算在內(nèi),導(dǎo)致該場(chǎng)景下的金槍魚(yú)統(tǒng)計(jì)不具可行性,因此引入一條計(jì)數(shù)線,金槍魚(yú)經(jīng)過(guò)時(shí)進(jìn)行計(jì)數(shù)。

計(jì)數(shù)線提高了計(jì)數(shù)的可行性,解決了將每幀中金槍魚(yú)都計(jì)算在內(nèi)的問(wèn)題,但船員的捕魚(yú)行為會(huì)為金槍魚(yú)造成大面積長(zhǎng)時(shí)間的遮擋,不論將計(jì)數(shù)線置于何處,經(jīng)常在目標(biāo)通過(guò)計(jì)數(shù)線的時(shí)間段被遮擋,導(dǎo)致無(wú)法判斷是否經(jīng)過(guò)計(jì)數(shù)線。受到點(diǎn)、直線位置關(guān)系的啟發(fā),設(shè)計(jì)了檢測(cè)門(mén)算法,若金槍魚(yú)經(jīng)過(guò)檢測(cè)門(mén)瞬間被遮擋,如圖5所示,在第n幀在A點(diǎn)第一次識(shí)別到金槍魚(yú),在第n+δf幀再次在A’檢測(cè)到目標(biāo),即第n幀與第n+δf幀是檢測(cè)到目標(biāo)的相鄰兩幀,該算法可以觀察到金槍魚(yú)在檢測(cè)到的相鄰兩幀中是否位于檢測(cè)門(mén)的兩側(cè),如果位于兩側(cè)則說(shuō)明金槍魚(yú)經(jīng)過(guò)計(jì)數(shù)線,位于同側(cè)則說(shuō)明還未經(jīng)過(guò)檢測(cè)門(mén),解決了金槍魚(yú)被遮擋造成漏計(jì)的問(wèn)題。

圖5 對(duì)遮擋金槍魚(yú)計(jì)數(shù)的可行性示意圖Fig.5 Schematic of the feasibility of counting blocked tuna

1.5 檢測(cè)門(mén)改進(jìn)

捕撈中有些死魚(yú)和較小的金槍魚(yú)因沒(méi)有價(jià)值或遵守捕撈規(guī)范,會(huì)被重新投入海中,目標(biāo)將會(huì)反向經(jīng)過(guò)檢測(cè)門(mén),此時(shí)真實(shí)的數(shù)量是減少的,為實(shí)現(xiàn)漁獲量的自動(dòng)增減,設(shè)計(jì)了雙向檢測(cè)門(mén),金槍魚(yú)進(jìn)出檢測(cè)門(mén)的次數(shù)分別記作nin、nout,兩者的差值矯正視為漁獲物統(tǒng)計(jì)量可以有效檢測(cè)到被重新投入海中的金槍魚(yú),加入矯正功能提升了計(jì)數(shù)的靈活性。

船員拖拽金槍魚(yú)時(shí),由于金槍魚(yú)力量較大,常常產(chǎn)生劇烈反抗,可能會(huì)在檢測(cè)門(mén)上反復(fù)沖撞,雖然雙向檢測(cè)門(mén)識(shí)別并矯正計(jì)數(shù)量,但是攝像頭由于設(shè)備性能和存儲(chǔ)大小限制,只能拍攝30 FPS的視頻,如果金槍魚(yú)一直位于檢測(cè)門(mén)附近反抗,反復(fù)進(jìn)出雙向檢測(cè)門(mén)由于視頻兩幀卡頓偶爾會(huì)出現(xiàn)誤差,但長(zhǎng)時(shí)間的捕撈作業(yè)會(huì)放大誤差。為解決上述問(wèn)題,得益于目標(biāo)不用與檢測(cè)門(mén)碰撞計(jì)數(shù)的特點(diǎn),為雙向檢測(cè)門(mén)設(shè)計(jì)了緩沖函數(shù),如公式(4)所示。

(4)

式中:b是由d變量表示的緩沖函數(shù),d表示金槍魚(yú)中點(diǎn)目標(biāo)到檢測(cè)門(mén)的距離,offset表示最小接受距離的偏置,若金槍魚(yú)與檢測(cè)門(mén)的距離的像素點(diǎn)過(guò)小,即使兩幀之間金槍魚(yú)位于檢測(cè)門(mén)兩側(cè)也不會(huì)計(jì)數(shù),解決了金槍魚(yú)反抗時(shí)反復(fù)撞門(mén)造成的計(jì)數(shù)誤差,也節(jié)約了算力。

由于捕撈中經(jīng)常會(huì)出現(xiàn)下雨的夜晚,夜視成像很差,或部分金槍魚(yú)被拖拽太快,以至模型未在檢測(cè)門(mén)前檢測(cè)到金槍魚(yú),如圖6所示,金槍魚(yú)經(jīng)過(guò)檢測(cè)門(mén)L1時(shí)沒(méi)有被檢測(cè)到,那么它將一直位于檢測(cè)門(mén)的下方,這樣,即使被拖進(jìn)貨艙也不會(huì)被計(jì)算在內(nèi)。因此,在以上改進(jìn)基礎(chǔ)上設(shè)計(jì)了動(dòng)態(tài)檢測(cè)門(mén),若發(fā)生上述問(wèn)題,將原來(lái)的檢測(cè)門(mén)平移至A點(diǎn)下方,形成新的檢測(cè)門(mén)L2,避免發(fā)生漏計(jì)。

圖6 動(dòng)態(tài)檢測(cè)門(mén)的原理Fig.6 Principle of Dynamic Detection Gate

2 試驗(yàn)分析

2.1 數(shù)據(jù)處理

考慮到數(shù)據(jù)集的特點(diǎn)和算法要求,將數(shù)據(jù)預(yù)處理的過(guò)程分為以下3個(gè)步驟:

(1)由于視頻數(shù)據(jù)集是40個(gè)低價(jià)值密度的視頻,需要對(duì)含有金槍魚(yú)的視頻片段進(jìn)行截取,針對(duì)其中8個(gè)含有不同種類(lèi)以及天氣環(huán)境的視頻按照幀數(shù)劃分為圖像,得到2 155幅圖像,圖片大小為1 280 px×720 px,剩余的32個(gè)視頻將作為計(jì)數(shù)測(cè)試。

(2)由于YOLOv7-tiny的圖片輸入要求,通過(guò)深度學(xué)習(xí)中最常用的數(shù)據(jù)集標(biāo)注軟件LabelImg[34]對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注為6類(lèi),分別為白天和夜晚不同時(shí)間段的黃鰭金槍魚(yú)、大眼金槍魚(yú)和旗魚(yú),同時(shí)將圖片調(diào)整為640 px×640 px的大小。

(3)將訓(xùn)練集和測(cè)試集劃分為總數(shù)據(jù)量的80%和20%,分別為1 724張和431張圖像。

2.2 環(huán)境和參數(shù)設(shè)置

在Windows 10系統(tǒng)上使用PyTorch深度學(xué)習(xí)框架開(kāi)展試驗(yàn)。計(jì)算機(jī)硬件配置包括NVIDIA GeForce RTX 3090 24GB GPU,第12代英特爾(R)酷睿(TM) i9-12900K和128GB ARM。用于訓(xùn)練的超參數(shù)設(shè)置如下:權(quán)值衰減系數(shù)為0.000 5,學(xué)習(xí)率為0.01,迭代次數(shù)為150,批處理大小設(shè)置為64。

2.3 評(píng)估指標(biāo)

本研究從模型檢測(cè)精度、模型復(fù)雜度與檢測(cè)速度三方面評(píng)估目標(biāo)檢測(cè)模型,分別使用mAP0.5、參數(shù)量、浮點(diǎn)運(yùn)算次數(shù)(FLOPs)、計(jì)算時(shí)間、每秒傳輸幀數(shù)FPS評(píng)價(jià)指標(biāo)。平均精度(Average Precision)是使用積分運(yùn)算準(zhǔn)確率和召回率曲線下的面積,可以綜合反映模型在不同金槍魚(yú)類(lèi)別上的識(shí)別能力,其公式為:

(5)

為體現(xiàn)模型在所有類(lèi)別上的識(shí)別能力,各類(lèi)AP數(shù)值平均后得到mAP(mean Average Precision)。本研究是通過(guò)目標(biāo)檢測(cè)模型和動(dòng)態(tài)檢測(cè)門(mén)的兩階段計(jì)數(shù)算法,預(yù)測(cè)錨框與真實(shí)錨框的匹配度極大影響了后續(xù)計(jì)數(shù)的準(zhǔn)確性,因此使用標(biāo)記錨框和預(yù)測(cè)錨框交并比(IoU)大于0.5的平均精度mAP0.5作為模型精度評(píng)價(jià)指標(biāo),表示在IoU取值為0.5時(shí),計(jì)算出的mAP。

模型參數(shù)量表示模型中需要學(xué)習(xí)的權(quán)重?cái)?shù)量,用來(lái)衡量模型復(fù)雜度,參數(shù)量的大小是影響模型檢測(cè)速度的重要原因之一,浮點(diǎn)運(yùn)算次數(shù)FLOPs表示模型在推斷過(guò)程中需要執(zhí)行浮點(diǎn)運(yùn)算的數(shù)量,用于衡量模型的計(jì)算量,FLOPs較大會(huì)延遲推理時(shí)間,不適合部署在邊緣設(shè)備上,無(wú)法滿足漁船的實(shí)際應(yīng)用,兩者作為模型復(fù)雜度的評(píng)價(jià)指標(biāo)。

計(jì)算時(shí)間表示模型在推理每張圖片時(shí)所用的時(shí)間,FPS表示每秒傳輸幀率,二者作為模型檢測(cè)速度的評(píng)價(jià)指標(biāo)。

本研究從計(jì)數(shù)數(shù)量、計(jì)數(shù)誤差、錯(cuò)計(jì)誤差(Error Counting Error,ECE)、重復(fù)計(jì)數(shù)(Repeat Counting,RC)和漏計(jì)數(shù)量(Missing Counting,MC)評(píng)估計(jì)數(shù)方法。計(jì)數(shù)數(shù)量表示計(jì)數(shù)方法的計(jì)數(shù)總量,計(jì)數(shù)誤差表示方法計(jì)數(shù)總量與實(shí)際數(shù)量的比值,但由于漏計(jì)和重復(fù)計(jì)數(shù)互相修正會(huì)導(dǎo)致整體計(jì)數(shù)誤差較小,不能客觀反映技術(shù)方法的能力,提出錯(cuò)計(jì)誤差評(píng)估指標(biāo)ECE,其公式為:

(6)

式中:S表示實(shí)際目標(biāo)數(shù)量,R與M分別表示重復(fù)計(jì)數(shù)與漏計(jì)的目標(biāo)數(shù)量,使用ECE可以直觀地反映計(jì)數(shù)方法的整體反映計(jì)數(shù)方法的性能,關(guān)注重復(fù)計(jì)數(shù)、漏計(jì)帶來(lái)的計(jì)數(shù)誤差影響。

2.4 DP-YOLO模型消融試驗(yàn)

為驗(yàn)證對(duì)YOLOv7-tiny改進(jìn)的有效性,設(shè)計(jì)以下消融試驗(yàn):各模型的訓(xùn)練參數(shù)和數(shù)據(jù)保持一致,逐步為YOLOv7-tiny模型加入PConv卷積、D2模塊,分別訓(xùn)練模型作對(duì)比,如表1所示,結(jié)果表明PConv和D2模塊都提升了基準(zhǔn)模型的性能,反映了加入模塊的有效性,D2模塊的模型在精度提升上效果很大,但是增加了較大的計(jì)算量,計(jì)算速度明顯變緩。

表1 消融試驗(yàn)Tab.1 Ablation experiment

PConv具有模型輕量化并提升計(jì)算速度的效果,使用該卷積替換常規(guī)卷積大幅減少模型的計(jì)算量,緩解了D2模塊帶來(lái)的速度劣勢(shì),提高了模型檢測(cè)速度。因此,通過(guò)結(jié)合PConv和D2模塊,DP-YOLO降低了3.3%的參數(shù),減少了23.7%的FLOPs和2.1%計(jì)算時(shí)間,提高了5.3%的平均精度和2.3%的FPS。試驗(yàn)結(jié)果表明,DP-YOLO相比原模型具有精度高、模型復(fù)雜度低、檢測(cè)速度快的優(yōu)勢(shì),可以更好滿足金槍魚(yú)延繩釣漁船上的現(xiàn)場(chǎng)部署。

2.5 可變形卷積的可視化試驗(yàn)

D2模塊能夠較為準(zhǔn)確地學(xué)習(xí)到金槍魚(yú)的外形特性,所以聚焦區(qū)域更為收斂,可以有效降低背景噪音,提升置信度,減少了誤檢或漏檢,為直觀展示該模塊優(yōu)勢(shì),設(shè)計(jì)以下可視化試驗(yàn):保持訓(xùn)練數(shù)據(jù)與超參數(shù)不變,訓(xùn)練不同模型并對(duì)同一張圖像檢測(cè),生成不同對(duì)應(yīng)的可視化熱圖。圖7為YOLOv7-tiny和兩個(gè)經(jīng)過(guò)改進(jìn)后的YOLOv7-tiny熱圖,其中紅色區(qū)域表示模型在識(shí)別物體時(shí)應(yīng)該關(guān)注的部分。與圖7(c)和圖7(d)相比,圖7(b)的紅色部分更集中在目標(biāo)的右側(cè),同時(shí)0.84的置信度也遠(yuǎn)遠(yuǎn)高于后兩者的0.68。另外,后兩者更多關(guān)注了左側(cè)船員這一錯(cuò)誤目標(biāo)。試驗(yàn)表明, DP-YOLO中基于DCNv2的D2模塊受外界環(huán)境因素影響較小,可以更好地聚焦于目標(biāo)。

圖7 不同YOLOv7-tiny模型的熱圖可視化Fig.7 Feature heat maps of variousYOLOv7-tiny

2.6 檢測(cè)門(mén)的消融試驗(yàn)

為反映不同檢測(cè)門(mén)對(duì)計(jì)數(shù)性能的影響,設(shè)計(jì)了消融試驗(yàn):使用DP-YOLO模型檢測(cè)目標(biāo),依次為檢測(cè)門(mén)加入矯正功能(Correction,C)、緩沖函數(shù)(Buffer Function,B)和動(dòng)態(tài)功能(Dynamic,D),檢測(cè)門(mén)中緩沖函數(shù)的offset設(shè)置為5。使用剩余32條視頻數(shù)據(jù)試驗(yàn),其中共捕獲49條金槍魚(yú),1條金槍魚(yú)由于死魚(yú)被重新投入海中,實(shí)際捕獲48條金槍魚(yú)。

如表2所示,試驗(yàn)結(jié)果顯示普通的檢測(cè)門(mén)在存在遮擋和金槍魚(yú)反抗時(shí),易導(dǎo)致很大計(jì)數(shù)誤差,這兩種情況導(dǎo)致了2.5倍的計(jì)數(shù)誤差。為解決上述問(wèn)題,在檢測(cè)門(mén)中引入矯正功能和緩沖函數(shù)。添加矯正功能大幅度提高了計(jì)數(shù)準(zhǔn)確度,誤差降低至33%,再使用緩沖函數(shù),誤差再減少15%。然而,9條金槍魚(yú)由于被拖拽速度過(guò)快,無(wú)法在預(yù)設(shè)檢測(cè)門(mén)前檢測(cè)到,這導(dǎo)致了9條魚(yú)的漏計(jì),最后引入動(dòng)態(tài)檢測(cè)門(mén)以良好的效果解決了這個(gè)問(wèn)題,計(jì)數(shù)準(zhǔn)確率達(dá)到了97.9%。試驗(yàn)結(jié)果表明,本研究提出的動(dòng)態(tài)檢測(cè)門(mén)可以有效地解決遮擋問(wèn)題,避免目標(biāo)掙扎造成的重復(fù)計(jì)數(shù)問(wèn)題,解決了漁船上金槍魚(yú)的自動(dòng)計(jì)數(shù)問(wèn)題。

表2 檢測(cè)門(mén)消融試驗(yàn)Tab.2 Ablation test results of detection gate

2.7 計(jì)數(shù)方法對(duì)比試驗(yàn)

由于Deepsort算法、YOLOv5s、YOLOv7與Deepsort結(jié)合算法、計(jì)數(shù)線算法被普遍應(yīng)用到各領(lǐng)域計(jì)數(shù)的研究中,且被證明有較好的效果,為比較所提方法與上述方法的計(jì)數(shù)效果與驗(yàn)證所提方法在本領(lǐng)域中的有效性,設(shè)計(jì)試驗(yàn)如下:第一階段探究已有計(jì)數(shù)方法與所提方法在32段金槍魚(yú)捕撈視頻中的計(jì)數(shù)性能,與現(xiàn)有YOLOv5s結(jié)合計(jì)數(shù)線、YOLOv7-tiny結(jié)合Deepsort的先進(jìn)計(jì)數(shù)方法對(duì)測(cè)試視頻計(jì)數(shù)作對(duì)比。第二階段探究計(jì)數(shù)線、Deepsort與動(dòng)態(tài)檢測(cè)門(mén)的計(jì)數(shù)性能,設(shè)計(jì)試驗(yàn)如下:保持檢測(cè)模型相同,使用DP-YOLO模型分別結(jié)合計(jì)數(shù)線、Deepsort與動(dòng)態(tài)檢測(cè)門(mén)對(duì)測(cè)試視頻計(jì)數(shù)作對(duì)比。各檢測(cè)模型使用同一數(shù)據(jù)集訓(xùn)練,各訓(xùn)練參數(shù)設(shè)置相同,所有試驗(yàn)結(jié)果如表3所示。

表3 計(jì)數(shù)方法對(duì)比試驗(yàn)Tab.3 Comparative test results of counting methods

首先,分析已有計(jì)數(shù)算法的性能表現(xiàn)。表中①數(shù)據(jù)顯示,僅使用Deepsort跟蹤模型計(jì)數(shù),對(duì)外觀特征差異較小的同類(lèi)金槍魚(yú)不能做到穩(wěn)定跟蹤,經(jīng)常對(duì)同一條魚(yú)重復(fù)計(jì)數(shù)。表中②③數(shù)據(jù)顯示,在目標(biāo)檢測(cè)模型中引入計(jì)數(shù)線和Deepsort解決了目標(biāo)檢測(cè)模型處理視頻計(jì)數(shù)的可行性,但無(wú)法處理遮擋問(wèn)題,造成較多的漏計(jì)數(shù)量。由①②③數(shù)據(jù)知,先進(jìn)計(jì)數(shù)算法雖然降低了計(jì)數(shù)誤差,但錯(cuò)計(jì)誤差較大,表明已有計(jì)數(shù)方法不能滿足金槍魚(yú)漁業(yè)的統(tǒng)計(jì)要求,突出了錯(cuò)計(jì)誤差在評(píng)估計(jì)數(shù)方法時(shí)的客觀性。

其次,分析檢測(cè)模型性能對(duì)計(jì)數(shù)結(jié)果產(chǎn)生的影響。表中②與④,③與⑤兩組數(shù)據(jù)顯示,檢測(cè)模型的性能也會(huì)對(duì)計(jì)數(shù)效果產(chǎn)生較大影響,DP-YOLO模型相比YOLOv5s與YOLOv7有更好的檢測(cè)性能,使用同樣的計(jì)數(shù)線與Deepsort算法,但達(dá)到了更好的計(jì)數(shù)效果。

最后,為客觀評(píng)估動(dòng)態(tài)檢測(cè)門(mén)的計(jì)數(shù)性能,表中④⑤⑥數(shù)據(jù)顯示,保持檢測(cè)算法不變,提出的動(dòng)態(tài)檢測(cè)門(mén)算法計(jì)數(shù)效果領(lǐng)先于計(jì)數(shù)線和Deepsort,改善了遮擋問(wèn)題導(dǎo)致的漏計(jì),解決了金槍魚(yú)反抗導(dǎo)致的重復(fù)計(jì)數(shù)問(wèn)題,錯(cuò)計(jì)誤差降低至2.1%,分別領(lǐng)先計(jì)數(shù)線和Deepsort算法43.7%和10.4%。

試驗(yàn)結(jié)果表明,本研究所提檢測(cè)模型性能較優(yōu),計(jì)數(shù)方法的計(jì)數(shù)偏差小于已有計(jì)數(shù)方法,計(jì)數(shù)更為精準(zhǔn),適合金槍魚(yú)延繩釣漁業(yè)的漁獲物自動(dòng)統(tǒng)計(jì)任務(wù)。

2.8 計(jì)數(shù)試驗(yàn)

為了解所提計(jì)數(shù)算法的分類(lèi)精度與計(jì)數(shù)性能,設(shè)計(jì)以下測(cè)試模擬真實(shí)捕撈環(huán)境:使用DP-YOLO模型對(duì)剩余長(zhǎng)達(dá)10 h的32段視頻實(shí)時(shí)視頻檢測(cè)和計(jì)數(shù),結(jié)果如表4所示,其中BE、YF、SF分別表示大眼金槍魚(yú)、黃鰭金槍魚(yú)和旗魚(yú),day和night分別表示金槍魚(yú)捕捉的時(shí)間(白天或者夜晚)。計(jì)數(shù)精度達(dá)到97.9%,1條重新被扔進(jìn)海里的魚(yú)也成功區(qū)分。

表4 金槍魚(yú)計(jì)數(shù)試驗(yàn)Tab.4 Experiment of counting tunas

但是,兩條在夜間捕獲的黃鰭金槍魚(yú)被錯(cuò)誤地歸類(lèi)為兩條大眼金槍魚(yú),由于一條大眼金槍魚(yú)目標(biāo)較小且在暴雨的夜晚能見(jiàn)度很差,因此夜晚的大眼金槍魚(yú)漏計(jì)了一條,導(dǎo)致夜晚的黃鰭金槍魚(yú)缺失了兩條,大眼金槍魚(yú)多計(jì)入一條,因此,在32段視頻中,金槍魚(yú)分類(lèi)準(zhǔn)確率為95.8%。

3 結(jié)論

提出了一種基于DP-YOLO模型與動(dòng)態(tài)檢測(cè)門(mén)算法的兩階段計(jì)數(shù)方法, D2模塊擁有卷積核自適應(yīng)變形與位置偏移量參數(shù)高效學(xué)習(xí)的特點(diǎn),連續(xù)使用DCNv2能夠達(dá)到多尺度特征融合的效果,它通過(guò)卷積核的變形獲得不同的感受野,同時(shí)LeakyRelu激活函數(shù)擴(kuò)大參數(shù)學(xué)習(xí)范圍避免細(xì)節(jié)丟失,因此D2模塊提高了骨干網(wǎng)絡(luò)中對(duì)于金槍魚(yú)外形特征提取的能力。由于常規(guī)卷積存在的特征冗余問(wèn)題明顯,卷積后輸出大量相似特征的特征圖,造成計(jì)算資源的浪費(fèi),PConv只對(duì)1/4通道數(shù)的特征圖進(jìn)行常規(guī)卷積操作,對(duì)剩余通道直接向后傳遞,輸出特征圖的大小與數(shù)量不變,避免特征圖冗余的同時(shí)減少了浮點(diǎn)計(jì)算次數(shù),提高了模型檢測(cè)速度,使得模型能夠在邊緣設(shè)備運(yùn)行。為解決金槍魚(yú)目標(biāo)的遮擋導(dǎo)致的計(jì)數(shù)誤差,設(shè)計(jì)了動(dòng)態(tài)檢測(cè)門(mén),計(jì)數(shù)效果領(lǐng)先于現(xiàn)有方法,可為金槍魚(yú)延繩釣漁船的漁獲量統(tǒng)計(jì)提供現(xiàn)場(chǎng)部署,降低人力與時(shí)間成本。但是,算法還有一些不足之處,試驗(yàn)數(shù)據(jù)表明在處理夜間圖片時(shí),模型的目標(biāo)識(shí)別能力有所下降,容易將大眼金槍魚(yú)和黃鰭金槍魚(yú)混淆。由于夜視攝像頭拍攝的視頻在夜間模糊不清,呈綠色。因此,可以引入夜視圖像增強(qiáng)技術(shù)提高改進(jìn)的YOLOv7-tiny性能。