覃學(xué)標(biāo) 黃冬梅,2 宋 巍 賀 琪 杜艷玲 徐慧芳

(1.上海海洋大學(xué)信息學(xué)院， 上海 201306； 2.上海電力大學(xué)電子與信息工程學(xué)院， 上海 200090)

0 引言

機(jī)器學(xué)習(xí)方法對(duì)水下圖像中的魚類檢測(cè)成本較低且容易操作，因此被廣泛應(yīng)用于魚種類的檢測(cè)[1-5]、魚類監(jiān)測(cè)[6-7]、魚類分選[8]、魚類行為研究[9]、魚類棲息地調(diào)查[10]、魚群分析[11-12]和魚類數(shù)量統(tǒng)計(jì)[13]等方面。

當(dāng)前基于機(jī)器學(xué)習(xí)方法的魚類檢測(cè)研究主要有QIN等[14]提出的DeepFish模型，在Fish4 Knowledge數(shù)據(jù)集上檢測(cè)精度為98.64%；YANG等[15]使用YOLO v3和Faster R-CNN模型對(duì)海參、扇貝、海膽的圖像進(jìn)行檢測(cè)，其結(jié)果表明YOLO v3速度較快而Faster R-CNN精度較高；RAZA等[16]在自建數(shù)據(jù)集上使用YOLO v3模型開展檢測(cè)試驗(yàn)，通過增加候選錨框、遷移學(xué)習(xí)和調(diào)整loss函數(shù)等方式對(duì)模型進(jìn)行改進(jìn)，與未改進(jìn)前的模型對(duì)比，精度提高了4.13%。GRAY等[17]使用Mask R-CNN模型對(duì)無人機(jī)采集的鯨魚圖像進(jìn)行檢測(cè)，并對(duì)其體長進(jìn)行了測(cè)量，測(cè)量結(jié)果與人工測(cè)量對(duì)比誤差為5%。基于機(jī)器學(xué)習(xí)方法的魚類檢測(cè)獲得了較高的檢測(cè)精度和較快的檢測(cè)速度，廣泛應(yīng)用于各種檢測(cè)任務(wù)中。

養(yǎng)殖池、河道和入?？诘乃聢D像，受水體渾濁度和水中光衰減的影響，普遍具有模糊、對(duì)比度低等特點(diǎn)。針對(duì)這類圖像，一般使用圖像增強(qiáng)方法進(jìn)行處理。經(jīng)過增強(qiáng)的模糊水下圖像變得清晰[18-19]，理想情況下可以提高魚類檢測(cè)的精度。但文獻(xiàn)[20]發(fā)現(xiàn)圖像增強(qiáng)帶來的這種清晰，并不能直接提高魚類檢測(cè)模型的檢測(cè)能力，甚至模型的檢測(cè)精度出現(xiàn)了退化。導(dǎo)致這一問題的主要原因是增強(qiáng)方法的局限性，會(huì)帶來明顯的人為噪聲[20]。因此，如何更好地利用水下圖像增強(qiáng)方法實(shí)現(xiàn)高精度的魚類檢測(cè)是值得關(guān)注的問題。

本文重點(diǎn)關(guān)注在魚類檢測(cè)過程中模糊水下圖像的前處理和后處理步驟，提出模糊水下圖像多增強(qiáng)與輸出混合的魚類檢測(cè)方法。首先利用多種圖像增強(qiáng)方法對(duì)模糊水下圖像進(jìn)行增強(qiáng)，然后將增強(qiáng)后的圖像分別輸入魚類檢測(cè)模型得到多個(gè)輸出，并對(duì)多個(gè)輸出進(jìn)行混合，最后利用非極大抑制方法(Non-maximum suppression，NMS)[21]對(duì)混合的結(jié)果進(jìn)行后處理，獲得最終檢測(cè)結(jié)果。

1 檢測(cè)方法

1.1 數(shù)據(jù)采集與處理

使用GoPro RX0型水下攝像機(jī)在室外水深1 m的養(yǎng)殖池中采集數(shù)據(jù)。采集時(shí)間為2020年5—6月13:00—16:00，圖像分辨率為1 920像素×1 080像素，幀速率為50 f/s。受水體渾濁的影響，采集的圖像均較模糊。視頻每10幀選出一幅圖像，從中取出具有一條或多條完整輪廓的魚類圖像，得到3 595幅魚類圖像。使用LabelImg軟件將圖像中的魚類目標(biāo)標(biāo)注為fish，按比例7∶3隨機(jī)劃分為訓(xùn)練集和測(cè)試集，即訓(xùn)練集2 517幅，測(cè)試集1 078幅。后續(xù)試驗(yàn)對(duì)比均以測(cè)試集上的結(jié)果為準(zhǔn)。為保證測(cè)試集數(shù)據(jù)的準(zhǔn)確性，由3人分別對(duì)測(cè)試集中魚的總數(shù)量進(jìn)行計(jì)數(shù)，取平均數(shù)作為人工計(jì)數(shù)的結(jié)果。經(jīng)過計(jì)算，測(cè)試集中人工計(jì)數(shù)魚的總數(shù)為3 546條。

1.2 方法設(shè)計(jì)

本文利用5種圖像增強(qiáng)方法對(duì)模糊水下圖像進(jìn)行增強(qiáng)，將增強(qiáng)后的圖像分別輸入魚類檢測(cè)模型得到多個(gè)輸出。對(duì)多個(gè)輸出進(jìn)行混合，然后利用非極大抑制方法對(duì)混合的結(jié)果進(jìn)行后處理。圖1為本文方法的框架。

1.2.1水下圖像增強(qiáng)

水下圖像增強(qiáng)方法分為增強(qiáng)和復(fù)原兩類[18]。圖像增強(qiáng)方法通常以水下成像簡化模型為基礎(chǔ)，可表示為

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中

t(x)=e-βd(x)

式中I(x)——水下圖像

J(x)——清晰圖像

A——背景光強(qiáng)

t(x)——透射率

β——衰減系數(shù)

d(x)——景深

圖像增強(qiáng)的原理主要是通過估計(jì)成像模型中的參數(shù)，即透射率t(x)和背景光強(qiáng)A，然后再代入式(1)推導(dǎo)出清晰圖像J(x)。

為了避免單一增強(qiáng)方法增強(qiáng)后出現(xiàn)精度退化的問題，本文選取兩種增強(qiáng)效果較好的方法：對(duì)比度受限的自適應(yīng)直方圖均衡化方法(Contrast limited adaptive histogram equalization，CLAHE)[22]和相對(duì)全局直方圖拉伸方法(Relative global histogram stretching，RGSH)[19]，以及3種復(fù)原效果較好的方法：暗通道先驗(yàn)(Dark channel prior，DCP)[23]、無監(jiān)督色彩校正(Unsupervised colour correction method，UCM)[24]和基于圖像模糊和光吸收的水下圖像復(fù)原(Image blurriness and light absorption，IBLA)[25]，分別運(yùn)用上述5種方法對(duì)模糊水下圖像進(jìn)行預(yù)處理，得到多個(gè)輸入。

CLAHE是常用的圖像增強(qiáng)方法，其基本思想是將圖像像素直方圖分布在全動(dòng)態(tài)范圍內(nèi)，同時(shí)限制直方圖的幅值來控制圖像整體的對(duì)比度。RGSH同樣是改變?cè)瓐D像的直方圖分布，但該方法根據(jù)原圖具體情況對(duì)紅藍(lán)綠各通道動(dòng)態(tài)范圍的取值進(jìn)行動(dòng)態(tài)限定，從而避免過度增強(qiáng)等情況。DCP是通過暗通道先驗(yàn)值和透射率對(duì)干擾像素進(jìn)行校正達(dá)到圖像還原的目的。UCM是基于顏色平衡對(duì)水下圖像進(jìn)行處理，通過平衡紅藍(lán)綠顏色和色相飽和度的分布對(duì)圖像進(jìn)行還原。IBLA是通過水下圖像的模糊度和背景光估算圖像的透視率，然后依據(jù)透視率對(duì)圖像進(jìn)行還原。

對(duì)于同一輸入圖像IInput，分別使用DCP、CLAHE、IBLA、RGSH和UCM這5種方法增強(qiáng)，增強(qiáng)后的圖像分別記為IDCP、ICLAHE、IIBLA、IRGSH和IUCM。

1.2.2魚類檢測(cè)模型

文獻(xiàn)[15-16]表明，YOLO模型在魚類檢測(cè)方面取得了較好的檢測(cè)結(jié)果，故本文選擇YOLO作為魚類檢測(cè)模型。YOLO由REDMON等[26]提出，廣泛應(yīng)用于各類目標(biāo)檢測(cè)任務(wù)中，其框架由輸入、主干網(wǎng)絡(luò)、頸部、頭部4部分組成，圖2為YOLO v4[27]的框架圖。

將圖像IInput、IDCP、ICLAHE、IIBLA、IRGSH和IUCM分別輸入YOLO v4模型，記各自輸出的檢測(cè)框?yàn)锽Input、BDCP、BCLAHE、BIBLA、BRGSH和BUCM，記對(duì)應(yīng)的檢測(cè)概率為SInput、SDCP、SCLAHE、SIBLA、SRGSH和SUCM，分別得到檢測(cè)框和檢測(cè)概率的混合結(jié)果集合為

B={BInput,BDCP,BCLAHE,BIBLA,BRGSH,BUCM}

(2)

S={SInput,SDCP,SCLAHE,SIBLA,SRGSH,SUCM}

(3)

1.2.3混合結(jié)果的后處理

設(shè)定閾值N，使用非極大抑制方法對(duì)混合結(jié)果B進(jìn)行處理。N取0.3，與檢測(cè)模型YOLO v4的取值一致。

首先，確定S中最大的檢測(cè)概率Sm，從B中選出該概率對(duì)應(yīng)的檢測(cè)框Bm，予以保留；然后分別計(jì)算Bm與B中剩余檢測(cè)框Bi的交并比IOU(Bm,Bi)，計(jì)算公式為

(4)

當(dāng)IOU(Bm,Bi)

2 試驗(yàn)

為驗(yàn)證本文方法的有效性，使用采集的3 595幅圖像分別在YOLO v3、YOLO v4和YOLO v4 tiny上開展試驗(yàn)，并對(duì)試驗(yàn)結(jié)果進(jìn)行分析。試驗(yàn)環(huán)境為處理器AMD 1950X 3.4 GHz，內(nèi)存32 GB，顯卡GTX-1080Ti，操作系統(tǒng)Ubuntu 16.04。

2.1 圖像增強(qiáng)峰值信噪比

分別使用DCP、CLAHE、IBLA、RGSH和UCM方法對(duì)測(cè)試集進(jìn)行增強(qiáng)，代碼來源于WANG等[18]公布的網(wǎng)站，所有參數(shù)均使用默認(rèn)值。選擇3幅圖像作為樣例展示增強(qiáng)后的效果，如圖3所示?？梢杂^察到，模糊的水下圖像經(jīng)過不同增強(qiáng)方法增強(qiáng)后呈現(xiàn)不同的效果，清晰度得到不同程度的提高。但同時(shí)也導(dǎo)致一些問題，例如，IBLA造成局部過度曝光，DCP結(jié)果整體偏暗等。

圖3 不同圖像增強(qiáng)方法處理后的增強(qiáng)效果Fig.3 Results of different image enhancements

為了更客觀地檢驗(yàn)圖像增強(qiáng)后的效果，引入峰值信噪比(Peak signal to noise ratio，PSNR)對(duì)增強(qiáng)后圖像相對(duì)于原始圖像的失真程度進(jìn)行評(píng)價(jià)。

表1為圖3中3幅樣例圖像分別使用DCP、CLAHE、IBLA、RGSH和UCM方法增強(qiáng)后的PSNR，其值越大增強(qiáng)效果越好?？梢钥闯?，CLAHE方法增強(qiáng)效果最好，IBLA最差，與觀察結(jié)果基本一致。

表1 樣例圖像增強(qiáng)后峰值信噪比Tab.1 Results of PSNR

2.2 試驗(yàn)結(jié)果

選擇平均精度(AP)[28]、檢測(cè)數(shù)量和檢測(cè)時(shí)間作為本文方法的評(píng)價(jià)指標(biāo)。選擇AP50作為檢測(cè)精度衡量依據(jù)，其定義為預(yù)測(cè)框與真實(shí)框交并比大于0.5時(shí)視為正確。檢測(cè)數(shù)量為檢測(cè)概率大于0.3目

標(biāo)個(gè)數(shù)。測(cè)試集中魚類數(shù)量的真實(shí)值以人工計(jì)數(shù)為準(zhǔn)。檢測(cè)時(shí)間為單幀圖像的檢測(cè)時(shí)間。應(yīng)用δ來衡量本文方法的提升幅度，其計(jì)算公式為

(5)

式中Δ——增量

C——基準(zhǔn)值

δ——提升幅度

的將訓(xùn)練集分別輸入YOLO v3、YOLO v4 tiny和YOLO v4模型進(jìn)行訓(xùn)練，輸入圖像為原始圖像，訓(xùn)練參數(shù)使用默認(rèn)值，均訓(xùn)練到模型收斂。訓(xùn)練結(jié)束后，在測(cè)試集上開展檢測(cè)試驗(yàn)，原始圖像的檢測(cè)結(jié)果和本文方法的檢測(cè)結(jié)果對(duì)比如表2所示。

從表2中可以看出，對(duì)比原始圖像的檢測(cè)結(jié)果，本文方法在YOLO v3模型上檢測(cè)精度提高了2.15個(gè)百分點(diǎn)，檢測(cè)數(shù)量提高了15.5%；在YOLO v4 tiny模型上檢測(cè)精度提高了8.35個(gè)百分點(diǎn)，檢測(cè)數(shù)量提高了49.8%；在YOLO v4模型上檢測(cè)精度提高了1.37個(gè)百分點(diǎn)，檢測(cè)數(shù)量提高了12.7%。說明針對(duì)

表2 本文方法試驗(yàn)結(jié)果Tab.2 Experimental results of the proposed method

模糊水下圖像，無論以何種目標(biāo)檢測(cè)模型為基礎(chǔ)網(wǎng)絡(luò)，本文方法都能提高模型檢測(cè)能力。在檢測(cè)時(shí)間上，由于增加增強(qiáng)后圖像檢測(cè)，檢測(cè)時(shí)間出現(xiàn)了較大幅度的增大，YOLO v4-mix的幀速率為6 f/s，YOLO v4 tiny-mix的幀速率為74 f/s，但仍可以滿足魚類檢測(cè)的實(shí)時(shí)性需求。

對(duì)比各目標(biāo)檢測(cè)模型可以看出，YOLO v4的目標(biāo)檢測(cè)能力明顯優(yōu)于YOLO v3，精度提升了5.63個(gè)百分點(diǎn)，檢測(cè)數(shù)量增加了113條。為實(shí)現(xiàn)快速目標(biāo)檢測(cè)，YOLO v4 tiny對(duì)模型進(jìn)行了壓縮，導(dǎo)致其目標(biāo)檢測(cè)的能力下降，與YOLO v4相比，AP50下降9.84個(gè)百分點(diǎn)，與YOLO v3相比下降4.21個(gè)百分點(diǎn)。但是，在本文提出的增強(qiáng)混合框架下，YOLO v4 tiny-mix的檢測(cè)能力顯著提升，AP50達(dá)到91.75%，且魚類檢測(cè)數(shù)量達(dá)到3 461條，與人工計(jì)數(shù)結(jié)果最為接近。由于本文方法的多個(gè)圖像增強(qiáng)和檢測(cè)模型可以并行計(jì)算，通過與快速目標(biāo)檢測(cè)模型相結(jié)合，本文方法在實(shí)時(shí)魚類目標(biāo)檢測(cè)上具有實(shí)用性。

2.3 結(jié)果分析

對(duì)不同模糊水下圖像增強(qiáng)方法對(duì)魚類檢測(cè)結(jié)果產(chǎn)生的影響進(jìn)行分析，并使用樣例圖像對(duì)本文方法的檢測(cè)結(jié)果進(jìn)行可視化分析。由于YOLO v4模型的檢測(cè)精度最高，因此在該模型上開展試驗(yàn)。

表3為原始圖像和分別經(jīng)過DCP、CLAHE、IBLA、RGSH、UCM方法增強(qiáng)后的圖像與本文方法檢測(cè)結(jié)果的對(duì)比。從表3中可以看出，經(jīng)過CLAHE方法增強(qiáng)后圖像的檢測(cè)精度與原始圖像的檢測(cè)精度相近，而經(jīng)過DCP、IBLA、RGSH和UCM方法增強(qiáng)后圖像的檢測(cè)精度和檢測(cè)數(shù)量都出現(xiàn)了不同程度的下降。說明單一圖像增強(qiáng)方法處理圖像不能直接提高模型的檢測(cè)能力，這一結(jié)論與KONOVALOV等[20]使用CLAHE增強(qiáng)圖像后的檢測(cè)精度一致。除CLAHE外，另外4種圖像增強(qiáng)方法也得到類似結(jié)果。

表3 單一圖像增強(qiáng)后檢測(cè)結(jié)果對(duì)比Tab.3 Detection result of single image enhancement

結(jié)合表1中對(duì)圖像增強(qiáng)效果的評(píng)價(jià)結(jié)果可以得出，檢測(cè)精度退化與水下圖像增強(qiáng)方法的效果有一

定的相關(guān)性。IBLA方法增強(qiáng)后的水下圖像的失真最大，增強(qiáng)圖像中的魚類目標(biāo)檢測(cè)結(jié)果也最差。CLAHE方法增強(qiáng)后的水下圖像的失真最小，增強(qiáng)圖像中的魚類目標(biāo)檢測(cè)結(jié)果也最好。

本文方法的檢測(cè)精度和檢測(cè)數(shù)量均優(yōu)于原始圖像的檢測(cè)結(jié)果及單一圖像增強(qiáng)方法增強(qiáng)后的檢測(cè)結(jié)果。說明本文方法避免了圖像增強(qiáng)后模型精度下降的問題，模型的檢測(cè)能力得到了提升。

圖4為原始圖像和分別經(jīng)過DCP、CLAHE、IBLA、RGSH、UCM方法增強(qiáng)后的圖像以及本文方法可視化檢測(cè)結(jié)果對(duì)比。從圖中可以看出，原始圖像中未被檢出的目標(biāo)經(jīng)過增強(qiáng)后被檢出。不同圖像增強(qiáng)方法的檢測(cè)結(jié)果不同。原始圖像中被檢出的目標(biāo)經(jīng)過增強(qiáng)后未被檢出，說明經(jīng)過不同圖像增強(qiáng)方法增強(qiáng)后的檢測(cè)結(jié)果與原始圖像的檢測(cè)結(jié)果存在互補(bǔ)性。本文方法保留了增強(qiáng)后圖像和原始圖像之間漏檢的目標(biāo)，避免了模型精度下降，提高了模型檢測(cè)能力。

圖4 原始圖像和增強(qiáng)后圖像檢測(cè)結(jié)果對(duì)比Fig.4 Comparison of detection results before and after image enhancement

2.4 應(yīng)用驗(yàn)證

選取實(shí)時(shí)數(shù)據(jù)對(duì)本文方法進(jìn)行應(yīng)用驗(yàn)證。截取10 min的視頻，以1 s為單位對(duì)視頻中魚類數(shù)量進(jìn)行檢測(cè)。由于YOLO v4 tiny-mix檢測(cè)到的數(shù)量最高，因此在該模型上開展試驗(yàn)。圖5為實(shí)時(shí)檢測(cè)結(jié)果對(duì)比。

圖5 實(shí)時(shí)檢測(cè)結(jié)果對(duì)比Fig.5 Comparison of real-time detection results

從圖5中可以看出，本文方法檢測(cè)魚類數(shù)量為9條，而YOLO v4 tiny檢測(cè)最大值僅為6條。本文方法檢測(cè)結(jié)果中3～5條占多數(shù)，而YOLO v4 tiny檢測(cè)結(jié)果中1～3條占多數(shù)，兩者相差較大。說明本文方法有效提高了模型的檢測(cè)能力，并可以應(yīng)用于魚群實(shí)時(shí)計(jì)數(shù)的漁業(yè)生產(chǎn)中。

3 結(jié)論

(1)試驗(yàn)表明針對(duì)模糊水下圖像采用單一水下圖像增強(qiáng)方法進(jìn)行清晰化處理后，不能直接提高魚類檢測(cè)模型的檢測(cè)能力，模型的檢測(cè)精度下降。

(2)提出了模糊水下圖像多增強(qiáng)與輸出混合的魚類檢測(cè)方法，在YOLO v3、YOLO v4 tiny、YOLO v4模型上的檢測(cè)精度分別提高了2.15、8.35、1.37個(gè)百分點(diǎn)，檢測(cè)數(shù)量分別提高了15.5%、49.8%、12.7%，有效避免了單一水下圖像增強(qiáng)造成的精度下降問題，提高了模型檢測(cè)能力。

(3)本文提出的多增強(qiáng)與輸出混合框架與輕量化快速目標(biāo)檢測(cè)模型YOLO v4 tiny相結(jié)合，能夠?qū)崿F(xiàn)高精度的實(shí)時(shí)魚類目標(biāo)檢測(cè)，對(duì)于魚群計(jì)數(shù)和魚類類別檢測(cè)等漁業(yè)生產(chǎn)具有實(shí)際價(jià)值。