文章編號(hào):2096-1472(2024)03-0007-04
DOI:10.19644/j.cnki.issn2096-1472.2024.003.002
摘"要:針對(duì)同種藻類形態(tài)各異、藻類相似性高、采集圖像中存在氣泡和雜質(zhì)等帶來的檢測(cè)與識(shí)別準(zhǔn)確率低的問題,提出了基于多方法融合的淡水水域常見藻類檢測(cè)與識(shí)別算法。首先利用顏色信息識(shí)別藻類圖像的背景顏色,為不同顏色背景的圖像選擇最佳的預(yù)處理與分割方法;其次使用基于形狀參數(shù)、尺度不變特征變換-快速近似最近鄰查找(SIFT-FLANN)、方向梯度直方圖-支持向量機(jī)(HOG-SVM)的多方法融合的藻類檢測(cè)與識(shí)別算法,以提高識(shí)別的準(zhǔn)確率和魯棒性。對(duì)25種常見的藻類進(jìn)行實(shí)驗(yàn)與對(duì)比,其中常見的10種藻類的平均檢測(cè)成功率為96.07%,對(duì)魚腥藻、針桿藻的識(shí)別準(zhǔn)確率較高,分別達(dá)到了100.00%與99.50%,驗(yàn)證了該算法對(duì)常見藻類的檢測(cè)與識(shí)別具有一定的魯棒性。
關(guān)鍵詞:藻類檢測(cè)與識(shí)別;SIFT-FLANN;HOG-SVM
中圖分類號(hào):TP391 ""文獻(xiàn)標(biāo)志碼:A
Detection and Recognition of Common Freshwater Algae in Aquatic Environments Based on the Fusion of Multiple Methods
ZHANG Wenyi, ZHU Hong, NIE Fengxiang, ZHANG Jiajun
(Computer and Software School, Dalian Neusoft University of Information, Dalian 116023, China)
zhangwenyi01@outlook.com; zhuhong@neusoft.edu.cn; a1748355368@outlook.com; 1282947838@qq.com
Abstract: Aiming at the problems of low detection and recognition accuracy caused by the diverse morphology of the same type of algae, high similarity of algae, and the presence of bubbles and impurities in the collected images, this paper proposes a common algae detection and recognition algorithm in freshwater based on the fusion of multiple methods. Firstly, color information is used to identify the background color of algae images, allowing for the selection of optimal preprocessing and segmentation methods for images with different background colors. Secondly, a multi-method fusion algae detection and recognition algorithm based on shape parameters, Scale Invariant Feature Transform-Fast Library for Approximate Nearest Neighbors (SIFT-FLANN), and directional gradient Histogram-Support Vector Machine (HOG-SVM) is used to improve the accuracy and robustness of recognition. Through experiments and comparisons conducted on 25 common algae, an average detection success rate of the 10 common algae is 96.07%, and the recognition accuracy rate for Anabaena and Synedra is high, reaching 100.00% and 99.50%, respectively, verifying that the proposed algorithm has a certain degree of robustness for the detection and recognition of common algae.
Key words: algae detection and recognition; SIFT-FLANN; HOG-SVM
0""引言(Introduction)
水質(zhì)監(jiān)測(cè)是開展水生態(tài)環(huán)境評(píng)價(jià)、監(jiān)管的基礎(chǔ)性工作之一[1],對(duì)淡水水域中常見藻類的檢測(cè)與識(shí)別,可以有效反映出該地區(qū)的水質(zhì)情況。
目前,藻類的檢測(cè)方法都需要大量的人工參與,例如王璐等[2]將統(tǒng)計(jì)分布的方法與可變熒光法相結(jié)合,通過可變熒光分布參數(shù)定量分析藻類活體細(xì)胞數(shù);鄭琳琳等[3]采用一定規(guī)則的視野計(jì)數(shù)法優(yōu)化驗(yàn)證顯微鏡法對(duì)水中藻類計(jì)數(shù)及分類的測(cè)定,對(duì)檢測(cè)人員的專業(yè)知識(shí)要求高且檢測(cè)效率低。因此,國內(nèi)外很多學(xué)者在用計(jì)算機(jī)代替人工來檢測(cè)常見水藻的方向上進(jìn)行了深入的探索。例如,SAMANTARAY等[4]提出了一種基于深度學(xué)習(xí)的藻類監(jiān)測(cè)計(jì)算機(jī)視覺系統(tǒng);胡圣等[5]采用單階段實(shí)時(shí)檢測(cè)算法YOLOv3,實(shí)現(xiàn)對(duì)浮游藻類圖像的識(shí)別和計(jì)數(shù);QIAN等[6]提出多目標(biāo)深度學(xué)習(xí)框架的藻類檢測(cè)和分類方法。
雖然上述研究均獲得了一定的成果,但是仍存在同種藻類形態(tài)各異、藻類相似性高、采集圖像中存在氣泡和雜質(zhì)等帶來的檢測(cè)與識(shí)別準(zhǔn)確率低的問題。因此,本文提出了基于多方法融合的淡水水域常見藻類檢測(cè)與識(shí)別算法。針對(duì)不同的背景顏色,采用不同的預(yù)處理與分割方法,融合形狀與紋理特征,實(shí)現(xiàn)了對(duì)常見藻類的準(zhǔn)確檢測(cè)與識(shí)別。
1""算法流程(Algorithm flow chart)
針對(duì)藻類數(shù)據(jù)樣本種類繁多且數(shù)據(jù)集分布不均勻的問題,本文提出了基于多方法融合的檢測(cè)與識(shí)別算法。該算法的具體實(shí)現(xiàn)過程如下:首先,對(duì)圖像進(jìn)行預(yù)處理,利用顏色信息識(shí)別該圖像的背景顏色,對(duì)不同背景顏色的圖像進(jìn)行去噪與增強(qiáng)操作,增強(qiáng)水藻區(qū)域的視覺效果和表現(xiàn)能力,為后續(xù)圖像感興趣區(qū)域的分割操作做鋪墊;其次,利用不同圖像分割方式得到感興趣的水藻區(qū)域,降低背景區(qū)域信息的干擾,使用形狀參數(shù)、SIFT和HOG進(jìn)行特征提取,精確地對(duì)水藻區(qū)域特征進(jìn)行表達(dá);最后,融合基于形狀參數(shù)的識(shí)別算法、基于FLANN匹配的識(shí)別算法、基于SVM的分類算法完成對(duì)常見藻類的識(shí)別,并對(duì)識(shí)別結(jié)果進(jìn)行框選與標(biāo)注。本文算法流程如圖1所示。
1.1""圖像預(yù)處理
本研究使用的藻類顯微鏡下的圖像數(shù)據(jù)集包括紫色、黃色、綠色3種背景顏色,在后續(xù)圖像分割過程中,不同背景顏色的圖像會(huì)使用不同的方法進(jìn)行分割,得到準(zhǔn)確的分割結(jié)果。因此,本研究使用顏色信息識(shí)別當(dāng)前圖片的背景顏色,設(shè)當(dāng)前圖像的r、g、b通道中b通道總和為B,r通道總和為R,具體判斷依據(jù)如下。
(1)若滿足B<100 000,則認(rèn)為該圖像為紫色背景。
(2)若滿足B<30 000且R<19 000,則認(rèn)為該圖像為黃色背景。
(3)若滿足B<10 000或B<30 000且R>19 000,則認(rèn)為該圖像為綠色背景。
判斷出輸入圖像的背景顏色后,為達(dá)到最佳預(yù)處理效果,本研究針對(duì)不同背景顏色的圖像采用不同的預(yù)處理方法,具體預(yù)處理過程如下。
(1)對(duì)于紫色背景圖像,藻類與背景顏色差異較大,后續(xù)可利用顏色信息準(zhǔn)確地分割出藻類區(qū)域,因此保持顏色空間不變。
(2)對(duì)于黃色背景圖像,因?yàn)辄S色圖像中的雜質(zhì)較多,所以將彩色圖像轉(zhuǎn)化為灰度圖像,通過高斯低通濾波,可以有效消除圖像中的高頻噪聲對(duì)后續(xù)圖像分割的影響。
(3)對(duì)于綠色背景圖像,藻類顏色與背景顏色差異較小且圖像中噪聲較少,因此將彩色圖像轉(zhuǎn)化為灰度圖像,然后通過高斯高通濾波增強(qiáng)藻類邊緣信息。
1.2""水藻區(qū)域分割
由于不同背景顏色很難采用相同的圖像分割方法得到準(zhǔn)確的感興趣區(qū)域。因此,本研究根據(jù)上述預(yù)處理的顏色判別結(jié)果,對(duì)于不同背景顏色的圖像使用了不同的方式進(jìn)行圖像分割,通過實(shí)驗(yàn)找到對(duì)應(yīng)背景顏色的最佳圖像分割方法。具體分割方案如下。
(1)對(duì)于綠色背景圖像,首先采用Canny算子提取水藻的邊緣信息,Canny算子通過調(diào)整高、低閾值可以避免噪點(diǎn)的影響并提高檢測(cè)準(zhǔn)確度;其次利用數(shù)學(xué)形態(tài)學(xué)對(duì)孔洞進(jìn)行填補(bǔ),去除噪聲的干擾。綠色背景算法分割效果如圖2所示。
(2)對(duì)于黃色背景圖像,采用分水嶺算法[7]對(duì)水藻區(qū)域進(jìn)行分割,其中高灰度值的像素相當(dāng)于山峰,而低灰度值的像素則是山谷。該算法利用圖像的梯度信息將圖像分割成具有明顯區(qū)域特征的局部極小值區(qū)域。通過對(duì)每個(gè)像素進(jìn)行泛洪填充,從不同的局部極小值區(qū)域開始填充像素并分配相應(yīng)的分水嶺標(biāo)簽,最終將整個(gè)圖像分為不同的分割區(qū)域。分水嶺算法泛洪效果如圖3所示。
(3)對(duì)于紫色背景圖像,由于前景的顏色與背景的顏色信息差異較大,因此本研究采用基于r、g、b三個(gè)通道的當(dāng)前像素值rcur、gcur、bcur與先驗(yàn)背景像素值rbg、gbg、bbg的差值平方和作為二值化的依據(jù),從而完成水藻區(qū)域的分割。其中,先驗(yàn)背景像素值是根據(jù)圖像特點(diǎn),取圖像左上Pul、左下Pll、右上Pur和右下Plr的4點(diǎn)求平均值,其計(jì)算公式如下:
Pbg=(rbg,gbg,bbg)=(Pul+Pll+Pur+Plr)/4(1)
計(jì)算當(dāng)前像素點(diǎn)Pcur=(rcur,gcur,bcur)與先驗(yàn)背景像素值的差值平方和,具體實(shí)現(xiàn)公式如下:
Diff=[(rcur-rbg)2+(gcur-gbg)2+(bcur-bbg)2]2(2)
將Diff與最佳閾值Th進(jìn)行比較,當(dāng)Diff大于Th時(shí),說明當(dāng)前像素值與背景差異較大,則認(rèn)為該像素點(diǎn)為前景區(qū)域,將其置為白色;反之,則認(rèn)為是背景區(qū)域,將其置為黑色。經(jīng)過實(shí)驗(yàn)得出Th=2 700時(shí)的分割效果較好。紫色背景算法分割效果如圖4所示。
1.3""水藻特征提取
對(duì)上述圖像進(jìn)行分割得到的感興趣水藻區(qū)域,首先將其大小統(tǒng)一為80×80;其次進(jìn)行灰度化處理,圖像中水藻區(qū)域的灰度值偏低,背景灰度值偏高,進(jìn)而采用冪次變換對(duì)低灰度級(jí)進(jìn)行拉伸,擴(kuò)大水藻區(qū)域的灰度范圍,具體公式如下:
s=c×rγ(3)
其中:r為灰度圖像的輸入值;s為經(jīng)過伽馬變換后的灰度輸出值;c為灰度縮放系數(shù);γ為伽馬值,本研究設(shè)定為0.8。對(duì)處理后的感興趣區(qū)域提取形狀與紋理特征,本算法分別使用了三種方法進(jìn)行特征描述:(1)形狀特征,使用直邊界矩形的長寬比、最小面積和圓形度[8]描述;(2)SIFT特征[9];(3)HOG特征[10]。
1.4""基于多方法融合的淡水水域常見水藻檢測(cè)與識(shí)別
在藻類的檢測(cè)與識(shí)別問題中,僅使用單一算法無法滿足對(duì)所有藻類準(zhǔn)確識(shí)別的要求,因此本文提出了一種基于多方法融合的檢測(cè)與識(shí)別算法。創(chuàng)建投票機(jī)制,融合三種不同方法的識(shí)別結(jié)果,從而得到最終的識(shí)別結(jié)果,以降低單一分類器錯(cuò)誤分類的影響,提高整個(gè)算法的準(zhǔn)確率和魯棒性。
本文采用的三種算法分別為基于形狀參數(shù)的識(shí)別算法、基于SIFT-FLANN匹配的識(shí)別算法、基于HOG-SVM的分類算法。在整個(gè)投票機(jī)制中,會(huì)對(duì)上述三種算法的識(shí)別結(jié)果進(jìn)行統(tǒng)計(jì),當(dāng)票數(shù)達(dá)到兩票及以上時(shí),即可確認(rèn)藻的類別;否則,以基于HOG-SVM的分類結(jié)果為最終檢測(cè)結(jié)果。
1.4.1""基于形狀參數(shù)的識(shí)別算法
根據(jù)對(duì)上述形狀參數(shù)的計(jì)算,判斷當(dāng)前圖像的形狀,具體判斷條件如下。
(1)根據(jù)圓形度是否趨近于1,對(duì)小環(huán)藻等近似圓形的藻類進(jìn)行篩選。
(2)根據(jù)圓形度與面積相結(jié)合的方式去除載玻片中未完全排除的小氣泡。
(3)根據(jù)直邊界矩形的長寬比與輪廓面積結(jié)合的方式去除圖像中顯微鏡的細(xì)胞計(jì)數(shù)板。
具體可依據(jù)每種藻類的形狀調(diào)整上述判斷條件的閾值,從而完成對(duì)水藻的粗識(shí)別。
1.4.2""基于SIFT-FLANN匹配的識(shí)別算法
SIFT算法可提取圖像中的特征點(diǎn)信息,F(xiàn)LANN特征匹配是一種基于近似最近鄰查找?guī)斓奶卣鼽c(diǎn)匹配算法,在本算法中將SIFT與FLANN相結(jié)合,利用樹結(jié)構(gòu)實(shí)現(xiàn)高效的特征點(diǎn)匹配。SIFT-FLANN匹配的識(shí)別算法能更好地應(yīng)用于大規(guī)模圖像數(shù)據(jù)的特征點(diǎn)提取和匹配。
具體而言,SIFT-FLANN算法首先以樹根作為查詢點(diǎn),通過貪心法尋找相鄰分支;其次使用與查詢點(diǎn)距離最近的樹葉上的k-1個(gè)葉節(jié)點(diǎn)更新查詢點(diǎn)鄰域。FLANN特征匹配算法支持使用不同的距離度量,如歐氏距離、曼哈頓距離等。本研究使用歐氏距離計(jì)算FLANN特征匹配算法中查詢點(diǎn)(Query Point)Q與數(shù)據(jù)庫中的特征點(diǎn)(Database Points)P之間的歐氏距離,具體公式如下:
其中:n為特征向量的維數(shù),Q和P中的每個(gè)分量Qi和Pi表示特征向量在第i個(gè)維度上的分量。
1.4.3""基于HOG-SVM的分類算法
HOG特征可以提取目標(biāo)物體的形狀、邊緣等信息。支持向量機(jī)(SVM)是機(jī)器學(xué)習(xí)領(lǐng)域中常用且效果最好的一種分類識(shí)別算法。相對(duì)于神經(jīng)網(wǎng)絡(luò)等分類算法,支持向量機(jī)的優(yōu)化目標(biāo)是結(jié)構(gòu)化風(fēng)險(xiǎn)最小,而不是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小,使其具有了優(yōu)秀的泛化能力和魯棒特性,避免了過擬合、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部最優(yōu)等問題[11]。因此,將HOG特征和SVM分類器結(jié)合使用[12],可以提高算法的準(zhǔn)確性、魯棒性和可解釋性,并且可以加速訓(xùn)練和分類速度。
在HOG-SVM算法中,將多分類問題分解為多個(gè)二分類問題,將每一個(gè)類別看作一類,其他類別看作一類,形成多個(gè)二分類問題,將得到的多個(gè)分類器組合起來,進(jìn)而對(duì)圖像進(jìn)行分類,最終保留置信度最高的分類結(jié)果作為基于HOG-SVM算法的分類結(jié)果。
2""實(shí)驗(yàn)結(jié)果與分析(Experimental results and analysis)
本實(shí)驗(yàn)采用的硬件環(huán)境為CPU Intel(R) Core(TM) i7-10750H CPU @ 2.60 GHz,開發(fā)環(huán)境為Python 3.6與OpenCV 3.4。數(shù)據(jù)集通過光學(xué)顯微鏡人工目視和拍照觀察等手段采集,包括藍(lán)藻門藻屬4個(gè)、硅藻門藻屬8個(gè)、隱藻門藻屬1個(gè)、甲藻門藻屬2個(gè)、金藻門藻屬1個(gè)、裸藻門藻屬2個(gè)、綠藻門藻屬7個(gè),共25種藻類、807張圖像,包含相似藻類、不同背景顏色的藻類圖像、形態(tài)各異的同種藻類,檢測(cè)與識(shí)別還受氣泡與微生物干擾等多種挑戰(zhàn)。
為了驗(yàn)證本算法的有效性,將本文算法與對(duì)比算法在常見的25種藻類數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)與對(duì)比,表1展示了其中10種常見藻類的識(shí)別準(zhǔn)確率。在表1中,算法1表示僅用基于形狀參數(shù)的識(shí)別算法,算法2表示僅用基于SIFT-FLANN匹配的識(shí)別算法,算法3表示僅用基于HOG-SVM的分類算法。
根據(jù)表1可知,對(duì)于常見的10種藻類,算法1的平均識(shí)別準(zhǔn)確率為57.77%,算法2的平均識(shí)別準(zhǔn)確率為76.44%,算法3的平均識(shí)別準(zhǔn)確率為86.58%,本文提出的算法的平均識(shí)別準(zhǔn)確率為96.07%,高于算法1、算法2與算法3(分別高出38.30%、19.63%、9.49%),其中對(duì)魚腥藻、針桿藻的識(shí)別準(zhǔn)確率分別達(dá)到了100.00%、99.50%。可見,本文提出的算法相較于單一識(shí)別算法,能更好地檢測(cè)與識(shí)別目標(biāo)藻類,也具備更高的準(zhǔn)確率,能滿足用戶對(duì)常見藻類的檢測(cè)與識(shí)別需求。
圖5展示了本文提出的算法對(duì)常見藻類的識(shí)別結(jié)果。其中:圖5(a)展示了相似藻類的識(shí)別效果,可見本文提出的算法在藻類形狀及紋理特征極其相似的情況下,仍然能夠準(zhǔn)確地識(shí)別出其種類;圖5(b)展示了包含較多氣泡、沙礫等雜質(zhì)圖像的識(shí)別效果;圖5(c)和圖5(d)展示了不同背景顏色下舟形藻的識(shí)別效果,可見針對(duì)不同背景顏色的藻類圖像,本文提出的算法具有較強(qiáng)的魯棒性;圖5(e)和圖5(f)展示了不同形態(tài)小環(huán)藻的識(shí)別效果。通過以上識(shí)別效果可知,本文算法針對(duì)不同背景顏色的圖像,使用不同的預(yù)處理方法與不同的分割方法可以有效對(duì)抗背景顏色和雜質(zhì)的干擾。同時(shí),結(jié)合形狀和紋理能夠較好地描述藻類特征,克服了形態(tài)各異的藻類識(shí)別問題和圖像背景顏色不同、氣泡雜質(zhì)干擾的問題,能準(zhǔn)確地檢測(cè)與識(shí)別出相應(yīng)藻類,算法具有一定的魯棒性。
3""結(jié)論(Conclusion)
本文針對(duì)淡水水域藻類檢測(cè)與識(shí)別準(zhǔn)確率低、魯棒性差等問題,提出了一種基于多方法融合的常見藻類檢測(cè)與識(shí)別算法。針對(duì)不同背景顏色的圖像,使用不同的預(yù)處理與分割方法,有效地提取出藻類區(qū)域,然后結(jié)合形狀參數(shù)、SIFT-FLANN、HOG-SVM共同完成藻類的檢測(cè)與識(shí)別。經(jīng)實(shí)驗(yàn)驗(yàn)證,本文提出的算法相比其他單一算法,在平均準(zhǔn)確率上有更優(yōu)異的表現(xiàn),同時(shí)能對(duì)抗不同程度的檢測(cè)與識(shí)別干擾,具有更強(qiáng)的魯棒性。
參考文獻(xiàn)(References)
[1] 陳杰,張輝,婁保鋒,等. 船載自動(dòng)監(jiān)測(cè)系統(tǒng)在水質(zhì)監(jiān)測(cè)中的應(yīng)用[J]. 中國環(huán)境監(jiān)測(cè),2023,39(2):33-40.
[2] 王璐,殷高方,趙南京,等. 基于可變熒光統(tǒng)計(jì)分析法的混合藻類活體細(xì)胞數(shù)定量實(shí)驗(yàn)研究[J]. 光學(xué)學(xué)報(bào),2022,42(24):26-34.
[3] 鄭琳琳,李海濱,李明明. 水中藻類計(jì)數(shù)及分類的測(cè)定(視野計(jì)數(shù)法)驗(yàn)證實(shí)驗(yàn)研究[C]∥中國環(huán)境科學(xué)學(xué)會(huì). 2020中國環(huán)境科學(xué)學(xué)會(huì)科學(xué)技術(shù)年會(huì)論文集(第三卷). 北京:《中國學(xué)術(shù)期刊(光盤版)》電子雜志社有限公司,2020:296-302.
[4] SAMANTARAY A,YANG B J,DIETZ J E,et al. Algae detection using computer vision and deep learning[DB/OL]. (2018-11-27)[2023-03-27]. https:∥arxiv.org/abs/1811.10847.
[5] 胡圣,劉浩兵,劉輝,等. 基于深度學(xué)習(xí)技術(shù)的藻類智能監(jiān)測(cè)系統(tǒng)開發(fā)[J]. 中國環(huán)境監(jiān)測(cè),2022,38(1):200-210.
[6] QIAN P S,ZHAO Z Y,LIU H B,et al. Multi-target deep learning for algal detection and classification[C]∥IEEE. Proceedings of the IEEE: 2020 42nd Annual International Conference of the IEEE Engineering in Medicine amp; Biology Society (EMBC). Piscataway:IEEE,2020:1954-1957.
[7] 黃家才,唐安,張鐸,等. 基于自適應(yīng)標(biāo)記分水嶺算法的茶葉嫩芽圖像分割方法[J]. 南京工程學(xué)院學(xué)報(bào)(自然科學(xué)版),2022,20(4):6-11.
[8] 熊保玉. 基于改進(jìn)Hough變換算法的圓形零件檢測(cè)[J]. 食品與機(jī)械,2021,37(3):112-115,143.
[9] 李文舉,王子杰,崔柳. 基于多特征融合和改進(jìn)SIFT的目標(biāo)跟蹤算法[J]. 鄭州大學(xué)學(xué)報(bào)(理學(xué)版),2024,56(1):40-46.
[10] GUO S J,LIU F,YUAN X H,et al. HSPOG: an optimized target recognition method based on histogram of spatial pyramid oriented gradients[J]. Tsinghua science and technology,2021,26(4):475-483.
[11] 吳鵬,李穎,劉瑀,等. 基于PCA-SVM的仿刺參產(chǎn)地溯源在線系統(tǒng)研究[J]. 光譜學(xué)與光譜分析,2019,39(5):1604-1609.
[12] SHI X S,TANG Z L,WANG Y H,et al. HOG-SVM impurity detection method for Chinese liquor (Baijiu) based on adaptive GMM fusion frame difference[J]. Foods,2022,11(10):1444.
作者簡(jiǎn)介:
張文漪(2001-),女,本科生。研究領(lǐng)域:計(jì)算機(jī)視覺。
朱"虹(1988-),女,碩士,講師。研究領(lǐng)域:計(jì)算機(jī)視覺。
聶鳳翔(2002-),男,本科生。研究領(lǐng)域:機(jī)器學(xué)習(xí)。
張佳?。?001-),男,本科生。研究領(lǐng)域:深度學(xué)習(xí)。
收稿日期:2023-05-29