徐 帥，楊俊毅，鄭旻輝，謝尚微

(1.國家海洋局 第二海洋研究所，浙江 杭州 310012；2.國家海洋局 海洋生態(tài)系統(tǒng)與生物地球化學(xué)重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310012)

0 引言

浮游生物在海洋生態(tài)圈中扮演著重要角色，是海洋生態(tài)學(xué)中重要的研究對象。目前海洋生物學(xué)家對浮游生物的研究手段主要以現(xiàn)場采樣、實(shí)驗(yàn)室人工鑒定與計(jì)數(shù)的傳統(tǒng)觀測手段為主，人工識別費(fèi)時(shí)費(fèi)力，遠(yuǎn)不能適應(yīng)和滿足現(xiàn)代海洋科學(xué)發(fā)展的需要。

隨著圖像處理技術(shù)的不斷發(fā)展，使得基于圖像處理的浮游生物自動(dòng)識別成為可能，目前已有研究者取得矚目的成果。例如，CULVERHOUSE et al[1]基于細(xì)胞形狀和表面紋理特征開發(fā)了甲藻分類軟件DiCANN；LOKE et al[2]基于浮游動(dòng)物輪廓特征利用最近鄰分類規(guī)則進(jìn)行甲藻識別；HU et al[3]以形態(tài)特征為基礎(chǔ)建立神經(jīng)網(wǎng)絡(luò)分類器，然后以表面結(jié)構(gòu)特征為基礎(chǔ)進(jìn)行浮游生物圖像識別；TANG et al[4]結(jié)合經(jīng)典的幾何外型特征以及不變矩等特征對海洋浮游生物圖像實(shí)行自動(dòng)識別分類；YANG et al[5]提出基于內(nèi)容特征的浮游生物圖像識別算法。

隨著近年來水下觀測技術(shù)快速發(fā)展，浮游生物觀測方法逐漸從傳統(tǒng)方法向原位觀測分析方向發(fā)展，受原位觀測平臺計(jì)算資源的限制，上述根據(jù)生物特征的智能識別方法存在一些不足，如神經(jīng)網(wǎng)絡(luò)方法樣本訓(xùn)練量大且效率低下，支持向量機(jī)方法雖然識別率較高但需提取大量高維特征，前期數(shù)據(jù)準(zhǔn)備計(jì)算量大等，這些都制約著其在原位分析中的應(yīng)用。針對這些不足，本文提出將計(jì)算機(jī)視覺中的模板匹配方法與不變中心矩描述方法相結(jié)合，將模板匹配作為浮游動(dòng)物識別的初篩環(huán)節(jié)，在模板匹配限定的子空間內(nèi)采用比較不變矩描述方法判定目標(biāo)動(dòng)物，然后測量目標(biāo)動(dòng)物的尺寸信息，統(tǒng)計(jì)動(dòng)物個(gè)數(shù)。這種方法與支持向量機(jī)等識別方法相比速度快，計(jì)算量小，不僅能夠驗(yàn)證顯微圖像中是否存在模板表示的目標(biāo)動(dòng)物，還能快速找到模板對應(yīng)的動(dòng)物目標(biāo)的質(zhì)心位置，即可方便地得出圖像中動(dòng)物的長度、寬度等尺寸信息，適合應(yīng)用在浮游動(dòng)物的原位觀測分析中。

1 圖像分析方法

1.1 方法步驟

本文所提出的方法步驟如圖1所示，先對圖像進(jìn)行預(yù)處理，然后確定感興趣區(qū)域，在此基礎(chǔ)上利用圖像分割構(gòu)建模板，再利用模板匹配進(jìn)行初篩限定目標(biāo)范圍，分別求出模板與待識別顯微圖像中的動(dòng)物的質(zhì)心坐標(biāo)和中心不變矩，分別比較模板的不變矩與圖像中各動(dòng)物的不變矩，差值小于設(shè)定的閾值即可初步判定為模板所示的動(dòng)物。將場景中目標(biāo)的質(zhì)心與模板質(zhì)心對齊，利用“縮放”和“旋轉(zhuǎn)”等圖像處理方法將模板與圖像中的目標(biāo)對齊以最終確定目標(biāo)是否為模板所表示的動(dòng)物，并計(jì)算出匹配到的目標(biāo)動(dòng)物的尺寸。

圖1 基于顯微圖像的海洋浮游動(dòng)物自動(dòng)測量步驟Fig.1 Marine zooplankton automatic measurement steps based on microscopic images

1.2 圖像預(yù)處理

浮游動(dòng)物顯微圖像如圖2所示，圖像中存在大量噪聲還夾雜一些碎片以及光源帶來的較大干擾,即背景噪聲，需要對圖像進(jìn)行預(yù)處理。

圖2 浮游動(dòng)物顯微圖像Fig.2 Zooplankton microscopic image

預(yù)處理主要是在創(chuàng)建模板之前對原始圖像進(jìn)行增強(qiáng)，目的是突出圖像整體或者局部的特征，減少噪聲，提高圖像質(zhì)量[6]。圖像增強(qiáng)方法大體可以分為空域和頻域增強(qiáng)兩類。常用的空域增強(qiáng)法有中值濾波和均值濾波，而頻率域圖像增強(qiáng)法則是將經(jīng)過預(yù)處理后的圖像進(jìn)行傅里葉變換，將其轉(zhuǎn)換到頻率域后再利用低通濾波器進(jìn)行去噪處理[7]。

由圖2可見，顯微圖像中的噪聲主要為椒鹽噪聲，中值濾波對濾除椒鹽類噪聲具有較好的效果，實(shí)驗(yàn)中對比均值濾波、中值濾波和高斯低通濾波發(fā)現(xiàn)(圖3)，中值濾波器在去除噪聲的同時(shí)還能盡量保留浮游動(dòng)物圖像的邊緣細(xì)節(jié)，因此本文采用一個(gè)9×9的模板的中值濾波器進(jìn)行圖像增強(qiáng)。最后,采用直方圖均勻化增強(qiáng)動(dòng)物目標(biāo)與背景對比度，以利于閾值分割。

圖3 中值濾波(a),高斯低通濾波(b)以及均值濾波(c)去噪效果Fig.3 The denoising result of median filter(a), Gaussian low-pass filter(b) and the average filter(c)

1.3 圖像分割與模板創(chuàng)建

圖像分割在整個(gè)過程中居于承前啟后的位置，既可以檢驗(yàn)圖像預(yù)處理的效果，也是后續(xù)創(chuàng)建模板的前提。針對海洋浮游動(dòng)物顯微圖像對比度較好的特點(diǎn)，本文綜合采用基于灰度直方圖確定閾值、Canny邊緣檢測算子和基于數(shù)學(xué)形態(tài)學(xué)閉運(yùn)算等多種圖像分割算法，得到的邊緣可以提供很好的形狀特征，其中的區(qū)域即可用來構(gòu)建模板。

1.3.1 基于閾值的浮游動(dòng)物目標(biāo)分割

圖2所示的海洋浮游動(dòng)物顯微圖像的灰度直方圖如圖4所示，由圖可見灰度值30～120區(qū)間為浮游動(dòng)物體的像素，灰度值大于120的山峰對應(yīng)背景像素。這里取120灰度值為閾值T，便可以將浮游動(dòng)物與背景明顯地分開，實(shí)現(xiàn)目標(biāo)分割。

圖4 浮游動(dòng)物圖像灰度直方圖Fig.4 The gray histogram of zooplankton image

為了提高閾值分割精度，本文采用了OTSU[8]方法在30～120目標(biāo)動(dòng)物灰度值區(qū)間上自適應(yīng)地再進(jìn)行第二次閾值分割，得到比較滿意的自適應(yīng)閾值區(qū)間。OTSU算法根據(jù)灰度直方圖的谷底選擇100為閾值進(jìn)行分割，第二次灰度值閾值分割后得到的區(qū)域如圖5a所示。

圖5a已經(jīng)大致可以看出動(dòng)物目標(biāo)的外形，但是初步分割結(jié)果存在圖像噪聲和大量的雜質(zhì)碎片。為此本文設(shè)計(jì)了一套基于特征直方圖的閾值分割方案，利用面積、周長特征將背景噪聲剔除。考慮到噪聲碎片的面積小于最小的動(dòng)物體面積，可以通過設(shè)置關(guān)于目標(biāo)面積特征的閾值，排除所有面積過大或者面積過小的非動(dòng)物目標(biāo)，剩余的區(qū)域即為所要處理的目標(biāo)區(qū)域(圖5b)。

圖5 初步閾值分割結(jié)果(a)和最終閾值分割結(jié)果(b)Fig.5 Preliminary threshold segmentation results(a) and the final threshold segmentation result(b)

1.3.2 基于Canny算子的浮游動(dòng)物邊緣檢測

為精確定位海洋浮游動(dòng)物體的輪廓邊緣，需要對其進(jìn)行邊緣檢測，本文采用了基于Canny算子的邊緣檢測算法，Canny邊緣檢測算子有低誤判率，高定位精度，抗噪聲能力強(qiáng)等優(yōu)點(diǎn)[9]。Canny算子邊緣檢測具體實(shí)現(xiàn)步驟如下：

(1)高斯平滑濾波。

(2)非極大值抑制。通過抑制非極大值而保留局部梯度幅值最大的點(diǎn)，可以得到相對更加精確的邊緣圖像。

(3)雙閾值和邊緣連接。非極大值抑制處理后，圖像邊緣像素中可能還混雜著由噪聲而引起的偽邊緣。Canny邊緣檢測算法通過雙閾值區(qū)分邊緣與偽邊緣。針對浮游動(dòng)物圖像的特點(diǎn)，繪制出梯度幅度圖的梯度幅值直方圖，然后通過設(shè)定非邊緣點(diǎn)像素?cái)?shù)與梯度幅度圖中所有像素?cái)?shù)目的比例來確定高閾值，取高閾值的0.4倍作為低閾值，程序自適應(yīng)地設(shè)定雙閾值，分別得到高閾值與低閾值圖像。當(dāng)閾值較高時(shí)，去噪效果好，但同時(shí)也會(huì)造成有效邊緣信息的損失；反之則去噪效果不明顯，但會(huì)保留邊緣細(xì)節(jié)。在高閾值圖像的基礎(chǔ)上，通過低閾值圖像的補(bǔ)充來連接浮游生物圖像的邊緣。圖6為雙閾值和邊緣連接后得到的邊緣效果圖。

圖6 Canny邊緣檢測結(jié)果Fig.6 Result of Canny edge detection operation

1.3.3 基于數(shù)學(xué)形態(tài)學(xué)的浮游動(dòng)物圖像處理

經(jīng)過前面的處理后獲得區(qū)域內(nèi)仍存在孤立的小噪聲點(diǎn)和目標(biāo)區(qū)域內(nèi)的細(xì)小空洞，在其周邊存在凹坑和毛刺。主要采用腐蝕、膨脹及其組合方法即開運(yùn)算與閉運(yùn)算等數(shù)學(xué)形態(tài)學(xué)算子去除干擾。數(shù)學(xué)形態(tài)學(xué)是一種常用的數(shù)字圖像處理和模式識別的理論和方法，主要內(nèi)容是一套運(yùn)算、概念和算法，用來描述圖像的基本特征，它不同于常用的頻域或時(shí)域的方法，而是建立在積分幾何和隨機(jī)理論的基礎(chǔ)之上[10]。

本文首先對浮游動(dòng)物圖像輪廓進(jìn)行膨脹操作，有效地填補(bǔ)圖像中的空洞，并起到連接邊緣檢測后不連續(xù)區(qū)域的作用，再腐蝕圖像邊沿，消除一些邊界點(diǎn)，使邊界向內(nèi)收縮。將膨脹操作得到的輪廓減去腐蝕操作得到的輪廓，在有效地平滑邊界、消除目標(biāo)間的粘連的同時(shí)保持其面積等特征信息。通過一系列的圖像處理算法，最終得到圖7a，在此基礎(chǔ)上將區(qū)域裁剪出來，最終構(gòu)成一個(gè)18×20的生物模板(圖7b)。

圖7 數(shù)學(xué)形態(tài)學(xué)處理后消除空洞的圖像(a)和基于圖像分割創(chuàng)建的模板(b)Fig.7 The image after mathematical morphology processing(a) and a template based on image segmentation(b)

1.4 不變矩與模板匹配

1.4.1 求不變矩特征

浮游動(dòng)物的形態(tài)特征千姿百態(tài)，前面的方法能從生物圖像中提取區(qū)域和輪廓構(gòu)建模板，為了使模板能夠匹配位姿不同的目標(biāo)，本文針對海洋浮游動(dòng)物形態(tài)特點(diǎn)，采用了一些對于平移、旋轉(zhuǎn)和尺度變換的不變量作為特征，這樣模板可以適應(yīng)浮游動(dòng)物目標(biāo)的方位旋轉(zhuǎn)或尺度變化，減少誤差。

不變矩特征是形狀識別中常用的特征，(m+n)階的中心距具有平移變換不變性，定義為：

μmn=∑x∑y(x-x0)m(y-y0)nf(x,y)

(1)

(2)

因?yàn)閿?shù)字圖像中像元的離散性，這些中心距函數(shù)近似具有旋轉(zhuǎn)、平移和縮放不變性。

1.4.2 模板匹配過程

將上述對于物體不變矩的描述方法與計(jì)算機(jī)視覺中的模板匹配算法相結(jié)合，提出一種適應(yīng)旋轉(zhuǎn)、平移和縮放的模板匹配方法，利用該方法匹配識別浮游動(dòng)物顯微圖像，具體步驟如下：

(1)首先用創(chuàng)建好的模板來進(jìn)行粗篩選，為了減少匹配復(fù)雜度，提高模板搜索速度，本文采用基于圖形金字塔方法進(jìn)行匹配。使用歸一化相關(guān)系數(shù)作為匹配準(zhǔn)則，對于每個(gè)濾波窗口，經(jīng)過灰度分布標(biāo)準(zhǔn)化預(yù)處理后，使用動(dòng)物模板進(jìn)行匹配，若相關(guān)系數(shù)超過給定閾值(本文取0.25)，則認(rèn)為通過了匹配初篩選，但是圖中動(dòng)物存在旋轉(zhuǎn)或縮放等情況，這一階段得到的匹配結(jié)果會(huì)包含其他非模板目標(biāo)動(dòng)物，誤差較大，需要應(yīng)用中心不變矩約束進(jìn)一步提高匹配精度。

(2)分別計(jì)算圖像中各匹配到的目標(biāo)與模板的中心矩，比較并取相差值，差值小于某一閾值的即初步認(rèn)為是模板表示的動(dòng)物。對模板縮放操作，使其尺寸與圖像中與之不變矩基本相同的動(dòng)物一致，利用坐標(biāo)的旋轉(zhuǎn)變換來確定圖像中動(dòng)物對應(yīng)的旋轉(zhuǎn)角度，采用的算法分別為：

(3)

(4)

式中：(x2,y2)為像素新坐標(biāo)，(x1,y1)為原坐標(biāo)，(x0,y0)為形心坐標(biāo)，N為縮放系數(shù)，θ為旋轉(zhuǎn)角度。將兩幅已經(jīng)對準(zhǔn)的圖像進(jìn)行“異或”操作，以剩余像素的多少來證實(shí)該物體是否為模板所示動(dòng)物，若是，則給出匹配物體在圖像中的坐標(biāo)和個(gè)數(shù)。

2 實(shí)驗(yàn)驗(yàn)證

本文采用Leica M205A立體顯微鏡對在南海海域采集到的浮游動(dòng)物樣本進(jìn)行顯微成像，采用Halcon圖像處理庫實(shí)現(xiàn)上述所有的圖像處理算法，并將匹配結(jié)果可視化顯示在界面上。Halcon是一套完善的機(jī)器視覺算法包，擁有成熟配套的集成開發(fā)環(huán)境和專業(yè)的圖像處理算子，能夠勝任本文的研究。

為了驗(yàn)證方法的有效性，本實(shí)驗(yàn)選取了100幅浮游動(dòng)物顯微圖像(主要包括水蚤類和橈足類)作為測試圖像，其中20幅為無目標(biāo)動(dòng)物的圖像，80幅同時(shí)含有非目標(biāo)動(dòng)物和目標(biāo)動(dòng)物的圖像。圖8為本文用到的部分顯微圖像示例，可以看到動(dòng)物的尺寸、方位角度各不相同，按照上文方法創(chuàng)建動(dòng)物模板。

利用本文提出的匹配方法對測試圖像進(jìn)行檢測，共成功檢測出71幅顯微圖像中存在模板對應(yīng)的動(dòng)物，準(zhǔn)確率為88.75%，并統(tǒng)計(jì)出動(dòng)物的數(shù)量和尺寸數(shù)據(jù)，部分實(shí)驗(yàn)結(jié)果如圖9所示。

圖8 部分浮游動(dòng)物測試圖像示例Fig.8 Examples of partial zooplankton test image

圖9 匹配和計(jì)數(shù)結(jié)果Fig.9 Results of template matching and counting

將圖9中檢測出的與模板對應(yīng)動(dòng)物的尺寸數(shù)據(jù)與實(shí)驗(yàn)室顯微鏡測量軟件測量數(shù)據(jù)進(jìn)行對比驗(yàn)證。獲得的浮游動(dòng)物尺寸數(shù)據(jù)均是以像素為單位，需要將其轉(zhuǎn)化為實(shí)際長度單位。根據(jù)顯微鏡CCD的參數(shù)，計(jì)算出像素長度轉(zhuǎn)為實(shí)際尺寸(mm)的比例如下式：

1像素=0.003 5 mm

(5)

根據(jù)上式計(jì)算出浮游動(dòng)物形態(tài)特征數(shù)據(jù)如表1所示。

表1 浮游動(dòng)物形態(tài)特征測量數(shù)據(jù)Tab.1 Morphological characteristics data of zooplankton

由表1結(jié)果可知，實(shí)驗(yàn)測得動(dòng)物尺寸與實(shí)測數(shù)據(jù)相比誤差為0.032～0.106 mm。利用本文的方法能夠快速地在大量顯微圖像中匹配到特定的浮游動(dòng)物，這樣可以大大提高海洋動(dòng)物研究者的鑒定效率，還可以快速統(tǒng)計(jì)顯微圖像中的浮游動(dòng)物個(gè)數(shù)和尺寸信息。

3 小結(jié)

本文根據(jù)處理浮游動(dòng)物顯微圖像的需求，提出了將模板匹配方法與不變中心矩描述法相結(jié)合的方法對浮游動(dòng)物的顯微圖像進(jìn)行識別。與基于特征的識別方法相比，本文算法比較穩(wěn)定，計(jì)算量小，識別耗時(shí)短，識別效率高。在實(shí)用性方面，還需要進(jìn)一步提高模板的質(zhì)量，同時(shí)應(yīng)考慮動(dòng)物體重疊和缺損等情況，使方法更具有實(shí)用價(jià)值。

[1]CULVERHOUSEPF,REGUERAB,GONZALEZGS,etal.Doexpertsmakemistakes[J].MarineEcologyProgress,2003,247(247):17-25.

[2]LOKERE,BUFJMHD,BAYERMM,etal.Diatomclassificationinecologicalapplications[J].PatternRecognition,2004,37(6):1 283-1 285.

[3]HUQ,DAVISC.Accurateautomaticquantificationoftaxa-specificplanktonabundanceusingdualclassificationwithcorrection[J].MarineEcologyProgress,2006,306(8):51-61.

[4]TANGX,STEWARTWK,HUANGH,etal.Automaticplanktonimagerecognition[J].ArtificialIntelligenceReview,1998,12(1):177-199.

[5]YANGR,ZHANGR,SUNS.Automatedclassificationofzooplanktonbasedondigitalimageprocessing[J].ComputerSimulation,2006,23(5):167-170.

[6]RAFAELCG,RICHARDEW.Digitalimageprocessing[M].Thirdedition.Beijing:PublishingHouseofElectronicsIndustry,2011.

[7]KENNETHRC.Digitalimageprocessing[M].Beijing:PublishingHouseofElectronicsIndustry,2002.

[8]OTSUNA.Athresholdselectionmethodfromgray-levelhistograms[J].IEEETransactionsSystemManandCybemectics,1979,9(1):62-66.

[9]CANNYJ.Acomputationalapproachtoedgedetection[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,1986,8(6):679-98.

[10]CARSTENS,MARKUSU,CHRISTIANW.Machinevisionalgorithmsandapplication[M].Beijing:TsinghuaUniversityPress,2008.