柳懿祥,汪杭軍,徐鐵平
(1. 浙江農(nóng)林大學(xué) 信息工程學(xué)院,浙江 杭州 311300;2. 浙江農(nóng)林大學(xué) 暨陽(yáng)學(xué)院,浙江 諸暨 311800;3. 諸暨農(nóng)業(yè)農(nóng)村局,浙江 諸暨 311800)
現(xiàn)代農(nóng)業(yè)和林業(yè)害蟲(chóng)給糧食安全帶來(lái)嚴(yán)重威脅,每年產(chǎn)生巨大的經(jīng)濟(jì)損失[1]。準(zhǔn)確地監(jiān)測(cè)害蟲(chóng)數(shù)量變化,預(yù)測(cè)害蟲(chóng)爆發(fā)趨勢(shì),可為害蟲(chóng)管理行動(dòng)提供可靠依據(jù)和正確管理方法[2-3]。近年來(lái),出現(xiàn)了許多用于蟲(chóng)害測(cè)報(bào)的新型害蟲(chóng)誘殺設(shè)備及監(jiān)測(cè)系統(tǒng),這些設(shè)備配有多種傳感器,可以上傳數(shù)據(jù)到用戶手機(jī)端,且可以定時(shí)對(duì)誘殺的害蟲(chóng)拍攝然后識(shí)別計(jì)數(shù)[4-5],節(jié)省了大量人力。害蟲(chóng)誘殺設(shè)備及監(jiān)測(cè)系統(tǒng)進(jìn)行蟲(chóng)害測(cè)報(bào)的重要前提是如何準(zhǔn)確分割害蟲(chóng),針對(duì)此問(wèn)題,許多國(guó)內(nèi)外學(xué)者對(duì)害蟲(chóng)分割方法進(jìn)行了研究。SOLIS-SáNCHEZ等[6]利用目標(biāo)的幾何形態(tài)特征(偏心率、面積等)從誘蟲(chóng)板上分割粉虱Aleyrodidae。NING等[7]提出交互式分割方法從復(fù)雜背景中分割害蟲(chóng)。呂金娜[8]提出了基于LAB顏色空間的棉花Gossypiumspp.害蟲(chóng)普適K聚類害蟲(chóng)圖像分割方案,對(duì)典型棉花害蟲(chóng)圖像進(jìn)行分割。楊信廷等[9]提出了基于Prewitt、Canny邊緣檢測(cè)算子分割和支持向量機(jī)(SVM)的溫室粉虱和薊馬Thripidae誘蟲(chóng)板的圖像識(shí)別算法。陳樹(shù)越等[10]提出改進(jìn)的凹點(diǎn)檢測(cè)和精確分割點(diǎn)定位的方法,實(shí)現(xiàn)對(duì)黏連害蟲(chóng)的分割。然而,上述方法大多用于單個(gè)害蟲(chóng)情況,對(duì)于野外誘蟲(chóng)裝置獲得圖像、害蟲(chóng)產(chǎn)生輕微堆疊及顏色不一等問(wèn)題還有待解決。害蟲(chóng)的分割效果與設(shè)備的收集功能密不可分。李芝茹等[11]采用了追蹤式太陽(yáng)能監(jiān)測(cè)裝置,在穩(wěn)定供能的同時(shí)也可升降采集不同高度的害蟲(chóng);張紅濤等[12]、張昊辰等[13]針對(duì)捕蟲(chóng)誘集部分,設(shè)計(jì)了多種采集方法以及通道,來(lái)提升害蟲(chóng)圖像質(zhì)量。本研究針對(duì)害蟲(chóng)收集裝置中的采集害蟲(chóng)圖像分割精度的要求,根據(jù)害蟲(chóng)面積與采樣盤(pán)面積的比例進(jìn)行智能翻轉(zhuǎn),針對(duì)翻轉(zhuǎn)功能需要克服的實(shí)際拍攝圖像光照不均勻,陰影干擾大,及害蟲(chóng)種類顏色繁多等問(wèn)題,提出了基于全局對(duì)比度的圖像分割方法,對(duì)裝置中的實(shí)際圖像進(jìn)行分割處理,使其滿足采樣盤(pán)的智能翻轉(zhuǎn)要求。
害蟲(chóng)的智能收集通過(guò)害蟲(chóng)面積占比控制采樣盤(pán)翻轉(zhuǎn)完成,為了準(zhǔn)確獲取此比例,需要對(duì)獲取的害蟲(chóng)圖像有較高精度的分割。本研究結(jié)合基于直方圖對(duì)比度的顯著性檢測(cè)(HC)算法與閾值迭代算法,提出了滿足害蟲(chóng)圖像精度的分割方法。整體方法流程如圖1所示。
圖1 方法流程圖Figure 1 Algorithm flow chart
為了減少多種顏色害蟲(chóng)同時(shí)出現(xiàn)的頻率,首先將害蟲(chóng)圖像分成150個(gè)同等大小的區(qū)域,每個(gè)區(qū)域大小約1只害蟲(chóng)的面積。在分割區(qū)域操作的同時(shí),計(jì)算顏色的出現(xiàn)頻率,高頻顏色替換低頻顏色,保證算法運(yùn)行速度。在此基礎(chǔ)上通過(guò)HC算法檢測(cè)圖像中的淺色害蟲(chóng),結(jié)合閾值迭代算法分割背景顏色。得到的圖像淺色害蟲(chóng)輪廓清晰,并避免了陰影的影響,但圖像中深色害蟲(chóng)均未被分割,故將此前檢測(cè)出的淺色害蟲(chóng)圖像中的像素點(diǎn)更新為黑色,加強(qiáng)深色害蟲(chóng)與背景顏色的對(duì)比度。再根據(jù)直方圖計(jì)算顯著值完成對(duì)所有目標(biāo)害蟲(chóng)的檢測(cè)。顯著值的計(jì)算公式為:
式(1)中:a為每個(gè)像素的顏色值構(gòu)成的矩陣;amax為a矩陣中所有值的最大值;amin為a矩陣中所有值的最小值;S為顯著值。
最后通過(guò)sigmoid函數(shù)對(duì)結(jié)果的圖像進(jìn)行二值化計(jì)算得到最終的害蟲(chóng)分割圖像,用此圖像可對(duì)害蟲(chóng)面積比例進(jìn)行計(jì)算,完成采樣盤(pán)翻轉(zhuǎn)的判定。公式為:
式(2)中:S為顯著值;為sigmoid函數(shù)。改進(jìn)后的方法簡(jiǎn)易且運(yùn)行快速,效果顯著,可以更好地分割背景和害蟲(chóng),同時(shí)也能分割出深色害蟲(chóng)清晰的輪廓。
在顯著性檢測(cè)算法中,HC算法運(yùn)行速度較快,且可以保留顏色特征、有效地體現(xiàn)不同顏色的邊緣紋理。HC算法根據(jù)圖像的顏色直方圖分布,對(duì)顏色級(jí)數(shù)進(jìn)行量化和平滑操作,最終計(jì)算每個(gè)像素的顏色與其他像素顏色的對(duì)比度定義為顯著值[14]。其計(jì)算公式為:
式(3)中:Ik為k點(diǎn)圖像顏色轉(zhuǎn)化為L(zhǎng)ab顏色空間后的當(dāng)前像素;Ii則是其余i點(diǎn)的每個(gè)像素;n是其余像素的個(gè)數(shù);D為2個(gè)像素的歐式距離度量;S為顯著值。
在害蟲(chóng)圖像中,會(huì)出現(xiàn)圖像顏色過(guò)多影響處理速度的問(wèn)題。為了解決這個(gè)問(wèn)題,采用了量化圖像顏色數(shù)據(jù)降低顏色數(shù)量的方法。對(duì)害蟲(chóng)圖像壓縮,將具有相同顏色像素的組合在一起。公式為:
式(4)中:ci為i點(diǎn)當(dāng)前像素Ik的顏色值;cj為其余j點(diǎn)的顏色值;n為顏色不同的像素?cái)?shù)量;fj為j點(diǎn)像素顏色出現(xiàn)的頻率;D為顏色值間的歐式距離度量;S為顯著值。
由于自然圖像中的顏色種類只占全顏色空間的小部分,采取忽略出現(xiàn)頻率低的顏色值來(lái)進(jìn)一步縮減顏色的數(shù)量,刪除的顏色值用保留下來(lái)的相近顏色值所代替。為了防止縮減顏色數(shù)量導(dǎo)致害蟲(chóng)的輪廓細(xì)節(jié)被忽略,需保證選擇留下的高頻顏色在圖像中覆蓋的像素不少于95%。由于目的是完成對(duì)害蟲(chóng)輪廓的分割,從而計(jì)算害蟲(chóng)的面積,故此操作既不影響分割的精度,還成功提高了算法的運(yùn)行效率。
由于在縮減顏色數(shù)量時(shí),相近的顏色也許會(huì)被量化為不同的值,為了減少這類顏色對(duì)檢測(cè)害蟲(chóng)區(qū)域時(shí)產(chǎn)生的噪聲,使用相近顏色的顯著值加權(quán)平均值代替原本的顯著值。其計(jì)算公式為:
式(5)中:S′為平滑顏色后的顯著值;S為原本的顯著值;T為要改善顏色c和m個(gè)最近的顏色ci之間的距離之和;D為要改善顏色c與最接近顏色ci的歐式距離度量。
接著獲取處理后圖像的顏色直方圖,計(jì)算1個(gè)像素與其余像素的歐式距離,求出所有距離之和,將此定義為顯著值。最后將像素的顏色值更新為求出的顯著值即處理完畢。
同時(shí)存在多種顏色害蟲(chóng)時(shí),單一使用HC算法存在無(wú)法提取深淺色害蟲(chóng)的缺陷。原因是圖像中害蟲(chóng)的種類以及顏色多樣,害蟲(chóng)間的對(duì)比度過(guò)大,且存在一定的陰影及輕微重疊干擾。故本研究決定結(jié)合閾值迭代對(duì)害蟲(chóng)圖像進(jìn)行處理,以此優(yōu)化前景與背景之間的顏色差。
利用閾值迭代分割算法解決了圖像各區(qū)域亮度不同等因素,可更好地分割圖像背景[15-16]。該算法可在不同區(qū)域采用不同的閾值進(jìn)行分割,適合處理多種顏色害蟲(chóng)混合的圖像,解決了害蟲(chóng)陰影的干擾問(wèn)題,完成了分割單一顏色背景的目的。
該算法主要通過(guò)迭代方式逼近最佳閾值,從而達(dá)到分割背景的目的,關(guān)鍵步驟在于找到最佳閾值。先將整幅圖像分成多張互相之間有50%重疊的子圖像,分別作出這些子圖像的直方圖。對(duì)這些子圖像的直方圖進(jìn)行檢測(cè),查看是否為雙峰,如果是雙峰,則進(jìn)行閾值迭代法確定閾值,如果不是雙峰,就不進(jìn)行處理。接著確定閾值,以此為依據(jù)劃分前景和背景。然后分出閾值的2邊數(shù)據(jù)為A和B部分。分別計(jì)算A和B部分的均值,然后再總的求A和B部分的均值即為新的閾值。設(shè)定迭代次數(shù)進(jìn)行不斷尋找最佳閾值,用得到的閾值進(jìn)行圖像的二值化。公式如下:
式(6)~(7)中:R(i, j)為圖像(i, j)像素點(diǎn)的灰度值;N(i, j)為(i, j)像素點(diǎn)的權(quán)重系數(shù);TK為確定閾值;m為像素個(gè)數(shù);R0與RG分別為目標(biāo)和背景的平均灰度值。
圖像獲取的步驟分為害蟲(chóng)的誘殺收集和拍攝2步。害蟲(chóng)的誘殺通過(guò)打開(kāi)圖2的黑光燈引誘害蟲(chóng),害蟲(chóng)飛至黑光燈邊上的電網(wǎng)時(shí),被電死掉落到下方漏斗狀裝置內(nèi)部,然后滑落到采樣盤(pán)上。攝像頭在LED燈點(diǎn)亮后進(jìn)行拍攝,采集圖像大小為2 592像素×1 944像素。最后將拍攝的圖像傳送至控制系統(tǒng)內(nèi)部進(jìn)行圖像處理。
圖2 害蟲(chóng)收集裝置示意圖Figure 2 Schematic diagram of pest collection device
本研究設(shè)備為Intel(R) Core(TM)i7-8750H CPU、16G 64位PC機(jī)和樹(shù)莓派官方500萬(wàn)像素?cái)z像頭,系統(tǒng)和軟件環(huán)境為Window10,Jupyter Notebook,Raspberry Pi3 B+。在實(shí)際裝置托盤(pán)上方20 cm處使用裝置內(nèi)部的樹(shù)莓派攝像頭進(jìn)行拍攝。研究樣本為5種害蟲(chóng)在白底托盤(pán)和紅底托盤(pán)上的實(shí)際圖像。為了驗(yàn)證本研究的可靠性與有效性,共選用100張實(shí)際拍攝圖像后運(yùn)行算法,取平均值作為最后研究結(jié)果數(shù)據(jù)。因?qū)嶋H裝置的硬件性能所限制,且實(shí)際裝置對(duì)智能翻轉(zhuǎn)的圖像處理有一定的速度和精度需求,故排除與深度學(xué)習(xí)分割方法的對(duì)比。本研究選取了4種綜合處理效果較好的經(jīng)典算法作為比較。
使用不同算法對(duì)實(shí)際攝像頭拍攝的圖片白底樣本進(jìn)行分割。由圖3可見(jiàn):本研究算法與實(shí)際比率的接近程度明顯高于其他算法。且在白底托盤(pán)中,本研究算法可以更好避免陰影的影響,分割出目標(biāo)害蟲(chóng)的輪廓。比較圖4和圖5可知:大津算法(OTSU)出現(xiàn)了錯(cuò)誤分割陰影的結(jié)果,它將較多的陰影區(qū)域分割,將會(huì)導(dǎo)致害蟲(chóng)比例嚴(yán)重誤判。而本研究算法較好改善了該問(wèn)題,至于僅剩的陰影噪聲問(wèn)題將通過(guò)改善拍攝條件彌補(bǔ)。
圖3 白底樣本分割效果對(duì)比Figure 3 Comparison of sample segmentation effects on white background
圖4 OTSU算法與本研究算法對(duì)陰影分割的比較Figure 4 Comparison of shadow segmentation between OTSU and research algorithm
白底樣本的分割結(jié)果(圖5)進(jìn)一步表明:HC算法無(wú)法識(shí)別害蟲(chóng)顏色與背景顏色對(duì)比度不高的害蟲(chóng),而本研究算法在改進(jìn)其算法后,可以較清晰地分割出這些原本分割效果不佳的害蟲(chóng)。
圖5 HC算法與本研究算法對(duì)害蟲(chóng)細(xì)節(jié)分割的比較Figure 5 Comparison of HC algorithm and research algorithm on pest detail segmentation
綜合了白底樣本采樣盤(pán)易出現(xiàn)燈光照射以及陰影的干擾,且由于淺色害蟲(chóng)與白色采樣盤(pán)背景對(duì)比度過(guò)于接近,更加不利于對(duì)害蟲(chóng)的分割,故改進(jìn)裝置的采樣盤(pán)為紅色。拍攝深色害蟲(chóng)與淺色害蟲(chóng)同時(shí)存在于采樣盤(pán)上時(shí)的圖像,作為紅底樣本,并使用不同算法對(duì)其進(jìn)行分割處理。從圖6和圖7可見(jiàn):其他算法主要完成了淺色害蟲(chóng)的分割,但均無(wú)法分割出深色害蟲(chóng)并計(jì)算害蟲(chóng)面積。本研究算法則完成了深淺害蟲(chóng)的同時(shí)分割,從圖7可清晰觀察到深色害蟲(chóng)的翅膀及觸角等細(xì)節(jié),證明本研究算法在多種顏色害蟲(chóng)存在時(shí)分割結(jié)果更精確可靠。
圖6 紅底樣本分割效果對(duì)比Figure 6 Comparison of sample segmentation effects on red background
圖7 HC算法與本研究算法對(duì)深色害蟲(chóng)分割的比較Figure 7 Comparison of HC algorithm and research algorithm on dark pest segmentation
為了評(píng)價(jià)算法的分割圖像效果優(yōu)劣,本研究將采用平均分割時(shí)間、準(zhǔn)確率和召回率對(duì)算法的分割結(jié)果進(jìn)行衡量[17]。為了比較各算法的效率,將使其對(duì)每幅圖像進(jìn)行多次分割,然后取平均處理時(shí)間來(lái)作最終評(píng)價(jià)。準(zhǔn)確率(P)和召回率(R)的公式如下:
式(8)~(9)中:N為像素個(gè)數(shù);Gn表示基準(zhǔn)圖像第n個(gè)像素是否為分割目標(biāo)像素;Sn表示分割圖像第n個(gè)像素是否為分割目標(biāo)像素,值為0或1。本研究取權(quán)重系數(shù)為0.3,來(lái)防止由于顯著性檢測(cè)導(dǎo)致召回率過(guò)高的問(wèn)題。準(zhǔn)確率表示目標(biāo)分割的準(zhǔn)確性,召回率為檢測(cè)區(qū)域與基準(zhǔn)圖像區(qū)域的比值,表示算法分割的完整性。使用選取的5種算法對(duì)樣本進(jìn)行圖像處理,并且將人工分割的圖像作為基準(zhǔn)圖像,得到3個(gè)評(píng)價(jià)指標(biāo)(表1)。
由表1可知:本研究算法的準(zhǔn)確率及召回率最高,其他算法易出現(xiàn)分割陰影等非目標(biāo)輪廓,或分割不出深色害蟲(chóng)。準(zhǔn)確率相比其他4種算法均提高約13%。在召回率上,本研究算法提高了10%以上,最高達(dá)53%。準(zhǔn)確率和召回率的提升,體現(xiàn)了本研究算法的精確性和可靠性。在分割速度方面,本研究算法高出水平集算法約3倍,且總耗時(shí)滿足裝置的實(shí)際需求。除水平集算法外,其他3種算法雖然分割時(shí)間短,但無(wú)法分割多種害蟲(chóng)同時(shí)存在的圖像,故可以接受本研究算法小幅延長(zhǎng)分割時(shí)間后,完成了更高要求的分割。
表1 準(zhǔn)確率、召回率和分割速度對(duì)比Table 1 Comparison of accuracy recall, and segmentation speed
本研究算法處理后得到的結(jié)果誤差控制在5%以內(nèi)。即使在光照不穩(wěn)定和害蟲(chóng)種類以及姿態(tài)復(fù)雜的環(huán)境下采集的圖像中,本研究算法也可以較精確避免輕微重疊和陰影的影響進(jìn)行分割。在多種顏色害蟲(chóng)同時(shí)存在時(shí),本研究算法也可分割出幾乎接近實(shí)際害蟲(chóng)的輪廓。因此,本研究算法簡(jiǎn)單、高效且充分滿足分割精度和速度的需求,適宜于害蟲(chóng)收集裝置內(nèi)部使用,達(dá)到對(duì)害蟲(chóng)比例進(jìn)行準(zhǔn)確計(jì)算的目的。