張?zhí)煊?，張立新，?云，王 歡，劉光欣

石河子大學(xué) 機(jī)械電氣工程學(xué)院，新疆 石河子 832000

1 引言

紅花是新疆主要經(jīng)濟(jì)作物之一，目前以人工采摘為主，雖然國內(nèi)外學(xué)者對紅花采摘機(jī)進(jìn)行了相關(guān)研究[1-3]，但都離不開人力勞動的參與。隨著農(nóng)業(yè)收獲領(lǐng)域的快速機(jī)械化發(fā)展，紅花采摘機(jī)器人的研制具有重要經(jīng)濟(jì)和社會價值，而花絲的準(zhǔn)確識別與定位是紅花采摘的重要環(huán)節(jié)。

近年來，基于計算機(jī)視覺的果蔬采摘識別與定位方法研究取得顯著成果，也成為果蔬采摘機(jī)器人研制的熱點和難點之一，不僅應(yīng)用在蘋果[4-6]、柑橘、番茄[7]、葡萄[8]等果實中，同時也出現(xiàn)在茶葉、草莓[9]、杭白菊等圖像識別中，例如在杭白菊果實的識別中，樊俊[10]等人分析了其顏色特征和紋理特征，提出了一種可以將杭白菊從復(fù)雜自然環(huán)境中快速分割出來的方法；郭艾俠[11]等人先是提取了荔枝區(qū)域的質(zhì)心、最小外接矩形等特征，然后結(jié)合母枝上的Harris特征點來計算荔枝采摘點的二維坐標(biāo)值，能夠滿足現(xiàn)有技術(shù)要求；張浩[12]等人為了識別自然環(huán)境下的茶葉嫩梢，提出了一種運用色彩因子法的主動視覺定位嫩梢的方法，此方法有效地將茶葉嫩梢進(jìn)行定位。羅陸鋒[13]等人對聚類圖像分割算法進(jìn)行改進(jìn)，并運用點線最小距離約束，解決了葡萄輪廓不規(guī)則、果梗顏色復(fù)雜多變等因素，提出了一種采摘點定位新方法。

諸如上述研究都是針對一些常見果蔬類作物，其外形輪廓相對平滑、規(guī)則。而紅花屬于絲狀團(tuán)簇類作物，盛開期的花絲呈細(xì)管狀，橙紅色，無數(shù)花絲構(gòu)成球體外形，不規(guī)則外形的特點對圖像的識別與定位造成一定難度，同時國內(nèi)外學(xué)者對紅花花絲圖像的識別與定位鮮有研究。本文針對紅花盛開期的顏色和圖簇狀特點[14-15]，提出了一種花絲識別與中心點標(biāo)定的理論方法，可為紅花采摘機(jī)器人視覺系統(tǒng)的開發(fā)提供理論基礎(chǔ)。

2 材料與方法

2.1 圖像采集

圖像采集選用型號為Canon EOS 760D的數(shù)碼相機(jī)，為避免抖動影響成像質(zhì)量，采集過程中輔助以相機(jī)支架固定，拍攝時與紅花成俯視角度，距離為40 cm；同時由于采集后的圖像像素過大，處理緩慢，在MATLAB R2015b圖像處理軟件上進(jìn)行統(tǒng)一調(diào)整分辨率為480像素×640像素。

采集地點在石河子大學(xué)試驗農(nóng)場，采集環(huán)境為自然光照下的上午11點；紅花的開花周期一般為7天，所以采集對象為花開1～7天的紅花，共計210張。

2.2 圖像分割與輪廓提取

2.2.1 圖像預(yù)處理

自然環(huán)境下拍攝的紅花圖像會因光照條件的限制以及周圍環(huán)境的影響存在隨機(jī)噪聲，為消除圖像信號干擾，本文在比較高斯、均值、中值濾波器的處理效果后，考慮到不減小圖像對比度的同時，又可以降低異常值影響，選用中值濾波對圖像進(jìn)行預(yù)處理，以期對孤立噪聲進(jìn)行良好濾波。

2.2.2 顏色特征分析

顏色特征可以將紅花與周圍背景進(jìn)行有效區(qū)分，常用的顏色模型主要有RGB、HSV和HIS模型等，而RGB顏色模型可以直接將拍攝到的紅花圖像進(jìn)行圖像數(shù)據(jù)處理，不需要進(jìn)行其他模型間的轉(zhuǎn)換，減少圖像處理的時間，速度較快。本文在RGB模型下分別對圖像的R分量、G分量和B分量進(jìn)行提取，繪制三維模型圖，如圖1所示。

通過對比可以看出，在R分量狀態(tài)下的紅花圖像，花絲區(qū)域顏色閾值高度分布緊密，大小趨于一致，與周圍環(huán)境差異明顯，但由于自然光線的影響，存在與花絲顏色閾值相近的區(qū)域，仍需對其作進(jìn)一步的分割處理。而在提取G分量和B分量的狀態(tài)下，如圖1（b）和（c）所示，區(qū)域閾值大小不一，山峰和山谷零散分布，不能完整表示出花絲的輪廓形狀，原因是盛開期的紅花主要以紅色為主，且色素分布集中，而綠色素和藍(lán)色素主要集中在葉子和果球中。

通過對比分析色差R-B、R-G和G-B的灰度直方圖和三維模型圖（圖2）可知，色差R-B和R-G能進(jìn)一步將紅花花絲與周圍環(huán)境區(qū)分，圖2（a）和圖2（b）顯示，花絲區(qū)域閾值大小與周圍環(huán)境差異明顯，外形輪廓突出；并且通過二者的灰度直方圖可以看出，R-B分量中波峰和波谷分布明顯，波峰之間間距更大，更容易區(qū)分，也就表明花絲與周圍環(huán)境在灰度特性上差異明顯，根據(jù)波谷顯示，可以選擇一個較為合適的閾值進(jìn)行分割，確定圖像中每個像素點所隸屬的區(qū)域是花絲還是背景，為后續(xù)的閾值分割提供條件。

2.2.3 閾值分割

考慮到花絲在不同開放天數(shù)時的顏色差異，以R-B為特征值，運用可自適應(yīng)確定閾值的最大類間方差法（OTSU算法）進(jìn)行圖像分割，避免了人工取閾值的不準(zhǔn)確性[16]。

在分割過程中，以σ2B(T)代表閾值為k時的類間方差，ωi，μi分別為Ci組μi中像素產(chǎn)生的概率和組內(nèi)所有像素點灰度值的均值，μ為整體圖像所有像素點灰度的均值。兩組間的類間方差為[17]：

分割后的紅花圖像如圖3（b）所示，可以看出，圖像能較完整地保留紅花花絲的像素信息，但由于花絲為團(tuán)簇細(xì)條狀，存在諸多孤立小點、孔洞和毛刺，要實現(xiàn)花絲進(jìn)一步識別與定位還需對其進(jìn)行數(shù)學(xué)形態(tài)學(xué)處理。

2.3 花絲輪廓變換

圖3（b）顯示，分割后的圖像外輪廓雖近似為圓形，但花絲由中心向外散開，諸多細(xì)條狀花絲圖像并不連續(xù)，圖形內(nèi)部存在孔洞，且背景區(qū)域存在孤立小點。利用數(shù)學(xué)形態(tài)學(xué)中的腐蝕與膨脹可對上述圖像進(jìn)行輪廓處理[18]，消除孔洞，使圖像更加平滑規(guī)則。

圖1 紅花圖像R、G、B因子三維模型圖

圖2 色差分割效果圖

圖3 Otsu分割效果圖

傳統(tǒng)形態(tài)學(xué)處理方法存在計算量大、效率低、效果不理想等缺點，同時由于紅花花絲為團(tuán)簇狀，圖形輪廓雖類似圓形，但其針狀突刺明顯，以圓形結(jié)構(gòu)元素為基礎(chǔ)的膨脹、腐蝕在處理過程中不僅會增加突刺細(xì)條的像素分布面積，改變最外圍像素點的分布結(jié)構(gòu)（圖4（b）），且存在過腐蝕現(xiàn)象，致使圖像內(nèi)部孔洞增大，像素點缺失（圖4（c）），無規(guī)則分布，圖形對稱性降低，而花絲中心點的獲取往往需要其具有較好的對稱性，所以上述處理并不利于后續(xù)花絲圖像的二維中心點提取。

圖4 形態(tài)學(xué)處理效果圖

本文根據(jù)花絲團(tuán)簇狀特征，以開、與、膨脹運算相互結(jié)合的形式，提出了一種改進(jìn)的花絲圖像形態(tài)學(xué)處理方法，具體為選取不同開放天數(shù)的花絲二值圖像A，以半徑不同的結(jié)構(gòu)元素S對其進(jìn)行開運算，可表示為A°S=(A ?S )⊕S ，記為圖像B（圖4（d））；然后將原二值圖像A與處理后的圖像B取交集（圖4（e）），記為C=A?B；最后對圖像C進(jìn)行膨脹運算并填充，消除棱角和孔洞，如圖4（f）所示。在處理過程中，圖像會因開運算間接增加花絲的像素點信息，存在棱角突出，圖像不平滑等現(xiàn)象，而與原圖像進(jìn)行交集運算后不僅消除了外圍突刺，并且還原了原始圖像花絲信息，保證了其真實性。通過此方法，極大地保留了花絲原有分布結(jié)構(gòu)，使其更加光滑規(guī)則，為后續(xù)的中心點定位奠定基礎(chǔ)。

2.4 二維中心點提取

紅花采摘機(jī)器人在采摘紅花時，需要進(jìn)行單株逐個采摘，因此在采摘時必須確定出紅花花絲的準(zhǔn)確位置。質(zhì)心法是一種常用的圖像定位算法，應(yīng)用廣泛，但其對圖像的對稱性要求較高，將輪廓變換后圖像的黑色背景部分的像素點橫、縱坐標(biāo)分別設(shè)為0，白色部分像素點的橫、縱坐標(biāo)分別設(shè)為1。對整個圖像的像素點進(jìn)行識別判斷，若橫坐標(biāo)像素點i為1，則輸出像素點信息，依次累加并計算像素個數(shù)，否則為0；同樣縱坐標(biāo)像素點 j依次進(jìn)行判斷并依據(jù)結(jié)果累加，最后將所得到的像素點坐標(biāo)進(jìn)行求平均值，得出花絲坐標(biāo)的二維坐標(biāo)值，其公式如下：

式中，i,j為花絲圖像像素的橫、縱坐標(biāo)；f0為花絲圖像的灰度閾值；Ω為圖像中所有像素集合。

由上式可以看出，質(zhì)心法需對花絲圖像像素點進(jìn)行逐一計算，計算量大，且由圖4（c）可以看出，花絲圖像內(nèi)部空隙較多，對稱性較差，導(dǎo)致定位誤差較大。加權(quán)質(zhì)心是對質(zhì)心法的一種改進(jìn)，通過對像素累加過程中的改進(jìn)來減小計算量，其公式如下：

此時得出的(xk,yk)即為花絲的中心點坐標(biāo)，記為A1。同時為了改進(jìn)中心點定位存在的偏差，本文引入最大內(nèi)切圓法來計算花絲中心點坐標(biāo)，記為A2，最后取兩個中心點的平均值作為最終結(jié)果。最大內(nèi)切圓定位公式如下：

其中xai、yai表示花絲內(nèi)部像素點的橫縱坐標(biāo)；xbj、ybj表示花絲圖像邊緣像素點橫縱坐標(biāo)；Di表示花絲內(nèi)部像素點到圖像邊緣的最小距離。同時定義最大內(nèi)切圓半徑 R=maxi(Di)，相應(yīng)的 xai、yai即為中心點坐標(biāo)[19]，處理結(jié)果如圖5（b）所示。

圖5 花絲中心點標(biāo)定圖

3 實驗對比與結(jié)果分析

3.1 對比分析

以采集到的開放第二天的花絲為例，運用常規(guī)方法和本文所提出的方法進(jìn)行對比實驗，結(jié)果如圖6所示。在用質(zhì)心法進(jìn)行中心點標(biāo)定的過程中，遍歷整個圖像的像素點信息，進(jìn)行求和取平局值，計算量大，而改進(jìn)的質(zhì)心法在計算過程中以圖形灰度閾值為基準(zhǔn)進(jìn)行運算，減小了運算時間，提高了處理速度；但是花絲圖像為不規(guī)則圖形，會因一側(cè)的圖像突出導(dǎo)致中心點偏移（圖6（a）），造成定位誤差；同時因花絲圖像整體為類圓形，最大內(nèi)切圓法通過在其內(nèi)部尋找最大內(nèi)切圓并標(biāo)記原點，具有一定準(zhǔn)確性，但其內(nèi)部所有邊緣點并非全部分布在圓上，同時圓外花絲部分不均勻?qū)ΨQ分布，尋求最大內(nèi)切圓同樣會存在中心點的實際誤差（圖6（b））；而結(jié)合改進(jìn)質(zhì)心法和最大內(nèi)切圓法對花絲圖像進(jìn)行中心點定位，取二者平均值，一定程度降低了誤差，提高了準(zhǔn)確性，圖6（d）顯示，定位后的圖像不僅包含了花絲全部信息，將外圍花絲計算在內(nèi)，保留了圖像完整性，而且降低了單一方法對中心點造成的誤差，更直觀地反映出花絲中心點位置，準(zhǔn)確度較高。

圖6 不同方法效果對比圖

3.2 實驗結(jié)果與分析

對采集到的1～7天的210張圖像運用本文所述紅花花絲識別與中心點標(biāo)定方法進(jìn)行運算，處理結(jié)果如表1和圖7所示。

表1 花絲二維中心點標(biāo)定結(jié)果表

由圖7可以看出，紅花在開放第一天時（圖7（a）），花絲逐漸長出，比較稚嫩，隨著開放天數(shù)的增加，生長態(tài)勢逐漸飽滿，水分增加，待開放第三天時達(dá)最佳狀態(tài)（圖7（c）），價值最高，也最適宜采摘；而從第四天開始，如圖7（d）所示，原先挺立的花絲開始出現(xiàn)萎蔫現(xiàn)象，第六天時花絲幾乎全部萎蔫，水分丟失（圖7（f））；第七天時花絲干癟，分布散亂（圖7（g））。整個系列圖片顯示，花絲的開放可以看作是一個由點到球再到無規(guī)則形狀的過程，所以在形狀上最容易識別的階段，即開放2～3天的花絲，符合花絲的采摘時間段要求，正確識別率最高（100%）。顏色方面，剛開放的紅花主要是以黃紅色為主，隨著天數(shù)增加，紅色素逐漸積累，相比較開放第三天，第四天的花絲紅色素明顯增多，此時花絲的藥用價值減弱，紅色素提取價值增加，而市場上主要以收購2～3天的花絲為主。

圖7 不同時期紅花開放圖

通過表1可以看出，該方法對開放1～5天的花絲可以較為準(zhǔn)確地進(jìn)行識別與標(biāo)定，而對第六天（60%）和第七天（53.3%）的具有較大偏差。這是由于花絲在開放2～3天時，其外形輪廓規(guī)則，可以近似看成一種圓形，在進(jìn)行二值圖像的形態(tài)學(xué)處理過程中不會對原有信息進(jìn)行較大變動，雖然從第四天開始，花絲逐漸萎蔫，紅色素增加，但基于最大類間方差法的分割法能夠自動確定閾值，分割后花絲的外形輪廓也近似于圓形。而開放第六和第七天的花絲，水分丟失，花絲干癟，無規(guī)則外形，無法準(zhǔn)確提取出中心點位置。

4 結(jié)束語

（1）在對紅花及其背景圖像提取R、G、B顏色因子的基礎(chǔ)上，利用色差法提取R-B因子，通過灰度直方圖比較，能夠快速區(qū)分紅花花絲與周圍背景顏色；依據(jù)花絲的顏色信息，運用最大類間方差法自動取閾值分割，可有效進(jìn)行不同開放天數(shù)花絲的圖像分割。

（2）針對團(tuán)簇狀、無規(guī)則外形的花絲輪廓，提出一種改進(jìn)的形態(tài)學(xué)處理方法，完整保留了原有花絲像素信息，利于中心點提取；并提出一種改進(jìn)質(zhì)心法和最大內(nèi)切圓法相結(jié)合的花絲二維中心點提取方法，提高了準(zhǔn)確度。

（3）實驗結(jié)果表明，本文方法能較為有效地識別出不同成熟度的花絲信息，同時對比常規(guī)方法，其準(zhǔn)確度更高，尤其是開放2～3天的花絲，準(zhǔn)確率達(dá)100%，但對第六和第七天的花絲具有偏差，尚不能滿足定位要求。