賀付亮，郭永彩，高 潮，陳 靜

?

基于視覺顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)的成熟桑葚圖像分割

賀付亮1,2，郭永彩1※，高 潮1，陳 靜3

（1. 重慶大學光電技術(shù)及系統(tǒng)教育部重點實驗室，重慶 400044；2. 西南大學電子信息工程學院，重慶 400715；3. 重慶市北碚區(qū)農(nóng)業(yè)委員會，重慶 400700）

為了提高在自然采摘環(huán)境中成熟桑葚機器視覺識別的有效性和魯棒性，克服圖像目標形態(tài)小、分布雜散、背景干擾多和光照不均勻等困難，該文提出了一種采用視覺顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)（pulse coupled neural network，PCNN）模型的成熟桑葚圖像分割方法。該方法首先將采集的圖像映射到Lab顏色空間，利用空間顏色分量的算術(shù)平均值和高斯濾波值之間的差異，構(gòu)建起桑葚圖像的頻率調(diào)諧視覺顯著圖；其次，提取采集圖像在HSI顏色空間的色調(diào)分量，經(jīng)過均衡化處理后，與視覺顯著圖進行融合，實現(xiàn)桑葚目標的融合特征表達；最后，通過改進的分層閾值化脈沖耦合神經(jīng)網(wǎng)絡(luò)模型進行目標分割以及形態(tài)學處理，得到成熟桑葚的識別結(jié)果。利用從重慶市天府鎮(zhèn)果桑生態(tài)園采集到的200余幅桑樹掛果圖像進行試驗，結(jié)果表明，該方法能夠在不同光照條件的復雜背景下，有效分割出成熟果實，平均誤分率為1.87%，優(yōu)于結(jié)合頻率調(diào)諧視覺顯著性的OTSU法（17.73%）、-means聚類算法（10.69%）、基于Itti視覺顯著性的PCNN分割方法（7.34%）和基于GBVS（graph-based visual saliency，GBVS）視覺顯著性的PCNN分割方法（5.83%）。研究結(jié)果為成熟桑葚果實的智能化識別提供參考。

圖像分割；機器視覺；模型；桑葚；視覺顯著性；頻率調(diào)諧；脈沖耦合神經(jīng)網(wǎng)絡(luò)

0 引 言

桑葚又名桑果，是落葉喬木桑樹（Morus alba Linn）的果實，是國家營養(yǎng)學會認定的 20 種食藥同源果蔬之一，其保健作用和營養(yǎng)價值早為人們熟知，具有較高的市場價值[1-3]。但是，桑葚屬于漿果類果實，成熟后掛果時間短，常溫下12～18 h即變色、脫落和腐爛[4-5]，這就需要對桑樹掛果實時監(jiān)測，快速識別其果實成熟情況。然而，山丘地形的種植環(huán)境，加之人工的巡檢方式，使得當前桑葚成熟的監(jiān)測工作處于勞動強度大、人力成本高、效率低的狀況。大面積的成熟果實無法及時監(jiān)測和采摘，從而出現(xiàn)大量落果，給果農(nóng)帶來了嚴重的經(jīng)濟損失。

所以，研究利用機器視覺方法實時、準確判斷果實成熟度，幫助成熟果品及時監(jiān)測、采摘和儲存，對于獲得最佳的果實采摘率，提高桑葚的有效利用率和果農(nóng)的經(jīng)濟效益都有著重要的意義。

近年來，對成熟果實的智能化識別研究已經(jīng)成為智慧農(nóng)業(yè)技術(shù)關(guān)注的熱點之一[6-8]。不少學者在蘋果、葡萄和草莓等果品上，利用圖像分割技術(shù)，結(jié)合果實形狀、顏色等特征的識別方法（包括OTSU法、-means法、模糊C均值聚類法、反向傳播（back propagation，BP）神經(jīng)網(wǎng)絡(luò)法、徑向基（radial basis function，RBF）神經(jīng)網(wǎng)絡(luò)法等），實現(xiàn)了成熟水果的智能化判斷[9-15]。但同時，當前這些方法也存在著局限。 OTSU等非監(jiān)督分類方法在復雜背景下小目標分割的效果不佳，BP、 RBF等神經(jīng)網(wǎng)絡(luò)監(jiān)督分類方法存在著需要大量數(shù)據(jù)訓練，迭代運算時間長等不足。

桑葚成熟果實的視覺分割問題，相對于其他水果，具有形狀?。槎鄶?shù)小瘦果集合而成的聚花果[16-17]），掛果分布無規(guī)律，圖像背景存在大量復雜干擾因素等特點，所以直接應(yīng)用當前方法，效果不佳。針對上述問題，本文以采摘環(huán)境中桑葚的掛果圖像為研究對象，提出了一種結(jié)合頻率調(diào)諧的視覺顯著性和脈沖耦合神經(jīng)網(wǎng)絡(luò)的成熟桑葚目標視覺分割方法，以期為成熟桑葚果實的智能化識別提供參考。

1 材料與方法

1.1 桑樹掛果圖像采集

桑樹掛果圖像的采集地點在重慶市北碚區(qū)天府鎮(zhèn)果桑生態(tài)園，平均海拔為600 m，處于山坡地形，規(guī)模化種植了龍桑、紅果等各類果桑，面積達200 hm2。課題組于2016年5月桑葚成熟期間，利用Canon EOS70D數(shù)碼相機采集了200余幅的桑樹掛果圖像，包括90幅龍桑，90幅紅果和20余幅白玉王。拍攝時間為白天，包含了陽光照射充足的晴天和無太陽直射的多云陰天等天氣條件。拍攝光照為自然環(huán)境光照，在4種情況下對成熟桑葚進行成像，包含了晴天太陽光均勻照射，晴天太陽光非均勻照射（采集圖像出現(xiàn)較強的背景光點干擾），晴天遮陰（桑葚處于葉片等遮蓋物陰影下），陰天光照（沒有太陽直射，光照不足但相對均勻）。拍攝圖像分辨率為3 648×5 472像素，拍攝距離為30～80 cm。本文算法進行試驗時，會將所采集圖像壓縮至720×1 280像素，這樣可進一步集成到“桑葚生長遠程智能監(jiān)測物聯(lián)網(wǎng)系統(tǒng)”中，匹配其監(jiān)控攝像頭的分辨率。

1.2 成熟桑葚分割方法

本文提出的成熟桑葚圖像分割方法流程如圖1所示。首先對采集圖像進行顏色空間分量的提取，分別選取Lab顏色空間三分量和HSI顏色空間的色調(diào)（hue，）分量。然后利用整幅圖像在Lab空間上各分量的算術(shù)平均值與每一個像素點經(jīng)過高斯濾波后所獲值之間的差異，得到原圖像基于頻率調(diào)諧的視覺顯著性表達。另一方面，對色調(diào)分量進行均衡化處理，處理后的結(jié)果與顯著圖進行特征融合，從而形成脈沖耦合神經(jīng)網(wǎng)絡(luò)模型（pulse coupled neural network，PCNN）的輸入圖像。最后，經(jīng)過改進的分層閾值化PCNN模型和相關(guān)形態(tài)學處理，得到成熟桑葚的識別結(jié)果。

1.2.1 顏色空間的選取

自然天氣光照條件下獲取的桑樹掛果圖像，受環(huán)境影響，存在著光照不均勻、陰影遮擋和色溫變化等特點，使得成熟桑葚的顏色特征表達應(yīng)選取合適的顏色空間。

CIE Lab顏色空間是由國際照明委員會（commission internationale de l’eclairage，CIE）制定的一種數(shù)字化描述的均勻色彩空間，該色彩空間基于人眼對自然顏色的感知形成[18]。其中，表達了亮度層分量，表達了紅/綠軸上的顏色分量，表達了黃/藍軸上的顏色分量。通過3個分量的幾何距離差異，可以較好的區(qū)別出同一圖像中不同的顏色區(qū)域，且3個分量相互之間獨立性高，所以適合于做目標顯著性的特征表達。因此，本文在此空間引入了對成熟桑葚目標的頻率調(diào)諧視覺顯著性描述，使之成為識別目標的特征之一。色調(diào)是HSI顏色空間中的分量，該分量在此空間中單獨控制顏色，具有光照不變性?？梢杂脕韽浹a在Lab空間上，表達成熟桑葚顯著性時受光照不均勻所帶來的影響。

本文方法所涉及的Lab、HSI顏色空間的相關(guān)分量獲取均通過數(shù)碼相機的CMOS傳感器所獲取的RGB顏色空間模式表達的JPEG圖像轉(zhuǎn)換得來。

1.2.2 頻率調(diào)諧的視覺顯著性表達

頻率調(diào)諧（frequency-tuned，F(xiàn)T）是圖像的視覺顯著性的一種檢測方法，由Achanta等學者在2009年從圖像頻率成分分析的角度提出，定義了在Lab空間下整幅圖像的顏色均值與每一個像素點經(jīng)過高斯濾波后所獲得的顏色值之間的差異，來表達其視覺顯著性[19-20]：

其中，

（2）

這里，高斯濾波器是利用了多個高斯差分的結(jié)合成為帶通濾波器，這樣就形成了一個多尺度邊緣檢測器，表達為：

將此方法應(yīng)用于成熟桑葚目標的特征表達中，如圖2所示。所獲得的視覺顯著圖，能夠有效捕捉到各顏色空間分量的劇烈跳變點，充分表達出形狀小且不規(guī)范的桑葚成熟果實與周圍葉子、枝干以及未成熟桑果等背景之間的顏色差異，如圖2b所示。這種圖像頻率調(diào)諧的視覺顯著性表達，利用了圖像平均信息，是一種全局對比度的描述方法，能夠在Lab顏色空間清晰的表達出成熟桑葚的邊緣輪廓，從而為成熟桑葚有效分割提供了豐富的特征信息。

a. 原始圖像????b. 對應(yīng)的頻率調(diào)諧視覺顯著性圖

1.2.3 色調(diào)分量均衡化與特征融合

光照問題是機器視覺技術(shù)中面臨的主要難題之一，光強變化會改變采集圖像的灰度值，從而影響到成熟桑葚分割的準確性。在本文方法中，因為利用到Lab空間中光強表達的亮度分量去構(gòu)建桑葚圖像的視覺顯著圖，所以該特性會受光照不均勻的影響。因此，這里提出引入HSI顏色空間中分量融合到桑葚目標特征表達中，該色調(diào)分量的特點就是能從人的視覺感知表達目標的顏色特征，同時不受光照影響。

對于分量，本文首先進行了對比度受限自適應(yīng)直方圖均衡化（contrast limited adaptive histogram equalization，CLAHE）調(diào)整[21-23]，目的在于增強圖像局部的顏色對比度，可以更多捕獲成熟桑葚目標與背景之間的細節(jié)差異。另外，該方法對比普通的直方圖均衡算法，使用了對比度限幅，可以克服圖像均衡化過程中噪音過度放大的問題。

桑樹掛果圖像的均衡化分量與頻率調(diào)諧視覺顯著圖兩個特征通過式（5）進行融合，表達為

1.2.4 改進分層閾值化PCNN模型

脈沖耦合神經(jīng)網(wǎng)絡(luò)模型（pulse coupled neural network，PCNN）是由Eckhorn等學者模擬哺乳動物視覺皮層構(gòu)建提出的，近年來國內(nèi)外學者對其改進和簡化[24-27]，形成了適合于圖像目標檢測的模型。這里為了適應(yīng)成熟桑葚掛果圖像特點，使之在復雜的種植環(huán)境中，有效分割出多個小目標，筆者提出了改進的分層閾值化PCNN模型來實現(xiàn)目標分割。式（6）～（10）描述了其單個神經(jīng)元離散迭代模型的工作機理：

（7）

（8）

（10）

整個分層閾值化PCNN模型是按照式（6）～（10）式構(gòu)建神經(jīng)元網(wǎng)絡(luò)模型，并迭代對輸入圖像進行點火分割，輸出特征相似的桑葚目標對象。式中為反饋輸入，這里定義為桑樹掛果圖像的均衡化分量與頻率調(diào)諧視覺顯著性之間融合后，所形成圖像矩陣的每一個元素值；為連接輸入，為連接權(quán)矩陣,為鄰域內(nèi)其它神經(jīng)元上一次迭代的脈沖輸出；為該神經(jīng)元內(nèi)部活動項，則為活動項的耦合強度系數(shù)；為迭代分割的脈沖輸出；為動態(tài)閾值，是控制每一次圖像分割輸出的關(guān)鍵。這里改進了它的設(shè)置方法，提出了利用每一次迭代分割后輸出目標區(qū)域內(nèi)的均值通過系數(shù)衰減后形成得到。其中，表達為

PCNN模型屬于人工神經(jīng)網(wǎng)絡(luò)模型，但它不需要訓練，就能根據(jù)任務(wù)自適應(yīng)地實現(xiàn)非線性化分類。即將本文提出的桑樹掛果圖像融合特征圖輸入到改進分層閾值化PCNN模型時，該模型會自動建立起對應(yīng)圖像像元720′1 280個神經(jīng)元，通過上述迭代運算，實現(xiàn)對相似特征神經(jīng)元的集體觸發(fā)點火，從而產(chǎn)生一系列的輸出圖像，最后通過最小交叉信息熵規(guī)則篩選，形成了成熟桑葚的分割區(qū)域。

1.2.5 成熟桑葚目標的輸出

在成熟桑葚區(qū)域分割出后，目標圖像還會呈現(xiàn)出果實不完整和一些殘留噪聲，包括桑葚特有的聚花果形態(tài)小顆粒果實之間的分割空隙、樹葉遮擋后不完整桑果等，如圖3a所示，該圖像為原始圖像圖2a在經(jīng)過特征融合，并由改進分層閾值化PCNN模型區(qū)域分割后得到的結(jié)果。本文利用形態(tài)學膨脹和腐蝕組合運算，在該結(jié)果上去除獨立噪聲，平滑連通成熟桑葚目標區(qū)域，最后完成成熟果實的輸出，如圖3b和圖3c所示。

a. 輸入圖像a. Input imageb. 去除噪聲的結(jié)果b. Results after noise removalc. 平滑連通的成熟桑葚區(qū)域c. Ripe mulberry regions after smoothing and connecting

2 試驗與結(jié)果分析

2.1 試驗環(huán)境與參數(shù)選擇

為了驗證所提出方法在成熟桑葚視覺分割中的性能，選擇如下平臺進行試驗：

硬件配置：Intel? Core?i7-3520M 2.90 GHz CPU，8GB RAM，NVIDIA Quadro NVS 5200M 顯卡的計算機。

軟件環(huán)境：采用Window 7操作系統(tǒng)，在Visual C++ 2015編程環(huán)境中實現(xiàn)，由C/C++語言編寫，具有較好的移植性，可進一步用于其他硬件平臺應(yīng)用。

改進的分層閾值化PCNN模型的參數(shù)設(shè)置是根據(jù)成熟桑葚目標分割的特點，參考文獻[25]和[27]并通過多次試驗調(diào)整得到。確定了式（7）中鄰域空間連接權(quán)矩陣，由中心像素的8鄰域邊界像素距離決定，取式（12）：

2.2 成熟桑葚分割結(jié)果

試驗對象為晴天均勻光照、晴天非均勻光照、晴天遮陰和陰天光照等4種光照條件下拍攝的桑樹掛果圖像，每一種選取50幅進行試驗，每一幅圖像分辨率為720′1 280像素。每一幅試驗圖像上不僅包含了呈現(xiàn)為紫紅或紫黑色顏色特征急待摘取的桑葚成熟果實這一識別目標。同時，還存在了綠色同形態(tài)的未成熟桑葚、綠色桑葉、褐灰色桑樹枝干以及顏色與成熟桑葚相近的深紅色土壤等大量背景干擾。試驗?zāi)繕嗽O(shè)計為，在自然環(huán)境的桑樹掛果圖像中，有效分割出成熟桑葚，完整提取果實目標。

另外，試驗還選取了目前廣泛采用的果實圖像非監(jiān)督分割算法：基于頻率調(diào)諧視覺顯著圖的OTSU法、利用顏色空間分量聚類的-means法，以及分別用桑葚圖像的Itti視覺顯著圖[28-29]、GBVS視覺顯著圖[30-31]替換本文采用的頻率調(diào)諧視覺顯著圖，所形成的PCNN模型法等共計4種分割方法，與本文算法在成熟桑葚目標的檢測效果上進行對比。

其中，-means法參考文獻[9]和[10]，在Lab顏色空間上進行聚類，參數(shù)取為3。

圖4～7展現(xiàn)了所選取方法在試驗圖像上所獲得的一些典型結(jié)果，同時就這些結(jié)果本文將展開進一步的分析。

2.3 結(jié)果分析

從圖4～7的分割結(jié)果可以看到：

1）本文方法能夠從大量桑葉、桑樹枝干的復雜背景圖像中準確提取到桑葚成熟果實，典型如圖4f、圖5f、圖6f和圖7f所示。而OTSU法和-means法受圖像中桑葉和桑樹枝干等干擾因素影響較大，易出現(xiàn)較多目標誤分割。基于Itti視覺顯著圖和GBVS視覺顯著圖的PCNN分割方法，效果相對較好，但不及本文方法，在圖5和圖6中表現(xiàn)尤為明顯。

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

a. 原始圖像b. OTSU方法的分割結(jié)果c. K-means方法的分割結(jié)果d.Itti顯著圖分割結(jié)果e.GBVS顯著圖分割結(jié)果f. 本文方法的分割結(jié)果 a. Original imageb. Segmentation result by OTSUc. Segmentation result by K-meansd. Segmentation result based on Itti saliency mape. Segmentation result based on GBVS saliency mapf. Segmentation by our method

2）與其他方法比較，本文方法能夠有效區(qū)別出未成熟的綠色桑果與成熟的紫紅或紫黑色桑果，特別如圖4和圖6這樣的近景圖像表現(xiàn)更為明顯。

3）本文方法能有效克服非均勻光照帶來的強光點影響，典型如圖5a中右上方的太陽強光和圖6a中正下方枝干上的直射光并未在本文算法上造成誤分割結(jié)果。而基于Itti視覺顯著圖、GBVS視覺顯著圖的PCNN分割方法卻受光照影響較大，在有強光光斑的圖像中分割效果較差，如圖5d、圖6d和圖5e、圖6e展示結(jié)果所示。OTSU法和和-means法同樣在非均勻光強下表現(xiàn)不佳。

4）本文方法能夠克服顏色與成熟桑葚相近的深紅色土壤的影響，典型如圖7f圖所示。

綜上，從分割效果直觀看出，本文方法能夠在不同自然光照條件下，從桑樹掛果的復雜背景圖像中，有效鑒別出成熟桑葚。

2.4 性能指標評價

為了進一步客觀地驗證本文方法的有效性，選用了文獻[26]中的誤分率（misclassification error, ME）來對圖像分割性能指標進行評價。

表1展示了對比方法在晴天均勻光照、晴天非均勻光照、晴天遮陰和陰天光照等4種光照條件下桑葚圖像分割的平均誤分率，每一種包含了50幅圖像的平均結(jié)果。從分割性能的平均指標上看，非均勻光照的光斑對各類試驗算法的分割結(jié)果都有一定影響，特別在晴天遮陰光照條件下影響最大。但從整體情況上看，本文方法在不同光照條件下均有較好的性能指標，適應(yīng)光照變化的能力最強。

表1同時也展示了不同對比試驗方法在200幅測試圖像上的平均運行時間。從時間指標上來看，本文算法相對于OTSU法和-means法，要耗時一些，但時間花費不是太高，與-means方法接近?；贗tti視覺顯著性和GBVS視覺顯著性的PCNN分割方法，由于在其視覺顯著圖的計算復雜度上相比于頻率調(diào)諧方法要大，所以花費時間比本文算法更長。

但同時，本文方法也存在一些問題：1）當桑葚果實出現(xiàn)被桑葉遮擋或者相互遮擋重疊的時候，會出現(xiàn)分割不完整的問題，如圖8b所示。2）另外，對于白玉王這類成熟與未成熟果實之間顏色差異較小的品種，分割效果不理想，如圖8d所示。這些問題也是今后課題研究需要關(guān)注的方向。

表1 對比方法在不同光照條件下50幅桑葚圖像的平均誤分率和在200幅試驗圖像上平均運行時間

a. 遮擋桑葚原始圖像a. Original image of occluded mulberriesb. 遮擋桑葚圖像分割結(jié)果b. Segmentation result of occluded mulberries imagec. 成熟白玉王原始圖像c. Original image of ripe “bai yu wang” mulberriesd. 白玉王桑葚圖像分割結(jié)果d. Segmentation result of “bai yu wang” mulberries image

圖8 遮擋的桑葚和成熟白玉王的視覺分割

Fig.8 Visual segmentation results of occluded mulberries and ripe “bai yu wang”mulberries

3 結(jié) 論

本文提出了一種成熟桑葚目標的視覺分割方法，該方法利用了圖像目標在Lab顏色空間的頻率調(diào)諧視覺顯著圖和在HSI顏色空間的均衡化分量的融合特征，在脈沖耦合神經(jīng)網(wǎng)絡(luò)模型中實現(xiàn)了有效的、魯棒的成熟桑葚識別。通過在晴天均勻光照、晴天非均勻光照、晴天遮陰和陰天光照等4種光照條件下200余幅桑葚圖像的試驗分析，結(jié)果表明：1）本文方法對于光照變化具有一定的魯棒性，能在不同天氣的光照條件下，較為準確的提取成熟桑葚目標，最大平均誤分率也僅為2.78%（晴天遮陰光照條件）；2）本文方法為非監(jiān)督分類方法，不需要大量樣本圖像訓練，即可實現(xiàn)桑葚的有效分割；3）本文方法能夠適應(yīng)成熟桑葚的圖像分布特點，能夠克服桑葚采摘環(huán)境中復雜背景干擾，對比當前果實分割的OTSU法（17.73%）、-means法算法（10.69%）和基于Itti視覺顯著性（7.34%）、GBVS視覺顯著性的PCNN分割方法（5.83%），具有較好的效果，總體平均誤分率為1.87%。下一步研究工作中將進一步在實時硬件平臺上優(yōu)化該方法，使之應(yīng)用在“桑葚生長遠程智能監(jiān)測物聯(lián)網(wǎng)系統(tǒng)”中，實現(xiàn)桑葚成熟果實采摘的智能提醒和產(chǎn)量估計。

[1] 徐子棋，饒良懿，朱金兆，等. 水淹脅迫下飼料桑苗的生長及光合響應(yīng)[J]. 農(nóng)業(yè)工程學報，2015，31(22)：105－114.Xu Ziqi, Rao Liangyi, Zhu Jinzhao, et al. Growth and photosynthesis characteristics of mulberry under flooding stress[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(22): 105－114. (in Chinese with English abstract)

[2] Dimitrijevic D S, Kostic D A, Stojanovic G S, et al. Phenolic composition, antioxidant activity, mineral content and antimicrobial activity of fresh fruit extracts of Morus alba L.[J]. Journal of Food & Nutrition Research, 2014, 53(1): 22－30.

[3] 曾令樹. 果桑的利用價值與發(fā)展現(xiàn)狀概述[J]. 蠶學通訊，2015，35(3)：22－25. Zeng Lingshu. An overview of utilization value and development status of mulberry[J]. Newsletter of Sericultural Science, 2015, 35(3): 22－25. (in Chinese with English abstract)

[4] 丁紅星，李敏通，彭俊，等. 桑葚振動采摘參數(shù)的試驗研究[J]. 農(nóng)機化研究，2016，38(10)：183－212. Ding Hongxing, Li Mintong, Peng Jun, et al. Experimental study on the vibration parameters of mulberry picking[J]. Journal of Agricultural Mechaniz-ation Research, 2016, 38(10): 183－212. (in Chinese with English abstract)

[5] 趙玲玲，姜文利，張巖，等. 不同天然生物保鮮液對桑葚貯藏品質(zhì)的影響[J]. 保鮮與加工，2015，15(4)：26－31. Zhao Lingling, Jiang Wenli, Zhang Yan, et al. Effect of different natural biological preservative solution on storage quality of mulberry[J]. Storage & Process, 2015, 15(4): 26－31. (in Chinese with English abstract)

[6] 周金輝，馬欽，朱德海，等. 基于機器視覺的玉米果穗產(chǎn)量組分性狀測量方法[J]. 農(nóng)業(yè)工程學報，2015，31(3)：221－227.Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221－227. (in Chinese with English abstract)

[7] 柳琪. 農(nóng)機行業(yè)下一個熱點將是農(nóng)業(yè)機器人[J]. 農(nóng)業(yè)機械，2016(6)：41－45. Liu Qi. Agricultural robots will be the next focus in agricultural machinery industry[J]. Agricultural Machinery, 2016(6): 41－45. (in Chinese with English abstract)

[8] Nandi C, Tudu B, Koley C. A machine vision technique for grading of harvested mangoes based on maturity and quality[J]. IEEE Sensors Journal, 2016, 16(16): 6387－6396.

[9] 苗中華，沈一籌，王小華，等. 自然環(huán)境下重疊果實圖像識別算法與試驗[J]. 農(nóng)業(yè)機械學報，2016，47(6)：21－26. Miao Zhonghua, Shen Yichou, Wang Xiaohua, et al. Image recognition algorithm and experiment of overlapped fruits in natural environment[J]. Transactions of the Chinese Society of Agricultural Machinery, 2016, 47(6): 21－26. (in Chinese with English abstract)

[10] 賈偉寬，趙德安，劉曉洋，等. 機器人采摘蘋果果實的-means和GA-RBF-LMS神經(jīng)網(wǎng)絡(luò)識別[J]. 農(nóng)業(yè)工程學報，2015，31(18)：175－183. Jia Weikuan, Zhao Dean, Liu Xiaoyang, et al. Apple recognition based on-means and GA-RBF-LMS neural network applicated in harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(18): 175－183. (in Chinese with English abstract)

[11] 羅陸鋒，鄒湘軍，熊俊濤，等. 自然環(huán)境下葡萄采摘機器人采摘點的自動定位[J]. 農(nóng)業(yè)工程學報，2015，31(2)：14－21. Luo Lufeng, Zou Xiangjun, Xiong Juntao, et al. Automatic positioning for picking point of grape picking robot in natural environment[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(2): 14－21. (in Chinese with English abstract)

[12] 徐黎明，呂繼東. 基于同態(tài)濾波和均值聚類算法的楊梅圖像分割[J]. 農(nóng)業(yè)工程學報，2015, 31(14)：202－208.Xu Liming, Lü Jidong. Bayberry image segmentation based on homomorphic filtering and-means clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(14): 202－208. (in Chinese with English abstract)

[13] 陳科尹，鄒湘軍，熊俊濤，等. 基于視覺顯著性改進的水果圖像模糊聚類分割算法[J]. 農(nóng)業(yè)工程學報，2013，29(6)：157－165. Chen Keyin, Zou Xiangjun, Xiong Juntao, et al. Improved fruit fuzzy clustering image segmentation algorithm based on visual saliency[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(6): 157－165. (in Chinese with English abstract)

[14] Ji W, Zhao D, Cheng F, et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering, 2012, 38(5): 1186－1195.

[15] 張紅旗，王春光，李海軍. 基于遺傳算法的草莓圖像FCM分割方法研究[J]. 農(nóng)機化研究，2015，37(4)：55－57. Zhang Hongqi, Wang Chunguang, Li Haijun. The research of strawberry image FCM segmentation method based on genetic algorithm[J]. Journal of Agricultural Mechanization Research, 2015, 37(4): 55－57. (in Chinese with English abstract)

[16] 徐偉芳，王愛印，舒平，等. 幾種常見桑樹病害的識別與防治[J]. 蠶學通訊，2015，35(2)：22－30. Xu Weifang, Wang Aiyin, Shu Ping, et al. Identification and control of several diseases commonly occurred in mulberries[J]. Newsletter of Sericultural Science, 2015, 35(2): 22－30. (in Chinese with English abstract)

[17] 陳誠. 桑椹品質(zhì)特性分析與研究[D]. 南寧：廣西中醫(yī)藥大學藥學院，2011：11－12.

[18] 嚴春來. 彩色圖像分割算法的研究[D]. 成都：電子科技大學計算機科學與工程學院，2008：10－11.

[19] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]// Conference on Computer Vision and Pattern Recognition. IEEE, 2009: 1597－1604.

[20] Achanta R, Süsstrunk S. Saliency detection using maximum symmetric surround[C]// Conference on Image Processing. IEEE, 2010: 2653－2656.

[21] Josephus C S, Remya S. Multilayered contrast limited adaptive histogram equalization using frost filter[C]// Recent Advances in Intelligent Computational Systems. 2011: 638－641.

[22] 楊衛(wèi)中，徐銀麗，喬曦，等. 基于對比度受限直方圖均衡化的水下海參圖像增強方法[J]. 農(nóng)業(yè)工程學報，2016，32(6)：197－203. Yang Weizhong, Xu Yinli, Qiao Xi, et al. Method for image intensification of underwater sea cucumber based on contrast- limited adaptive histogram equalization[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(6): 197－203. (in Chinese with English abstract)

[23] 姬偉，陶云，趙德安，等. 基于CLAHE的蘋果樹樹枝迭代閾值分割方法研究[J]. 農(nóng)業(yè)機械學報，2014，45(4)：69－75. Ji Wei, Tao Yun, Zhao Dean, et al. Iterative threshold segmentation of apple branch images based on CLAHE[J]. Transactions of the Chinese Society of Agricultural Machinery, 2014, 45(4): 69－75. (in Chinese with English abstract)

[24] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: Simulations of results from cat visual cortex[J]. Neural Computation, 1990, 2(3): 293－307.

[25] Chen Y, Park S, Ma Y, et al. A new automatic parameter setting method of a simplified PCNN for image segmentation[J].IEEE Transactions on Neural Networks, 2011, 22(6): 880－892.

[26] Gao C, Zhou D, Guo Y. An iterative thresholding segmentation model using a modified pulse coupled neural network[J]. Neural Processing Letters, 2014, 39(1): 81－95.

[27] Zhou D, Zhou H, Gao C, et al. Simplified parameters model of PCNN and its application to image segmentation[J].Pattern Analysis and Applications, 2016, 19(4): 939－951.

[28] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1998, 20(11): 1254－1259.

[29] Liu L, Yu X, Ding B. A fast segmentation algorithm of PET images based on visual saliency model[J]. Procedia Computer Science, 2016, 92(1): 361－370.

[30] Sch?lkopf B, Platt J, Hofmann T. Graph-based visual saliency[C]// Conference on Advances in Neural Information Processing Systems. MIT Press, 2010: 545－552.

[31] Zhu D, Wang B, Zhang L M. Airport detection based on near parallelity of line segments and GBVS saliency[J]. Journal of Infrared & Millimeter Waves, 2015, 34(3): 375－384.

Image segmentation of ripe mulberries based on visual saliency and pulse coupled neural network

He Fuliang1,2, Guo Yongcai1※, Gao Chao1, Chen Jing3

(1.400044,; 2.400715,; 3.400700,)

In the planting environment, it is difficult to detect the ripe mulberry targets automatically by machine vision because of the small shape, irregular distribution of fruits, non-uniformly illuminating condition and complex background interference. This paper presents a visual segmentation approach of ripe mulberries based on frequency-tuned (FT) saliency map and the pulse coupled neural network (PCNN) model in order to improve the segmentation precision and robustness for ripe mulberries. Firstly, the captured mulberry image is transformed into Lab color space. This color space is designed by the perception of the human eye in the natural color. Consequently, the color feature of the target can be expressed by 3 independent components i.e.,, and. Next, the FT saliency map of mulberries can be computed by a multiscale edge detector. And it typically distinguishes differences between the region of ripe mulberries and the complex background in Lab color space. This saliency is illustrated as the difference matrix which includes the Euclidean distance of each pixel between the Lab vectors in the Gaussian filtered image and the average Lab vectors in the original image. Thereafter, the hue feature is extracted from the HSI (hue, saturation, intensity) color space of the captured mulberry image, and then equalized by contrast limited adaptive histogram equalization (CLAHE), which can enhance the color contrast of the mulberry image without being affected by illumination changes. And the feature image of mulberries is generated by fusing the FT saliency and the hue feature, as an input of the improved multilevel threshold PCNN model. Furthermore, the region of ripe mulberries can be detected by this PCNN model, which is a bio-inspired neural network and derived from synchronous dynamics of neuronal activity in a mammal visual cortex. This model is able to cause the adjacent neurons with similar inputs to pulse synchronously, and be appropriate to segment the small target from the complex background. Finally, the segmentation result of the ripe mulberry is acquired by morphology repair operation, and it ensures the integrity of the target region and the independent noise removal. In order to verify the effect of the method proposed in this paper, there were 200 test images captured from the mulberry ecological park of the Tianfu Town, Chongqing City, China in May, 2016. The acquisition time was often on sunny day and cloudy day, aiming at obtaining images under different lighting conditions, such as balanced illumination, imbalanced illumination and backlight. These images were collected by the Canon EOS70D digital camera with 3 648×5 472 pixels, and zoomed into 720×1 280 pixels to apply to the remote intelligent monitoring system of mulberry growth. The algorithm programming development platform is Visual C++ 2015. The experimental results point out that the average misclassification error (ME) by our method is only 1.87%, infinitely superior to the OTSU method with FT saliency (17.73%), the-means method (10.69%), the improved multilevel threshold PCNN method based on Itti saliency map (7.34%), and the PCNN method based on graph-based visual saliency (GBVS) image (5.83%). The average segmentation time of a test image based on our method is 2.562 3 s. Consequently, our approach is effective to segment the ripe mulberries in the complicated background and different lighting conditions.

image segmentation; computer vision; models; mulberry; visual saliency; frequency-tuned; pulse coupled neural network

10.11975/j.issn.1002-6819.2017.06.019

TP391.41

A

1002-6819(2017)-06-0148-08

2016-08-31

2017-01-06

教育部博士點基金（20130191110021）；中央高校基本業(yè)務(wù)費專項資金資助（XDJK2013C157）

賀付亮，男，重慶人，講師，主要從事農(nóng)業(yè)信息化及測控技術(shù)研究。重慶西南大學電子信息工程學院，400715。Email：lighter@swu.edu.cn

郭永彩，女，重慶人，教授，博士生導師，主要從事光電技術(shù)及智能化儀器、數(shù)字信號處理研究；重慶重慶大學光電技術(shù)及系統(tǒng)教育部重點實驗室，400044。Email：ycguo@cqu.edu.cn