龍金輝,朱真峰
(1.鄭州大學信息工程學院,鄭州450052;2.河南機電職業(yè)學院信息系,鄭州451191)
圖像分割技術是實現(xiàn)采摘機器人視覺識別與定位的支撐技術。采集圖像中的復雜背景制約了機器人視覺處理系統(tǒng)對圖像的準確分割與目標區(qū)域的完整獲取。因此,研究如何提高圖像分割精度并提取出完整目標區(qū)域具有重要的實用價值。目前,針對采摘機器人視覺處理系統(tǒng)采集的圖像進行有效分割的研究還處在不斷發(fā)展探索階段。Huang等[1]提出基于二維直方圖和遺傳算法的二維模糊熵的紅富士蘋果圖像分割方法,實現(xiàn)了復雜自然場景以及光照變化情況下的蘋果圖像分割;呂繼東等[2]在對果實圖像顏色統(tǒng)計分析的基礎上,采用基于顏色特征的Otsu動態(tài)閾值圖像分割方法對蘋果圖像進行快速分割;王丹丹等[3]通過聚類算法獲取目標區(qū)域,采用Ncut算法提取蘋果目標輪廓,然后利用Spline插值算法重建遮擋蘋果目標輪廓,實現(xiàn)蘋果目標分割與重建;徐黎明等[4]使用同態(tài)濾波算法對楊梅圖進行預處理,然后應用K均值聚類算法在Lab顏色空間中對彩色楊梅圖像進行分割;Harrell等[5-7]通過對水果特性的分析,實現(xiàn)了將果實從背景中提取出的閾值分割算法;Ghabousian等[8-9]將模糊聚類圖像分割算法應用于水果疤痕檢測,可以有效分割出水果表面疤痕;趙海波等[10-14]提出了改進的模糊聚類圖像分割算法,并應用于成熟果蔬的檢測與識別。
隨著智能農業(yè)的發(fā)展,機器人將在棉花采摘作業(yè)過程中發(fā)揮越來越重要的作用。采棉機器人視覺處理系統(tǒng)工作的前提是在采集的棉花圖像中準確識別出目標區(qū)域,實際上就是將棉花這一目標區(qū)域從圖像中分割出來。然而針對棉花圖像分割的研究還不是很多。劉廣瑞等[15]將彩色圖像轉化為灰度圖像,通過閾值法分割棉花圖像;張成梁等[16]提出了將分水嶺變換與改進模糊C均值聚類融合的方法對棉花圖像進行分割;王玲等[17]選取噪聲較低的色調-強度-飽和度(Hue,intensity and saturation,HIS) 和 La*b*顏色空間基于閾值對棉花圖像進行分割。劉坤等[18]提出1種基于隨機Hough變換的對自然環(huán)境中的棉花識別方法;劉金帥等[19]首先計算出Fisher判別向量和各類的質心,根據像素點距離各質心最近的準則進行棉花圖像分割;韋皆頂等[20]在色調-飽和度 -亮度(Hue,saturation and value,HSV)顏色空間下使用S通道作為棉花圖像的特征進行閾值分割;陳欽政等[21]結合閾值法提出了1種在Ohta顏色空間下基于支持向量機的棉花圖像分割算法。劉廣瑞等[22]通過采用圖像分割中的Otsu最佳閾值法及相關圖像處理方法實現(xiàn)了對棉花幼苗的有效識別。
本研究分析了閾值分割算法、模糊聚類(FuzzyC-means,F(xiàn)CM)以及相應改進的圖像分割算法[23-26]、量子粒子群(Quantum particle swarm optimization,QPSO)圖像分割算法[27]和馬爾可夫隨機場(Markov random field,MRF)分割圖像算法[28]等算法的優(yōu)劣以及適用性;參考圖像像素信息與數量特征,以成熟棉花圖像為例,提出了融合馬爾可夫隨機場與量子粒子群聚類的棉花圖像分割算法,以期解決上述分割算法中的問題,有效避免噪聲干擾,提高分割圖像精度。
由于受到各種干擾因素影響,待分割圖像存在一定數量噪聲。因此,進行圖像分割時要考慮鄰域信息?;隈R爾可夫隨機場的圖像分割算法[28]在解決像素所屬類的過程中參考了鄰域像素所屬類,該算法具有較好的抗噪聲能力。
在馬爾可夫隨機場模型中,像素所屬的類由鄰域像素所屬類決定,其中,ηij是像素yij的鄰域,ηij={t1,t2,…t8},如圖 1 所示。
圖1 yij的鄰域 ηijFig.1 yijand its neighborhoodηij
FCM算法由Bezdek等提出,其基本思想是使用隸屬度來確定每個數據點屬于某個類別的程度,通過迭代運算,求出目標函數的最小化,以確定其最佳類別。模糊聚類算法將n個樣本點X=(x1,x2,…,xn)劃分為c類,并求出每個類的聚類中心vi(i=1,2,…,c),使得目標函數達到最小。其中,每個樣本點的隸屬度取值范圍為[0,1],每個樣本點與相應聚類中心的隸屬度構成隸屬矩陣U。uij∈[0,1]是模糊隸屬度,表示第j個樣本點隸屬于第i類的程度,滿足約束條件
目標函數為:
其中,dij為第i個聚類中心與第j個樣本點的距離,如果算法用于圖像分割,則該距離實際上可以選取2個像素點的灰度值變化量的絕對值。
該算法是通過迭代方法求解目標函數的最小值,然后依據隸屬度矩陣確定像素類別。
QPSO算法[27]在粒子群算法的粒子進化方式的基礎上融入了量子物理學思想,在量子空間中通過蒙特卡羅方法確定粒子的位置。粒子位置的確定公式:
其中:pBesti(t)和gBest(t)分別是在第i次迭代過程中第i個局部最優(yōu)粒子位置和全局最優(yōu)粒子位置,Ф1,Ф2,u是在(0,1)區(qū)間服從均勻分布的隨機數,p為局部引子;mBest(t)為第i次迭代過程中粒子的平均最佳位置;β為收縮擴張因子,其值可以調整;M為群體大??;D為維數。
在群體智能算法中,量子粒子群算法相對于傳統(tǒng)粒子群算法的特征是全局尋優(yōu)策略更有效、算法的收斂性更好以及算法的控制參數更少。因此,筆者在進行圖像分割算法設計中吸納了量子粒子群算法思想。
圖像的聚類分割方法本質上是根據圖像像素灰度值與聚類中心像素灰度值的接近程度對像素點聚類。理想的顏色模型應使得目標區(qū)域像素灰度與背景區(qū)域像素灰度差異明顯,這樣可以通過分割算法有效地獲取目標區(qū)域。如果顏色空間的選取不合適,將會對圖像分割結果造成不利影響。通過比較,本算法選取RGB顏色模式,將讀入的彩色圖像轉換為灰度圖像,并且選取綠色通道灰度圖像作為待分割圖像;針對模糊聚類圖像分割算法容易陷入局部極值的問題,采用量子粒子群聚類算法進行圖像初步分割;充分參考鄰域信息以增強算法的抗噪聲能力,由初步分割的結果作為依據,采用馬爾可夫隨機場圖像分割方法得到中間分割結果,這樣既可提高分割算法的抗噪聲能力,又可避免分割算法陷入局部極值;最后,由于在確定距離所采集的棉花圖像中棉花目標面積大小是可以推定范圍的。因此,本算法通過設定連通區(qū)域面積閾值范圍提取目標區(qū)域。
本研究圖像分割算法的具體步驟為:(1)將讀入的彩色圖像轉換為灰度圖像。(2)初始化算法參數值,設置種群規(guī)模為N=20,最大迭代次數為50;初始化隸屬度矩陣。(3)初始化粒子位置,初始化粒子各分量值在適當的取值范圍;根據式(2)返回粒子的適應度值,遴選局部最佳位置的適應度值。(4)通過式(2)返回的粒子適應度值進行比較擇優(yōu),根據粒子局部極值pBesti(t)更新全局極值gBest(t)。(5)更新聚類中心和隸屬度矩陣,并使用式(4)、式(5)、式(6)對粒子的位置進行更新,產生下次循環(huán)使用的粒子群。(6)判斷是否達到設置的迭代次數,如果達到迭代次數則退出循環(huán);然后輸出全局最優(yōu)解gBest(t),根據全局最優(yōu)解將圖像進行目標區(qū)域與背景區(qū)域劃分的初步分割;否則,轉到步驟4。(7)以初步分割的結果作為依據,計算得到馬爾可夫隨機場模型,由最大概率原則得到中間分割結果。(8)對中間分割結果中的連通區(qū)域進行處理,依據圖像中棉花目標區(qū)域面積的最小值與最大值設定連通區(qū)域面積閾值范圍。例如,本研究處理的圖像像素為130×130,經測算棉花目標區(qū)域面積介于3 332~8 754像素;因此,可以將連通區(qū)域面積閾值范圍設定在3 332~8 754像素,標記為分割的目標區(qū)域,不在這個范圍的連通區(qū)域可以看成干擾噪聲,作為背景區(qū)域,將其各像素的值設置為零。
1.5.1運行平臺環(huán)境。操作系統(tǒng)Windows XP;CPU Intel Core2 Duo T6570 2.10 GHz,RAM 1.9 GB。采用MATLAB R2012b進行仿真。
1.5.2分析對象(棉花圖像)采集與選擇。9月下旬晴天條件下,在河南省新鄉(xiāng)縣七里營鎮(zhèn)棉花種植區(qū)(棉花品種為新植雜2號),從不同角度采集在自然環(huán)境下進入吐絮期的棉花圖像。從采集的100幅圖像中選取30幅進行試驗。
1.5.3算法及運行參數設置。分別運行Otsu閾值法、聚類分割算法、量子粒子群分割算法、馬爾可夫隨機場分割算法和本算法。依據解空間,對粒子群各粒子位置進行初始化,粒子規(guī)模20,最大迭代次數50次,像素灰度級為255。
1.5.4效果評價。為了更客觀地評估本算法,引入分割效果的評價指標Jaccard相似度(Jaccard similarity,JS)與峰值信噪比(Peak signal to noise ratio,PSNR)對圖像分割結果進行定量評價。其計算公式為:
在式(7)中,S1,S2分別表示圖像分割結果像素集合和標準分割像素集合;該比值越接近1分割效果越好,分割精度越高。在式(8)中,m,n分別為圖像的行數與列數;PSNR值越大表明圖像分割效果越好。
圖2 棉花圖像及其灰度直方圖Fig.2 Cotton images and their gray scale histogram
隨機選取經過處理后得到像素大小為130×130的棉花正面圖像與棉花側面圖像各1幅,它們的灰度直方圖如圖2所示。從圖2可以看出,圖像像素灰度分布呈現(xiàn)雙峰狀態(tài),這些圖像適用于圖像分割算法的評價。將得到的棉花正面灰度圖像(圖2-b)和棉花側面灰度圖像(圖2-d)作為算法的輸入圖像,分別運行Otsu閾值法、聚類分割算法、量子粒子群分割算法、馬爾可夫隨機場分割算法和本算法,分割結果如圖3和圖4所示??梢钥闯觯舅惴ǚ指罱Y果與人工標準分割結果最接近,分割效果最好。
圖3 棉花正面圖像分割結果Fig.3 Cotton front image segmentation results
圖4 棉花側面圖像分割結果Fig.4 Cotton side image segmentation results
將15幅棉花正面圖像和15幅棉花側面圖像作為算法的輸入圖像,分別運行上述原有的4種算法和本算法,根據所得結果計算JS與PSNR,結果見表1和表2??梢钥闯?,受復雜背景因素的干擾,分割算法會將類似像素灰度區(qū)域錯誤地識別為目標區(qū)域。Otsu算法分割棉花圖像的JS與PSNR最低;FCM算法和QPSO算法分割效果相當;MRF算法的抗噪聲能力強于Otsu算法、FCM算法和QPSO算法;本算法對棉花正面圖像與棉花側面圖像進行分割所得到的JS與PSNR在所有算法中都是最高的,平均值分別為98.94%、77.48 dB。與Otsu算法、FCM算法、QPSO算法和MRF算法相比,本算法分割精度平均提高 4.56、3.20、3.69、2.47 百分點,PSNR平均提高 13.10 dB、12.53 dB、12.36 dB、9.81 dB。
提出了融合馬爾可夫隨機場與量子粒子群聚類的棉花圖像分割算法:首先,將讀入的RGB模式的棉花彩色圖像轉換為灰度圖像;其次,將利用圖像鄰域信息的馬爾可夫隨機場模型、具有隨機遍歷性的量子粒子群全局尋優(yōu)策略以及對圖像中的少量模糊和不確定點具有良好適應性的模糊聚類方法相融合,進行圖像分割;最后,在分割圖像的基礎上通過對連通區(qū)域面積閾值的設定以獲取目標區(qū)域。并通過分割效果評價,驗證了本算法的有效性。
表1 各算法分割結果精度(JS)比較Table 1 Comparison of precision of segmentation results of each algorithm %
表2 各算法分割結果峰值信噪比比較Table 2 Comparison ofPSNRof each algorithm segmentation result dB
[1]Huang L W,He D J,Yang S X.Segmentation on ripe Fuji apple with fuzzy 2D entropy based on 2D histogram and GA optimization[J].Intelligent Automation&Soft Computing,2013,19(3):239-251.
[2]呂繼東,趙德安,姬偉.蘋果采摘機器人目標果實快速跟蹤識別方法[J].農業(yè)機械學報,2014,45(1):65-72.Lü Jidong,Zhao De’an,Ji Wei.Fast tracing recognition method of target fruit for apple harvesting robot[J].Transactions of the Chinese Society for Agricultural Machinery,2014,45(1):65-72.
[3]王丹丹,徐越,宋懷波,等.融合K-means與Ncut算法的無遮擋雙重疊蘋果目標分割與重建[J].農業(yè)工程學報,2015,31(10):227-234.Wang Dandan,Xu Yue,Song Huaibo,et al.Fusion ofK-means and Ncut algorithm to realize segmentation and reconstruction of two overlapped apples without blocking by branches and leaves[J].Transactions of the Chinese Society of Agricultural Engineering,2015,31(10):227-234.
[4]徐黎明,呂繼東.基于同態(tài)濾波和K均值聚類算法的楊梅圖像分割[J].農業(yè)工程學報,2015,31(14):202-208.Xu Liming,Lü Jidong.Bayberry image segmentation based on homomorphic filtering andK-means clustering algorithm[J].Transactions of the Chinese Society of Agricultural Engineering,2015,31(14):202-208.
[5]Harrell R C,Slaughter D C,Adsit P D.A fruit tracking system for robotic harvesting[J].Machine Vision and Applications,1989,2(2):69-80.
[6]Grift T,Zhang Q,Kondo N,et al.A review of automation and robotics for the bio-industry[J].Journal of Biomechatronics Engineering,2008,1(1):37-54.
[7]蔡健榮,周小軍,李玉良,等.基于機器視覺自然場景下成熟柑橘識別[J].農業(yè)工程學報,2008,24(1):175-178.Cai Jianrong,Zhou Xiaojun,Li Yuliang,et al.Recognition of mature oranges in natural scene based on machine vision[J].Transactions of the Chinese Society of Agricultural Engineering,2008,24(1):175-178.
目前我國資產評估的主要目的還是服務于礦業(yè)權交易和政府備案,在礦業(yè)市場融資方面起到的作用很少。合理準確的資產評估對礦業(yè)市場融資是一個有力保證,通過制定相關政策和科學的引導,推動礦產資源資產評估在市場融資中的作用,提高評估結果的權威性和可信度,使礦產資源資產評估與市場充分結合,改善礦業(yè)投資環(huán)境。
[8]Ghabousian A,Shamsi M.Segmentation of apple color images utilizing fuzzy clustering algorithms[J].Advances in Digital Multimedia,2012,1(1):59-63.
[9]Moradi G,Shamsi M,Sedaghi M H,et al.Fruit defect detection from color images using ACM and MFCM algorithms[C]//Proceedings of the International Conference on Electronic Devices,Systems and Application,April 25-27,2011.Kuala Lumpur,Malaysia:Institute of Electrical and Electronics Engineers,2011:182-186.
[10]趙海波,周向紅.基于計算機視覺的番茄催熟與正常熟識別[J].農業(yè)工程學報,2011,27(2):355-359.Zhao Haibo,Zhou Xianghong.Recognition of artificial ripening tomato and nature mature tomato based on computer vision[J].Transactions of the Chinese Society of Agricultural Engineering,2011,27(2):355-359.
[11]熊俊濤,鄒湘軍,陳麗娟,等.基于機器視覺的自然環(huán)境中成熟荔枝識別[J].農業(yè)機械學報,2011,42(9):162-166.Xiong Juntao,Zou Xiangjun,Chen Lijuan,et al.Recognition of mature litchi in natural environment based on machine vision[J].Transactions of the Chinese Society for Agricultural Machinery,2011,42(9):162-166.
[12]熊俊濤,鄒湘軍,陳麗娟,等.荔枝采摘機械手果實識別與定位技術[J].江蘇大學學報,2012,33(1):1-5.Xiong Juntao,Zou Xiangjun,Chen Lijuan,et al.Fruit recognition and positioning technology of litchi picking manipulator[J].Journal of Jiangsu University,2012,33(1):1-5.
[13]陳科尹,鄒湘軍,熊俊濤,等.基于視覺顯著性改進的水果圖像模糊聚類分割算法[J].農業(yè)工程學報,2013,29(6):157-165.Chen Keyin,Zou Xiangjun,Xiong Juntao,et al.Improved fruit fuzzy clustering image segmentation algorithm based on visual saliency[J].Transactions of the Chinese Society of Agricultural Engineering,2013,29(6):157-165.
[14]王富春,徐越,宋懷波.西紅柿果實目標識別方法研究[J].農機化研究,2015(10):24-28.Wang Fuchun,Xu Yue,Song Huaibo.Study on identification of tomatos[J].Journal of Agricultural Mechanization Research,2015(10):24-28.
[15]劉廣瑞,黃真,毛樹春,等.OTSU最佳閾值法在棉花幼苗識別中的應用研究[J].棉花學報,2013,25(1):86-89.Liu Guangrui,Huang Zhen,Mao Shuchun,et al.Application study about optimal threshold method in cotton seedling recognition[J].Cotton Science,2013,25(1):86-89.
[16]張成梁,李蕾,董全成,等.基于顏色和形狀特征的機采棉雜質識別方法[J].農業(yè)機械學報,2016,47(7):28-34.Zhang Chengliang,Li Lei,Dong Quancheng,et al.Recognition method for machine-harvested cotton impurities based on color and shape features[J].Transactions of the Chinese Society for Agricultural Machinery,2016,47(7):28-34.
[17]王玲,王萍,陳兵林,等.基于顏色閾值的田間籽棉圖像分割技術[J].作物學報,2010,36(3):503-507.Wang Ling,Wang Ping,Chen Binlin,et al.Image segmentation technique of field cotton based on color threshold[J].Acta A-gronomica Sinica,2010,36(3):503-507.
[18]劉坤,費樹岷,汪木蘭,等.基于改進隨機Hough變換的棉桃識別技術[J].農業(yè)機械學報,2010,41(8):160-165.Liu Kun,Fei Shumin,Wang Mulan,et al.Cotton recognition based on randomized Hough transform[J].Transactions of the Chinese Society for Agricultural Machinery,2010,41(8):160-165.
[19]劉金帥,賴惠成,賈振紅.基于YCbCr顏色空間和Fisher判別分析的棉花圖像分割研究[J].作物學報,2011,37(7):1274-1279.Liu Jinshuai,Lai Huicheng,Jia Zhenhong.Image segmentation of cotton based on YCbCr color space and fisher discrimination analysis[J].Acta Agronomica Sinica,2011,37(7):1274-1279.
[20]韋皆頂,費樹岷,汪木蘭,等.基于HSV顏色模型的自然場景下棉花圖像分割策略研究[J].棉花學報,2008,20(1):34-38.Wei Jieding,Fei Shumin,Wang Mulan,et al.Research on the segmentation strategy of the cotton images on the natural condition based upon the HSV color-space model[J].Cotton Science,2008,20(1):34-38.
[21]陳欽政,賴惠成,王星,等.一種基于支持向量機的棉花圖像分割算法[J].計算機工程,2013,39(5):266-269.Chen Qinzhen,Lai Huicheng,Wang Xing,et al.An cotton image segmentation algorithm based on support vector machine[J].Computer Engineering,2013,39(5):266-269.
[22]劉廣瑞,黃真,毛樹春,等.OTSU最佳閾值法在棉花幼苗識別中的應用研究[J].棉花學報,2013,25(1):86-89.Liu Guangrui,Huang Zhen,Mao Shuchun,et al.Application study about OTSU optimal threshold method in cotton seedling recognition[J].Cotton Science,2013,25(1):86-89.
[23]Hafiane A,Zavidovique B.FCM with spatial and multiresolution constraints for image segmentation[C]//Proceedings of the Second International Conference on Image Analysis and Recognition.Toronto,Canada:Institute of Electrical and Electronics Engineers,2005:17-23.
[24]Sun J,Feng B,Xu W B.Particle swarm optimization with particles having quantum behavior[C]//Proceeding of the 2004 Congress on Evolutionary Computation.Portland,USA:Institute of Electrical and Electronics Engineers,2004:325-331.
[25]Bezdek J C.Pattern recognition with fuzzy objection function algorithms[M].New York:Plenum Press,1981.
[26]張小紅,寧紅梅.基于混沌粒子群和模糊聚類的圖像分割算法[J].計算機應用研究,2011,28(12):4786-4789.Zhang Xiaohong,Ning Hongmei.Fuzzy clustering image segmentation algorithm based on CPSO[J].Application Research of Computers,2011,28(12):4786-4789
[27]許亞駿,吳小俊.基于量子行為粒子群優(yōu)化的軟子空間聚類算法[J].模式識別與人工智能,2016,29(6):558-565.Xu Yajun,Wu Xiaojun.Soft subspace clustering algorithm based on quantum-behaved particle swarm optimization[J].Pattern Recognition and Artificial Intelligence,2016,29(6):558-565.
[28]佘黎煌,鐘華,張石.結合馬爾可夫隨機場與C-模糊均值聚類的腦圖像分割[J].中國圖象圖形學報,2012,17(12):1554-1560.She Lihuang,Zhong Hua,Zhang Shi.Fuzzy C-means clustering algorithm combined with Markov random field for brain MR image segmentation[J].Journal of Image and Graphics,2012,17(12):1554-1560.