時 雷, 龐曉丹, 閆 宇, 馬新明, 席 磊
(1.河南農(nóng)業(yè)大學(xué)信息與管理科學(xué)學(xué)院,河南 鄭州 450002; 2.河南糧食作物協(xié)同創(chuàng)新中心,河南 鄭州 450002;3.上海交通大學(xué)電子信息與電氣工程學(xué)院,上海 200240)
基于馬氏距離的小麥彩色圖像無監(jiān)督分割研究
時 雷1,2, 龐曉丹1, 閆 宇3, 馬新明1,2, 席 磊1,2
(1.河南農(nóng)業(yè)大學(xué)信息與管理科學(xué)學(xué)院,河南 鄭州 450002; 2.河南糧食作物協(xié)同創(chuàng)新中心,河南 鄭州 450002;3.上海交通大學(xué)電子信息與電氣工程學(xué)院,上海 200240)
為了實現(xiàn)小麥彩色圖像的自動分割,通過采集大田環(huán)境下6個品種的小麥圖像樣本,基于RGB顏色空間,采用馬氏距離對圖像的像素進(jìn)行分類,并構(gòu)建一個無監(jiān)督分割模型.結(jié)果表明,該模型可以快速的分離出小麥圖像與背景圖像,與有監(jiān)督的分割方法的分割效果相當(dāng),差異性在19%以下,可以應(yīng)用于大田環(huán)境下小麥群體圖像的自動分割.
小麥;圖像處理;無監(jiān)督分割
隨著信息技術(shù)和人工智能的發(fā)展,計算機(jī)數(shù)字圖像處理技術(shù)逐漸發(fā)展起來并開始廣泛應(yīng)用于農(nóng)業(yè)工程領(lǐng)域,利用圖像處理技術(shù)來對作物葉片的生長情況監(jiān)測逐漸成為人們的研究熱點(diǎn).河南省是農(nóng)業(yè)大省,小麥?zhǔn)侵饕募Z食作物之一.利用圖像處理技術(shù)對小麥的生長進(jìn)行監(jiān)測是實現(xiàn)農(nóng)業(yè)信息化的重要步驟,具有長遠(yuǎn)意義.目前利用圖像處理技術(shù)在小麥生產(chǎn)中的應(yīng)用已經(jīng)延伸到小麥葉面積估測[1~3]、群體特征[4~6]、雜草識別[7]、營養(yǎng)診斷[8~11]、品種分類[12~14]、病害識別[15]等方面.在圖像處理技術(shù)體系中,圖像分割是圖像分析和模式識別的重要組成部分,決定著圖像的最終分析質(zhì)量和模式識別的判別結(jié)果[16].已有研究表明,圖像分割技術(shù)在小麥葉面積指數(shù)提取、冠層生物量垂直分布特征及氮營養(yǎng)診斷中具有重要作用[1,17],如何準(zhǔn)確分割冠層圖像與土壤背景是獲得生長參數(shù)的基礎(chǔ).對于小麥圖像的分割,近年來已有相關(guān)的研究.黃芬等[18]提出一種基于HIS空間下H分量的K均值聚類算法,可以對不同施氮量、不同光照、不同生長時期小麥冠層圖像的進(jìn)行分割.何建斌等[19]采用K均值聚類和數(shù)學(xué)形態(tài)學(xué)相結(jié)合的方法實現(xiàn)了小麥植株與背景的分離.陳含等[20]通過基于Sobel算子的邊緣檢測方法實現(xiàn)了小麥麥穗圖像的分割.李明等[1]提出了一種改進(jìn)動態(tài)閾值分割方法能夠以較高精度提取小麥的葉面積指數(shù).目前針對小麥的圖像分割大都是基于有人工參與的有監(jiān)督的圖像分割,在實際操作中往往因效率低下、工作量大等缺點(diǎn)而難于投入實際應(yīng)用.因此,一種智能化的、自動的、無監(jiān)督的圖像分割方法對促進(jìn)小麥圖像識別、營養(yǎng)診斷等方面的研究尤為重要.本研究通過采集大田環(huán)境下的小麥圖像,基于RGB顏色空間與馬氏距離,構(gòu)建了一個無監(jiān)督圖像分割模型,為圖像處理技術(shù)在小麥生產(chǎn)中的推廣應(yīng)用奠定了理論基礎(chǔ),并為推動小麥生產(chǎn)的農(nóng)業(yè)信息化進(jìn)程提供了技術(shù)依據(jù).
試驗圖像為小麥拔節(jié)期圖像,采集時間為2013年的3月和4月,在河南農(nóng)業(yè)大學(xué)科教園區(qū)進(jìn)行.圖像采集的小麥品種有:矮早8(AZ8)、衡觀35(HG35)、新麥19(XM19)、偃展4110(YZ4110)、豫麥49-198(YM49-198)和鄭麥366(ZM366).圖像采集均選擇光照充沛、晴朗無風(fēng)的天氣于11:00—14:00之間進(jìn)行.采集日期分別為:2013-03-15,03-22,04-02,04-08,04-15,04-23.
圖像采集設(shè)備為數(shù)碼相機(jī),型號為Canon EOS 5D Mark2,傳感器類型為CMOS,傳感器尺寸為全畫幅(36 mm×24 mm),有效像素為2 110萬,圖像分辨率為5 616×3 744.在進(jìn)行圖像采集時,像機(jī)設(shè)置為自動對焦,光圈優(yōu)先,快門速度使用相機(jī)默認(rèn),關(guān)閉閃光燈,感光度為相機(jī)默認(rèn)(ISO 100~I(xiàn)SO 6 400),自動白平衡,圖像存儲格式為CR2(RAW格式,RAW格式為數(shù)碼相機(jī)傳感器捕獲圖像的原始數(shù)字底片,它保留了大部分的圖像信息).圖像拍攝角度為逆光45°,最大程度上避免葉片反射造成的顏色信息丟失.
2.1基于馬氏距離的圖像分割算法
在目前的彩色模型中,常用于圖像處理的彩色模型主要的RGB,HSI,L*a*b*等.其中,RGB彩色模型是基于硬件的顏色表示方式,在圖像處理中,所有其他的彩色模型都需要從RGB彩色模型經(jīng)過相應(yīng)的變換得到,最終的處理結(jié)果也要返回到RGB彩色模型中來.從圖像的采集到結(jié)果圖像的顯示,RGB彩色模型都是唯一的圖像色彩組織方式.故本研究選取RGB彩色模型來進(jìn)行圖像分割.
圖1 RGB 彩色模型Fig.1 The RGB color model
在RGB彩色模型中,圖像的顏色是由紅、綠、藍(lán)3種原色分量組合而成,其顏色分布是基于笛卡爾坐標(biāo)系,如圖1所示.對于小麥圖像,假設(shè)小麥葉片的顏色是相似的并且分布在彩色模型中的一定區(qū)域,那么就可以對圖像中的顏色通過空間距離來進(jìn)行分類以完成小麥葉片與背景的分割.
馬氏距離是由印度統(tǒng)計學(xué)家MAHALANOBIS提出的,是一種通過數(shù)據(jù)的協(xié)方差距離來檢驗數(shù)據(jù)相似度的一種方法,見公式(1).向量z表示顏色空間中的任意一點(diǎn),向量a為小麥顏色區(qū)域的一個平均顏色估計,C為小麥顏色區(qū)域樣本點(diǎn)的協(xié)方差矩陣.滿足條件D(z,a)≤D0的點(diǎn)的軌道描述了一個三維橢球體,如圖2所示.在小麥圖像中,對每一個像素點(diǎn)進(jìn)行分類,落入到該橢球體內(nèi)的像素點(diǎn)為小麥顏色進(jìn)行保留,否則視為背景顏色并刪除.
(1)
圖2 RGB彩色模型中的顏色分割區(qū)域Fig.2 Segment area of RGB color model
通過馬氏距離對圖像進(jìn)行分割的算法如下:
(⊕:代表矩陣中對應(yīng)位置相乘.)
(1)對于待分割的圖像F,提取其感興趣的區(qū)域mask,mask是感興趣區(qū)域所有像素的RGB顏色值的集合.
(2)對mask重新排列為一個N行3列的矩陣I.
(3)計算矩陣I的均值m和協(xié)方差矩陣C,均值m確定了圖所示的顏色空間中的橢圓中心點(diǎn),矩陣C確定了該橢圓的空間方向.
(4)定義矩陣f為與原圖像大小相同的二值圖像,對原圖像F,對其中的每個像素點(diǎn)進(jìn)行距離計算,大于D0的像素點(diǎn)在f中賦值為0,否則賦值為1.
(5)f為分割后的圖像,通過與原圖像F執(zhí)行⊕運(yùn)算可得到分割后的彩色圖像F’.
通過該算法對小麥圖像進(jìn)行分割,分割所得結(jié)果是二值圖像f及彩色圖像F’,圖像分割效果如圖3所示.
圖3 小麥圖像分割效果Fig.3 The result of wheat image segmentation
2.2圖像顏色信息分布
圖像分割的二值圖像反映了原始圖像中小麥像素與背景像素的索引(其中,1代表小麥像素位置,0代表背景相像位置),根據(jù)索引可以得到原圖像中代表小麥像素點(diǎn)及代表背景像素點(diǎn)的顏色樣本,該樣本能夠反映小麥顏色及其背景顏色在RGB顏色空間中的分布情況.以往的研究常使用直方圖來分析圖像顏色,直方圖雖然可以從整體上反映出圖像的顏色分布情況,但只能針對各顏色通道,忽略了各顏色通道之間的空間關(guān)系.本研究通過在顏色空間中進(jìn)行像素描點(diǎn)來反映圖像的顏色分布.圖4為不同視角下小麥顏色及背景顏色在RGB顏色空間中的分布情況.從圖4可以看出,小麥顏色點(diǎn)及背景顏色點(diǎn)分別聚集成群,點(diǎn)集無混沌交叉,說明通過該算法進(jìn)行圖像分割是可行的,分割結(jié)果明顯.另外,點(diǎn)集之間有明顯區(qū)域性接觸,可能是小麥株體陰影區(qū)域顏色造成的,對分割結(jié)果并未造成影響.
2.3小麥圖像無監(jiān)督分割模型構(gòu)建
前面所述圖像分割算法是在有人工參與選擇感興趣區(qū)域的條件下進(jìn)行的一種有監(jiān)督分割方法.為了構(gòu)建小麥圖像的無監(jiān)督分割模型,本研究選取每個品種有代表性的圖像樣本30個,對每個圖像樣本進(jìn)行有監(jiān)督分割,得到各圖像的小麥顏色樣本點(diǎn)集,并合并為總體顏色樣本點(diǎn)集,計算該總體樣本點(diǎn)集的均值m和協(xié)方差矩陣C作為模型特征向量.該特征向量表征了所有圖像中的小麥顏色樣本在顏色空間中的分布區(qū)域,然后使用該特征向量對每幅圖像進(jìn)行分割,以實現(xiàn)對小麥圖像的無監(jiān)督分割,其處理流程如圖5所示.
為了驗證該模型的分割精度,將采用無監(jiān)督分割模型的分割結(jié)果與采用有人工參與的分割方案進(jìn)行比較.通過2種分割方法分別對每一幅原始圖像進(jìn)行分割,并對結(jié)果圖像中像素點(diǎn)逐一比對得到相異像素點(diǎn)數(shù)目X,把X與像素總體S之比作為2種分割方法的相對差異.表1給出了選擇不同樣本數(shù)進(jìn)行實現(xiàn)所得到的平均相對差異,從表1可以看出,2種分割方法的差異在19%以下,說明自動分割結(jié)果已經(jīng)接近了有人工參與的分割結(jié)果.通過該無監(jiān)督分割方法進(jìn)行小麥圖像的圖像分割是可行的.
圖6直觀的給出了2種分割方法得到的圖像分割結(jié)果.從圖6可以看出,2種分割結(jié)果存在著一定的差異性,后者存留有更多的像素點(diǎn),這是造成分割差異的主要原因.由于有監(jiān)督的圖像分割方法是在有人工參與選擇感興趣區(qū)域的情況下進(jìn)行的,每次產(chǎn)生的分割結(jié)果并不一致,也是導(dǎo)致分割差異的原因之一.
圖4 小麥及背景像素在顏色空間中的分布Fig.4 Distribution in color space of wheat and background pixels
圖5 小麥圖像無監(jiān)督分割流程Fig.5 Workflow of wheat unsupervised image segmentation
表1 無監(jiān)督圖像分割方法的相對差異Table 1 Relative difference rate usingunsupervised image segmentation
圖6 2種分割法的圖像分割結(jié)果Fig.6 Result images of two image segmentation
為了實現(xiàn)小麥圖像的無監(jiān)督分割,本研究通過數(shù)碼相機(jī)采集了大田環(huán)境下6個品種的小麥群體圖像,并通過與馬氏距離算法相結(jié)果,提出了一種基于RGB顏色空間的圖像分割方法,構(gòu)建了一個無監(jiān)督分割模型,并應(yīng)用此模型對小麥彩色群體圖像的顏色信息進(jìn)行分類.試驗結(jié)果表明,通過該方法能夠有效地利用顏色空間信息分離圖像中的小麥圖像與背景圖像,與有監(jiān)督分割相比,分割差異在19%以下,達(dá)到了與有監(jiān)督圖像分割近似的結(jié)果,同時消除了人工參與的不確定因素,且提高了分割速度.另外,由于本研究選取的圖像均為小麥拔節(jié)期圖像,方法選取和模型構(gòu)建可以為小麥其它生長階段類似問題的解決提供思路,但其是否適合于所有時期的小麥圖像還有待進(jìn)一步的研究與更多圖像數(shù)據(jù)的驗證.
[1] 李 明,張長利,房俊龍.基于圖像處理技術(shù)的小麥葉面積指數(shù)的提取[J].農(nóng)業(yè)工程學(xué)報,2010,26(1):205-208.
[2] 王桂琴,鄭麗敏,朱 虹,等.圖像處理技術(shù)在冬小麥葉面積指數(shù)測定中的應(yīng)用[J].麥類作物學(xué)報,2004,24(4):108-112.
[3] 李少昆,索興梅,白中英,等.基于BP神經(jīng)網(wǎng)絡(luò)的小麥群體圖像特征識別[J].中國農(nóng)業(yè)科學(xué), 2002,35(6):616-620.
[4] 單成鋼,廖樹華,梁振興,等.小麥群體圖像特征識別方法的研究[J].作物學(xué)報,2004,30(12):1281-1283.
[5] 肖 波,索興梅,白中英.應(yīng)用神經(jīng)網(wǎng)絡(luò)方法解決小麥高產(chǎn)群體圖像識別[J].計算機(jī)應(yīng)用研究,2004(4):240-242.
[6] 李 明,張長利,王曉楠.基于圖像處理技術(shù)的小麥形態(tài)檢測方法研究[J].東北農(nóng)業(yè)大學(xué)學(xué)報,2009, 40(4):111-115.
[7] 朱偉興,金飛劍,談蓉蓉.基于顏色特征與多層同質(zhì)性分割算法的麥田雜草識別[J].農(nóng)業(yè)機(jī)械學(xué)報,2007,38(12):120-124.
[8] 宋振偉,文新亞,張志鵬,等.基于數(shù)字圖像技術(shù)的冬小麥不同施氮和灌溉處理顏色特征分析[J].中國農(nóng)學(xué)通報,2010,26(14):350-355.
[9] KAWASHING S, NAKATANI M. An algorithm forestimating cholorophyll content in leaves using a video camera[J]. Ann Bot, 1998, 81: 49-54.
[10] ADAMSEN F J, PRINTER P J, BARNES E M, et al. Measuring wheat senescence with a digital camera[J]. Crop Science, 1999,39:719-724.
[11] JIA L L, CHENG X P. Use of digital camera to assess nitrogen status of winter wheat in the northern China Plain[J]. Journal of Plant Nutrition, 2004,27(3):441-450.
[12] 畢 昆,姜 盼,李 磊,等.基于形態(tài)學(xué)圖像處理的麥穗形態(tài)特征無損測量[J].農(nóng)業(yè)工程學(xué)報,2010, 26(12):212-216.
[13] 龔紅菊,姬長英.基于圖像處理技術(shù)的麥穗產(chǎn)量測量方法[J].農(nóng)業(yè)機(jī)械學(xué)報,2007,38(12):116-119.
[14] 何勝美,李仲來,何中虎.基于圖像識別的小麥品種分類研究[J].中國農(nóng)業(yè)科學(xué),2005,38(9):1869-1875.
[15] 邵 慶,張 楠,路 陽.小麥病害圖像識別處理及形狀特征提取研究[J].農(nóng)機(jī)化研究,2013,8(8):35-38.
[16] 林開顏,吳軍輝,徐立鴻.彩色圖像分割方法綜述[J].中國圖像圖形學(xué)報,2005,10(1):1-10.
[17] 單成鋼,廖樹華,龔 宇,等.應(yīng)用數(shù)字圖像技術(shù)估測冬小麥冠層生物量垂直分布特征的研究[J].作物學(xué)報,2007,33(3):419-424.
[18] 黃 芬,于 琪,姚 霞,等.小麥冠層圖像H分量的K均值聚類分割[J].計算機(jī)工程與應(yīng)用,2014,50(3):129-134.
[19] 何建斌,梁 威,李曉明.基于K均值聚類和數(shù)學(xué)形態(tài)學(xué)的小麥彩色圖像分割[J].浙江農(nóng)業(yè)學(xué)報,2011,23(4):829-832.
[20] 陳 含,呂行軍,田鳳珍,等.基于Sobel算子邊緣檢測的麥穗圖像分割[J].農(nóng)機(jī)化研究,2013,3(3):33-36.
(責(zé)任編輯:蔣國良)
ResearchonunsupervisedwheatcolorimagesegmentationusingMahalanobisdistance
SHI Lei1, 2, PANG Xiao-dan1,YAN Yu3, MA Xin-ming1, 2, XI Lei1, 2
(1.College of Information and Management Science, Henan Agricultural University, Zhengzhou 450002, China; 2.Collaborative Innovation Center of Henan Grain Crops; Zhengzhou 450002, China; 3.School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University, Shanghai 200240,China)
In order to realize unsupervised wheat color image segmentation, wheat pictures of 6 varieties under field environment were taken, and an unsupervised segment model was built by classifying the image pixels using Mahalanobis distance based on RGB color space. The result showed that the wheat target can be segmented from background rapidly by this model. The segmenting effect corresponds with that of the supervised segmentation and the difference was less than 19%. This unsupervised model could be used to segment the wheat image.
wheat; image processing; unsupervised image segmentation
1000-2340(2014)06-0780-05
TP391.41
:A
2014-05-20
河南省重大科技專項(13220110025);河南現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系(S2010-01-G04);“十二五”國家科技支撐計劃(2014BAD10B06)
時 雷,1979年生,女,河南遂平人,副教授,博士,主要從事農(nóng)業(yè)信息技術(shù)研究.
馬新明,1962年生,男,河南許昌人,教授,博士生導(dǎo)師.