仲曉春，陳 雯，劉 濤，郝心寧，李哲敏，孫成明

（1. 中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京 100081；2. 揚(yáng)州大學(xué)江蘇省作物遺傳生理重點(diǎn)實(shí)驗(yàn)室/小麥研究所，江蘇 揚(yáng)州 225009）

?

基于圖像技術(shù)的小麥籽粒三維信息測(cè)量

仲曉春1，陳 雯2，劉 濤2，郝心寧1，李哲敏1，孫成明2

（1. 中國(guó)農(nóng)業(yè)科學(xué)院農(nóng)業(yè)信息研究所，北京 100081；
2. 揚(yáng)州大學(xué)江蘇省作物遺傳生理重點(diǎn)實(shí)驗(yàn)室/小麥研究所，江蘇 揚(yáng)州 225009）

摘 要：為了實(shí)現(xiàn)小麥籽粒三維信息的快速測(cè)定，設(shè)計(jì)了一種利用圖像分析技術(shù)測(cè)量小麥籽粒長(zhǎng)、寬、厚信息的方法。利用麥粒最穩(wěn)定極值區(qū)域（MSER）的長(zhǎng)和寬，借助一定角度的光源使麥粒產(chǎn)生影子，根據(jù)不同厚度麥粒產(chǎn)生影子的寬度不同來測(cè)定籽粒的厚度，從而獲得麥粒的三維信息。通過對(duì)4個(gè)不同小麥品種共256顆麥粒進(jìn)行圖像處理測(cè)量和游標(biāo)卡尺測(cè)量實(shí)驗(yàn)，在比較兩種方法的試驗(yàn)結(jié)果發(fā)現(xiàn)，兩者測(cè)量麥粒長(zhǎng)、寬、厚的相關(guān)性均較高，R2值均高于0.9，RMSE分別為0.0988、0.08413、0.0917。結(jié)果表明借助光源通過單幅二維圖像可快速準(zhǔn)確測(cè)量小麥籽粒三維信息，可為小麥籽粒三維信息智能化測(cè)量提供參考。

關(guān)鍵詞：小麥；籽粒三維；影子；圖像處理；最穩(wěn)定極值區(qū)域

籽長(zhǎng)、粒寬和粒厚是評(píng)價(jià)小麥籽粒質(zhì)量的重要指標(biāo)，也是影響小麥產(chǎn)量的重要因素［1］。目前小麥籽粒長(zhǎng)、寬、厚的測(cè)量主要通過游標(biāo)卡尺來實(shí)現(xiàn)，這種方法主觀性較強(qiáng)，測(cè)量部位的選擇較難把握，效率低下且可重演性差。

長(zhǎng)期以來機(jī)器視覺在農(nóng)業(yè)中的應(yīng)用一直是智能農(nóng)業(yè)研究的重點(diǎn)［2］，其在作物籽粒信息的識(shí)別與分析中發(fā)揮了舉足輕重的作用［3-5］。機(jī)器視覺或圖像處理技術(shù)在小麥籽粒上的應(yīng)用一方面可以實(shí)現(xiàn)籽粒種類的識(shí)別，其中包括對(duì)大麥、小麥、燕麥等的區(qū)分以及不同小麥品種的識(shí)別［3，6-7］；另一方面，機(jī)器視覺技術(shù)可應(yīng)用于小麥籽粒的綜合評(píng)價(jià)，其中包括對(duì)籽粒的病害、損傷的評(píng)價(jià)以及籽粒形態(tài)特征的測(cè)算［8-11］。在研究技術(shù)上，一般通過圖像處理算法提取小麥籽粒的形態(tài)特征參數(shù)、顏色特征參數(shù)和紋理特征參數(shù)，再通過這些參數(shù)建立評(píng)價(jià)和分析體系［12］。

在前人的研究中，大多利用二維空間信息對(duì)小麥籽粒進(jìn)行分析和測(cè)定，雖然對(duì)小麥籽粒的智能評(píng)價(jià)起到積極作用，然而僅通過二維信息來評(píng)價(jià)小麥籽粒這種三維事物有一定的局限性。本研究利用圖像處理技術(shù)結(jié)合一定的外部光源測(cè)定小麥籽粒的長(zhǎng)、寬、厚信息，在單幅二維圖像中提取小麥籽粒的三維信息，為小麥籽粒三維信息的快速準(zhǔn)確測(cè)定提供一定的技術(shù)支持。

1 材料與方法

1.1 試驗(yàn)材料

試驗(yàn)材料選用寧糯1號(hào)、揚(yáng)麥20、揚(yáng)麥9號(hào)、揚(yáng)輻麥4號(hào)4個(gè)小麥品種，每個(gè)品種64顆籽粒。通過Sony nex-5r相機(jī)，在日光燈源下獲得利用籽粒排列板（圖1）排列后的小麥籽粒圖像（圖2），原始圖像由麥粒、麥粒在光源下產(chǎn)生的影子和背景3部分組成。籽粒排列板由64個(gè)長(zhǎng)9 mm、寬4 mm、深3 mm的孔洞組成，每個(gè)孔洞的橫向間距為8 mm，可較方便地將麥粒排列整齊，以供后期處理。

圖1 麥粒排列板構(gòu)造

圖2 小麥籽粒原始圖像

1.2 圖像分割

設(shè)RGB彩色圖像中的紅、綠、藍(lán)3個(gè)顏色分量為r、g、b，記d1（x，y）= b（x，y） - r（x，y），d2（x，y）= b（x，y）- g（x，y），則圖像中黃色部分可表示為［13］：

式中，k1、k2∈［0，1］，提取圖像效果如圖3A所示。通過閾值法［14］對(duì)圖3A進(jìn)行二值化處理，得到的麥粒二值圖像會(huì)不同程度的存在孔洞，利用孔洞填充算法［15］處理后可以得到如圖3B的麥粒二值圖像。

圖3 麥粒部分提取效果

利用閾值分割方法［14，16］處理圖2得到麥粒及其影子的二值圖像（圖4A），將圖4A與圖3B進(jìn)行差值運(yùn)算，得到麥粒影子的二值圖像（圖4B）。

圖4 籽粒影子提取效果

1.3 特征值提取

麥粒的長(zhǎng)、寬、厚分別為籽粒最長(zhǎng)、最寬、最厚區(qū)域的值。通過提取籽粒圖像中最大穩(wěn)定極值區(qū)域（MSER）并采用構(gòu)造放射不變量的方法把MSER擬合成如圖5所示的橢圓，該橢圓的長(zhǎng)軸即為麥粒的長(zhǎng)，短軸即為麥粒的寬［17-19］，擬合公式為：

式中，X代表區(qū)域中任意點(diǎn)的空間坐標(biāo)（x，y），R代表小麥籽粒區(qū)域，|R|為小麥籽粒區(qū)域像素點(diǎn)的個(gè)數(shù)。圖5中a、b分別為擬合橢圓的長(zhǎng)軸和短軸，θ代表長(zhǎng)軸的方向，點(diǎn)Q（x，y）為影子邊緣上距長(zhǎng)軸最遠(yuǎn)的點(diǎn)，在一定角度的光照條件下，點(diǎn)Q與長(zhǎng)軸的距離近似于影子寬度且該距離與籽粒厚度有著密切關(guān)系，故研究中將該距離作為影子寬度間接計(jì)算籽粒厚度。

圖5 小麥籽粒橢圓擬合

如圖6所示，籽粒厚度d與影子長(zhǎng)度c的比值為β角的正切值，β角的正切值同時(shí)等于光源高度b與點(diǎn)Q與光源水平距離的比值，因此可得籽粒厚度的計(jì)算公式為：

圖6 籽粒、光源和影子的幾何結(jié)構(gòu)

為了實(shí)現(xiàn)籽粒信息的批量獲取和處理，本研究利用聯(lián)通區(qū)域標(biāo)記算法［20］為二值圖像各個(gè)籽粒和影子進(jìn)行編號(hào)，利用該算法可以獲得籽粒標(biāo)號(hào)（圖7）。然而，由于該算法的局限性使得麥粒的標(biāo)號(hào)較混亂，不利于后期處理。為使籽粒編號(hào)整齊，通過下式計(jì)算各區(qū)域的質(zhì)心（xc，yc）［21］，根據(jù)質(zhì)心的位置進(jìn)行編號(hào)。

式中，I為二值圖像，（i，j）為圖像的像素坐標(biāo)，m、n為圖像的行、列數(shù)。圖6中橢圓為MSER擬合橢圓，十字為區(qū)域質(zhì)心。

圖7 籽粒MSER橢圓與編號(hào)

1.4 籽粒信息真實(shí)值測(cè)量

為驗(yàn)證圖像處理方法測(cè)量的效果，通過游標(biāo)卡尺測(cè)量麥粒的長(zhǎng)、寬、厚。測(cè)量人員分為5組，分別利用電子游標(biāo)卡尺測(cè)量同一批麥粒最長(zhǎng)、最寬和最厚區(qū)域的值，去掉測(cè)量結(jié)果的最大值與最小值，取余下3個(gè)數(shù)據(jù)的平均值作測(cè)量值。

2 結(jié)果與分析

從圖8可以看出，圖像處理方法能較好地測(cè)量小麥籽粒的長(zhǎng)、寬、厚，測(cè)量結(jié)果與1∶1直線之間的R2值均高于0.9，RMSE分別為0.0988、0.08413、0.0917。

試驗(yàn)分別采用外接矩形法和MESR法測(cè)量麥粒的長(zhǎng)、寬、厚，從表1可以看出，MSER法對(duì)4個(gè)小麥品種麥粒長(zhǎng)、寬、厚的測(cè)量準(zhǔn)確度明顯高于外接矩形法。

圖8 麥粒長(zhǎng)、寬、厚測(cè)量結(jié)果

3 討論

小麥籽粒的長(zhǎng)、寬、厚能反映籽粒的形態(tài)特征和飽滿程度［22］，快速準(zhǔn)確測(cè)量麥粒的長(zhǎng)、寬、厚對(duì)研究小麥籽粒充實(shí)和產(chǎn)量形成具有積極的意義。利用圖像處理技術(shù)測(cè)定作物籽粒形態(tài)信息已有大量的研究，其中包括籽粒的長(zhǎng)、寬、投影面積、周長(zhǎng)等的測(cè)量［5，11，23］，但鮮有研究涉及到籽粒三維信息的測(cè)量。Sun等［22］利用立體視覺測(cè)量小麥籽粒厚度，該方法可較準(zhǔn)確地測(cè)量小麥籽粒的長(zhǎng)、寬、厚，而通過二維圖像只能獲得小麥籽粒的長(zhǎng)和寬，不能得到籽粒厚度信息。本研究借助不同厚度小麥籽粒在一定角度光照條件下產(chǎn)生影子的寬度不同來計(jì)算籽粒的厚度，結(jié)果表明通過處理二維圖像可測(cè)得小麥籽粒的長(zhǎng)、寬、厚，比立體視覺法容易實(shí)現(xiàn)，且本研究所提出的方法能對(duì)籽粒三維信息進(jìn)行批量測(cè)量，提高了小麥籽粒三維信息的測(cè)量效率，該方法同樣適合用于水稻、大麥等作物籽粒三維信息的測(cè)量。

表1 外接矩形法與MSER法測(cè)量結(jié)果與1∶1直線之間的R2值

本研究分別采用外接矩形法和MSER法作為籽粒長(zhǎng)、寬、厚的測(cè)量算法，發(fā)現(xiàn)相關(guān)文獻(xiàn)中提出的外接矩形法在測(cè)量小麥粒長(zhǎng)和粒寬時(shí)存在一定偏差［23-24］，外接矩形的長(zhǎng)、寬與籽粒的長(zhǎng)短軸不能較好地吻合，而MSER擬合橢圓的長(zhǎng)短軸和籽粒的長(zhǎng)短軸能較好地吻合。通過外接矩形測(cè)量影子寬度也會(huì)因影子的形態(tài)差異產(chǎn)生誤差，而通過影子邊緣距籽粒長(zhǎng)軸的最遠(yuǎn)距離可較準(zhǔn)確的反映影子寬度，從而降低厚度計(jì)算過程中的誤差。

本研究基本實(shí)現(xiàn)了利用單幅圖像測(cè)量小麥籽粒三維信息。然而，研究雖然通過圖1所示籽粒排列板可以較方便的將小麥籽粒整齊排布，從而便于圖像的處理，但方法仍然不能達(dá)到完全的智能化，更智能的籽粒排列方法或適用于隨機(jī)散布的籽粒測(cè)量算法有待進(jìn)一步研究。

參考文獻(xiàn)：

［1］ 朱新開，劉曉成，孫陶芳，等. FACE條件下O3濃度增高對(duì)小麥產(chǎn)量和籽粒充實(shí)的影響［J］. 中國(guó)農(nóng)業(yè)科學(xué)，2011，44（6）：1100-1108.

［2］ Bai X D，Gao Z G，Wang Y，et al. Crop segmentation from images by morphology modeling in the CIE Lab color space［J］. Computers and Electronics in Agriculture，2013，99：21-34.

［3］ Mebatsion H K，Paliwal J，Jayas D S. Automatic classification of non-touching cereal grains in digital images using limited morphological and color features ［J］. Computers and Electronics in Agriculture，2013，90：99-105.

［4］ Mebatsion H K，Paliwal J，Jayas D S. A novel，invariant elliptic Fourier coefficient based classification of cereal grains［J］. Biosystems Engineering，2012，111（4）：422-428.

［5］ Mebatsion H K，Paliwal J，Jayas D S. Evaluation of variations in the shape of grain types using principal components analysis of the elliptic Fourier descriptors ［J］. Computers and Electronics In Agriculture，2013，80：63-70.

［6］ 何勝美，李仲來，何中虎. 基于圖像識(shí)別的小麥品種分類研究［J］. 中國(guó)農(nóng)業(yè)科學(xué)，2005，38（9）：1869-1875.

［7］ Alireza P，Hamidreza P，Mohammad A，et al. Identification of nine Iranian wheat seed varieties by textural analysis with image processing［J］. Computers and Electronics In Agriculture，2012，83：102-108.

［8］ Zapotoczny P. Discrimination of wheat grain varieties using image analysis and neural networks［J］. Journal of Cereal Science，2011，54（1）：60-68.

［9］ 王志軍，叢培盛，周佳璐，等. 基于圖像處理與人工神經(jīng)網(wǎng)絡(luò)的小麥顆粒外觀品質(zhì)評(píng)價(jià)方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2007，23（1）：158-161.

［10］ 陳豐農(nóng)，成芳. 基于自適應(yīng)雙閾值的彩色線陣CCD小麥黑胚分割［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2011，27（3）：341-344.

［11］ 張浩，李和平，葉娟. 小麥籽粒外觀形態(tài)特征測(cè)定技術(shù)研究［J］. 糧食與飼料工業(yè)，2013（3）：7-9.

［12］ 陳豐農(nóng). 基于機(jī)器視覺的小麥并肩雜與不完善粒動(dòng)態(tài)實(shí)時(shí)檢測(cè)研究［D］. 杭州：浙江大學(xué)，2012.

［13］ 鄭成勇. 一種RGB顏色空間中的車牌定位新方法［J］. 中國(guó)圖象圖形學(xué)報(bào)，2010，15（11）：1623-1628.

［14］ 張錚，王艷萍，薛桂香. 數(shù)字圖像處理與機(jī)器視覺Visual C++與Matlab實(shí)現(xiàn)［M］. 北京：人民郵電出版社，2012.

［15］ 張德才，周春光，周強(qiáng)，等. 基于輪廓的孔洞填充算法［J］. 吉林大學(xué)學(xué)報(bào)（理學(xué)版），2011，49（1）：82-86.

［16］ 吳露露，馬旭，齊龍，等. 基于葉片形態(tài)的田間植物檢測(cè)方法［J］. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（11）：241-246.

［17］ Obdr?álek D，Basovník S，Mach L，et al. Detecting scene elements using maximally stable colour regions ［M］. Research and Education in Robotics -EUROBOT 2009，Gottscheber A，Obdr?álek D，Schmidt C，Springer Berlin Heidelberg，2010：82，107-115.

［18］ Mikolajczyk K，Tuytelaars T，Schmid C，et al. A comparison of affine region detectors［J］. International Journal of Computer Vision，2005，65（1-2）：43-72.

［19］ 柳濤. 多通道圖像MSER局部不變特征提取算法研究［D］. 長(zhǎng)沙：國(guó)防科學(xué)技術(shù)大學(xué)，2010.

［20］ 張?jiān)普埽w海，宋純賀，等. 一種新的連通區(qū)域標(biāo)記算法［J］. 計(jì)算機(jī)應(yīng)用研究，2010，27（11）：4335-4340.

［21］ 宋克歐，黃鳳崗，蘭曉婷. 二值圖像目標(biāo)質(zhì)心快速搜索跟蹤算法［J］. 模式識(shí)別與人工智能，1998，11 （2）：161-168.

［22］ Sun C M，Mark B，David C，et al. Thickness measurement and crease detection of wheat grains using stereo vision［J］. Pattern Recognition Letters，2007，28（12）：1501-1508.

［23］ 王傳宇，郭新宇，溫維亮，等. 基于計(jì)算機(jī)視覺的玉米籽粒形態(tài)測(cè)量［J］. 農(nóng)機(jī)化研究，2011（6）：144-147.

［24］ 周竹，黃懿，李小昱，等. 基于機(jī)器視覺的馬鈴薯自動(dòng)分級(jí)方法［J］. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28（7）：178-183.

（責(zé)任編輯 鄒移光）

Three-dimensional information measurement of wheat grain based on image technology

ZHONG Xiao-chun1，CHEN Wen2，LIU Tao2，HAO Xin-ning1，LI Zhe-min1，SUN Cheng-ming2
（1. Agriculture Information Institute of CAAS，Beijing 10081；2.Jiangsu Key Laboratory of Crop Genetics and Physiology/ Co-Innovation Center for Modern Production Technology of Grain Crops，Yangzhou University，Yangzhou 225009，China）

Abstract：In order to get the three-dimensional information of wheat grains rapidly，a method based on image analysis technology was designed to calculate the length，width and thickness of wheat grains. Minimal outer rectangle of grain was used to calculate the grain's length and width. The striplight at specific angles was used to generate shadows of wheat grains，and those shadows could describe the thickness of grains one-to-one. We measured the 256 grains of 4 varieties with image analysis technology and vernier caliper. Then we compared the results and got a high correlation coefficient （R2＞0.9），respectively. The root mean square error of the length was 0.0988，and the width and thickness were 0.08413 and 0.0917. All the results demonstrated that the three-dimensional information of wheat grains could be obtained by a two-dimensional picture depending on the light source，and the method discussed in this paper is promising and encouraging to obtain the three-dimensional information of wheat grains.

Key words：wheat；grain three-dimensional；shadow；image analysis；MSER

中圖分類號(hào)：S512；TP391.41

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1004-874X（2016）02-0150-06

收稿日期：2015-11-02

基金項(xiàng)目：中國(guó)農(nóng)業(yè)科學(xué)院科技創(chuàng)新工程項(xiàng)目

作者簡(jiǎn)介：仲曉春（1984-），男，博士，助理研究員，E-mail：tytommy520@163.com

通訊作者：孫成明（1973-），男，博士，副教授，E-mail：cmsun@yzu.edu.cn