宋 鵬，張 晗，羅 斌，侯佩臣，王 成

?

基于多相機成像的玉米果穗考種參數(shù)高通量自動提取方法

宋 鵬1,2，張 晗1,2，羅 斌1,2，侯佩臣1,2，王 成2,3※

（1. 北京農(nóng)業(yè)信息技術研究中心，北京 100097；2. 北京農(nóng)業(yè)智能裝備技術研究中心，北京 100097；3. 國家農(nóng)業(yè)智能裝備工程技術研究中心，北京 100097）

實現(xiàn)玉米果穗考種性狀的準確、快速獲取是提高玉米育種效率的關鍵環(huán)節(jié)。該文在前期設計的玉米高通量自動化考種裝置基礎上，提出了一種基于多相機的玉米果穗考種參數(shù)提取方法，通過4個等間隔均勻分布的攝像頭同時獲取果穗4個方向圖像，針對每副圖像分別經(jīng)過背景去除、投影模型構建、籽粒跟蹤、考種參數(shù)提取等處理，最后根據(jù)4副圖像的處理結果，綜合計算穗長、穗粗、平均粒厚、穗行數(shù)、行粒數(shù)、穗粒數(shù)等考種參數(shù)。在玉米高通量自動化考種裝置的果穗考種模塊上進行試驗，結果表明，該文所提方法測得的穗長、穗粗、平均粒厚與人工方法測量值之間的決定系數(shù)2分別為0.997 3、0.984和0.941 5，對穗行數(shù)、行粒數(shù)的測量精度分別為98.63%、95.35%，為玉米果穗考種參數(shù)提取提供了一種新思路，為高通量自動考種裝置的實現(xiàn)奠定了基礎。

農(nóng)作物；提??；圖像分割；玉米考種；四相機；投影模型；籽粒跟蹤；穗行數(shù)

0 引 言

考種是玉米育種過程的重要環(huán)節(jié)[1]。玉米果穗考種包括果穗穗長、穗粗、穗行數(shù)、行粒數(shù)、平均粒厚、總粒數(shù)等多種性狀參數(shù)的測量，傳統(tǒng)果穗考種通過人工測量，費時費力[2]，果穗考種的效率和精度制約著商業(yè)化玉米育種效率的提高。

隨著信息技術的發(fā)展，越來越多的學者將機器視覺及圖像處理技術應用于玉米檢測及分析[3-12]。在玉米考種方面，主要基于視覺技術進行考種參數(shù)提取方法研究并形成相應裝置[13-20]，目前主要通過2種方式進行果穗考種參數(shù)的提?。?）使果穗和圖像采集裝置發(fā)生相對旋轉(zhuǎn)，獲取玉米果穗的全表面圖像信息后進行考種參數(shù)提取[21-22]；2）通過拍攝靜置的玉米果穗單側(cè)圖像信息，分析估算出整個果穗的考種參數(shù)[23-26]。如柳冠伊等[27]采用2個輥筒驅(qū)動玉米果穗勻速轉(zhuǎn)動，用線陣CCD從2個輥筒之間間隙對玉米果穗進行連續(xù)掃描并分析，單個果穗檢測時間大于30 s；周金輝等[28]通過高拍儀獲取玉米果穗單副圖像，通過建立投影修正模型估算果穗穗長、穗粗、穗行數(shù)、行粒數(shù)等參數(shù)，測量速度可達30穗/min。

本文針對玉米高通量自動考種裝置的果穗考種模塊[14]，提出一種基于多相機的玉米果穗考種參數(shù)提取方法，可快速測量玉米果穗穗長、穗粗、穗行數(shù)、行粒數(shù)、總粒數(shù)等考種參數(shù)，為玉米高通量自動考種裝置的實現(xiàn)奠定基礎。

1 材料與方法

1.1 樣本材料

本文試驗所用玉米果穗均來自遼寧東亞種業(yè)有限公司東亞海南育種基地收獲的實際待考種玉米材料，部分果穗樣本如圖1所示。

圖1 果穗樣本材料

1.2 果穗圖像獲取裝置

本文在前期設計的玉米高通量自動考種裝置的果穗考種單元獲取圖像，其結構如圖2所示。果穗置于2根平行安裝，間隔可調(diào)的鋼絲上方，4個彩色相機以90°等間隔沿垂直于穗軸方向，距離穗軸中心30 cm處，水平分布于果穗四周[14]，以外觸發(fā)方式同時獲取果穗4個方向圖像。該裝置具體硬件型號參數(shù)如下：攝像頭為DH- HV5051Ux-M型號彩色CMOS工業(yè)數(shù)字相機，分辨率為2 942×1 944像素；鏡頭為Computar 5mm f/1.5定焦鏡頭；光源為4只條形LED白光光源。本裝置選用的PC機硬件環(huán)境為Intel(R) Core(TM) i5 CPU M 450 2.4 GHz，軟件由Visual Studio 2010 開發(fā)環(huán)境編寫。

1.攝像頭 2.光源 3. 果穗承載裝置

本裝置獲取的玉米果穗原始圖像如圖3所示。

圖3 4個相機獲取的原始果穗圖像

1.3 果穗考種參數(shù)提取方法

果穗考種參數(shù)中涉及的果穗長度、寬度、籽粒厚度等均為實際物理尺寸，而圖像處理過程通常使用像素數(shù)來表示尺寸大小。在測量之前，需進行相機標定，將單位像素對應的物理尺寸計為（mm/像素），經(jīng)標定，本系統(tǒng)中4個攝像頭對應的值均為0.126 mm/像素。

1.3.1 圖像預處理

在采集果穗圖像前，玉米果穗位于2根平行安裝的鋼絲上方，故其出現(xiàn)在攝像頭視場中的位置相對固定，為提高圖像處理效率，降低無效數(shù)據(jù)處理量，僅對每副圖像中包含玉米果穗的區(qū)域進行處理。采集的果穗原始圖像分辨率為2 942×1 944像素，通過試驗發(fā)現(xiàn)，處于圖像中間區(qū)域，長度為原始圖像長度的7/9，即2 016像素，寬度為原始圖像寬度的1/2，即972像素，此區(qū)域圖像基本包含不同尺寸玉米果穗的完整信息。

分別在RGB（red, green, blue）和HSV（hue, saturation, value）顏色空間對果穗圖像進行分析，發(fā)現(xiàn)果穗?yún)^(qū)域與背景區(qū)域在H通道和V通道差異較大，如圖4所示，可使用V-H模型進行果穗?yún)^(qū)域提取。

圖4 圖3a在H、V通道分量圖

通過直方圖分析發(fā)現(xiàn)，采用1.8×(V-H)+180模型二值化后進行去噪、孔洞填充及形態(tài)學變換，將獲取的果穗?yún)^(qū)域與原圖像進行與操作以去除背景，提取的玉米果穗圖像如圖5所示。

圖5 去背景后的玉米果穗圖像

1.3.2 果穗投影模型

本文對獲取的4副果穗圖像分別處理，綜合各圖像處理結果獲取玉米果穗考種參數(shù)。由于攝像頭以90°間隔沿垂直于穗軸方向均勻分布于果穗四周，而玉米果穗為類旋轉(zhuǎn)體，可將果穗截面等效于圓形[28]，則分布于果穗同一截面的籽粒等效于分布于圓周上的各點，據(jù)此原理構建果穗投影模型，如圖6所示。

圖6中點所處位置為攝像頭位置，圓等效于與穗軸方向垂直的果穗截面，圓的半徑為該截面位置處的果穗半徑。為該截面處果穗邊緣投影長，為該截面處穗行數(shù)為n的籽粒所對應的投影長。攝像頭安裝時保證其軸心線與果穗的中心軸線位置處于同一平面，故可近似認為被攝像頭所處位置與果穗截面中心點的連線平分，且與垂直。將與的交點定為點。

注：A為攝像頭位置；BC為果穗邊緣投影長；DE為nr行籽粒投影長；圓O為果穗截面；θ為nr行籽粒對應圓心角；F為AO與BC的交點。

假設,=，，=，由直角三角公式可得到式（1）。

計算可得式（2）～（3）。

1.3.3 果穗考種參數(shù)提取流程

由果穗投影模型可知，將果穗截面等效于圓形時，可通過計算每副圖像中的穗行數(shù)ri及其所對應圓心角θ換算出果穗的穗行數(shù)，結合式（3）可知，由該副圖像換算出的果穗穗行數(shù)ri由式（4）計算得出。

因此，為計算出果穗行數(shù)ri，需確定攝像頭所獲圖像中玉米邊緣投影長度值；單副圖像中提取的穗行數(shù)ri，ri行籽粒所對應的投影長度值及攝像頭距離果穗中心距離值。

×|eb-ec| （5）

攝像頭距離果穗中心距離值由系統(tǒng)設計安裝確定，為常量30 mm。由于玉米果穗表面近似圓柱體，處于邊緣區(qū)域的籽粒受光線影響，難以獲取理想提取效果。為提高果穗行數(shù)檢測精度，需提取各圖像中完整有效的穗行數(shù)ri及其所對應的投影長度。由于果穗中間區(qū)域籽粒排布較規(guī)則，在提取有效的穗行數(shù)ri時針對果穗中間區(qū)域進行處理，具體流程如下：

1）果穗上玉米籽粒提取。針對G通道，采用自適應閾值方法分割后進行形態(tài)學變換，采用分水嶺方法對果穗上粘連玉米籽粒進行分割，將所分割的單個玉米籽粒區(qū)域按照面積大小進行排序，提取面積大小處于中間50%的籽粒，計算其平均寬度k

2）圖像輪廓及玉米籽粒中心位置提取。通過分析發(fā)現(xiàn)，果穗禿尖區(qū)域和籽粒區(qū)域在HSV空間的H通道和S通道的灰度呈現(xiàn)差異，采用2×(S-H)+30模型進行處理后閾值分割，可實現(xiàn)凸尖區(qū)域和籽粒區(qū)域分割，利用此模型提取的果穗籽粒區(qū)域圖像如圖7a所示。提取穗上籽粒中間1/2區(qū)域的外輪廓，外輪廓上各點坐標為e(ei,ei)，同時提取所分割出的獨立籽粒區(qū)域的中心點位置坐標c(cj,cj)；

3）邊緣籽粒剔除。遍歷搜索與各獨立籽粒區(qū)域中心點c(cj,cj)橫坐標cj相同的圖像邊緣輪廓點，由于圖像邊緣輪廓為封閉狀態(tài)，因此存在2個滿足條件的輪廓點，分別為e1(cj,ej1)及e2(cj,ej2)。定義Dist=min{|cj-ej1,cj-ej2}。當Dist>ej1-ej2/10時，則判定中心點c(cj,cj)對應的籽粒區(qū)域處于圖像邊緣，予以剔除。

4）籽粒跟蹤。針對步驟3）剔除邊緣籽粒后的圖像進行跟蹤，跟蹤起始點為籽粒區(qū)域中心點中橫坐標最小點，記為c0(c0,c0)，任一跟蹤點記為ci(ci,ci)。則c0與點ci的直線距離0i及2點連線的夾角0i為式（6）～（7）。

0i[(cmin-ci)2(c0ci)2]1/2（6）

0iarctan[(c0-ci)/(cmin-ci)]（7）

若點c1(c1,c1)，滿足012012min{0i20i2}，則認為點c1(c1,c1)為起始點c0(c0,c0)所跟蹤到的下一點，以點c1(c1,c1)作為下一跟蹤的起始點繼續(xù)跟蹤，對已經(jīng)跟蹤過的點進行標記，不進行重復跟蹤計算。單次跟蹤結束后循環(huán)進行步驟4）操作，直至遍歷所有玉米籽粒中心點跟蹤結束。

根據(jù)試驗情況，本文所設置的單次跟蹤終止條件為|0i>40°或0i3k。

5）有效穗行數(shù)ri計算。依照步驟4）跟蹤的穗行數(shù)通常大于等于1行，若所跟蹤的穗行包含的籽粒數(shù)量明顯少于其他行，則表明此行跟蹤結果不完整，為無效行，予以剔除，剔除無效行后的穗行數(shù)即為有效穗行數(shù)ri。

6）ri行對應投影長度值計算。將步驟5）中跟蹤所得的有效果穗行數(shù)沿穗軸方向等分為10個矩形區(qū)域，每個矩形區(qū)域包含ri行對應的穗上籽粒。每個矩形的長度用i表示，通過排序獲取i的中值m，則ri行有效穗行數(shù)對應的投影寬度×m。

7）果穗邊緣投影長度計算。步驟6）中長度為m的矩形中心位置記為(m,m，將果穗輪廓上與其對應的具有相同橫坐標的2點記為e1(m,e1)及e2(m,e2)，則×(e1-e2)。

按照上述步驟，圖5a處理效果如圖7所示。

圖7 果穗處理過程

1.4 果穗考種參數(shù)計算

本裝置采用4個相機分別進行玉米果穗圖像參數(shù)提取，最終測得的果穗考種參數(shù)由4副圖像提取的參數(shù)綜合計算得出。

1.4.1 果穗長、寬計算

玉米果穗的長度和寬度分別對應玉米果穗的長軸和短軸，本文通過建立玉米果穗的最小外接矩形獲取果穗的長、寬參數(shù)[23]。對玉米果穗二值圖進行輪廓跟蹤，基于Graham掃描法[29]建立其最小外接矩形，將果穗最小外接矩形的長記為ei，最小外接矩形的寬記為ei，則各圖像中計算的果穗長為ei×ei，果穗寬為ei×ei，同時計算4副圖像的平均果穗長、平均果穗寬、最大果穗長、最大果穗寬，并與人工測量值做對比。結果表明4幅圖像的最大果穗長、最大果穗寬與人工測量結果相關性最高，故果穗長度定義為L=max{ei,1, 2, 3, 4}，果穗寬度定義為W=max{ei,1, 2, 3, 4}。

1.4.2 穗行數(shù)提取

由于處于玉米果穗中間區(qū)域的籽粒排列相對規(guī)則，在進行穗行數(shù)提取時，選取沿果穗最小外接矩形方向玉米籽粒中間的1/2區(qū)域進行處理。圖5a的提取效果如圖7e所示。

1.4.3 行粒數(shù)提取

行粒數(shù)提取與有效穗行數(shù)提取采用相同的提取規(guī)則，區(qū)別在于有效穗行數(shù)提取針對果穗上全部籽粒的中間1/2區(qū)域進行跟蹤，而行粒數(shù)提取則針對果穗上全部籽粒區(qū)域進行跟蹤，圖7a的籽粒跟蹤效果如圖8所示。

圖8 圖7a籽粒跟蹤效果

選取所跟蹤的有效行數(shù)中，行粒數(shù)最大值作為圖8所測得的果穗行粒數(shù)ki，該果穗行粒數(shù)n由式（9）中計算的通過四舍五入法取整所得。

1.4.4 總粒數(shù)提取

1.4.5 籽粒厚度提取

根據(jù)所提出的籽粒跟蹤規(guī)則，得出每副圖像所跟 蹤的行粒數(shù)ri及該行跟蹤路徑之和D，則平均籽粒厚度為：

2 結果與分析

為驗證本文所提方法測量的準確性，進行玉米考種試驗。隨機選取20個待考種果穗，用人工方式統(tǒng)計各果穗長、寬、穗行數(shù)、行粒數(shù)，總粒數(shù)后，將其依次置于果穗考種單元的2根平行安裝鋼絲上方，樣本在高通量自動考種裝備[14]上進行自動考種并保存測量結果，對比系統(tǒng)測量的數(shù)據(jù)與人工方式測量數(shù)據(jù)差異。

2.1 穗長、穗粗、平均粒厚測量精度分析

采用游標卡尺（量程300 mm，精度0.02 mm）進行測量，將測得果穗的最大長度和最大直徑作為人工測得的穗長、穗粗參數(shù)。選取果穗中間排布較為均勻的區(qū)域，測量其所包含籽粒的總厚度，并計算平均粒厚作為人工測得的平均粒厚值。與本文所提方法測量結果相關性如圖9所示。

圖9 不同方式穗長、穗粗、平均粒厚測定的相關性

結果表明，本文方法穗長測量值與人工方法測量值之間的決定系數(shù)2為0.997 3，本文方法穗粗測量值與人工方法測量值之間的決定系數(shù)2為0.984，本文方法平均粒厚測量值與人工方法測量值之間的決定系數(shù)2為0.941 5。

2.2 穗行數(shù)、行粒數(shù)、總粒數(shù)測量精度分析

采用人工方式對檢測樣本的穗行數(shù)及總粒數(shù)進行計算，將數(shù)出的總粒數(shù)除以穗行數(shù)并取整，作為人工測量出的行粒數(shù)。本文所提方法與人工測得的穗行數(shù)、行粒數(shù)、總粒數(shù)結果如表1所示。

表1 穗行數(shù)、行粒數(shù)、總粒數(shù)測量結果

結果表明，針對所采用樣本，本文所采用的方法對穗行數(shù)測量的平均精度為98.63%，其中樣本5和樣本19由于性狀極不規(guī)則，測量結果與人工測量結果出現(xiàn)偏差。行粒數(shù)平均測量精度為95.35%。

玉米高通量自動考種裝置在果穗考種單元和籽粒考種單元均進行了總粒數(shù)計算[14]。本文中果穗考種單元的總粒數(shù)通過行粒數(shù)和穗行數(shù)計算得出，其測量值受行粒數(shù)和穗行數(shù)測量精度影響較大，故測得的每個樣本總粒數(shù)與人工測量值均存在一定偏差。在籽?？挤N單元則直接對果穗脫粒后的籽粒數(shù)量進行計算[15]，因此針對單個果穗，其總粒數(shù)的測量精度優(yōu)于本文所提方法。玉米高通量自動考種裝置考種時以籽?？挤N單元測得的總粒數(shù)作為果穗總粒數(shù)。

3 結 論

本文針對所設計玉米高通量自動考種裝置的玉米果穗考種模塊，提出了一種基于4相機的玉米果穗考種參數(shù)快速測量方法，通過等間隔90°安裝的4個攝像頭獲取果穗四周圖像，分別構建投影模型并分析，最終綜合4副圖像分析結果，實現(xiàn)果穗穗長、穗粗、平均粒厚、穗行數(shù)、行粒數(shù)、穗粒數(shù)等考種參數(shù)的獲取。針對隨機選取的20穗樣本，本文所提方法對穗長、穗粗、平均粒厚測量結果與人工方法測量值之間的決定系數(shù)2分別為0.997 3、0.984、0.941 5。對穗行數(shù)、行粒數(shù)的測量精度分別為98.63%、95.35%，滿足玉米高通量自動考種 裝置作業(yè)需求，為玉米高通量自動考種裝置的實現(xiàn)奠定基礎。

[1] 肖伯祥，王傳宇，郭新宇，等. 玉米考種自動化流水線機構設計與仿真[J]. 系統(tǒng)仿真學報，2015，27(4)：913－919. Xiao Boxiang, Wang Chuanyu, Guo Xinyu, et al. Automatic pipelining mechanism design for maize ear analysis[J]. Journal of System Simulation, 2015, 27(4): 913－919. (in Chinese with English abstract)

[2] 曹婧華，冉彥中，郭金城. 玉米考種系統(tǒng)的設計與實現(xiàn)[J]. 長春師范學院學報：自然科學版，2011，30(4)：38－41. Cao Jinghua, Ran Yanzhong, Guo Jincheng. The design and realization of corn test system[J]. Journal of Changchun Normal University: Natural Science, 2011, 30(4): 38－41. (in Chinese with English abstract)

[3] 劉長青，陳兵旗，張新會，等. 玉米定向精播種粒形態(tài)與品質(zhì)動態(tài)檢測方法[J]. 農(nóng)業(yè)機械學報，2015，46(9)：47－54. Liu Changqing, Chen Bingqi, Zhang Xinhui, et al. Dynamic detection of corn seeds for directional precision seeding[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9): 47－54. (in Chinese with English abstract)

[4] 溫維亮，郭新宇，楊濤，等. 玉米果穗點云分割方法研究[J]. 系統(tǒng)仿真學報，2017，29(12)：3030－3034，3041. Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030－3034, 3041. (in Chinese with English abstract)

[5] 曹維時，張春慶，王金星，等. 離散小波變換和BP神經(jīng)網(wǎng)絡識別玉米種子純度[J]. 農(nóng)業(yè)工程學報，2012，28(增刊2)：253－258. Cao Weishi, Zhang Chunqing, Wang Jinxing, et al. Purity identification of maize seed based on discrete wavelet transform and BP neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(Supp.2): 253－258. (in Chinese with English abstract)

[6] 馬欽，江景濤，朱德海，等. 基于圖像處理的玉米果穗三維幾何特征快速測量[J]. 農(nóng)業(yè)工程學報，2012，28(增刊2)：208－212. Ma Qin, Jiang Jingtao, Zhu Dehai, et al. Rapid measurement for 3D geometric features of maize ear based on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(Supp.2): 208－212. (in Chinese with English abstract)

[7] Liang X, Wang K, Huang C, et al. A high-throughput maize kernel traits scorer based on line-scan imaging[J]. Measurement, 2016, 90: 453－460.

[8] 黃成龍，張雪海，吳迪，等. 基于時間序列的玉米葉片性狀動態(tài)提取方法研究[J]. 農(nóng)業(yè)機械學報，2017，48(5)： 174－178，198. Huang Chenglong, Zhang Xuehai, Wu Di, et al. Dynamic extraction method of maize leaf traits based on time series[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(5): 174－178, 198. (in Chinese with English abstract)

[9] 楊錦忠，張洪生，郝建平，等. 玉米果穗圖像單一特征 的品種鑒別力評價[J]. 農(nóng)業(yè)工程學報，2011，27(1)： 196－200. Yang Jinzhong, Zhang Hongsheng, Hao Jianping, et al. Identifying maize cultivars by single characteristic of ears using image analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 196－200. (in Chinese with English abstract)

[10] 仇瑞承，苗艷龍，季宇寒，等. 基于RGB-D相機的單株玉米株高測量方法[J].農(nóng)業(yè)機械學報，2017，48(增刊1)：211－219. Qiu Ruicheng, Miao Yanlong, Ji Yuhan, et al. Measurement of individual maize height based on RGB-D camera[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(Supp. 1): 211－219. (in Chinese with English abstract)

[11] Ge Y, Bai G, Stoerger V, et al. Temporal dynamics of maize plant growth, water use, and leaf water content using automated high throughput RGB and hyper spectral imaging[J]. Computers and Electronics in Agriculture, 2016, 127: 625－632.

[12] 張帆，李紹明，劉哲，等. 基于機器視覺的玉米異常果穗篩分方法[J]. 農(nóng)業(yè)機械學報，2015，46(增刊)：45－49. Zhang Fan, Li Shaoming, Liu Zhe, et al. Screening method of abnormal corn ears based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.): 45－49. (in Chinese with English abstract)

[13] 吳剛，陳曉琳，謝駕宇，等. 玉米果穗自動考種系統(tǒng)設計與試驗[J]. 農(nóng)業(yè)機械學報，2016，47(增刊)：433－441. Wu Gang, Chen Xiaolin, Xie Jiayu, et al. Design and experiment of automatic variety test system for corn ear[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(Supp.): 433－441. (in Chinese with English abstract)

[14] 宋鵬，張晗，王成，等. 玉米高通量自動考種裝置設計與試驗[J]. 農(nóng)業(yè)工程學報，2017，33(16)：41－47. Song Peng, Zhang Han, Wang Cheng, et al. Design and experiment of high throughput automatic measuring device for corn[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 41－47. (in Chinese with English abstract)

[15] 宋鵬，張晗，王成，等. 玉米籽?？挤N信息獲取裝置設計與試驗[J]. 農(nóng)業(yè)機械學報，2017，48(12)：19－25. Song Peng, Zhang Han, Wang Cheng, et al. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(12): 19－25. (in Chinese with English abstract)

[16] 汪珂，梁秀英，宗力，等. 玉米籽粒性狀高通量測量裝置設計與實現(xiàn)[J]. 中國農(nóng)業(yè)科技導報，2015，17(2)：94－99. Wang Ke, Liang Xiuying, Zong Li, et al. Design and realization of a high-throughput maize kernel trait extraction system[J]. Journal of Agricultural Science and Technology, 2015, 17(2): 94－99. (in Chinese with English abstract)

[17] 杜建軍，郭新宇，王傳宇，等. 基于分級閾值和多級篩分的玉米果穗穗粒分割方法[J]. 農(nóng)業(yè)工程學報，2015，31(15)：140－146. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Segmentation method for kernels of corn ear based on hierarchical threshold and multi-level screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 140－146. (in Chinese with English abstract)

[18] 柳冠伊，劉平義，魏文軍，等. 玉米果穗粘連籽粒圖像分割方法[J]. 農(nóng)業(yè)機械學報，2014，45(9)：285－290. Liu Guanyi, Liu Pingyi, Wei Wenjun, et al. Method of image segmentation for touching maize kernels[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 285－290. (in Chinese with English abstract)

[19] 趙春明，韓仲志，楊錦忠，等. 玉米果穗 DUS 性狀測試的圖像處理應用研究[J]. 中國農(nóng)業(yè)科學，2009，42(11)：4100－4105. Zhao Chunming, Han Zhongzhi, Yang Jinzhong, et al. Study on application of image process in ear traits for DUS testing in maize[J]. Scientia Agricultura Sinica, 2009, 42(11): 4100－4105. (in Chinese with English abstract)

[20] 段熊春，周金輝，王思嘉. 面向玉米果穗考種測量的圖像標定方法[J]. 農(nóng)機化研究，2014，36(1)：76－79. Duan Xiongchun, Zhou Jinhui, Wang Sijia. Image calibration method for the ear of corn measurement system[J]. Journal of Agricultural Mechanization Research, 2014, 36(1): 76－79. (in Chinese with English abstract)

[21] 杜建軍，郭新宇，王傳宇，等. 基于穗粒分布圖的玉米果穗表型性狀參數(shù)計算方法[J]. 農(nóng)業(yè)工程學報，2016，32(13)：168－176. Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168－176. (in Chinese with English abstract)

[22] 王傳宇，郭新宇，吳升，等. 采用全景技術的機器視覺測量玉米果穗考種指標[J]. 農(nóng)業(yè)工程學報，2013，29(24)： 155－162. Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photograyphy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155－162. (in Chinese with English abstract)

[23] 劉長青，陳兵旗. 基于機器視覺的玉米果穗?yún)?shù)的圖像測量方法[J]. 農(nóng)業(yè)工程學報，2014，30(6)：131－138. Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131－138. (in Chinese with English abstract)

[24] 呂永春，馬欽，李紹明，等. 基于背景板比例尺的玉米果穗圖像特征測量[J]. 農(nóng)業(yè)工程學報，2010，26(14)：43－47. Lü Yongchun, Ma Qin, Li Shaoming, et al. Image features measurement of maize ear based on background plate scale[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(14): 43－47. (in Chinese with English abstract)

[25] 李偉，胡艷俠，呂岑. 基于 HSV 空間的玉米果穗性狀的檢測[J]. 湖南農(nóng)業(yè)大學學報(自然科學版)，2017，43(1)：112－116. Li Wei, Hu Yanxia, Lü Cen. Traits detection of corn ear based on HSV color space[J]. Journal of Hunan Agricultural University (Natural Sciences), 2017, 43(1): 112－116. (in Chinese with English abstract)

[26] 王慧慧，孫永海，張婷婷，等. 鮮食玉米果穗外觀品質(zhì)分級的計算機視覺方法[J]. 農(nóng)業(yè)機械學報，2010，41(8)： 156－159，165. Wang Huihui, Sun Yonghai, Zhang Tingting, et al. Appearance quality grading for fresh corn ear using computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(8): 156－159, 165. (in Chinese with English abstract)

[27] 柳冠伊，楊小紅，白明，等. 基于線陣掃描圖像的玉米果穗性狀檢測技術[J]. 農(nóng)業(yè)機械學報，2013，44(11)：276－280. Liu Guanyi, Yang Xiaohong, Bai Ming, et al. Detecting techniques of maize ear characters based on line scan image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 276－280. (in Chinese with English abstract)

[28] 周金輝，馬欽，朱德海，等. 基于機器視覺的玉米果穗產(chǎn)量組分性狀測量方法[J]. 農(nóng)業(yè)機械學報, 2015，46(3)： 221－227. Zhou Jinhui，Ma Qin，Zhu Dehai，et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(3): 221－227. (in Chinese with English abstract)

[29] 吳文周，李利番，王結臣. 平面點集凸包Graham算法的改進[J]. 測繪科學，2010，35(6)：123－125. Wu Wenzhou，Li Lifan，Wang Jiechen. An improved Graham algorithm for determining the convex hull of planar points set[J]. Science of Surveying and Mapping, 2010, 35(6): 123－125. (in Chinese with English abstract)

High throughput automatic extraction method of corn ear parameters based on multiple cameras images

Song Peng1,2, Zhang Han1,2, Luo Bin1,2, Hou Peichen1,2, Wang Cheng2,3※

(1.100097,; 2.100097,; 3.100097,)

The efficiency and accuracy of corn ear test are two of the key factors restricting the breeding efficiency seriously. Corn ear test includes the measurement, records, statistics and analysis of parameters such as ear weight, ear length, ear width, number of ear rows, kernels per row, average thickness of kernel, kernels per ear. In this paper, a corn ear parameter extraction method based on 4 cameras was proposed based on the high-throughput automatic measuring device which has been developed previously. Four high-resolution color cameras were evenly distributed around the ear with the interval of 90° to get the corn ear images from 4 directions at the same time. Every image from the corresponding camera was processed including image preprocessing, projection model building, and parameters extraction of corn ear. During image preprocessing process, center part of the original image with the length of 7/9 of the original image length, the width of 1/2 of the original image width was chosen as the processed area. Binarization processing was applied to the area to obtain binary image, and the binary image was processed by image denoising, hole filling and other morphological transform. An AND-operation was then applied between the processing result and the original image to access the corn ear images without background. The projection model was constructed after image preprocessing process, which considered ear cross-section circular, and kernels were distributed on ear cross-section as point on the circumference of a circle. Thus, number of ear rows can be easily calculated according to the relationship between number of ear rows and circumferential angle of those rows. Procedure such as kernels area acquisition, kernels center position acquisition, kernels at edge removal, reserved kernels tracking and corn ear parameters calculation are operated based on the projection model. Since there are 4 images for each ear, the final ear parameters including ear length, ear width, average thickness of kernel, number of ear rows, kernels per row, kernels per ear are calculated based on parameters measured from each image. The ear length and width are represented by the maximum length and width of the smallest external rectangle of the 4 images. Number of ear rows in each image is calculated from the valid row number and the circumferential angle which can be obtained on the basis of the projection model. Kernels per row are acquired by tracking the kernel area for each ear image, the maximum number of kernels in a row for each image is calculated as well as the average value, and the round-of number is considered as kernels per row of the ear. Kernels per ear are calculated from the valid row number, kernel number of the valid rows and corn ear rows. Average thickness of kernel is calculated according to the tracked kernel number and the total tracking path. Experiments are carried out with the high-throughput automatic measuring device for corn, and results show that the determination coefficients (2) of ear length, ear width and average thickness of kernel achieve 0.997 3, 0.984 and 0.941 5 respectively between the values obtained by the proposed method in this paper and that measured artificially. The measuring accuracies of number of ear rows and kernels per ear are 98.63% and 95.35%, respectively, which meet the requirements of corn parameters measurement during maize breeding. The proposed method also provides a new train of thought for the extraction of corn ear parameter, and it also lays a solid foundation for the realization of automatic high-throughput device for corn.

crops; extraction; image segmentation; ear parameters acquision; four cameras; projection model; kernels tracking; ear rows

10.11975/j.issn.1002-6819.2018.14.023

TP242.6；TP391.4

A

1002-6819(2018)-14-0181-07

2018-02-09

2018-05-23

國家重點研發(fā)計劃（2017YFD0701205）；國家自然科學基金（31601216）

宋 鵬，高級工程師，博士，主要從事農(nóng)業(yè)信息技術及裝備研究。Email：songp@nercita.org.cn

王 成，研究員，博士，主要從事農(nóng)業(yè)信息化、農(nóng)業(yè)智能裝備及儀器研究。Email：wangc@nercita.org.cn

宋 鵬，張 晗，羅 斌，侯佩臣，王 成.基于多相機成像的玉米果穗考種參數(shù)高通量自動提取方法[J]. 農(nóng)業(yè)工程學報，2018，34(14)：181－187. doi：10.11975/j.issn.1002-6819.2018.14.023 http://www.tcsae.org

Song Peng, Zhang Han, Luo Bin, Hou Peichen, Wang Cheng.High throughput automatic extraction method of corn ear parameters based on multiple cameras images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(14): 181－187. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.14.023 http://www.tcsae.org