李頎 王康 強華 馬琳

摘要：針對玉米選種過程中異常種穗的外觀缺陷難以準確識別的問題，以玉米種穗為研究對象，通過計算機視覺技術快速識別雜色、缺粒、蟲蛀、籽粒雜亂4種異常種穗。選擇單目視覺采集裝置，采集任意姿態(tài)玉米種穗圖像，利用凹點匹配算法分割粘連玉米種穗;采用HSV和CLBP（完全局部二值模式）方法提取玉米種穗的顏色和紋理特征，利用匹配得分融合算法融合玉米種穗的顏色和紋理特征，建立玉米種穗分類模型，利用SVM實現(xiàn)4種異常玉米種穗的快速分類。試驗結(jié)果表明，該方法相對于傳統(tǒng)玉米種穗檢測技術能快速有效識別出4種異常玉米種穗，對雜色、缺粒、蟲蛀、籽粒雜亂玉米種穗的識別正確率分別達到了96.0%、94.7%、93.6%和95.3%，玉米種穗在有粘連和無粘連情況下平均識別速度分別為每穗1.180 s和0.985 s，能夠滿足異常種穗分類識別的需求。

關鍵詞：玉米種穗;計算機視覺;顏色特征;紋理特征;分類識別

中圖分類號：S126;TP391.41文獻標識碼：A文章編號：1000-4440（2020）01-0024-08

Abstract：This study aims at the problem that it is difficult to accurately identify the appearance defects of abnormal corn ears during corn selection. Taking the whole corn ear as the research object， the four kinds of abnormal corn ears（variegated corn ear， missing corn ear， worm-eaten corn ears and untidy corn ears） were quickly identified by computer vision technology. The monocular visual image acquisition device was selected to collect the image of the corn ear in arbitrary posture， and the pit matching algorithm was used to complete the rapid segmentation of the cohesive corn ear. The HSV color model and complete local binary pattern（CLBP） method were used to extract color and texture features of corn ear， and the matching score fusion algorithm was used to fuse the color and texture features of corn ear. At the same time， an abnormal corn ears classification model was established. Finally， the rapid classification of four abnormal corn ears was achieved by support vector machine（SVM）. The experimental results showed that this method could quickly and effectively identify four abnormal corn ears compared with traditional corn ear measurement technology. The correct recognition rate of this method was 96.0%， 94.7%， 93.6% and 95.3% for the variegated corn ears， missing corn ears， worm-eaten corn ears and untidy corn ears. The average recognition speed of maize seed ear in the presence of adhesion and non-adhesion was 1.180 seconds per ear and 0.985 seconds per ear. This method can provide a basis for the identification of abnormal ears during the intelligent corn ear sorting process.

Key words：corn ears;computer vision;color features;texture features;classification and recognition

異常玉米種穗是制約玉米產(chǎn)量和質(zhì)量的重要因素，目前玉米種穗的檢測主要由人工完成?；跈C器視覺技術的異常玉米種穗分類識別能夠有效解決傳統(tǒng)人工檢測速度慢、精度低、主觀誤差大、容易疲勞出錯等問題，并且能夠為玉米種穗的自動化分揀奠定基礎。近年來，國內(nèi)外采用機器視覺技術對玉米的研究主要集中于玉米籽粒的分析和處理[1-4]，對于玉米種穗整穗外觀缺陷檢測的研究方法較少[5]。在玉米種穗識別方面，李偉等利用HSV顏色空間方法檢測玉米種穗的外觀性狀，單一用明度V的標準差和均值表征玉米種穗顏色和紋理的特征，未對異常玉米種穗進行識別[6]。張帆等對玉米種穗的霉變、蟲蛀、機械損傷3種情況進行了識別和分析，沒有識別雜色、籽粒雜亂等其他異常玉米種穗[7]。王慧慧等通過HSI模型研究了鮮食玉米種穗的外觀品質(zhì)，利用玉米種穗的H值進行雙向一次微分運算，根據(jù)H的單位變化量實現(xiàn)玉米種穗缺陷識別，但不能識別出缺陷玉米種穗的具體類別[8]。崔欣等[9]以玉米種穗籽粒為研究對象，根據(jù)玉米籽粒的形態(tài)特征提取籽粒矩形度、圓形度、緊湊度等16個特征參數(shù)，最終實現(xiàn)了損傷籽粒的識別，雖然沒有研究玉米種穗的整體特性，但對本研究的蟲蛀和缺粒玉米種穗識別提供了參考方法。玉米種穗的外觀缺陷類型不僅與種穗的顏色特征相關，而且也與種穗的紋理特征相關。若僅采用顏色特征判別種穗的缺陷類型，容易造成顏色相近的玉米種穗被誤識別成同一類;若僅采用紋理特征識別玉米種穗，易造成紋理特征相似的玉米種穗被分為同一類。本研究以玉米種穗整體為研究對象，將玉米種穗HSV模型中3個通道的均值和標準差作為玉米種穗的顏色特征向量以及利用CLBP方法得到的紋理特征，全面表征玉米種穗的外觀特征信息，用于解決雜色、缺粒、蟲蛀、籽粒雜亂玉米種穗難以識別的問題，為實現(xiàn)智能化玉米種穗的分類識別提供理論依據(jù)。

1材料與方法

1.1試驗材料

試驗時間為2019年3-7月，試驗地點為西安品誠電子科技有限公司。以西北地區(qū)廣為種植的先玉335玉米品種中的雜色、缺粒、蟲蛀以及籽粒雜亂成熟玉米種穗為研究對象。試驗玉米穗長在165 mm至245 mm之間，種穗最大直徑在43 mm至65 mm之間。常見4種異常玉米種穗如圖1所示。

1.2玉米種穗圖像采集

玉米種穗圖像采集裝置（圖2）包括傳送帶、黑色暗箱、LED補光燈、邁視威CCD彩色工業(yè)相機以及PC機。傳送帶長寬尺寸為150 cm×40 cm;暗箱為一個立方體，尺寸大小為40 cm×40 cm×40 cm;2個長度為35 cm的LED補光燈置于暗箱頂部側(cè)面;CCD工業(yè)相機垂直懸掛于暗箱頂部中央位置，攝像頭最大分辨率為3.00×106像素，即2 048 px×1 536 px，相機視場大小為40 cm×40 cm。為了保證相機采集到清晰且亮度一致的玉米種穗圖像，暗箱內(nèi)采用光照度為110 cd的2個LED補光燈使暗箱內(nèi)不受外界環(huán)境的影響，始終保持光線均勻的弱光條件。玉米種穗通過傳送帶被傳送至暗箱后，照相機采集玉米種穗圖像，圖像通過USB接口發(fā)送給PC機，在PC機上對玉米種穗圖像進行分析和處理。玉米種穗圖像采集裝置實物圖見圖3。

1.3玉米種穗顏色和紋理特征提取

玉米種穗的缺粒區(qū)域呈灰白色，蟲蛀區(qū)域呈乳白色，兩者的顏色比較接近。缺粒區(qū)域在HSV模型中的H（2～5）、S（60～79）、V（229～253）和蟲蛀區(qū)域在HSV模型中的H（2～8）、S（33～68）、V（232～255）中均有交叉部分，因此通過顏色特征來區(qū)分缺粒和蟲蛀玉米種穗時容易錯分。籽粒雜亂玉米和正常玉米的HSV顏色值基本在（11，102，241）附近波動，用顏色難以區(qū)分，需要通過玉米種穗的紋理特征才能將兩者區(qū)分開。而雜色玉米種穗的HSV顏色模型中S（137～197）、V（95～125）顏色值與其他3種玉米種穗的S、V顏色值沒有交集，能夠明顯區(qū)分開，因此用顏色比較容易區(qū)分。

單獨利用玉米種穗的顏色或紋理特征難以將異常玉米種穗?yún)^(qū)分開，因此本研究采用將玉米種穗顏色和紋理特征相結(jié)合的方法來識別異常玉米種穗。對異常玉米種穗的識別主要是識別單個玉米種穗或玉米種穗的異常區(qū)域（雜色籽粒、缺粒、蟲蛀籽粒、排列雜亂籽粒），因此本研究主要提取單個玉米種穗的顏色特征和異常區(qū)域的紋理特征，從而識別異常玉米種穗的類型。

1.3.1顏色特征提取HSV顏色模型支持大量的圖像分析算法，與BGR相比，HSV顏色模型更接近人類視覺感知特點，更利于圖像的分析和處理。針對玉米種穗的顏色特征，采用HSV顏色模型提取異常玉米種穗顏色特征向量，而顏色矩中的低階矩存儲著異常玉米種穗的大部分顏色信息，因此主要提取玉米種穗HSV空間的H、S和V通道的一階矩μ（均值）以及二階矩δ（標準方差）6個參數(shù)作為玉米種穗的顏色特征向量。

為了排除剪切出的單個玉米種穗圖像黑色背景部分對計算結(jié)果的影響，利用H、S、V通道計算H、S和V的均值和標準差時，不能計算玉米種穗輪廓外的背景區(qū)域。因此H、S和V通道的玉米種穗輪廓區(qū)域A對象的均值和方差計算為公式（1）和（2）。

M、N分別表示剪切出的單個玉米種穗圖像的像素長和寬，A表示單個玉米種穗輪廓區(qū)域的像素面積，P（x，y）表示H、S和V通道玉米種穗圖像在（x，y）點的像素值。

通過玉米種穗的HSV顏色空間模型分析，將H、S和V通道的均值（μ）、標準方差（δ）這6個值作為玉米種穗的顏色特征值，表征玉米種穗的顏色特征，并記顏色特征向量為hsv，則其可表示為：hsv=[μH，δH，μS，δS，μV，δV]。

1.3.2紋理特征提取由于局部二值模式（LBP）在紋理識別方面具有計算復雜度低、數(shù)據(jù)量小以及效果較好等優(yōu)勢，可用于表征局部圖像的紋理空間結(jié)構(gòu)，而被廣泛應用于紋理特征識別[10]。但傳統(tǒng)的LBP描述僅僅利用了單一差分符號信息，簡化了局部紋理結(jié)構(gòu)，損失了其他紋理信息，導致兩種不同的紋理可能被誤識別，歸為同一類。CLBP特征信息比原始LBP特征信息更全面，并且CLBP方法對紋理的表征能力優(yōu)于傳統(tǒng)的LBP方法[11-12]。由于CLBP能夠反映玉米種穗的局部紋理特征，并且相對于LBP能夠更全面地表征局部紋理結(jié)構(gòu)，因此本研究采用基于CLBP的紋理特征提取算法提取玉米種穗紋理特征參數(shù)。

CLBP從局部差異符號與大小轉(zhuǎn)換的角度分析了LBP方法，由3種不同的描述子組成：灰度描述子CLBP_C、符號描述子CLBP_S和幅度描述子CLBP_M。為了保證CLBP算子能夠處理玉米種穗紋理區(qū)域的每一個像素點，采用半徑為1 px的8鄰域旋轉(zhuǎn)不變二值模式對紋理特征進行描述。CLBP的3個描述子如式（3）、（4）、（5）所示，將CLBP_S8，1、CLBP_M8，1和CLBP_C8，1結(jié)合在一起組成CLBP8，1描述子。

式中，gc代表窗口中心位置像素值;gp代表以gc為中心，半徑為1 px的環(huán)形領域像素值;mp表示中心像素和鄰域像素差值的絕對值;τ表示玉米種穗紋理局部區(qū)域圖像幅度值mp的均值，p=0，1…，7;cl是一個自適應閾值，我們將其設置為玉米種穗局部區(qū)域圖像的灰度均值。

由于玉米種穗的H通道圖接近于黑色，難以從中提取到紋理特征，因此選擇求取BGR以及S、V通道的CLBP8，1直方圖作為玉米種穗的紋理特征，分別記為QBGR、QS和QV，則玉米種穗紋理區(qū)域圖像的特征向量為Q=[QBGR，QS，QV]。

1.4玉米種穗特征向量匹配得分特征融合及分類識別

由于要對提取的異常玉米種穗顏色和紋理特征進行融合，計算出玉米種穗的融合得分值，從而判斷出玉米種穗最相似的類型作為玉米種穗可能所屬類別，因此選擇SVM學習方法，再利用SVM算法實現(xiàn)異常玉米種穗的分類。因為SVM是一種基于結(jié)構(gòu)風險化最小的學習方法，SVM求得的是全局唯一最優(yōu)解。要解決異常玉米種穗線性不可分問題，核函數(shù)的選擇在SVM分類算法中至關重要。由于異常玉米種穗的特征數(shù)量不多，樣本數(shù)量不是特別大，因此采用SVM+高斯（RBF）核函數(shù)對異常玉米種穗進行分類。

2結(jié)果與分析

2.1圖像預處理及粘連玉米種穗的分割

本研究所用的方法均在Python 3.5.4 和Opencv-python 4.0.0.21環(huán)境下進行試驗測試。為了保證采集到清晰的玉米種穗圖像以及系統(tǒng)具有較高的圖像處理速度，將CCD工業(yè)攝像機的分辨率設置為640 dpi×480 dpi。利用泛洪填充算法對采集到的BGR圖像進行去背景處理，將墨綠色傳送帶背景填充為黑色，并對圖像進行灰度化處理，最后利用Otsu（大津法）自適應閾值分割算法對玉米種穗圖像進行二值化處理[13]，得到二值化玉米種穗圖像。

為了提取單個玉米種穗圖像的顏色和紋理特征，需要分割粘連的玉米種穗。經(jīng)過分析，采集的單個玉米種穗圖像最大像素面積不超過7 000 dpi。采用凹點匹配算法分割粘連玉米種穗圖像[14]，首先篩選出面積大于7 000 dpi的粘連玉米種穗輪廓區(qū)域進行最小凸閉包檢測，獲取二值化后的粘連玉米種穗圖像輪廓最小凸閉包，得到粘連玉米種穗輪廓最小凸閉包的匹配凹區(qū)以及對應的分割凹點對，最后根據(jù)得到的分割凹點對完成粘連玉米種穗的分割。

采用改進的最小外接矩形法 （MER）獲取玉米種穗的最小外接矩形區(qū)域，根據(jù)單個玉米種穗最小外接矩形的4個頂點對玉米種穗進行旋轉(zhuǎn)剪切，獲得單個玉米種穗圖像。玉米種穗圖像粘連分割處理過程見圖4。

2.2異常種穗的顏色和紋理特征提取結(jié)果

將BGR玉米種穗圖像轉(zhuǎn)換為HSV圖像后，進行HSV通道分離，得到玉米種穗的H、S、V通道圖。4種異常玉米種穗的H、S、V通道圖如圖5所示。

通過玉米種穗顏色特征計算公式（1）、（2）計算旋轉(zhuǎn)剪切出的單個玉米種穗圖像的H、S和V通道的均值μH、μS、μV，標準方差δH、δS、δV，共6個顏色特征值。異常玉米種穗的6個顏色特征值見表1。4種異常玉米種穗的40×40像素的局部紋理圖如圖6所示。

由圖5可知，從異常玉米種穗的H通道中難以獲得其紋理特征，因此選擇提取異常玉米種穗的BGR以及S、V通道的紋理特征值，作為玉米種穗的特征值。設置與訓練樣本40×40像素大小相等的窗口，旋轉(zhuǎn)剪切出單個玉米種穗圖像，圖像移動一次得到一幅玉米種穗圖像區(qū)域，用于玉米種穗的紋理特征識別。通過玉米種穗紋理特征提取的公式（3）、（4）和（5）得到玉米種穗BGR以及S、V通道的直方圖（圖7～圖10）。

2.3基于顏色和紋理特征的異常玉米種穗分類與試驗結(jié)果

2.3.1樣本選擇以及分類識別從采集的玉米種穗庫中，選取4種已知異常玉米種穗以及正常玉米種穗圖像，每類各100幅共500幅作為訓練集。再分割出4種已知異常玉米種穗的局部異常區(qū)域圖像各100幅，并統(tǒng)計每塊異常玉米種穗?yún)^(qū)域圖像的尺寸大小。為了確保圖像處理過程中不錯過面積較小的異常部位，并且系統(tǒng)具有較高的識別精度以及處理速度，通過試驗分析選取40×40像素大小的矩形區(qū)域圖像作為提取紋理特征的訓練樣本。另外分別選取100個正常、125個雜色、132個缺粒、110個蟲蛀、108個籽粒雜亂的玉米種穗圖像作為測試樣本。

用選取的玉米種穗樣本參數(shù)對SVM進行訓練，得到SVM分類模型，利用分類模型實現(xiàn)異常玉米種穗的快速分類。在Python中分2個線程提取玉米種穗的特征能夠提高玉米種穗的處理速度。系統(tǒng)的第一個線程提取待測玉米種穗的顏色特征，第二個線程提取玉米種穗的紋理特征，在主線程中將顏色和紋理特征進行融合，利用SVM分類器對待側(cè)玉米種穗進行分類。系統(tǒng)分類識別流程如圖11所示。

本系統(tǒng)對測試樣本的分類識別結(jié)果見表2。從表2可以看出本方法對異常玉米種穗的識別準確率較高，達到了93%以上。由于缺粒和蟲蛀玉米種穗在顏色上比較接近，大塊蟲蛀區(qū)域和缺粒區(qū)域紋理特征比較相似，因此對于缺粒和蟲蛀玉米種穗容易出現(xiàn)互相識別錯誤的情況。籽粒雜亂和正常玉米種穗在顏色特征上比較接近，因此也容易出現(xiàn)相互識別錯誤的情況。

2.3.2種穗識別速度識別速度測試計算機配置為六核2.2 GHz CPU、8 G內(nèi)存、4 GB獨立顯卡，運行平臺Windows10。速度測試方案：分別選取20穗正常、雜色、缺粒、蟲蛀、籽粒雜亂玉米種穗共100穗進行有粘連和無粘連測量。速度測試結(jié)果表明，本系統(tǒng)在有粘連和無粘連情況下，每穗平均識別速度分別為1.180 s和0.985 s。周金輝等[5]通過可見光二維成像獲取種穗三維表型性狀參數(shù)，計算穗長、穗粗、穗行數(shù)以及粒數(shù)，每穗測量時間約1.8 s。相比而言，本方法在滿足異常種穗識別精度的前提下，有較快的測量速度，能夠?qū)崿F(xiàn)玉米種穗的在線識別與處理，可用于大批量玉米種穗自動化分揀。

2.3.3玉米種穗用戶管理平臺利用PyQt5為本系統(tǒng)開發(fā)了玉米種穗用戶管理平臺，平臺能夠?qū)崟r顯示當前生產(chǎn)狀況以及處理結(jié)果（圖12）。利用本方法，系統(tǒng)可準確識別出4種異常玉米種穗，并將識別結(jié)果顯示在上位機用戶機界面，便于用戶查看和分析。

3討論

本研究通過對玉米種穗外觀特征進行分析，所建立的方法能夠有效地識別4種異常玉米種穗類型，提高了異常玉米種穗的篩選效率。

對于玉米種穗外觀缺陷的研究，李偉等[6]在用HSV空間模型檢測玉米種穗性狀時，利用V通道的均值和標準差表征玉米種穗的紋理和顏色特征存在不合理性，V通道的均值和標準差難以表征玉米種穗的紋理特征。張帆等[7]在RGB和HIS模型中利用玉米種穗的顏色和紋理特征識別異常玉米種穗，其中利用玉米種穗各個顏色通道的均值作為玉米種穗的顏色特征向量表征玉米種穗的顏色特征，但是各個顏色通道的均值只能反映玉米種穗的整體顏色特征，不能反映玉米種穗的局部顏色分布情況，對玉米種穗的顏色特征表征存在較大的誤差，對機械損傷玉米種穗的識別正確率只達到90.0%。王慧慧等[8]通過HSI模型對鮮食玉米種穗的外觀缺陷進行識別與分析，根據(jù)玉米種穗的缺陷面積與整個玉米種穗面積計算出玉米種穗的缺陷比，以此判別玉米種穗是否屬于等外品，但不能識別出玉米種穗的具體缺陷類別。

本研究將廣泛用于人臉識別的CLBP方法引入到玉米種穗的紋理特征提取上，為玉米種穗的識別提供了一種新的紋理提取方法。識別結(jié)果表明，該方法對玉米種穗的紋理識別具有很好的適應性，并且能夠準確地識別出異常玉米種穗。

本研究以雜色、缺粒、蟲蛀、籽粒雜亂4種異常玉米種穗為研究對象，針對目前玉米種穗外觀缺陷檢測處于人工階段的問題，提出了一種基于HSV顏色和CLBP紋理特征的異常玉米種穗分類識別方法，結(jié)合玉米種穗的整體顏色特征和局部紋理特征，并利用匹配得分特征融合算法融合玉米種穗的6個顏色特征和3個紋理特征，利用SVM分類器實現(xiàn)了對異常玉米種穗的自動分類。試驗結(jié)果表明，該方法對雜色、缺粒、蟲蛀、籽粒雜亂玉米種穗的分類識別準確率分別達到了96.0%、94.7%、93.6%和95.3%，在有粘連和無粘連情況下每穗識別速度分別為1.180 s和0.985 s，有效解決了雜色、缺粒、籽粒雜亂玉米種穗難以識別的問題，并彌補了傳統(tǒng)人工識別效率低、主觀性強的缺點，因此在異常玉米種穗的識別方面該方法有著廣闊的應用前景。

參考文獻：

[1]劉長青，陳兵旗. 基于機器視覺的玉米果穗?yún)?shù)的圖像測量方法[J].農(nóng)業(yè)工程學報，2014，30（6）：131-138.

[2]杜建軍，郭新宇，王傳宇，等. 基于分級閾值和多級篩分的玉米果穗穗粒分割方法[J].農(nóng)業(yè)工程學報，2015，31（15）：140-146.

[3]SUN X H， GUO M， MA M， et al. Identification and classification of damaged corn kernels with impact acoustics multi-domain patterns[J]. Computers and Electronics in Agriculture，2018，150：152-161.

[4]張玉榮，王偉宇，周顯青，等. 基于外觀特征識別玉米不完善粒檢測方法[J].河南工業(yè)大學學報（自然科學版），2015，36（2）：1-7.

[5]周金輝，馬欽，朱德海，等. 基于機器視覺的玉米果穗產(chǎn)量組分性狀測量方法[J].農(nóng)業(yè)工程學報，2015，31（3）：221-227.

[6]李偉，胡艷俠，呂岑. 基于HSV空間的玉米果穗性狀的檢測[J].湖南農(nóng)業(yè)大學學報（自然科學版），2017，43（1）：112-116.

[7]張帆，李紹明，劉哲，等. 基于機器視覺的玉米異常果穗篩分方法[J].農(nóng)業(yè)機械學報，2015，46（S1）：45-49.

[8]王慧慧，孫永海，張婷婷，等. 鮮食玉米果穗外觀品質(zhì)分級的計算機視覺方法[J].農(nóng)業(yè)機械學報，2010，41（8）：156-159.

[9]崔欣，張鵬，趙靜，等. 基于機器視覺的玉米種粒破損識別方法研究[J].農(nóng)機化研究，2019，41（2）：28-33.

[10]ZINEB Y， LARBI B， ABDELHANI B. Human ear recognition based on local multi-scale LBP features withcity-block distance[J]. Multimedia Tools and Applications，2019，78（11）： 14425-14441.

[11]周宇旋，吳秦，梁久禎，等. 判別性完全局部二值模式人臉表情識別[J].計算機工程與應用，2017，53（4）：163-169.

[12]WANG X L， ZHU Q， CUI J R， et al. Sparse representation method based on Gabor and CLBP[J]. Optik-International Journal for Light and Electron Optics，2013，124（22）： 5843-5850.

[13]范朝冬，歐陽紅林，肖樂意. 基于空間截面投影的Otsu圖像分割算法[J].通信學報，2014，35（5）：70-78.

[14]王小鵬，姚麗娟，文昊天，等. 形態(tài)學多尺度重建結(jié)合凹點匹配分割枸杞圖像[J].農(nóng)業(yè)工程學報，2018，34（2）：212-218.

（責任編輯：張震林）