黃 敏，夏 超，朱啟兵，馬洪娟

融合高光譜圖像技術(shù)與MS-3DCNN的小麥種子品種識(shí)別模型

黃 敏1，夏 超1，朱啟兵1，馬洪娟2

（1. 江南大學(xué)輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，無(wú)錫 214122；2. 中化現(xiàn)代農(nóng)業(yè)有限公司，北京 100045）

小麥品種的純度和小麥產(chǎn)量密切相關(guān)，為了實(shí)現(xiàn)小麥種子品種的快速識(shí)別，該研究利用高光譜圖像技術(shù)結(jié)合多尺度三維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）提出了一種小麥種子的品種識(shí)別模型。首先，利用連續(xù)投影算法（Successive Projections Algorithm，SPA）對(duì)原始高光譜圖像進(jìn)行波段選擇，以減少M(fèi)S-3DCNN模型的輸入圖像通道數(shù)量，降低網(wǎng)絡(luò)訓(xùn)練參數(shù)規(guī)模；其次，利用多尺度三維卷積模塊提取特征圖的圖像特征和不同特征圖之間的耦合特征；最后，以6個(gè)品種小麥共6 000粒種子的高光譜圖像（400～1 000 nm）為研究對(duì)象，基于SPA算法選擇了22個(gè)波段高光譜數(shù)據(jù)，利用MS-3DCNN、支持向量機(jī)（Support Vector Machine，SVM）分別構(gòu)建了識(shí)別模型。試驗(yàn)結(jié)果表明，MS-3DCNN模型取得了96.72%的測(cè)試集識(shí)別準(zhǔn)確率，相較于光譜特征SVM識(shí)別模型和融合特征SVM識(shí)別模型分別提高了15.38%和9.50%。進(jìn)一步比較了MS-3DCNN與基于二維卷積核、三維卷積核、多尺度二維卷積核構(gòu)建的多個(gè)識(shí)別模型性能，結(jié)果表明多尺度三維卷積核能提取多種尺度的信息，其識(shí)別模型的準(zhǔn)確率提高了1.34%～2.70%，可為小麥種子高光譜圖像品種識(shí)別提供一種可行的技術(shù)途徑。

小麥；種子識(shí)別；多尺度三維神經(jīng)網(wǎng)絡(luò)；高光譜圖像

0 引 言

小麥?zhǔn)侵匾募Z食作物，在世界范圍內(nèi)廣泛種植。隨著中國(guó)經(jīng)濟(jì)持續(xù)高水平發(fā)展，對(duì)小麥種植環(huán)境的適應(yīng)性以及品質(zhì)需求有了進(jìn)一步要求。為了滿足用戶的多樣化品質(zhì)需求和不同氣候環(huán)境的種植需要，育種專家培育了數(shù)量眾多的小麥品種[1]。這些品種在滿足市場(chǎng)需求的同時(shí)，也帶來(lái)了潛在的種子混雜風(fēng)險(xiǎn)。種子品種的準(zhǔn)確鑒別對(duì)于減少種子混雜，提高種子純度、保證市場(chǎng)流通秩序具有重要作用。傳統(tǒng)基于理化分析的種子純度檢測(cè)方法存在鑒定時(shí)間長(zhǎng)、對(duì)種子具有破壞性的特點(diǎn)，已難以滿足現(xiàn)代農(nóng)業(yè)需要。開(kāi)發(fā)快速、無(wú)損的小麥種子品種識(shí)別方法對(duì)提高小麥生產(chǎn)效率有著極其重要的作用。

高光譜圖像技術(shù)具有快速、無(wú)損檢測(cè)樣品的內(nèi)部結(jié)構(gòu)及化學(xué)成分的特性，已在農(nóng)業(yè)工程領(lǐng)域得到廣泛的研究[2-4]。在種子檢測(cè)領(lǐng)域，許多學(xué)者開(kāi)發(fā)了基于高光譜圖像技術(shù)的種子品種識(shí)別方法[5-7]。這些種子高光譜圖像識(shí)別方法多采用特征學(xué)習(xí)和分類器設(shè)計(jì)相分離的策略[8-10]。即首先依賴專家的先驗(yàn)知識(shí)提取種子高光譜圖像數(shù)據(jù)的光譜、紋理或形態(tài)等原始特征，并利用特征選擇（如無(wú)信息變量消除[11]、連續(xù)投影算法[12]等）或特征抽?。ㄈ缰鞒煞址治鯷13]）技術(shù)對(duì)原始特征進(jìn)行選擇或變換，獲得不同品種種子的特征表示；然后基于獲得的特征來(lái)訓(xùn)練一個(gè)分類器模型（如偏最小二乘線性鑒別分析[14]、支持向量機(jī)[15]等）。由于圖像特征學(xué)習(xí)和分類器學(xué)習(xí)相分離，這類傳統(tǒng)機(jī)器學(xué)習(xí)模式存在以下缺陷：1）特征生成依賴于人工經(jīng)驗(yàn)，容易導(dǎo)致生成的特征不能有效抽取用于種子分類的圖像信息；2）特征壓縮與后續(xù)分類器的學(xué)習(xí)準(zhǔn)則難以統(tǒng)一（例如主成分分析的學(xué)習(xí)準(zhǔn)則是特征的相關(guān)性，而分類器的學(xué)習(xí)準(zhǔn)則是識(shí)別精度），壓縮后的特征往往無(wú)法保證后續(xù)分類器的識(shí)別精度。

自2016年以來(lái)，具有模型參數(shù)“端到端”學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)被應(yīng)用到高光譜圖像識(shí)別領(lǐng)域[16-18]。例如：Ma等[19]使用近紅外高光譜圖像結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建了種子活力的識(shí)別模型，取得了比傳統(tǒng)機(jī)器學(xué)習(xí)模式更高的識(shí)別精度；師蕓等[20]采用流形學(xué)習(xí)方法對(duì)高光譜圖像進(jìn)行降維處理，并使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)降維后的高光譜圖像數(shù)據(jù)進(jìn)行分類，提高了高光譜影像的分類精度，減少了分類時(shí)間。但這些基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜圖像識(shí)別方法多采用手動(dòng)提取的光譜或圖像特征（如光譜、紋理等）作為模型輸入，其識(shí)別精度仍然依賴于手動(dòng)提取特征的充分性。并且，這些基于卷積神經(jīng)網(wǎng)絡(luò)的方法多使用二維卷積進(jìn)行分類特征的提取與壓縮，難以兼顧高光譜圖像數(shù)據(jù)光譜維度與圖像維度，導(dǎo)致深度學(xué)習(xí)模型難以充分挖掘分類所需特征。

綜上，為了克服手動(dòng)提取特征對(duì)人員經(jīng)驗(yàn)的依賴性，充分挖掘有效的分類特征，從而進(jìn)一步提高分類模型的識(shí)別精度，本研究提出一種融合高光譜圖像技術(shù)與多尺度三維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）的小麥種子品種識(shí)別模型。該模型利用連續(xù)投影算法（Successive Projections Algorithm，SPA）對(duì)原始高光譜圖像進(jìn)行波段選擇，以減少M(fèi)S-3DCNN的輸入圖像通道數(shù)量，降低網(wǎng)絡(luò)訓(xùn)練參數(shù)規(guī)模。在此基礎(chǔ)上，引入多尺度三維卷積模塊，以充分提取每個(gè)特征圖上的圖像特征和不同特征圖之間的耦合特征，提高種子品種識(shí)別模型的準(zhǔn)確率，擬為小麥種子高光譜圖像品種識(shí)別提供一種可行的技術(shù)途徑。

1 材料與方法

1.1 試驗(yàn)材料

試驗(yàn)用小麥種子由中化現(xiàn)代農(nóng)業(yè)有限公司（中國(guó)）提供，共包含百農(nóng)矮抗、濟(jì)麥、師欒、偉隆、新麥、周麥6個(gè)品種（表1）。這6類種子分別來(lái)自河南、山東、河北、安徽4個(gè)不同產(chǎn)地，均生產(chǎn)于2019年。試驗(yàn)前，所有種子樣品由密封袋密封，并放置于玻璃干燥器內(nèi)，以防止環(huán)境水分對(duì)試驗(yàn)樣品的影響。

表1 小麥品種信息

1.2 高光譜圖像采集系統(tǒng)

利用實(shí)驗(yàn)室自主開(kāi)發(fā)的高光譜圖像采集系統(tǒng)（圖1）采集小麥種子的高光譜圖像。采集系統(tǒng)的主要部件：光譜范圍為400～1 000 nm（光譜分辨率2 nm，共300個(gè)波段）的快掃式高光譜相機(jī)（microHSI 410，康寧，康寧公司，美國(guó)）、光源（2個(gè)150 W鹵素?zé)簦┖涂删幊踢壿嬁刂破骺刂频暮谏珎魉蛶Вㄒ苿?dòng)速度為1 mm/s）。相機(jī)與小麥樣品的距離為30 cm，曝光時(shí)間為0.11 s。在采集圖像時(shí)，為了避免傳送帶運(yùn)動(dòng)帶來(lái)的麥粒晃動(dòng)，將小麥放置于黑色塑料數(shù)粒板的凹槽內(nèi)（凹槽尺寸為9 mm×4 mm× 2 mm，每個(gè)凹槽容納1粒小麥種子，共100個(gè)凹槽）。試驗(yàn)共采集6個(gè)品種小麥種子的60幅高光譜圖像（每個(gè)品種10幅圖像，每幅圖像包含100粒種子，共6 000粒）。由于光源強(qiáng)度分布及不均勻暗電流噪聲的存在，為了提高獲取圖像的信噪比需要對(duì)樣本進(jìn)行黑白標(biāo)定。每采集4幅小麥種子高光譜圖像，采集1次全黑、白板（反射率約為100%）圖像（蓋上相機(jī)鏡頭，獲得反射率約為0的全黑標(biāo)定圖像；放置白板，獲得全白標(biāo)定圖像）。其黑白標(biāo)定后的圖像的相對(duì)反射率的計(jì)算為

式中為全白標(biāo)定圖像的反射光強(qiáng)度，為全黑標(biāo)定圖像的反射光強(qiáng)度，0為小麥種子高光譜圖像的反射光強(qiáng)度。

1.3 高光譜圖像數(shù)據(jù)預(yù)處理

該試驗(yàn)共采集60幅高光譜圖像，每幅高光譜圖像含有100粒小麥種子高光譜信息。在將圖像輸入至分類模型前需預(yù)處理原始高光譜圖像，該處理過(guò)程依次為提取感興趣區(qū)域，計(jì)算感興趣區(qū)域的均值光譜、選擇特征波段和重組高光譜圖像。

5）選擇步驟4中種子品種分類精度最高的波段組合作為SPA算法選擇的最優(yōu)波段組合。

本研究通過(guò)上述試驗(yàn)驗(yàn)證了由22個(gè)最優(yōu)波段組成新的高光譜圖像對(duì)小麥種子品種分類準(zhǔn)確率最高。

重組高光譜圖像：從原始圖像中抽取22個(gè)最優(yōu)波段下的圖像并重組，以降低高光譜圖像的維度。由于通過(guò)自適應(yīng)閾值分割算法獲得的單個(gè)小麥種子圖像的空間尺寸大小不一致，對(duì)降維后的高光譜圖像進(jìn)行空間補(bǔ)零操作，最后得到70×40像素×22波段的小麥種子高光譜圖像。

1.4 多尺度三維卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建

卷積神經(jīng)網(wǎng)絡(luò)是一種由卷積層、池化層和全連接層構(gòu)成的前饋神經(jīng)網(wǎng)絡(luò)。由于其使用卷積層的局部感受野，權(quán)重共享和池化層的思想，以結(jié)構(gòu)重組的方式將特征抽取功能融合到多層感知器中，可省略傳統(tǒng)分類器手動(dòng)抽取圖像特征的過(guò)程[23-24]，并大幅度減少網(wǎng)絡(luò)中的參數(shù)。但傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)多采用二維卷積操作，難以充分挖掘高光譜圖像數(shù)據(jù)中不同波段之間的特征耦合關(guān)系[25]，進(jìn)而難以獲得高分類精度的卷積網(wǎng)絡(luò)。為了解決上述問(wèn)題，本研究引入了三維卷積模塊以充分提取不同特征通道上的特征關(guān)系。三維卷積模塊最早被用于人類行為識(shí)別[26-28]，其可以同時(shí)提取空間和時(shí)間維度上的特征，較之于二維卷積模塊，具有更好的識(shí)別效果。第-1層特征通過(guò)三維卷積操作轉(zhuǎn)換到第層特征圖的數(shù)學(xué)表達(dá)式如式（2）所示[29]。

此外，卷積核的大小對(duì)卷積神經(jīng)網(wǎng)絡(luò)的性能有著重要影響。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)卷積核設(shè)計(jì)多采用在不同卷積層使用尺寸大小不同的卷積核形式，以實(shí)現(xiàn)特征感受域的調(diào)節(jié)。本研究借助于Inception卷積模型思想[30]，在同一卷積層采用了尺寸大小不同的多個(gè)卷積核，分別提取輸入圖像數(shù)據(jù)中多個(gè)尺度的卷積特征，再將這些特征在通道維度上進(jìn)行融合（即將不同尺度卷積核得到的特征圖在通道方向上進(jìn)行拼接，增加特征圖通道的維度）。多尺度特征的提取和融合使模型能更好地獲取高光譜圖像數(shù)據(jù)的卷積特征。多尺度卷積模塊總計(jì)個(gè)卷積核，包含了/4個(gè)尺寸為5×5×5的卷積核、/4個(gè)尺寸為3×3×3的卷積核、/4個(gè)尺寸為5×5×3的卷積核和/4個(gè)尺寸為3×3×5的卷積核。由于卷積核的尺寸不同，在實(shí)施卷積操作時(shí)需要調(diào)節(jié)各維度上的步長(zhǎng)和補(bǔ)零操作，以保證特征圖各維度大小一致。最后，將這些特征在通道維度上進(jìn)行融合。

另外，在三維卷積操作后接一個(gè)批次規(guī)則化層（Batch Normalization，BN），以減少模型的過(guò)擬合，加快網(wǎng)絡(luò)收斂速度。三維卷積模塊中的激活函數(shù)使用LeaKy_ReLU，以防止輸入為負(fù)值時(shí)神經(jīng)元無(wú)效，并經(jīng)過(guò)池化層來(lái)壓縮數(shù)據(jù)和參數(shù)的量，減小過(guò)擬合。本研究設(shè)計(jì)的用于種子高光譜圖像識(shí)別的多尺度三維卷積模型如圖2所示。該模型利用3個(gè)多尺度三維卷積層抽取輸入高光譜圖像的卷積特征，經(jīng)過(guò)1個(gè)全連接層和1個(gè)輸出層輸出，輸出層采用Softmax激活函數(shù)。

1.5 運(yùn)行環(huán)境

本研究利用端到端的開(kāi)源機(jī)器學(xué)習(xí)平臺(tái)（TensorFlow）構(gòu)建MS-3DCNN模型，使用NVIDIA GeForce GTX 1080Ti顯卡進(jìn)行訓(xùn)練和測(cè)試。在訓(xùn)練MS-3DCNN模型時(shí)，為了防止模型過(guò)擬合，基于隨機(jī)丟棄（dropout）策略設(shè)置全連接層，即全連接層中的節(jié)點(diǎn)以50%的概率置為0。使用Adam動(dòng)量?jī)?yōu)化算法，采用批量訓(xùn)練的方法，設(shè)置批大小為40。學(xué)習(xí)率設(shè)為0.001，采用指數(shù)衰減學(xué)習(xí)率，使得模型訓(xùn)練后期更加穩(wěn)定。網(wǎng)絡(luò)迭代150次后，趨于穩(wěn)定。模型訓(xùn)練時(shí)的收斂曲線如圖3所示，在前30次迭代內(nèi)，損失值快速下降；經(jīng)過(guò)60次迭代后，模型的損失值平穩(wěn)地趨近于0，表現(xiàn)出了良好的性能和穩(wěn)定性。

1.6 驗(yàn)證與評(píng)價(jià)

為了減少訓(xùn)練樣本隨機(jī)性對(duì)分類模型性能的影響，本研究按“訓(xùn)練集∶測(cè)試集 = 7∶3”的原則隨機(jī)將數(shù)據(jù)集劃分為5組訓(xùn)練集和測(cè)試集；隨后，獨(dú)立使用每一組數(shù)據(jù)的訓(xùn)練集訓(xùn)練模型，將相應(yīng)的測(cè)試集輸入分類模型，根據(jù)分類器輸出的正確識(shí)別的樣本數(shù)量（N）和錯(cuò)誤識(shí)別的樣本數(shù)量（N），利用式（3）計(jì)算準(zhǔn)確率以評(píng)價(jià)模型[31]；最后，利用5次試驗(yàn)所得準(zhǔn)確率的平均值評(píng)價(jià)分類算法性能。

1.7 其他分類模型

為了驗(yàn)證MS-3DCNN的性能，本研究將傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法設(shè)置為對(duì)比方法。

傳統(tǒng)機(jī)器學(xué)習(xí)：支持向量機(jī)（Support Vector Machine，SVM）是一種典型的傳統(tǒng)機(jī)器學(xué)習(xí)方法。在本研究中，SVM協(xié)同使用手工特征和徑向基核函數(shù)（懲罰系數(shù)和徑向基寬度采用梯度優(yōu)化結(jié)合5折交叉驗(yàn)證方法獲得）訓(xùn)練得到小麥種子品種分類模型。手工特征包括：44維光譜特征（感興趣區(qū)域在22個(gè)波段下的均值光譜及光譜方差）；242維紋理特征（每個(gè)波段下有3個(gè)一階特征和8個(gè)二階統(tǒng)計(jì)量特征[2]）和12維形態(tài)學(xué)特征（面積、長(zhǎng)寬比、圓度、穩(wěn)度、圓形度、離心率、矩形度、內(nèi)切圓半徑、離散度、緊湊度、長(zhǎng)軸、短軸）。根據(jù)使用的特征種類不同，本研究設(shè)置了光譜特征SVM識(shí)別模型和融合特征SVM識(shí)別模型。其中，光譜特征SVM識(shí)別模型以光譜特征為輸入，融合特征SVM識(shí)別模型則以三類特征為輸入。由于光譜、形態(tài)學(xué)和紋理特征的數(shù)值存在較大差異，這會(huì)導(dǎo)致數(shù)值較大的特征在模型訓(xùn)練的過(guò)程中占據(jù)支配地位，弱化數(shù)值小的輸入特征的作用。因而，在特征融合前，對(duì)所有樣本的每個(gè)維度進(jìn)行均值為0、方差為1的標(biāo)準(zhǔn)化處理，使得所有特征在數(shù)量級(jí)上保持一致。

深度學(xué)習(xí)：在MS-3DCNN模型的結(jié)構(gòu)基礎(chǔ)上，分別用二維卷積核、三維卷積核、多尺度二維卷積核代替多尺度三維卷積核，構(gòu)建二維卷積神經(jīng)網(wǎng)絡(luò)（2D Convolutional Neural Network，2DCNN）模型、三維卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network，3DCNN）模型和多尺度二維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 2D Convolutional Neural Network，MS-2DCNN）模型。2DCNN模型、3DCNN模型和MS-2DCNN模型的網(wǎng)絡(luò)層數(shù)、迭代次數(shù)與MS-3DCNN模型相同。3DCNN模型使用的三維卷積核尺寸為3×3×3，且每個(gè)卷積層的卷積核數(shù)量與MS-3DCNN模型相同。2DCNN模型的卷積核尺寸為3×3，MS-2DCNN模型使用的多尺度二維卷積模塊仿照多尺度三維卷積模塊設(shè)計(jì)（即每個(gè)模塊包含/4個(gè)5×5卷積核、/4個(gè)3×3卷積核、/4個(gè)5×3卷積核和/4個(gè)3×5卷積核，為卷積層的卷積核數(shù)量）。需要說(shuō)明的是，2DCNN模型與MS-2DCNN模型每層卷積核數(shù)量是MS-3DCNN的2倍，以保證各個(gè)模型訓(xùn)練參數(shù)數(shù)量相近。

2 結(jié)果與討論

2.1 光譜特征及波段選擇

6種小麥種子在400～1 000 nm波段范圍內(nèi)的均值光譜曲線如圖4所示。曲線的總體趨勢(shì)相似，光譜曲線在500～700 nm的波段范圍內(nèi)呈現(xiàn)明顯的上升，在700～900 nm的波段范圍內(nèi)趨于平緩。另外，所有種子的若干吸收峰存在于相同的波長(zhǎng)區(qū)間內(nèi)。在400～500 nm處，均值光譜存在一個(gè)光譜吸收峰，該吸收峰與小麥種子的蛋白質(zhì)含量相關(guān)[2]。在950～980 nm處存在一個(gè)由水、蛋白質(zhì)和碳水化合物共同作用產(chǎn)生的吸收峰[2，32]。從不同小麥品種的相對(duì)反射率可以看出，偉隆169和濟(jì)麥22品種相對(duì)反射率較高，與其他品種的差異明顯，周麥33和百農(nóng)矮抗58的相對(duì)反射率相近，師欒02-1與新麥26的兩個(gè)品種的相對(duì)反射率較低，這些差異是由于不同品種小麥的蛋白質(zhì)、淀粉、水等成分含量不同所導(dǎo)致。

通過(guò)SPA算法選擇的22個(gè)最優(yōu)波段如圖5所示。從圖中可以看出，除了反應(yīng)蛋白質(zhì)含量的1 000 nm附近的波段被選擇外，其余所選的波段較為均勻地分布在500～850 nm波長(zhǎng)范圍內(nèi)。500～850 nm波段范圍包含了大量的反映小麥中淀粉、蛋白質(zhì)、油脂等物質(zhì)成分的C-H、N-H和O-H鍵的高頻和合頻吸收帶信息。分析最優(yōu)波段的選擇結(jié)果可知：通過(guò)SPA算法選擇的波段對(duì)應(yīng)了可用于判定小麥種子品種種類的關(guān)鍵物質(zhì)。針對(duì)小麥種子品種分類任務(wù)，SPA算法適用于降低原始高光譜圖像的維度。

2.2 分類識(shí)別

本研究所提出的MS-3DCNN分類模型和兩類SVM分類模型對(duì)訓(xùn)練集和測(cè)試集的識(shí)別結(jié)果如表2所示。對(duì)于傳統(tǒng)方法而言，基于融合特征的分類模型性能遠(yuǎn)高于基于光譜特征的分類模型性能。這是因?yàn)閳D像特征（包括紋理特征和形態(tài)特征）中包含大量對(duì)品種分類有利的信息，使用圖像特征作為輸入能有效提升分類模型的性能。然而，圖像特征與光譜特征均是基于人工經(jīng)驗(yàn)進(jìn)行提取的，難以充分挖掘?qū)Ψ诸愑欣男畔?。MS-3DCNN模型測(cè)試準(zhǔn)確率相較于兩類SVM模型分別提高了15.38%和9.50%，說(shuō)明相比于手動(dòng)提取的特征，使用三維卷積操作自動(dòng)提取的特征包含了對(duì)分類任務(wù)更有效、更充分的信息，實(shí)現(xiàn)對(duì)分類特征的充分挖掘。

表2 多尺度三維卷積神經(jīng)網(wǎng)絡(luò)模型和傳統(tǒng)分類模型識(shí)別結(jié)果

MS-3DCNN模型對(duì)測(cè)試集樣本的分類混淆矩陣如表 3所示。分析混淆矩陣可知，MS-3DCNN模型對(duì)于6個(gè)品種種子的識(shí)別準(zhǔn)確率均超過(guò)了90%。偉隆169的識(shí)別準(zhǔn)確率最高（99.67％）。原因?yàn)閭ヂ?69與其他品種在產(chǎn)地，親緣關(guān)系上均無(wú)交集（表1），其特征與其它品種存在較大差異，因此易于識(shí)別。MS-3DCNN模型對(duì)百農(nóng)矮抗58和周麥33識(shí)別較差，其識(shí)別準(zhǔn)確率僅為92.00%和94.33%，且兩者之間存在較多的錯(cuò)誤識(shí)別樣本。原因?yàn)榘俎r(nóng)矮抗58與周麥33不僅產(chǎn)地相同，且親緣關(guān)系較近（周麥33是由百農(nóng)矮抗58與鄭麥366雜交獲得）。

表3 測(cè)試集中多尺度三維卷積神經(jīng)網(wǎng)絡(luò)模型的分類混淆矩陣

2.3 多尺度三維卷積模塊的作用

為了驗(yàn)證多尺度卷積和三維卷積的作用，本研究分別建立了MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型。4個(gè)模型在訓(xùn)練集上的分類準(zhǔn)確率都達(dá)到了100%，但各模型對(duì)測(cè)試樣本的分類準(zhǔn)確率各有不同（圖6）。隨著迭代次數(shù)的增加，各模型的分類準(zhǔn)確率都逐漸上升并趨于穩(wěn)定。相比于3DCNN模型和MS-3DCNN模型，2DCNN模型和MS-2DCNN模型測(cè)試集準(zhǔn)確率在迭代前期上升較快，但隨著迭代次數(shù)的增加，2個(gè)模型的分類準(zhǔn)確率提升有限。3DCNN模型分類準(zhǔn)確率變化幅度較大，不如其他模型穩(wěn)定。這是由于三維卷積提取的信息雖然豐富，但都是單一尺度的信息，信息冗余度較高，易使模型過(guò)擬合；多尺度三維卷積模塊比之于三維卷積模塊，含有不同尺度提取的信息，信息量更豐富，不僅能顯著提高模型準(zhǔn)確率，還擁有更好的泛化性能。

經(jīng)過(guò)150代訓(xùn)練后，模型的精度已基本穩(wěn)定，此時(shí)得到的MS-3DCNN、MS-2DCNN、3DCNN、2DCNN模型的最終分類準(zhǔn)確率分別為96.72%、95.44%、95.17%和94.17%。相比于2DCNN模型，3DCNN模型分類準(zhǔn)確率提升了1.06%；相比于MS-2DCNN模型，MS-3DCNN模型分類準(zhǔn)確率提升了1.34%。試驗(yàn)結(jié)果驗(yàn)證了三維卷積核的引入改善了模型，提高了分類準(zhǔn)確率。這是因?yàn)楦吖庾V圖像之間具有較強(qiáng)的波段相關(guān)性，三維卷積核通過(guò)在不同特征圖上的滑動(dòng)卷積操作，可以更好地提取出各特征圖上的圖像特征，有助于提高分類模型的準(zhǔn)確率。MS-3DCNN模型相比于3DCNN模型分類準(zhǔn)確率提升了1.63%，MS-2DCNN模型相比于2DCNN模型，分類準(zhǔn)確率提升了1.35%，這是因?yàn)槎喑叨染矸e核改善了單尺度卷積核難以充分提取物體的尺度變化信息的缺陷，有助于提高模型的分類準(zhǔn)確率。

3 結(jié) 論

本研究提出了一種融合高光譜圖像技術(shù)與多尺度三維卷積神經(jīng)網(wǎng)絡(luò)的小麥種子品種識(shí)別模型。采用連續(xù)投影算法（Successive Projections Algorithm，SPA）選擇了最優(yōu)波段，降低了原始波段的冗余性；在此基礎(chǔ)上，構(gòu)造了融合多尺度和三維卷積操作策略的多尺度三維卷積神經(jīng)網(wǎng)絡(luò)（Multi-Scale 3D Convolutional Neural Network，MS-3DCNN）種子品種分類模型。分析試驗(yàn)結(jié)果得出以下主要結(jié)論：

1）通過(guò)SPA算法可選擇反應(yīng)種子在淀粉、油脂與蛋白質(zhì)含量上差異的波段。表明SPA算法適于高光譜圖像數(shù)據(jù)的降維。

2）MS-3DCNN綜合使用光譜信息、紋理信息和形態(tài)信息訓(xùn)練小麥種子品種分類模型。結(jié)果表明：識(shí)別模型對(duì)6個(gè)品種種子的分類準(zhǔn)確率均超過(guò)了90%。相較于光譜特征SVM識(shí)別模型和融合特征SVM識(shí)別模型，MS-3DCNN模型對(duì)識(shí)別小麥種子品種的分類準(zhǔn)確率提高了15.38%和9.50%；同時(shí)，MS-3DCNN模型的性能優(yōu)于二維卷積神經(jīng)網(wǎng)絡(luò)模型、三維卷積神經(jīng)網(wǎng)絡(luò)模型和多尺度二維卷積神經(jīng)網(wǎng)絡(luò)模型。分析試驗(yàn)結(jié)果可知，MS-3DCNN模型能夠充分提取高光譜圖像數(shù)據(jù)中的信息，取得了96.72%的測(cè)試集識(shí)別準(zhǔn)確率，可為小麥品種的準(zhǔn)確快速識(shí)別提供一個(gè)可行的技術(shù)途徑。

本研究?jī)H利用MS-3DCNN模型對(duì)單一年份的6個(gè)品種小麥種子進(jìn)行識(shí)別。根據(jù)機(jī)器學(xué)習(xí)理論，當(dāng)待檢測(cè)樣本來(lái)自與訓(xùn)練樣本不同的開(kāi)放環(huán)境（如年份、產(chǎn)地等）時(shí)，模型的泛化能力存在退化的風(fēng)險(xiǎn)。近年來(lái)，一些利用遷移學(xué)習(xí)技術(shù)來(lái)改善深度神經(jīng)網(wǎng)絡(luò)模型泛化能力的方法被提出。然而，這些技術(shù)在基于深度卷積神經(jīng)網(wǎng)絡(luò)的種子品種識(shí)別領(lǐng)域的效果仍待檢驗(yàn)，這也是本課題今后需要研究的重點(diǎn)問(wèn)題。

[1] 張婷婷，趙賓，楊麗明，等. 基于高光譜成像技術(shù)結(jié)合SPA和GA算法測(cè)定甜玉米種子電導(dǎo)率[J]. 光譜學(xué)與光譜分析，2019，39(8)：2608-2613.

Zhang Tingting, Zhao Bin, Yang Liming, et al. Determination of conductivity in sweet corn seeds with algorithm of SPA and GA based on hyperspectral imaging technique[J]. Spectroscopy and Spectral Analysis, 2019, 39(8): 2608-2613. (in Chinese with English abstract)

[2] Huang M, He C J, Zhu Q B, et al. Maize seed variety classification using the integration of spectral and image features combined with feature transformation based on hyperspectral imaging[J/OL]. Applied Sciences, 2016, 6(6), 183.

[3] 張婷婷，向瑩瑩，楊麗明，等. 高光譜技術(shù)無(wú)損檢測(cè)單粒小麥種子生活力的特征波段篩選方法研究[J]. 光譜學(xué)與光譜分析，2019，39(5)：1556-1562.

Zhang Tingting, Xiang Yingying, Yang Liming, et al. Wavelength variable selection methods for non-destructive detection of the viability of single wheat kernel based on hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2019, 39(5): 1556-1562. (in Chinese with English abstract)

[4] Ambrose A, Kandpal L M, Kim M S, et al. High speed measurement of corn seed viability using hyperspectral imaging[J]. Infrared Physics & Technology, 2016, 75: 173-179.

[5] 張航. 基于高光譜圖像技術(shù)的小麥種子分類研究[D]. 鄭州：河南農(nóng)業(yè)大學(xué)，2019.

Zhang Hang. Research on Wheat Seed Classification Based on Hyperspectral Imaging[D]. Zhengzhou: Henan Agricultural University, 2019. (in Chinese with English abstract)

[6] 杭盈盈，李亞婷，孫妙君. 基于高光譜圖像技術(shù)結(jié)合深度學(xué)習(xí)算法的蘿卜種子品種鑒別[J]. 農(nóng)業(yè)工程，2020，10(5)：29-33.

Hang Yingying, Li Yating, Sun Miaojun. Classification of radish seeds using hyperspectral imaging and deep learning method[J]. Agricultural Engineering, 2020, 10(5): 29-33. (in Chinese with English abstract)

[7] 賈良權(quán)，祁亨年，胡文軍，等. 采用TDLAS技術(shù)的玉米種子活力快速無(wú)損分級(jí)檢測(cè)[J]. 中國(guó)激光，2019，46(9)：289-297.

Jia Liangquan, Qi Hengnian, Hu Wenjun, et al. Rapid nondestructive grading detection of maize seed vigor using TDLAS technique[J]. Chinese Journal of Lasers, 2019, 46(9): 289-297. (in Chinese with English abstract)

[8] Wei Y L, Li X F, Pan X, et al. Nondestructive classification of soybean seed varieties by hyperspectral imaging and ensemble machine learning algorithms[J]. Sensors, 2020, 20(23): 6980.

[9] Zhang T T, Wei W S, Zhao B, et al. A reliable methodology for determining seed viability by using hyperspectral data from two sides of wheat seeds[J]. Sensors, 2018, 18(3): 813.

[10] Huang M, Tang J Y, Yang B, et al. Classification of maize seeds of different years based on hyperspectral imaging and model updating[J]. Computers Electronics in Agriculture, 2016, 122: 139-145.

[11] Xia C, Yang S, Huang M, et al. Maize seed classification using hyperspectral image coupled with multi-linear discriminant analysis[J]. Infrared Physics & Technology, 2019, 103, 103077.

[12] Liu S, Tan X, Liu C Y, et al. Recognition of fusarium head blight wheat grain based on hyperspectral data processing algorithm[J]. Spectroscopy and Spectral Analysis, 2019, 39(11): 3540-3546.

[13] 楊小玲. 高光譜圖像技術(shù)檢測(cè)玉米種子品質(zhì)研究[D]. 杭州：浙江大學(xué)，2016.

Yang Xiaoling. Detection of Maize Seed Quality Using Hyperspectral Imaging[D]. Hangzhou: Zhejiang University, 2016. (in Chinese with English abstract)

[14] Gao P, Zhang C, Liu X, et al. Visual identification of slight-damaged cotton seeds based on near infrared hyperspectral imaging[J]. Spectroscopy and Spectral Analysis, 2018, 38(6): 1712-1718.

[15] 彭麗君. 水稻種子鑒別的近紅外光譜快速無(wú)損分析[D]. 廣州：暨南大學(xué)，2018.

Peng Lijun. Rapid and Nondestructive Analysis for the Identification of Rice Seeds with Near Infrared Spectroscopy[D]. Guangzhou: Jinan University, 2018. (in Chinese with English abstract)

[16] 楊思成，舒在習(xí)，曹陽(yáng). 基于高光譜成像技術(shù)的稻谷品種鑒別研究[J]. 光譜學(xué)與光譜分析，2019，39(10)：3273-3280.

Yang Sicheng, Shu Zaixi, Cao Yang. Identification of rice varieties based on hyperspectral image[J]. Spectroscopy and Spectral Analysis, 2019, 39(10): 3273-3280. (in Chinese with English abstract)

[17] 謝忠紅，徐煥良，黃秋桂，等. 基于高光譜圖像和深度學(xué)習(xí)的菠菜新鮮度檢測(cè)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(13)：277-284.

Xie Zhonghong, Xu Huanliang, Huang Qiugui, et al. Spinach freshness detection based on hyperspectral image and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 277-284. (in Chinese with English abstract)

[18] 黃雙萍，孫超，齊龍，等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻穗瘟病檢測(cè)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(20)：169-176.

Huang Shuangping, Sun Chao, Qi Long, et al. Rice panicle blast identification method based on deep convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(20): 169-176. (in Chinese with English abstract)

[19] Ma T, Tsuchikawa S, Inagaki T. Rapid and non-destructive seed viability prediction using near-infrared hyperspectral imaging coupled with a deep learning approach[J]. Computers and Electronics in Agriculture, 2020, 177: 105683.

[20] 師蕓，馬東暉，呂杰，等. 基于流形光譜降維和深度學(xué)習(xí)的高光譜影像分類[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(6)：151-160.

Shi Yun, Ma Donghui, Lv Jie, et al. Hyperspectral image classification based on manifold spectral dimensionality reduction and deep learning method[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(6): 151-160. (in Chinese with English abstract)

[21] Christov I I. Real time electrocardiogram QRS detection using combined adaptive threshold[J]. Biomedical Engineering Online, 2004, 3(1): 1-9.

[22] Yang X, Hong H, You Z, et al. Spectral and image integrated analysis of hyperspectral data for waxy corn seed variety classification[J]. Sensors, 2015, 15(7): 15578-15594.

[23] Wu N, Zhang C, Bai X L, et al. Discrimination ofvarieties using hyperspectral imaging combined with a deep convolutional neural network[J]. Molecules, 2018, 23(11): 2831.

[24] 劉帥，張旭含，李笑迎，等. 基于雙分支卷積網(wǎng)絡(luò)的高光譜與多光譜圖像協(xié)同土地利用分類[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(14)：252-262.

Liu Shuai, Zhang Xuhan, Li Xiaoying, et al. Cooperative land use classification of hyperspectral and multispectral imagery based on dual branch convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(14): 252-262. (in Chinese with English abstract)

[25] Gao H M, Yao D, Yang Y, et al. Multiscale 3-D-CNN based on spatial-spectral joint feature extraction for hyperspectral remote sensing images classification[J]. Journal of Electronic Imaging, 2020, 29(1): 013007.

[26] Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3D convolutional networks[C]// Proceedings of the IEEE International Conference on Computer Vision, Santiago: IEEE, 2015.

[27] Stroud J, Ross D, Sun C, et al. D3D: Distilled 3D networks for video action recognition[C]//The IEEE Winter Conference on Applications of Computer Vision, Snowmass Village: IEEE, 2020.

[28] Zhou Y Z, Sun X Y, Zha Z J, et al. MiCT: Mixed 3D/2D convolutional tube for human action recognition[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Salt Lake City: IEEE, 2018.

[29] Li Y, Zhang H, Shen Q. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67.

[30] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Boston: IEEE, 2015.

[31] Bao Y D, Mi C X, Wu N, et al. Rapid classification of wheat grain varieties using hyperspectral imaging and chemometrics[J]. Applied Sciences-Basel, 2019, 9(19): 4119.

[32] Wang Y Q, Lv Y J, Liu H, et al. Identification of maize haploid kernels based on hyperspectral imaging technology[J]. Computers and Electronics in Agriculture, 2018, 153: 188-195.

Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network

Huang Min1, Xia Chao1, Zhu Qibing1, Ma Hongjuan2

(1.,,,214122,; 2.100045,)

A hyperspectral image classification model was proposed to detect wheat seeds using a Multi-Scale 3D Convolution Neural Network (MS-3DCNN) in this study, in order to identify wheat seed varieties quickly and accurately. A multi-scale 3D convolution module was used to learn the characteristics of wheat seed from hyperspectral images. A deep learning model was then established to predict wheat varieties. 3D Convolutional Neural Network (3DCNN) was utilized to simultaneously extract the spatial and spectral dimension features of hyperspectral images, compared with the traditional 2D Convolutional Neural Network (2DCNN). The kernel sizes of convolution were set as 5×5×5, 3×3×3, 5×5×3, and 3×3×5, respectively, considering that the characteristics of spectral dimension occupied a higher position in the application of hyperspectral image data. A Batch Normalization (BN) layer was added after each convolution layer to reduce the over-fitting of the model. The LeaKy_ReLU was adopted in the activation function to prevent neurons from being ineffective when the input was negative. A pooling layer and a fully connected layer were stacked on the last multi-scale convolution module. Finally, the Softmax activation function was used to predict the wheat varieties in the output layer. Dropout was introduced into the fully connected layer to reduce the risk of model overfitting. As such, a total of 6 000 samples were collected for 6 varieties of seeds (1 000 seeds per variety). Specifically, 700 seeds of each variety (4 200 seeds of the 6 varieties) were randomly selected as the training set, and the remaining 1 800 seeds were used as the test set during the specific training. 6 wheat varieties were also selected with certain connections in origin and genetic relationship to evaluate the influence of these factors on the classification model. Nevertheless, there was a relatively large amount of original hyperspectral image data, and a high data redundancy between adjacent hyperspectral bands. Successive Projections (SPA) were selected to combine with the average spectral characteristics of wheat seeds for the less data dimension. Subsequently, 22 optimal bands were selected from 300 bands, where the hyperspectral image data corresponding to the optimal bands was extracted to form a new hyperspectral image space. The reduced dimension data was input into the classification model of MS-3DCNN. The traditional hyperspectral classification model using Support Vector Machine (SVM), 2DCNN, 3DCNN, and Multi-Scale 2D Convolutional Neural Network (MS-2DCNN) were selected to compare the influence of 3D convolution and multi-scale convolution on model. The experimental results showed that the classification performed a higher classification accuracy using the MS-3DCNN model. SVM model using feature fusion, 2DCNN, 3DCNN, and MS-2DCNN models for the test sets achieved the accuracies of 88.33%, 94.17%, 95.17%, and 95.44%, respectively. Particularly, the MS-3DCNN model presented a relatively higher accuracy of 96.72%. Consequently, the improved model can be applied to identify and classify wheat seeds in modern intelligent agriculture.

wheat; seed recognition; multi-scale 3D convolutional neural network; hyperspectral image

黃敏，夏超，朱啟兵，等. 融合高光譜圖像技術(shù)與MS-3DCNN的小麥種子品種識(shí)別模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(18)：153-160.doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

Huang Min, Xia Chao, Zhu Qibing, et al. Recognizing wheat seed varieties using hyperspectral imaging technology combined with multi-scale 3D convolution neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 153-160. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.18.018 http://www.tcsae.org

2020-12-31

2021-07-09

國(guó)家自然科學(xué)基金面上項(xiàng)目（61772240，61775086）

黃敏，博士，教授，博士生導(dǎo)師，研究方向?yàn)橄冗M(jìn)光學(xué)檢測(cè)技術(shù)、復(fù)雜工業(yè)過(guò)程建模與智能控制等。Email：huangmzqb@163.com

10.11975/j.issn.1002-6819.2021.18.018

TP391.4

A

1002-6819(2021)-18-0153-08