段 龍，鄢天滎，王江麗，葉偉欣，陳 偉，高 攀, 2*，呂 新*

1. 石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院，新疆 石河子 832003 2. 新疆生產(chǎn)建設(shè)兵團生態(tài)農(nóng)業(yè)重點實驗室，新疆 石河子 832003 3. 石河子大學(xué)農(nóng)學(xué)院，新疆 石河子 832003

引 言

棉花種植面積不斷擴大，為深入推進棉花全程機械化戰(zhàn)略目標(biāo)，棉花精量播種技術(shù)受到了充分重視。該技術(shù)要求精確實現(xiàn)一穴一粒的農(nóng)藝技術(shù)指標(biāo)，因此對棉種質(zhì)量提出了嚴(yán)格的要求。棉種破損程度和儲存的年限是棉種質(zhì)量的兩個重要評價指標(biāo)。高攀等[1]利用近紅外高光譜成像技術(shù)實現(xiàn)了微破損棉種的無損檢測； 但對外觀無明顯差異，年份卻不同的棉種鑒別尚未見相關(guān)研究。儲藏時間較長的棉種，其種子活力和發(fā)芽率會嚴(yán)重降低[2]，混入正常棉種中并進行精量播種會影響棉花出苗率，最終影響棉花產(chǎn)量。因此，準(zhǔn)確有效鑒別棉種年份尤為重要。

種子年份鑒別的傳統(tǒng)方法包括經(jīng)驗鑒別和化學(xué)分析，采用經(jīng)驗鑒別時，對鑒別經(jīng)驗要求較高，鑒別準(zhǔn)確率不穩(wěn)定； 化學(xué)分析因其破壞性采樣和技術(shù)要求高等因素，無法大規(guī)模檢測。高光譜成像技術(shù)(hyperspectral imaging，HSI)有著近似連續(xù)的光譜信息、探測識別能力極大提高，其在果蔬、谷物的品質(zhì)檢測、成分分析等方面廣泛應(yīng)用[3-4]。Feng等[5]利用HSI成功尋求到一種鑒別不同加速老化時間下玉米籽?；盍Φ姆椒ǎ煌匣瘯r間下的鑒別準(zhǔn)確率從61%到100%不等。在年份鑒別方面，Huang等[6]基于HSI開展了不同年份玉米種子分類研究，使用最小二乘支持向量機方法得到了精度為94.4%的分類結(jié)果。研究表明，HSI應(yīng)用在分類檢測、成分分析、年份鑒別等方面是可行性。

HSI具有波段多、光譜分辨率高、信息量大、信息相關(guān)性強等特點[7]，因此，選取合適高效的數(shù)據(jù)分析處理方式對充分利用HSI尤為重要。深度學(xué)習(xí)作為機器學(xué)習(xí)的一個新的研究方向，具有特征學(xué)習(xí)、特征提取和海量數(shù)據(jù)處理能力[8]，并且在光譜分析和高光譜圖像處理領(lǐng)域有所應(yīng)用，Gao等[9]將HSI與深度學(xué)習(xí)相結(jié)合，成功鑒別了沙棗的不同產(chǎn)地，鑒別精度達到97.79%，F(xiàn)eng等[10]基于HSI和深度學(xué)習(xí)方法成功檢測了冬棗中的細微損傷，不同產(chǎn)地的冬棗檢測精度均在90%～100%之間。研究表明，機器學(xué)習(xí)和深度學(xué)習(xí)方法可用于HSI處理，并實現(xiàn)種類鑒別。

本文旨在通過采集棉種的高光譜圖像，并結(jié)合機器學(xué)習(xí)和深度學(xué)習(xí)進行特征選擇與特征提取，對不同年份棉種進行快速無損鑒別，為棉花精量播種過程中優(yōu)質(zhì)棉種選種技術(shù)提供理論依據(jù)和方法。

1 實驗部分

1.1 材料

實驗樣品為新疆石河子市棉花研究所2016年—2019年四年的新陸早71號棉種。取4個年份棉種各360粒，共采集1 440份無破損、外觀無明顯差異的棉種樣品，樣品如圖1所示。

圖1 樣本信息Fig.1 Sample information

在圖1中，(a)—(d)四子圖中分別為2019年，2018年 2017年和2016年的樣本。為了建立分類模型，將樣本隨機分成訓(xùn)練集、驗證集和測試集(3∶1∶1)。具體劃分如表1所示。

表1 樣本劃分Table 1 Sample classification

1.2 儀器與高光譜數(shù)據(jù)采集

采用近紅外(near infrared，NIR)高光譜成像系統(tǒng)拍攝了近四年不同年份的棉種表面。NIR高光譜成像系統(tǒng)由四個模塊組成，包括成像模塊、照明模塊、升降模塊和軟件模塊，其具體信息如表2所示。

表2 儀器信息Table 2 Instrument information

NIR高光譜成像系統(tǒng)采集的圖像尺寸為288×512×640(波段數(shù)×像素寬×像素長)，在拍攝過程中將60個同一年份的棉種樣品放置在黑色面板上并調(diào)整SOC與樣本的距離為79 cm，使成像模塊能夠捕捉到所有樣本。HSI采集后，根據(jù)式(1)將原始HSI進行校正[11]。

(1)

式(1)中，Ir是校正后的值，Io對應(yīng)原始圖像，Ig是灰色(50%黑色和50%白色組合)參考圖像(使用SOC提供的灰色參考板拍攝)。

1.3 數(shù)據(jù)預(yù)處理

考慮到拍攝過程中存在明顯的電信號噪聲，采用SG平滑濾波器對圖像進行預(yù)處理(核大小為5×5×5，多項式階數(shù)為3)，以減少隨機噪聲。用掩模法逐個提取單粒棉種的HSI，計算并平均反射光譜。利用SOC獲得的1 100 nm波段的圖像來計算掩模，統(tǒng)計含有單粒棉種的掩膜的坐標(biāo)。根據(jù)坐標(biāo)從HSI中提取含有單粒棉種的子圖像，并提取出計算的平均光譜。光譜提取過程如圖2所示。

圖2 光譜提取過程Fig.2 Extraction process of spectra

1.4 分類模型

1.4.1 邏輯回歸

邏輯回歸(logistic regression，LR)在機器學(xué)習(xí)和統(tǒng)計領(lǐng)域是最經(jīng)典的分類模型之一，可以獲得良好的鑒別結(jié)果[12]。對于LR模型，通過網(wǎng)格搜索算法選擇合適的正則化參數(shù)、損失函數(shù)優(yōu)化算法和正則化系數(shù)C來優(yōu)化模型，正則化參數(shù)選擇L2，損失函數(shù)優(yōu)化算法和正則化系數(shù)C的調(diào)參范圍分別為{newton-cg, lbfgs, liblinear, sag}和10-5-50。

1.4.2 偏最小二乘判別分析

偏最小二乘法判別分析(partial least squares discriminant analysis，PLS-DA)，是多變量數(shù)據(jù)分析中常用的判別分析法，是最常用的分類模型之一[1]。PLS-DA具有模型參數(shù)少、解釋樣本觀測數(shù)目少和可以減少變量間多重共線性產(chǎn)生的影響等優(yōu)勢。在本實驗中，對于PLS-DA模型，通過網(wǎng)格搜索算法選擇合適的主成分?jǐn)?shù)量來優(yōu)化模型，主成分?jǐn)?shù)量的調(diào)優(yōu)范圍為2～20。

1.4.3 支持向量機

支持向量機(support vector machine，SVM)是常用的分類模型，可用于定量和定性分析[13]，其泛化能力強，通過最大化決策邊界來獲取穩(wěn)定的分類結(jié)果。在此，對SVM模型，通過網(wǎng)格搜索算法選擇合適的核函數(shù)、正則化系數(shù)C和核系數(shù)γ來優(yōu)化模型，核函數(shù)、正則化系數(shù)C和核系數(shù)γ的調(diào)參范圍分別為{poly，rbf，sigmoid}、10-5-50、10-5-50。

1.4.4 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)常用于處理序列化數(shù)據(jù)，它能夠有效獲取序列變化數(shù)據(jù)的特征信息[14]。實驗所采集的光譜數(shù)據(jù)也為序列數(shù)據(jù)，RNN可用作探索不同波段之間的關(guān)聯(lián)關(guān)系，理論上會有良好的分類效果。在此，設(shè)計包含兩個部分的RNN結(jié)構(gòu)，如圖3所示。

圖3 RNN結(jié)構(gòu)圖Fig.3 RNN structure

在圖3中，第一部分為輸入層和三個RNN層，輸入層的特征數(shù)為220，RNN層的隱藏層大小分別為110，55，28，RNN每一層包含層歸一化以及激活函數(shù)，使用LayerNorm進行層歸一化，選取tanh為激活函數(shù)； 第二部分由全連接層和輸出層組成，輸出的類別包含4類。

1.4.5 長短記憶網(wǎng)絡(luò)

長短記憶網(wǎng)絡(luò)(long short-term memory，LSTM)是一種特殊的RNN結(jié)構(gòu)，能夠更好地解決長序列訓(xùn)練過程中的梯度消失和梯度爆炸問題[15]，能夠在處理更長的序列化數(shù)據(jù)中有更好的表現(xiàn)。由于所采集的高光譜數(shù)據(jù)有大量波段，所以采用LSTM在面對長序列光譜數(shù)據(jù)會有更好的分類效果。設(shè)計包含兩個部分的LSTM結(jié)構(gòu)，如圖4所示。

在圖4中，第一部分為輸入層和三個LSTM層，輸入層的特征數(shù)為220，LSTM層的隱藏層特征數(shù)分別為110，55，28，LSTM每一層都包含層歸一化以及激活函數(shù)，使用LayerNorm進行層歸一化，選取tanh為激活函數(shù)； 第二部分由全連接層和輸出層組成，輸出的類別包含4類。

圖4 LSTM結(jié)構(gòu)圖Fig.4 LSTM structure

1.4.6 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN)在特征選擇與提取、識別與分類等方面的表現(xiàn)優(yōu)于淺層網(wǎng)絡(luò)，具有兩點優(yōu)勢： (1) 局部感知，即CNN僅對數(shù)據(jù)的局部元素進行感知，然后在更高層的網(wǎng)絡(luò)將這些局部的信息進行融合，從而得到數(shù)據(jù)的全部表征信息； (2) 權(quán)值共享的網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)模型的復(fù)雜度降低，使權(quán)值的數(shù)量減少。CNN現(xiàn)已廣泛應(yīng)用于多個領(lǐng)域[8-10]，但尚未發(fā)現(xiàn)被應(yīng)用于棉種的高精度年份鑒別。常見的CNN結(jié)構(gòu)由以下六層組成： 輸入層、卷積層、激活層、池化層、全連接層和輸出層，在本實驗中，所構(gòu)建的CNN結(jié)構(gòu)如圖5所示。

在圖5中，CNN結(jié)構(gòu)包括輸入層、輸出層、全連接層，以及3個卷積層和3個池化層； 每個卷積層與池化層之間包含層歸一化和激活函數(shù)，使用BatchNorm進行層歸一化，選取ReLU為激活函數(shù)； 其中輸入層為訓(xùn)練集數(shù)據(jù)輸入，共220個波段點，輸出層為類別的預(yù)測值，共四類。卷積層的卷積核大小為1×3，每個卷積層卷積核的個數(shù)分別為100，50和20。

圖5 CNN結(jié)構(gòu)圖Fig.5 CNN structure

2 結(jié)果與討論

2.1 棉種的光譜曲線

采集的近紅外光譜在915～1 699 nm范圍內(nèi)共288各波段。在拍攝的過程中，由于機器的啟動和結(jié)束，所獲取的高光譜數(shù)據(jù)起止波段部分有較為明顯的噪聲，為了保證數(shù)據(jù)的可靠性，截去前后兩端的波段，選取1 002～1 600 nm，其光譜數(shù)據(jù)如圖6所示。

在圖6全光譜曲線圖中可以看到棉種的光譜反射率曲線的變化趨勢具有明顯的相似性，在平均光譜曲線圖中不同年份棉種的光譜雖然有少許差異，但這些差異并不足以用作棉種年份的高精度鑒別。

圖6 棉種光譜Fig.6 Spectra of cotton seeds

2.2 主成分分析

主成分分析(principal components analysis，PCA)是一種通過數(shù)據(jù)降維將多變量轉(zhuǎn)化為幾個能夠描述數(shù)據(jù)信息的主成分的統(tǒng)計方法。利用PCA對棉種的光譜數(shù)據(jù)進行分析，選取貢獻率分別為96.8%，2.7%和0.2%的主成分PC1，PC2和PC3，貢獻率累計達到99.7%，涵蓋了絕大多數(shù)的數(shù)據(jù)信息。PC1，PC2和PC3的三維得分圖如圖7所示。

圖7 PCA得分散點圖Fig.7 Scores scatter plots of PCA

圖7是PCA的3維得分圖，使用PCA方法降低了數(shù)據(jù)維度，但是圖中大部分?jǐn)?shù)據(jù)仍然交錯在一起，加入PCA方法仍無法實現(xiàn)棉種年份的高精度鑒別。因此，需要對棉種光譜數(shù)據(jù)進一步的分析與處理。

2.3 特征波段選擇

基于全部光譜數(shù)據(jù)建立分類模型時，常常因數(shù)據(jù)量過大而造成數(shù)據(jù)冗余和數(shù)據(jù)的共線性，不利于有效提取光譜信息，影響模型的分類效果。為了減少數(shù)據(jù)計算量，降低模型復(fù)雜度，需要找到與棉種年份相關(guān)性較強的特征波段。在本實驗中，采取了PCA-loading方法提取特征波段。

PCA-loading法可以反映主成分與原始光譜波段之間的相關(guān)性，波段所對應(yīng)的loading值越大，表明其對主成分的貢獻率越大[16]。首先明確不同主成分的貢獻率，然后基于累積貢獻率選取主成分，最后設(shè)定閾值，并以波段載荷圖為依據(jù)篩選出波峰或波谷作為特征波段，選擇特征波段的過程如圖8所示。

圖8 特征光譜選取Fig.8 Charaeteristic wavelength selection

經(jīng)篩選，選取了1 005，1 128，1 152，1 196，1 212，1 264，1 332，1 365，1 395，1 411，1 455，1 507和1 534 nm共13個特征波段，將特征波段(±10 nm)用作模型訓(xùn)練。

2.4 模型建立與結(jié)果分析

建立了六種分類模型，包括傳統(tǒng)機器學(xué)習(xí)方法LR，PLS-DA和SVM，深度學(xué)習(xí)方法RNN，LSTM和CNN。為了便于分類模型的建立，按照劃分好的數(shù)據(jù)集將去除噪音的數(shù)據(jù)作為輸入數(shù)據(jù)，所使用的python版本為3.7.0，使用scikit-learn0.2.1構(gòu)建LR、PLS-DA和SVM模型，使用pytorch1.5.0構(gòu)建CNN、RNN和LSTM模型，模型的迭代次數(shù)設(shè)置為200次。六種不同的分類模型的分類結(jié)果如表3所示。

表3 不同模型鑒別結(jié)果Table 3 Identification results of different models

在表3中，對于棉種的全光譜近紅外光譜數(shù)據(jù)，六種模型均具有良好的性能，訓(xùn)練集、驗證集和測試集的分類準(zhǔn)確率均超過96%。SVM和CNN模型的結(jié)果接近，均超過99%，而LR，PLS-DA，RNN和LSTM模型的結(jié)果相對較低。LR模型采用L2范式作為損失函數(shù)，模型參數(shù)(C, solver)經(jīng)調(diào)優(yōu)為(48.7, lbfgs)，其在訓(xùn)練集、驗證集和測試集中的分類準(zhǔn)確率超過96%。在PLS-DA模型中，保留的主成分?jǐn)?shù)為7個，其在訓(xùn)練集、驗證集和測試集中的分類準(zhǔn)確率均超過98%。對于SVM模型，最終模型參數(shù)(kernel, gamma,C)經(jīng)調(diào)優(yōu)為(rbf, 3.2, 20.4)，訓(xùn)練集，驗證集和測試集的分類準(zhǔn)確率均超過98%。對于RNN，LSTM和CNN三個深度學(xué)習(xí)模型，CNN的分類精度在劃分的三個數(shù)據(jù)集中均達到100%，而RNN和LSTM僅達到96%。由此可見，在處理全光譜數(shù)據(jù)時，CNN相較于其他深度學(xué)習(xí)模型有更好的表現(xiàn)，PLS-DA和SVM相較于LR有更好的表現(xiàn)。

對于棉種的特征光譜數(shù)據(jù)，六種模型的分類效果都有不同程度的降低，但仍具有較好的性能。SVM和CNN模型的結(jié)果接近，測試集精度均超過98%，相較于全光譜數(shù)據(jù)，精度降低1%。PLS-DA模型精度降低2%，RNN精度降低了1%，LSTM精度降低2%，但是仍保持在94%以上，但是LR模型的分類精度僅有93%，精度降低4%。在特征光譜數(shù)據(jù)的訓(xùn)練中，LR模型采用L2范式作為損失函數(shù)，模型參數(shù)(C, solver)經(jīng)調(diào)優(yōu)為(48.1, newton-cg)； PLS-DA模型經(jīng)調(diào)優(yōu)，保留15個主成分； 對于SVM模型，最終模型參數(shù)(kernel, gamma,C)經(jīng)調(diào)優(yōu)為(rbf, 22.0, 24.4)。對于RNN，LSTM和CNN三個深度學(xué)習(xí)模型，CNN的分類精度最高，所降低的精度也最小，而RNN和LSTM僅達到94%和95%。由此可見，在處理特征光譜數(shù)據(jù)時，CNN相較于其他深度學(xué)習(xí)模型有更好的表現(xiàn)，PLS-DA和SVM優(yōu)于LR。

3 結(jié) 論

結(jié)合機器學(xué)習(xí)和近紅外高光譜成像技術(shù)，實現(xiàn)了棉種的年份精確鑒別。采用SG方法進行光譜平滑，使用PCA-loading方法進行特征波段選取，使用六種分類模型(LR，PLS-DA，SVM，RNN，LSTM和CNN)分別對棉種的全譜和特征光譜數(shù)據(jù)進行建模分析。結(jié)果表明，CNN和SVM分類模型的效果優(yōu)于其他模型，深度學(xué)習(xí)分類模型優(yōu)于傳統(tǒng)機器學(xué)習(xí)。由于選取特征光譜，丟失了部分?jǐn)?shù)據(jù)信息，用特征光譜數(shù)據(jù)建模，分類效果會有不同程度的降低，其中CNN和SVM兩個分類模型僅降低1%，測試集精度仍達到98%，PLS-DA在測試集上的分類精度達到97%，其他三種模型的分類效果僅達到94%左右。因此，在采用近紅外高光譜數(shù)據(jù)進行棉種年份鑒別時，CNN和SVM相較于其他四種分類模型是更好的選擇。結(jié)合整體的研究結(jié)果，將高光譜成像技術(shù)與機器學(xué)習(xí)相結(jié)合可用于棉種年份精確鑒別，為完善棉花精量播種技術(shù)提供了理論依據(jù)與方法。