陳楚漢，鐘蘇苑，鐘楊生，王先燕，代 芬

（1.華南農(nóng)業(yè)大學電子工程學院，廣東 廣州 510642；2.廣東省蠶業(yè)技術推廣中心，廣東 廣州 510640；3.華南農(nóng)業(yè)大學動物科學學院，廣東 廣州 510642）

【研究意義】蠶繭雌雄鑒別是蠶繭雜交育種的重要環(huán)節(jié)。從熟蠶上蔟到蠶蛹化蛾共約14 d，蠶種場一般在第8 天進行削繭鑒蛹辨別雌雄，削繭鑒蛹時間只有4～5 d，在短時間內(nèi)完成該環(huán)節(jié)任務需要大量人工，勞動成本高。因此，研究蠶蛹性別自動鑒定具有重要的實踐意義?！厩叭搜芯窟M展】目前關于蠶蛹性別自動鑒定的方法有熒光蠶繭辨性（Fluorescent cocoon sex identification,FCSI）、磁共振成像（Magnetic resonance imaging,MRI）、X 射線成像技術等［1］，但這些方法成本高、速度慢，不適于在實際生產(chǎn)中推廣。龔攀等［2］用871A 和7532 兩個品種的蠶蛹圖像進行了識別試驗，每一品種取 50 個樣本進行訓練、50 個樣本進行測試，BP 網(wǎng)絡訓練收斂，準確率分別為98%和96%。然而計算機視覺的方法需要削開繭殼，并將蠶蛹腹部置于相機鏡頭位置，檢測速度太慢而無法滿足實際生產(chǎn)需求。近紅外光譜分析技術在蠶繭雌雄檢測的應用上有良好效果［3-5］，基于近紅外漫透射光譜信息的蠶繭無損雌雄檢測［6-7］，不需要削繭取蛹進行判別即可實現(xiàn)實時檢測和無損檢測。

【本研究切入點】由于近紅外光譜分析技術具有成本低、速度快、無損樣品等優(yōu)點，因此適用于農(nóng)產(chǎn)品檢測領域［8-10］。近紅外光譜數(shù)據(jù)是一維數(shù)據(jù)，傳統(tǒng)機器學習方法分析一維數(shù)據(jù)有良好效果［11-12］，例如支持向量機（Support vector machine，SVM）、梯度提升決策樹（Gradient boosting decision tree，GBDT）等方法。但是傳統(tǒng)機器學習方法需要特定的光譜預處理方法，例如主成分分析（Principal component analysis，PCA），光譜修正、基線校正、平滑和歸一化等方法。卷積神經(jīng)網(wǎng)絡（Convolutional neural networks，CNN）具有非常強的數(shù)據(jù)擬合能力，可學習到泛化能力更強的特征表達［13］，一般應用在計算機視覺領域，近年來也有許多人將CNN應用于近紅外光譜分析［14-15］，在不使用預處理方法的情況下，CNN也能取得良好的效果［16］。遷移學習即一種學習對另一種學習的影響，它廣泛存在于知識、技能、態(tài)度和行為規(guī)范的學習中。在計算機視覺、自然語言識別和人類行為識別等不同領域［17-18］，遷移學習都取得了良好效果。

【擬解決的關鍵問題】目前基于近紅外光譜的蠶繭檢測技術存在以下問題：第一，各地繭場的環(huán)境不同，各地采集蠶繭的近紅外光譜也有差異；第二，蠶繭品種不同，各個品種采集蠶繭的近紅外光譜也有差異；第三，不同型號光譜儀采集蠶繭的近紅外光譜也有差異。因此要建立一個較好的分類模型，理論上要采用不同光譜儀采集大量不同品種的樣本光譜并且對樣本進行標記，顯然這在實際中是不可能完成的。為了解決以上問題，本研究使用大量數(shù)據(jù)建立一個良好的源域模型，將目標域數(shù)據(jù)集分成30%～70%的訓練集，間隔為10%，用目標域數(shù)據(jù)集的訓練集分別微調(diào)源域模型和建立SVM和RF兩種模型，并對比分析目標域測試集準確率。為了驗證卷積神經(jīng)網(wǎng)絡提取特征的能力，對源域模型中間層輸出進行可視化分析，將目標域數(shù)據(jù)集輸入到源域模型中，獲取中間層輸出，用中間層輸出分別建立SVM和RF兩種模型，并對比分析測試集準確率。

1 材料與方法

1.1 設備介紹

樣本漫透射光譜的采集采用自行研制的種繭自動分選樣機完成，蠶繭雌雄快速無損檢測系統(tǒng)如圖1所示，檢測步驟如下：

（1）自動分選樣機將蠶繭逐個送到蠶繭檢測工位。

（2）光源（100 W鹵燈泡）從上向下照射蠶繭，積分球在蠶繭下面采集蠶繭的漫透射光，通過600μm光纖連接光譜儀。

（3）光譜儀通過USB線將樣機采集的光譜數(shù)據(jù)傳輸給電腦端，電腦端保存數(shù)據(jù)。

圖1 蠶繭雌雄快速無損檢測系統(tǒng)Fig.1 Fast and nondestructive system of sex detection of silkworm

海洋光譜儀部件采用NirQuest512型便攜式光纖光譜儀，OTO光譜儀部件采用SW2540型便攜式光纖光譜儀。檢測范圍：903～1599 nm，光譜儀設置積分時間為200 ms，平均次數(shù)為4以提高數(shù)據(jù)的穩(wěn)定性，平滑寬度為4以匹配系統(tǒng)的分辨率。

1.2 試驗樣本

供試的家蠶種繭樣本來自于廣東省蠶業(yè)推廣中心。按照試驗設計要求將所有樣本分成4個數(shù)據(jù)集（表1）。根據(jù)蠶蛹的腹部第8、9 腹節(jié)外部特征，削繭取蛹進行雌雄辨別，對難以判別的則解剖蠶蛹的腹部，以是否有卵來判別雌雄。

表1 數(shù)據(jù)集信息Table 1 Details of data sets

1.3 數(shù)據(jù)預處理

本研究采集的是蠶繭的近紅外漫透射光譜，其中近紅外光譜的透射率計算公式如下：

式中，R為漫透射光譜，Iraw為原始光譜，Ireference為參照光譜（在采光口不放任何樣本的情況下采集的光譜），Iblack為暗電流光譜（遮擋采光口后采集的光譜）。每次采集環(huán)境亮度發(fā)生明顯改變都需要重新采集1次參考光譜和暗電流光譜。

CNN不需要任何預處理方法。使用SVM和RF時，為了減少噪聲對模型產(chǎn)生的影響，對原始光譜進行標準歸一化處理和卷積平滑濾波（Savitzky-Golay smoothing，SG）處理。標準歸一化公式如下：

式中，X為原始光譜，μ為原始光譜均值，σ為原始光譜的方差。

近紅外光譜波長k處經(jīng)濾波后的平均值為：

式中，hi為平滑系數(shù)，ω為平滑窗口，H為歸一化因子，。本研究使用的SG濾波器的多項式階次為2，平滑窗口大小為15。

1.4 光譜數(shù)據(jù)

在同種條件下，樣本的近紅外光譜的譜峰波長一致，而因為設備或樣本品種不同，譜峰波長會略有差別。本研究針對遷移學習的問題著重對樣本的平均近紅外光譜進行研究，圖2 為4 個數(shù)據(jù)集的近紅外平均光譜。Dataset1 的平均近紅外光譜有5 個譜峰，峰值波長分別為918、970、1084、1186、1269 nm；Dataset2 的平均近紅外光譜有5 個譜峰，峰值波長分別為913、973、1084、1186、1262 nm；Dataset3 的平均近紅外光譜有5 個譜峰，峰值波長分別為917、962、1088、1186、1267 nm；Dataset4 的平均近紅外光譜有5 個譜峰，峰值波長分別為917、962、1088、1186、1267 nm。

圖2 4 個數(shù)據(jù)集的平均光譜Fig.2 Mean spectra of 4 data sets

Dataset1 和Dataset2 的近紅外光譜均由海洋光譜儀采集，它們的峰值波長非常接近，樣本品種分別為9 芙和7 湘，9 芙的平均光譜透射率高于7 湘的。Dataset3 和Dataset4 的近紅外光譜均由OTO 光譜儀采集，它們的峰值波長一致，而它們的樣本品種分別為7 夏和932，在波長為1397 nm 之前，932 的平均光譜透射率高于7 夏的，在1397 nm 之后7 夏的平均光譜透射率則高于932的。上述結(jié)果表明海洋光譜儀和OTO 光譜儀采集的不同品種樣本間近紅外光譜峰值十分接近，但不同儀器信噪比不同，不同品種的透射率也不同。

1.5 試驗設計

1.5.1 卷積神經(jīng)網(wǎng)絡設計 本研究設計出一個基于keras 框架的卷積神經(jīng)網(wǎng)絡，CNN 結(jié)構(gòu)如圖3 所示。該網(wǎng)絡有1 個卷積層和2 個全連接層。CNN 的卷積層有16 個filters，kernel size 大小為50，strides 為25，激活函數(shù)為relu。第1 個全連接層神經(jīng)元個數(shù)為20，激活函數(shù)為relu，最后一層全連接層為分類層，激活函數(shù)為softmax。

圖3 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)Fig.3 Structure of convolutional neural network

通常卷積神經(jīng)網(wǎng)絡中的池化層或者匯合層（pooling）起到特征降維作用和一定程度的防過擬合作用，并不是卷積神經(jīng)網(wǎng)絡必需的操作，近期有研究表明構(gòu)建只含卷積操作的網(wǎng)絡可以達到甚至超過傳統(tǒng)卷積神經(jīng)網(wǎng)絡（卷積層、池化層的交替）的分類精度。在本試驗中，輸入的數(shù)據(jù)通過卷積之后，特征數(shù)量較少，因此降采樣降維并不必要，直接省去池化層。批量歸一化層（Batch normalization，BN）不僅極大提升了訓練速度，收斂過程大大加快，還能增加分類準確率［19］。relu激活函數(shù)可以防止過擬合；壓縮數(shù)據(jù)，去除冗余；強化特征，減小誤差；加快收斂速度。Categorical_crossentropy損失函數(shù)，當誤差大時，權重更新快；當誤差小時，權重更新慢。除了最后一層分類層的激活函數(shù)是softmax，其他層激活函數(shù)都是relu。

模型訓練使用隨機梯度下降（Stochastic gradient descent，SGD）最優(yōu)化函數(shù)，正則化系數(shù)設置為0.001，采用衰減的學習率，當epoch 為0～39 時，學習率為0.001；當epoch 為40～59 時，學習率為0.0001；當epoch ≥60 時，學習率為0.00001。

1.5.2 遷移學習 遷移學習是接受預訓練模型（由其他人在大數(shù)據(jù)集上訓練過的網(wǎng)絡的權重和參數(shù)）并用自己的數(shù)據(jù)集對模型進行“微調(diào)”的過程［20］。在自然圖像上，神經(jīng)網(wǎng)絡學習的第一層特征不是特定于某個數(shù)據(jù)集或任務，而是通用的［21］。因此本研究設計的遷移學習模型，將預訓練網(wǎng)絡的第一層卷積層凍結(jié)，再用目標數(shù)據(jù)集對網(wǎng)絡進行訓練。深度遷移學習預測模型如圖4所示，試驗步驟如下所示：

（1）根據(jù)試驗內(nèi)容準備好預訓練數(shù)據(jù)集和目標數(shù)據(jù)集。

（2）將預訓練數(shù)據(jù)集和目標數(shù)據(jù)集分別分成60%訓練集和40%測試集。

（3）使用源域的訓練集進行訓練，對測試集數(shù)據(jù)準確率進行評估。

（4）若預訓練網(wǎng)絡表現(xiàn)好，則保存網(wǎng)絡，否則重新訓練。

（5）凍結(jié)預訓練網(wǎng)絡的卷積層。

（6）用目標數(shù)據(jù)集的訓練集對凍結(jié)后的預訓練網(wǎng)絡進行“微調(diào)”。

（7）獲得經(jīng)過遷移學習后的目標網(wǎng)絡，并對目標數(shù)據(jù)集的測試集進行準確率評估。

1.5.3 試驗結(jié)果計算與試驗環(huán)境 所有試驗重復50 次得出結(jié)果，然后再分別求平均值和標準差，得出的結(jié)果是平均值加上或減去3 倍的標準差，置信度為99.73%，測試集的準確率（A）為：

圖4 深度遷移學習預測模型流程Fig.4 Flowchart of prediction model of deep transfer learning

式中，T為測試集分類正確的數(shù)量，F(xiàn)為測試集分類錯誤的數(shù)量。

所有試驗均是在計算機上（Intel Core i5-4200，2.8 GHz CPU 和12 GB 內(nèi)存）用anaconda（python 版本3.7.1，tensorflow 版本1.14.0）進行。

2 結(jié)果與分析

2.1 源域模型訓練

Dataset1分為60%的訓練集和40%的測試集，用訓練集訓練源域模型，重復50次訓練，訓練集準確率為99.41（±0.30）%,測試集準確率為99.56（±0.22）%。圖5為源域數(shù)據(jù)集訓練集和測試集的精度和損失圖，訓練迭代次數(shù)達到60次后，模型達到最優(yōu)。為了選取較好的源域模型，重復試驗，選取最優(yōu)的模型作為遷移學習源域模型。

圖5 源域模型精度和損失結(jié)果Fig.5 Result of accuracy and loss of source domain model

2.2 源域模型中間輸出可視化

將目標域數(shù)據(jù)集Dataset2、Dataset3 和Dataset4 輸入到源域模型中，獲取中間層輸出（CNN 倒數(shù)第2 層的輸出，輸出大小為20），中間層輸出如圖6 所示,其中紅色為雌樣本，綠色為雄樣本。從圖6 可以看出，中間層輸出具有明顯的可分性。為了驗證卷積神經(jīng)網(wǎng)絡提取特征的能力，用中間層輸出分別建立SVM 和RF 兩種模型，由于中間層輸出已經(jīng)具有可分性，不需要對數(shù)據(jù)進行預處理，訓練集占目標數(shù)據(jù)集的30%～70%，得出測試集結(jié)果如表2 所示。中間層輸出建立的模型準確率都在90%以上，其中SVM的效果優(yōu)于RF。結(jié)果表明，源域模型的卷積層具有很好的特征提取能力。

圖6 3 個目標域數(shù)據(jù)集的源域模型中間層輸出Fig.6 Middle layer outputs of source domain model of three target domain data sets

表2 使用源域模型中間層輸出建模Table 2 Modeling by the middle layer output of source domain model

2.3 相同設備不同品種間的遷移學習

凍結(jié)源域模型的卷積層，把目標數(shù)據(jù)集Dataset2 的30%～70%作為訓練集，用訓練集微調(diào)源域CNN 網(wǎng)絡，得到遷移學習后目標域CNN 模型。同時，用訓練集重新訓練獨立的CNN、SVM和RF3 種模型，然后比較遷移學習后目標域CNN模型和重新訓練的獨立模型的測試集準確率。由表3 可知，在訓練集占總數(shù)據(jù)集比例為0.7 時，使用獨立CNN 建模測試集準確率只有58.87%，而SVM 和RF 的測試集準確率分別為92.49%和80.93%，表明數(shù)據(jù)量較少的情況下使用傳統(tǒng)機器學習的方法優(yōu)于CNN。在訓練集占總數(shù)據(jù)集比例為0.3 時，遷移學習后目標域CNN 模型測試集準確率為96.17%，而SVM 和RF 準確率分別為76.82%和72.23%，表明在數(shù)據(jù)量較少的情況下，遷移學習后目標域CNN 模型要優(yōu)于傳統(tǒng)機器學習模型。本研究結(jié)果證明了在不同品種情況下遷移學習的可行性。

2.4 不同設備不同品種間的遷移學習

凍結(jié)源域模型的卷積層，把目標數(shù)據(jù)集Dataset3 和Dataset4 的30%～70%作為訓練集，用訓練集微調(diào)源域CNN 網(wǎng)絡，得到遷移學習后目標域CNN 模型。同時，用訓練集重新訓練獨立的CNN、SVM 和RF 3 種模型，然后比較遷移學習后目標域CNN 模型和重新訓練的獨立模型的測試集準確率。由表4、表5 可知，遷移學習后CNN 模型準確率都在97%以上，而重新訓練的獨立CNN準確率只有50%以上，這是由于訓練數(shù)據(jù)太少，造成獨立的CNN 擬合不足。傳統(tǒng)機器學習相對CNN 網(wǎng)絡對樣本數(shù)量的要求要少一些，但是傳統(tǒng)機器學習方法需要對輸入數(shù)據(jù)進行預處理。由表4、表5 可知，SVM 的準確率為90%以上，RF 準確率在73%～81%之間，兩種方法都比遷移學習后目標域CNN 模型準確率低，造成這一結(jié)果原因之一是樣本數(shù)量少，而且沒有使用輸入數(shù)據(jù)預處理。在訓練數(shù)據(jù)較少的情況下，使用遷移學習可以解決訓練樣本不足的問題。上述結(jié)果證明了在不同品種、不同光譜儀的情況下遷移學習的可行性。

表3 4 種模型使用Dataset 2 建模準確率Table 3 Modeling accuracy of 4 models with Dataset 2（%）

表4 4 種模型使用Dataset 3 建模準確率Table 4 Modeling accuracy of 4 models with Dataset 3（%）

表5 4 種模型使用Dataset 4 建模準確率Table 5 Modeling accuracy of 4 models with Dataset 4（%）

3 討論

實現(xiàn)快速家蠶雌雄鑒別有重要的實踐意義，一方面家蠶雌雄鑒別是品種選育的重要環(huán)節(jié)，另一方面可以合理利用和分配雌雄蛹資源。目前，家蠶品種選育朝著多元化的方向發(fā)展［22］，也就是說家蠶品種也呈多樣性，這就增加了家蠶性別自定鑒別的難度。偏最小二乘法判別分析（Partial least squares discrimination analysis，Pls-da），SVM和RF等傳統(tǒng)機器學習方法常用于近紅外光譜分析中，且具有良好效果，然而由于近紅外光譜數(shù)據(jù)存在噪聲或者數(shù)據(jù)分布不均等問題，使用傳統(tǒng)近機器學習方法需要使用特定的光譜預處理方法。劉燕德等［23］使用近紅外光譜對葉片可溶性糖進行分析，使用了不同的數(shù)據(jù)預處理方法對模型進行優(yōu)化。由于蠶繭品種和光譜儀器型號的多樣性，蠶繭的近紅外光譜數(shù)據(jù)也具有多樣性，因此構(gòu)建一個泛化能力較強的分類模型十分困難。在基于近紅外光譜分析的家蠶自動鑒別中，一般采用監(jiān)督學習的方式，需要專業(yè)人員對數(shù)據(jù)進行標注，而且對數(shù)據(jù)標注工作量大。利用近紅外光譜技術對同一品種的蠶蛹進行準確的性別鑒別是一種有效的方法，然而由于采集條件或品種變化導致模型效果變差。針對不同品種間光譜數(shù)據(jù)的差異而造成模型效果變差的問題，Xie等［24］等使用半監(jiān)督學習的方法，通過預標記的方式，選取較為可靠的新品種數(shù)據(jù)更新訓練原始模型，提高了模型在不同品種之間的泛化能力。但使用傳統(tǒng)機器學習方法需要對數(shù)據(jù)進行預處理，不同的光譜數(shù)據(jù)的預處理方法可能不一樣。卷積神經(jīng)網(wǎng)絡具有良好的提取特征能力，使用卷積神經(jīng)網(wǎng)絡能夠提取出不同光譜儀采集的不同品種蠶繭的近紅外光譜數(shù)據(jù)的共同特征。本研究首次使用不同光譜儀的家蠶近紅外光譜數(shù)據(jù)進行分析，同時通過遷移學習，使用少量數(shù)據(jù)“微調(diào)”預訓練網(wǎng)絡，可以得到一個效果較好的目標域模型，從而減少了重新搭建一個蠶繭雌雄分類模型的成本。

目前設計一個能提取所有數(shù)據(jù)分布特征的卷積神經(jīng)網(wǎng)絡較為困難。后續(xù)研究我們將使用更多的不同品種和不同光譜儀型號的家蠶近紅外光譜數(shù)據(jù)進行試驗，同時在網(wǎng)絡中加入深度可分離卷積等結(jié)構(gòu)對模型進行優(yōu)化，以期在實際生產(chǎn)中得到應用。

4 結(jié)論

本研究分析了基于近紅外光譜的家蠶種繭雌雄鑒別模型在多設備和多品種間的遷移，得出以下結(jié)論：

（1）用1700 個9 芙樣本（NirQuest512 光譜儀）構(gòu)建的CNN 源域模型，家蠶種繭雌雄分辨準確率達到99%以上。結(jié)果表明使用大量數(shù)據(jù)構(gòu)建的CNN 模型具有很好的雌雄分辨能力。

（2）為了驗證卷積層提取雌雄特征的能力，將目標域數(shù)據(jù)集Dataset2、Dataset3 和Dataset4 輸入到源域模型中，獲取中間層輸出，并將中間層輸出分成不同比例的訓練集和測試集，然后用中間層輸出的訓練集作為輸入訓練SVM 和RF 模型，不同訓練集比例建模比較，SVM 和RF 模型的測試集準確率分別為92%和90%以上。結(jié)合上述結(jié)果，通過可視化分析表明卷積層能很好地提取雌雄特征。

（3）用不同訓練集比例的數(shù)據(jù)分別建立遷移學習CNN、獨立CNN、SVM 和RF 模型，通過試驗比較發(fā)現(xiàn)，在數(shù)據(jù)量較少的情況下，遷移學習后CNN 模型效果最優(yōu)，傳統(tǒng)機器學習方法次之，深度CNN 模型最差。結(jié)果表明，通過遷移學習能夠快速建立一個針對不同品種蠶繭或不同光譜儀的雌雄鑒別模型。