陳楚漢，鐘楊生，王先燕，趙懿琨，代 芬*

1. 華南農(nóng)業(yè)大學(xué)電子工程學(xué)院，廣東 廣州 510642 2. 華南農(nóng)業(yè)大學(xué)動(dòng)物科學(xué)學(xué)院，廣東 廣州 510642 3. 廣東省蠶業(yè)技術(shù)推廣中心，廣東 廣州 510640

引 言

蠶繭雌雄鑒別是蠶繭雜交育種的重要一步[1]。 從熟蠶上蔟到蠶蛹化蛾共約14 d，蠶種場(chǎng)一般在第8天進(jìn)行削繭鑒蛹辨別雌雄，削繭鑒蛹時(shí)間只有4～5 d，在短時(shí)間內(nèi)，完成削繭鑒蛹需要大量人工，勞動(dòng)成本高。 使用近紅外光譜對(duì)蠶繭進(jìn)行雌雄鑒別，成本比較高，使用較少的近紅外波段可以節(jié)約成本。

目前關(guān)于蠶繭性別自動(dòng)鑒定的方法大多都是有損的，需要人工削繭，這些方法有熒光蠶繭辨性[2]、磁共振成像、X射線成像技術(shù)，高光譜成像技術(shù)[3]，計(jì)算機(jī)視覺方法和近紅外光譜分析[4-5]等。 目前還沒有結(jié)合化學(xué)計(jì)量學(xué)和近紅外光譜的蠶繭性別自動(dòng)鑒別的研究[6]。 使用全波段光譜進(jìn)行分析，儀器成本較高，無法大規(guī)模應(yīng)用在實(shí)際生產(chǎn)中。

數(shù)據(jù)提取是把之前維度的特征映射到一個(gè)更低維度的空間[7]，但數(shù)據(jù)提取的方法無法減少使用的近紅外光譜波段。 在近紅外光譜分析中，用特征選擇方法挑選單波段特征[8]，然后用挑選出來特征波長(zhǎng)對(duì)應(yīng)的單波發(fā)光二極管(LED) 或激光光源代替近紅外光譜儀[9]，能節(jié)約設(shè)備成本。

根據(jù)上述需求，提出了一種基于統(tǒng)計(jì)學(xué)的包裹式方法，基于SVM的自助重加權(quán)采樣(bootstraping re-weighted sampling support vector machines，BRS-SVM)的特征選擇方法。 近紅外光譜分析依靠不同樣品光譜間的微小變化進(jìn)行分析[10]，連續(xù)波段面積能很好反映出不同樣本光譜間的微小差異。 用BRS-SVM分別挑選單波段特征和連續(xù)波段面積特征，再用支持向量機(jī)(support vector machines，SVM)和邏輯回歸(logistic regression，LR)建立雌雄分類模型，以挑選相同特征個(gè)數(shù)時(shí)模型的準(zhǔn)確率對(duì)特征選擇方法評(píng)估，并和其他特征選擇方法比較，分析實(shí)驗(yàn)結(jié)果，以期選擇合適數(shù)量的窄LED燈代替近紅外光譜儀。

1 理 論

1.1 基于學(xué)習(xí)模型的特征排序

基于學(xué)習(xí)模型的特征排序方法是基于學(xué)習(xí)器，通過衡量學(xué)習(xí)器特征的權(quán)重大小，給特征重要性排序，去除不重要的特征。 其優(yōu)勢(shì)是可以快速去除大量不重要特征，但是不適合挑選較少特征。 本工作使用基于SVM的特征排序方法(model based ranking support vector machines，MBR-SVM)和邏輯回歸LR的特征排序方法(model based ranking logistic regression，MBR-LR)。

1.2 遞歸特征消除

特征選擇的方法分為過濾試，包裹式和嵌入式。 包裹式特征選擇法的特征選擇過程與學(xué)習(xí)器相關(guān)，使用學(xué)習(xí)器的性能作為特征選擇的評(píng)價(jià)準(zhǔn)則，選擇最有利于學(xué)習(xí)器性能的特征子集[11]。 遞歸特征消除(RFE)是一種包裹式特征選擇的方法，該方法類似使用了多次基于學(xué)習(xí)模型的特征排序方法，每次迭代消除少量特征。 以SVM-REF為例，在每一輪訓(xùn)練過程中，會(huì)選擇所有特征來進(jìn)行訓(xùn)練，繼而得到了分類的超平面，SVM-REF會(huì)消除較小的權(quán)重，本工作每次迭代消除兩個(gè)特征。

1.3 連續(xù)投影算法

連續(xù)投影算法(successive projections algorithm，SPA) 是前向特征變量選擇方法。 SPA利用向量的投影分析，通過將波長(zhǎng)投影到其他波長(zhǎng)上，比較投影向量大小，以投影向量最大的波長(zhǎng)為待選波長(zhǎng)，然后基于矯正模型選擇最終的特征波長(zhǎng)。 SPA選擇的是含有最少冗余信息及最小共線性的變量組合。

1.4 遺傳算法

遺傳算法(genetic algorithm，GA)是模擬達(dá)爾文進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過程的計(jì)算模型，是一種模擬自然進(jìn)化過程搜索最優(yōu)解的方法，利用選擇，交叉和突變等進(jìn)化因子使得種群的適應(yīng)度不斷增強(qiáng)，從而達(dá)到優(yōu)勝劣汰的目的。 本工作利用SVM給個(gè)體適應(yīng)度評(píng)分。

1.5 基于SVM的自助重加權(quán)采樣(BRS-SVM)

BRS-SVM是一種包裹式法，該方法通過統(tǒng)計(jì)學(xué)的方式，評(píng)價(jià)不同組合的特征子集的得分，逐步選取最優(yōu)的特征子集，子集搜索策略是啟發(fā)式搜索策略，這種搜索策略效率要遠(yuǎn)優(yōu)于全局最優(yōu)搜索；自助法是一種啟發(fā)式搜索策略，在光譜特征選擇中有著較好的效果[12]。 BRS-SVM能夠快速有效的尋找最優(yōu)的特征組合。 BRS-SVM大致可以分為子集搜索和子集評(píng)價(jià)部分，首先初始化每個(gè)特征的權(quán)重u和抽取特征的數(shù)量，其中每個(gè)特征的初始權(quán)重u相等且和為1，抽取的特征個(gè)數(shù)等于樣本特征個(gè)數(shù)。 子集搜索部分： (1)首先初始化n個(gè)樣本空間，即重復(fù)n次將數(shù)據(jù)隨機(jī)分成80%的訓(xùn)練集和20%驗(yàn)證集，樣本空間個(gè)數(shù)n越大，統(tǒng)計(jì)次數(shù)就越多；(2)在n個(gè)樣本空間下，每個(gè)樣本空間按權(quán)重為u進(jìn)行隨機(jī)重復(fù)抽樣，抽取出m個(gè)特征。 子集評(píng)價(jià)部分： (1)根據(jù)自助法，排除重復(fù)的特征，剩下約0.632 m個(gè)不重復(fù)的特征；(2)每個(gè)樣本空間分別用SVM建模，然后用驗(yàn)證集準(zhǔn)確率評(píng)價(jià)抽取的特征子集；(3)得分前10%的特征子集有利于學(xué)習(xí)器的性能，以得分前10%的特征抽取頻率更新特征的權(quán)重u；(4)以所有樣本空間抽取不重復(fù)特征個(gè)數(shù)的評(píng)價(jià)值更新抽取個(gè)數(shù)m。 重復(fù)子集搜索和子集評(píng)價(jià)部分，直到抽取個(gè)數(shù)m滿足需求，算法流程圖如圖1所示。 設(shè)置BRS-SVM的樣本空間大小為200。

圖1 BRS-SVM算法流程圖Fig.1 BRS-SVM algorithm flow chart

1.6 計(jì)算環(huán)境

所有實(shí)驗(yàn)都重復(fù)計(jì)算50次，再求平均值，其中準(zhǔn)確率的定義如式(1)所示

(1)

式(1)中，T為數(shù)據(jù)集分類正確的數(shù)量，F(xiàn)為數(shù)據(jù)集分類錯(cuò)誤的數(shù)量。

所有的運(yùn)算都是在個(gè)人計(jì)算機(jī)上(Intel Core i5-4200，2.8 GHz CPU和12GB內(nèi)存)用Pycharm(Python版本3.6.5，Tensorflow版本1.14.0，Keras版本2.3.1)進(jìn)行的。

2 實(shí)驗(yàn)部分

2.1 儀器

樣本的漫透射光譜采集使用課題組自行研制的種繭自動(dòng)分選樣機(jī)完成，光譜儀為海洋公司的NirQuest512型便攜式光纖光譜儀，檢測(cè)范圍： 900～1 699 nm。 光譜儀設(shè)置積分時(shí)間為200 ms，平均次數(shù)為4以提高數(shù)據(jù)的穩(wěn)定性，平滑寬度為4以匹配系統(tǒng)的分辨率，樣機(jī)如圖1所示。 樣機(jī)工作步驟如下：

(1)將未剝殼的蠶繭放入左邊進(jìn)料口中，機(jī)械臂會(huì)抓取蠶繭到轉(zhuǎn)盤中。

(2)轉(zhuǎn)盤再將蠶繭轉(zhuǎn)到光源(100 W的鹵燈泡)處，光源從上向下照射蠶繭，積分球在蠶繭下面采集蠶繭的漫透射光，通過600 μm光纖連接光譜儀。

(3)通過USB線將光譜儀采集的光譜數(shù)據(jù)傳輸給電腦，保存數(shù)據(jù)。

圖2 種繭自動(dòng)分選樣機(jī)Fig.2 Automatic silkworm sorting machine

2.2 樣本

試驗(yàn)用的家蠶種繭樣本來自于廣東省蠶業(yè)推廣中心和廣東化州種繭場(chǎng)。 將2019年4月至2020年10月采集的4517個(gè)近紅外光譜樣本作為試驗(yàn)的數(shù)據(jù)集，2021年6月采集的1 695個(gè)樣本作為測(cè)試集，其中數(shù)據(jù)集信息如表1所示。 9芙×7湘是9芙和7湘的第一代雜交品質(zhì)，它們體型大小十分接近。 試驗(yàn)集和測(cè)試集數(shù)據(jù)的采集時(shí)間不同，但他們品種接近，用測(cè)試集數(shù)據(jù)能很好驗(yàn)證試驗(yàn)的有效性。 將繭殼削開，通過觀察蠶繭尾部花紋來判斷蠶蛹雌雄。

表1 試驗(yàn)數(shù)據(jù)集的詳細(xì)信息Table 1 Details of the data sets

2.3 光譜數(shù)據(jù)

圖3為9芙和9芙×7湘通過NirQuest512型便攜式光纖光譜儀采集到的雌雄蠶繭平均光譜，采集范圍為900～1 699 nm。 由圖3可以看出，兩種品種的蠶繭雌雄光譜有5個(gè)相同的譜峰，峰值波長(zhǎng)分別為918，970，1 084，1 186和1 269 nm。 兩種品種雌雄蠶繭的平均近紅外光譜的譜峰差別不大，且它們譜峰都較寬。 通常，雌蠶蛹的個(gè)體要比雄蠶蛹的大，所以相同品種情況下，雌蠶繭的平均近紅外漫透射率要低于雄蠶繭的。 雌雄蠶繭的漫透射近紅外光譜存在交叉，但其交叉規(guī)律較為復(fù)雜，很難觀察出雌雄蠶繭光譜差異較大的波長(zhǎng)，因此需要使用相關(guān)算法挑選出相應(yīng)的特征波長(zhǎng)。

圖3 蠶繭平均近紅外光譜Fig.3 Mean near infrared spectra of cocoon

3 結(jié)果與討論

3.1 去除無信息波段

將試驗(yàn)集隨機(jī)分為80%的訓(xùn)練集和20%的驗(yàn)證集。 使用訓(xùn)練集的全波段光譜數(shù)據(jù)建立SVM模型，驗(yàn)證集準(zhǔn)確率為99.16%，以該SVM模型的權(quán)重大小為評(píng)判標(biāo)準(zhǔn)，權(quán)重越大特征越重要，將900～1 699 nm波段特征的重要性排序，并根據(jù)排序?qū)⒅匾潭瓤s放到0～1，其中重要程度的計(jì)算如式(2)所示

(2)

式(2)中，S為特征重要性的排序。 得到全波段特征重要性熱力圖，如圖4所示，辭雄分類的重要特征都集中在900～1 399 nm，使用該波段范圍的訓(xùn)練集建立SVM模型，驗(yàn)證集準(zhǔn)確率為99.40%，所以我們認(rèn)為雌雄分類信息大部分在900～1 399 nm波段內(nèi)。

圖4 蠶繭近紅外光譜特征重要性熱力圖Fig.4 The importance heatmap of near infraredspectral characteristics of cocoon

3.2 挑選單波段特征

在900～1 399 nm波段內(nèi)挑選蠶繭雌雄分類的有用信息，分別使用MBR-SVM，MBR-LR，REF-SVM和SPA挑選5，10，20，30，40和50個(gè)特征，GA和BRS-SVM無法抽取固定的特征個(gè)數(shù)。 將試驗(yàn)集隨機(jī)分為80%訓(xùn)練集和20%驗(yàn)證集，使用挑選出來的特征訓(xùn)練SVM和LR雌雄分類模型，計(jì)算驗(yàn)證集準(zhǔn)確率，重復(fù)上述50次，得到平均驗(yàn)證集準(zhǔn)確率如圖5所示，其中MBR-SVM-SVM表示使用MBR-SVM挑選特征，再使用SVM建模，同理可得其他圖例含意。 使用同種特征選擇的方法挑選特征，再使用SVM模型建模的準(zhǔn)確率比LR模型準(zhǔn)確率高。 挑選5個(gè)特征，BRS-SVM-SVM驗(yàn)證集準(zhǔn)確率為93.88%，GA-SVM驗(yàn)證集準(zhǔn)確率為89.24%，而其他特征選擇方法只有80%～82%。 BRS-SVM的性能要優(yōu)于GA-SVM，而GA-SVM的性能要優(yōu)于其他算法。

用特征選擇方法在試驗(yàn)集中挑選特征，得到的特征再用測(cè)試集建立分類模型，測(cè)試集準(zhǔn)確率如圖5所示。 用測(cè)試集900～1 399 nm波段建立SVM雌雄分類模型準(zhǔn)確率為95.70%，建立LR雌雄分類模型準(zhǔn)確率為95.54%。 用BRS-SVM挑選5個(gè)特征使用SVM建模準(zhǔn)確率為89.56%，其余準(zhǔn)確率大多在86%～87%，SVM建模的準(zhǔn)確率比LR的高，當(dāng)挑選大于9個(gè)特征個(gè)數(shù)時(shí)，RFE-SVM，GA-SVM和BRS-SVM性能接近，用BRS-SVM挑選27個(gè)特征SVM建模準(zhǔn)確率為94.97%，和使用900～1 399 nm波段建模準(zhǔn)確率接近。 通過上述實(shí)驗(yàn)，證明挑選單波段特征時(shí)我們的方法要優(yōu)于其他方法，尤其是挑選特征數(shù)量較少的情況下。

圖5 挑選的單波段特征的準(zhǔn)確率圖Fig.5 Accuracies of models using selected single-band features

3.3 挑選連續(xù)波段特征

計(jì)算試驗(yàn)集900～1 399 nm波段內(nèi)的面積特征，如900 nm需要計(jì)算900，900～901和900～902 nm等15個(gè)連續(xù)波段的面積，1 385～1 399 nm范圍向1 400 nm后面的波段計(jì)算，共獲取7 500個(gè)新的特征，再使用MBR*SVM，MBR-LR，REF-SVM，SPA，GA和BRS-SVM挑選連續(xù)波段的面積特征，其中MBR-SVM，MBR-LR，REF-SVM和SPA分別挑選5，10，20，30，40和50個(gè)特征，驗(yàn)證集準(zhǔn)確率如圖6所示，測(cè)試集準(zhǔn)確率如圖6所示。 用BRS-SVM挑選5個(gè)特征再用SVM建模，驗(yàn)證集準(zhǔn)確率為94.17%，測(cè)試集準(zhǔn)確率為91.95%。 用REF-SVM挑選5個(gè)特征再用SVM建模，驗(yàn)證集準(zhǔn)確率為86.30%，測(cè)試集準(zhǔn)確率為85.91%，用GA挑選5個(gè)特征再用SVM建模，驗(yàn)證集準(zhǔn)確率為89.30%，測(cè)試集準(zhǔn)確率為86.66%，在總特征數(shù)量較多且挑選少量特征的情況下，我們提出的MBR-SVM要優(yōu)于REF-SVM和GA，在挑選特征數(shù)量大于等于20個(gè)時(shí)，REF-SVM的性能和MBR-SVM，GA相同。

圖6 挑選的連續(xù)波段面積特征的準(zhǔn)確率圖Fig.6 Modeling accuracies of selected band area features

3.4 蠶繭近紅外光譜的特征分析

圖7(a)為用BRS-SVM挑選的27個(gè)單波段特征，用這些特征建立SVM雌雄分類模型測(cè)試集準(zhǔn)確率為94.97%。 圖7(b)為用BRS-SVM挑選的14個(gè)連續(xù)波段面積特征，用SVM建模測(cè)試集準(zhǔn)確率為94.43%，可用13個(gè)LED燈替代近紅外光譜。 可以根據(jù)實(shí)際生產(chǎn)需求選擇合適的特征，成本較低準(zhǔn)確率要求不高，可選擇挑選連續(xù)波段面積的特征，如用BRS-SVM挑選的5個(gè)連續(xù)波段面積特征，再用SVM建模測(cè)試集準(zhǔn)確率為91.95%，可用5個(gè)LED燈替代近紅外光譜。

圖7 (a)BRS-SVM挑選的27個(gè)單波段特征; (b)BRS-SVM挑選的14個(gè)連續(xù)波段面積特征

3.5 特征泛化能力分析

為了進(jìn)一步驗(yàn)證挑選的特征的有效性，我們用SW2540型便攜式光纖光譜儀采集112個(gè)932品種蠶繭的漫透射光譜和77個(gè)7xia品種蠶繭的漫透射光譜。 用BRS-SVM挑選的27個(gè)單波段特征和14個(gè)連續(xù)波段面積特征建立SVM雌雄分類模型，準(zhǔn)確率如表2所示。 932品種的分類模型效果差些，這是因?yàn)椴煌庾V儀或者不同品種的蠶繭采集的近紅外光譜存在著差異。

表2 932和7xia品種蠶繭的SVM雌雄分類模型準(zhǔn)確率Table 2 Accuracy of SVM sex classification modelfor silkworm cocoons of 932 and 7xia

4 結(jié) 論

提出了一種包裹式的特征選擇方法，基于支持向量機(jī)的自助重加權(quán)采樣(BRS-SVM)的特征選擇方法，分別對(duì)蠶繭近紅外光譜單波段特征和連續(xù)波段特征進(jìn)行選擇，建立有效的雌雄分類模型。 BRS-SVM與其他特征選擇方法相比性能均有一定優(yōu)化，特別是在挑選少量特征時(shí)模型精度最高。 在需求為低成本和低精度的情況下，挑選5個(gè)單波段特征，測(cè)試集準(zhǔn)確率為89.56%，在需求為高精度的情況下，挑選14個(gè)連續(xù)波段面積特征，測(cè)試集準(zhǔn)確率為94.97%。 首次結(jié)合化學(xué)計(jì)量法分析蠶繭的近紅外光譜，為蠶繭的雌雄檢測(cè)應(yīng)用提供一種實(shí)用的解決方案。