郝傳銘，卿粼波，何小海，李曉亮

（1.四川大學電子信息學院，成都610065；2.中儲糧成都糧食儲藏科學研究所，成都610091）

0 引言

在小麥質量檢測過程中，不完善粒比例決定了麥子的批次質量等級。其中，小麥不完善粒有霉變粒、蟲蝕粒、破碎粒、病斑粒和發(fā)芽粒五種。相比依靠人工檢測統計的方法，通過機器視覺技術實現的自動檢測方法正在不斷地完善[1-3]。在2016 年，梁琨等人[4]利用高光譜成像技術結合波段選擇和支持向量機識別算法對小麥霉變粒得到了96%以上的識別率。2017 年，董晶晶等人[5]利用高光譜圖像作為數據源在多分類支持向量機識別方法上對于蟲蝕粒的識別得到了93%以上的識別率。以上兩種方法僅針對單種不完善粒識別，對于其他不完善粒種類的識別率不是很理想。2019 年，劉歡等人[6]利用高光譜圖像結合SPA 算法去對不完善粒進行識別，達到了83.2%的平均識別率。2017 年，曹婷翠等人[7]利用改進卷積網絡針對完善粒、破碎粒和病斑粒達到了90%的平均識別率。2014 年，陳賽賽[8]改進了BP 神經網絡提出了新的小麥不完善粒識別算法。但以上文獻均只采用高光譜圖像或者高分辨率圖像單種數據源進行識別，識別準確率在某些特定種類的不完善粒上并不高。

高分辨率圖像對于麥粒有著良好的空間結構信息，而對于不完善粒的識別，利用高光譜成像技術可以在不同的光譜波段下解析成像結果，提升不完善粒識別的效果。本文首先提出了將兩種數據源融合的方式識別麥粒，將采集得到的光譜圖像集，經過特征波段選擇分好三個波段集[11]。并對其進行目標主成分分析數據降維[9]。然后和高分辨率圖進行配準融合作為識別的數據源[10]。其次，本文從特征融合的角度出發(fā)設計了雙層分類網絡[11]，利用卷積網絡構造特征金字塔進行特征融合提升識別準確率。最后通過對三種圖像源做識別準確率對比實驗來驗證方法的正確性。識別方法充分利用了兩種數據源各自的優(yōu)勢，進一步完善了小麥不完善粒識別的方法。

1 圖像預處理

1.1 預處理整體方案

首先在高光譜和高分辨圖像成像采集完成后，采用分水嶺算法對校正圖像中的每一粒小麥進行目標分割，從而獲得的單粒小麥圖像樣本，如圖1 所示。其次利用互信息和最大信息系數法進行初步的波段選擇，進而采用分段PCA 算法對高光譜圖像數據降維，使得降維圖像能夠與高分辨率圖像融合。最后采用SIFT算法對兩種圖像進行精確配準，并進行IHS 變換融合得到最終預處理圖像。總體流程如圖2 所示。

圖1 單粒小麥的高分辨率圖像以及其520nm和820nm下的高光譜圖像

圖2 預處理整體方案

1.2 高光譜圖像數據降維

針對高光譜圖像數據相關性較強的問題。本文在文獻[9]提出的分段PCA 算法的基礎上針對目標提取作出改進。通過保存樣本圖像中小麥和背景二值化區(qū)分的模板圖像，進而在向量化時，通過模板剔除背景像素點。其次按照波段之間的相關性做分段PCA。算法步驟如下：

（1）高光譜圖像向量化。

將所有波段的光譜圖轉化為長度為m 的一維列向量。S 個波段的列向量組成大小為m×S 的數據矩陣X=[x1,x2,…,xs]。

（2）波段相關性計算，得出強相關的波段范圍。

經過計算可以做出相關矩陣灰度圖如圖3 所示。圖中相關性與亮度成正比，三個強相關波段范圍如表1所示。從而將X 矩陣拆解為3 個分段矩陣[X1,X2,X3]進行數據降維。

表1 強相關波段范圍

（1）計算協方差矩陣。

對于每個分段，波段數目為n，求解該段m×n 的數據矩陣X 的協方差矩陣Cx：

圖3 波段相關性圖

（2）計算CX的特征值。

從大到小排列n 個特征值λ1,λ2,…,λn，求出特征值對應的特征向量ξ1,ξ2,…,ξn，選擇其中的前d 個特征向量來組成投影矩陣p=[ξ1,ξ2,…,ξn]。

（3）分段數據投影。

利用投影矩陣P 對原分段數據進行投影，得到一個m×d 維矩陣Q，Q=[q1,q2,…,qmd]。其中：

qi=PTxi,i=1,2,…,md （2）

（4）拆分還原圖像，并對其余的兩個波段范圍進行PCA 降維。

將d 維主成分構成的數據矩陣按列拆分，填充背景最終得到3×d 張大小為r×d 數據圖像。對于d 的選值，可以通過計算圖片的累計貢獻率的得到。

三個波段范圍計算累計貢獻率可以得到表2 所示?？梢钥闯龅谝恢鞒煞忠呀洶ǘ沃械闹饕畔?，本文在每個波段中均取第一主成分來構成最終的高光譜數據源如圖4 所示。

表2 三個波段范圍特征維數累計貢獻率

圖4 三個分段下的第一主成分圖像及其合成的三通道圖像

1.3 高光譜與高分辨率圖像融合

（1）圖像配準

首先將高光譜圖像與對應的高分辨率圖像高精度配準。由于經過了波段選擇和PCA 數據降維，待配準高光譜圖像特征信息不再是單波段下的紋理特征，可以采用基于特征的匹配算法來進行精確配準。分類訓練數據集有大量的兩種圖像源需要配準，本文選用了具有高穩(wěn)定性和高速性的SIFT 配準算法完成數據配準。配準圖像如圖5 所示。

圖5 高分率圖像（左）與高光譜合成圖像（右）配準

（2）IHS 變換圖像融合

高光譜圖像融合通常采用IHS 變換融合[5]方法。在IHS 空間中三個分量具有相對獨立性，能夠準確定量地描述顏色特征，并對它們分別進行控制。本文中高光譜圖像與高分辨率圖像的融合步驟如下：

①根據CIE1964 三刺激顏色匹配中，不同波段對于B、G、R 顏色空間中各分量的刺激值。本文中三段光譜范圍可以對應到這三個通道中。因此將高光譜圖像三個分段的第一主成分分別賦予B、G、R 空間分量，合成一個三通道矩陣M。

②將兩種圖像均由BGR 空間轉換至IHS 空間。

③將高光譜圖像M 的I 分量與高分辨率圖N 像進行直方圖匹配：

s=T(m)=(L-1)∫0mpm(ω)dω （3）

G(n)=(L-1)∫0npn(ω)dt （4）

其中，L 為像素值范圍，pm為高光譜圖像M 的I分量像素概率密度函數，pn為高分辨率圖像的像素概率密度函數。通過n=G-1(s)進行映射完成對高光譜圖像的直方圖匹配。

④用高分辨率圖像替換高光譜圖像的I 分量。

⑤替換了I 分量的高光譜圖像逆變換至BGR 空間，得到融合圖像如圖6 所示。對應的高分辨率圖像如圖7 所示。

2 基于高光譜融合圖像的麥粒分類

小麥的分類識別屬于細粒度分類，快速準確地將特征區(qū)域定位是衡量算法優(yōu)劣的關鍵。文獻[12]提出的遞歸注意力卷積神經網絡通過三個層級識別子網絡和非監(jiān)督式APN（Attention Proposal Network）裁剪原圖逐漸聚焦特征區(qū)域，在一些公共數據集上得到了非常好的分類效果。但是，RA_CNN 網絡設計了分類損失函數和分割損失函數，通過固定一個子網絡的參數來訓練另一子網絡的參數。這種訓練方式，以及其多等級子網絡的特點使得這種算法需要大量的數據集來訓練，訓練難度大而且網絡結構復雜難以收斂。因此，裁剪操作子網絡不適合需要一一配準的多源麥粒圖像細粒度識別。本文借鑒RA_CNN 多層結構的想法，在文獻[13]的基礎上利用卷積網絡在計算過程中得到的多尺度特征圖，構造特征金字塔，借鑒FPN 中自頂向下模型融合特征圖來構造一層子網絡[11]。以對特征區(qū)域加深權重的方式，通過兩層網絡綜合分類結果。設計的網絡如圖8 所示。

圖6 6種麥粒的融合圖像

圖7 6種麥粒（依次為常、破、蟲、病、芽、霉）的高分辨率圖像

圖8 分類網絡結構圖

圖8 所示網絡分為兩層，第一層是VGG-16 卷積網絡。這一層網絡的作用在于為第二層子網絡提供正確的特征檢測，對麥粒圖像進行初步分類。第二層網絡由特征金子塔和另一個VGG-16 卷積神經網絡組成。特征金字塔由第一層網絡的卷積結構自底向上得到。在這個過程中，經過每一層卷積結構特征圖像尺度大小減半，特征維數翻倍。因此在特征金字塔的融合過程中，首先需要對上層進行最鄰近上采樣將特征圖像大小翻倍。同時使用1×1 的卷積過濾器將下層的特征維數升維一倍，然后上下兩層特征圖像進行融合。但融合之后的圖像存在混疊效應，可以使用3×3的卷積來減輕上采樣的混疊效應。

最后一層卷積得到的特征融合圖像進行降維之后與原圖像進行最終的上采樣融合，從而加深了特征區(qū)域在原圖中的權重，如圖9 所示。上采樣融合能夠有效地提高特征區(qū)域提取的準確性，從而提高分類識別的準確率。最終將融合后的圖像送入第二層卷積網絡進行圖像分類。

圖9 Grad-CAM生成的特征熱力圖

3 實驗結果與分析

3.1 數據集整理

本文針對6 類小麥分別采集高光譜圖像以及高分辨率圖像各350 顆，并利用圖片鏡像反轉、添加噪聲等數據擴增方式擴展樣本集，得到每類小麥2000 個樣本。其中，訓練集、測試集和驗證集按照8：1：1 來劃分。對于高光譜圖像，以5nm 光譜分辨率，采集了樣本從420nm 波段到1000nm 波段的光譜圖像數據，將116個波段通過互信息和最大信息系數法進行波段選擇，保留了50 個波段的光譜信息，并采用本文預處理方法得到6 類小麥融合圖像。

3.2 實驗結果

對采集到的圖像對同一小麥做高光譜圖像樣本、高分辨率圖像樣本以及兩種圖像的融合樣本使用本文分類網絡進行訓練和測試。測試結果如表3 所示。

表3 三種數據源小麥識別對比試驗結果

實驗結果可知，高分辨率圖像能更好地識別破碎粒、完善粒和蟲蝕粒三種外觀特征明顯的麥粒，高光譜圖像的空間信息不足，對三種小麥的識別效果較差。因此高光譜融合圖像作為數據源對識別效果的提升并不是很高。而針對其他三種不完善粒，雖然區(qū)分難度較高，但高光譜圖像的分類效果更好，可以看出高光譜的光譜反射信息在這三類麥粒中更具有區(qū)分度。其中識別率最低的是霉變粒，該類除了帶有霉斑之外往往也同時帶有其他種類的特征，存在類間交錯，因此其識別率最低。融合之后的圖像，結合了兩種信息源各自的優(yōu)勢，平均識別率相較于兩種單信息源識別分別提高了6.08%以及3.34%，驗證了融合信息源可以有效地提高小麥分類效果。

4 結語

本文針對小麥不完善粒識別中，高光譜圖像和高分辨率圖像作為數據源各自的優(yōu)勢，提出了將兩種數據源進行配準作為新的數據源在分類網絡中進行訓練和識別。利用波段選擇和分段PCA 進行高光譜數據降維，使得高光譜圖像可以和高分辨率圖像進行IHS變換融合。而對于識別算法，在VGG 卷積網絡的基礎上，通過卷積得到的特征金字塔將特征圖像融合進而構造第二層VGG 分類結構來達成加深特征區(qū)域權重進行分類的目的。在針對三種圖像源樣本集進行訓練和測試分類結果后，驗證了融合圖像在分類效果上的提高。為小麥不完善粒識別方案的進一步完善，和小麥品質的測量提供了良好的方法。