吳雪梅 劉紅蕓 王 芳 張富貴 張 康 黃華成

（貴州大學機械工程學院 貴陽 550025）

1 引言

煙草是我國主要農業(yè)經濟作物，煙葉的分級有著至關重要的作用［1~2］。隨著機器視覺技術廣泛應用，已有研究利用該技術結合煙葉的顏色［3~6］、形狀［7~9］、紋理［10~11］等特征進行煙葉分級建模，但這些方法對圖像獲取、預處理及特征提取具有較強的依賴性。也有研究利用紅外光譜［12~13］對煙葉進行分級得到可靠結果，但光譜特性是在確定組和顏色的前提下，且紅外光譜成本較高，不適合推廣使用。

卷積神經網絡（CNN）具有良好的特征提取及泛化能力，目標檢測速度快，模型準確度高［14］，因此被廣泛應用于各領域。目前，利用深度學習進行目標檢測方法有基于候選框和基于回歸的方法［15］；基于候選框的方法有RCNN［16］、SPP-Net［17］、Fast-RCNN［18］、Faster-RCNN［19］等。其中，以Faster-RCNN 為代表的檢測精度高于基于回歸方法檢測的精度［20］，該網絡模型是將區(qū)域建議網絡（Region Proposal Networks，RPN）方法與Fast R-CNN 進行融合，實現了高精度的實時檢測［21］。但是隨著卷積神經網絡層數的增加，帶來高精度的同時伴隨有梯度彌散、梯度消失、網絡模型難以優(yōu)化以及抑制了淺層網絡參數的收斂等問題，導致訓練效果差。若直接將該模型訓練煙葉圖像數據集，會出現一下幾個問題：1）煙葉同部位不同等級之間特征過于相似以及數據集不足等問題，導致分級準確率不高；2）由于煙葉在拍攝過程中需要將煙葉鋪平，但是煙葉存在卷曲、皺縮的問題，很難將煙葉完全鋪平，因此在深層卷積層提取特征時目標的信息量不夠，影響煙葉分類的識別精度。為此，本文提出一種改進的Faster-RCNN 網絡模型，并利用改進的網絡模型對數據集進行訓練和驗證分析。

2 試驗數據

采集樣本品種為云煙87，共采集了下橘2（X2F）、中橘2（C2F）、中橘3（C3F）、中橘4（C4F）、上橘1（B1F）、上橘2（B2F）、上橘3（B3F）7個等級的煙葉圖像，各等級拍攝的圖像不少于1000幅。

拍攝的有效圖像共計7156 幅，每個等級選出300 幅煙葉圖像作為測試集，其余圖像作為訓練的原始數據集。原始數據集通過Photoshop CS6 軟件進行剪裁，大小為608×342，圖像的儲存格式為.jpg格式，圖像統(tǒng)一命名，由6 位長度的數字組成，例如：000001.jpg 格式，序號連接。對處理后的原始樣本分別進行上下翻轉和順時針旋轉90°、180°、270°擴增，形成擴增后的訓練數據集，擴增后的數據集共計29416 幅煙葉圖像。根據POSCAL VOC2007數據集格式，借助開源軟件LabelImg對煙葉數據集進行標注，生成xml類的標簽。

3 試驗環(huán)境及試驗方法

3.1 試驗環(huán)境

試驗環(huán)境為64 位Ubuntu16.04 操作系統(tǒng)，在深度學框架caffe 下完成數據集的訓練與驗證分析，具體試驗環(huán)境如表1所示。

表1 試驗環(huán)境

3.2 試驗方法

以Faster R-CNN 網絡模型為檢測圖像的基礎網絡，在該框架下有三種不同大小訓練模型，分別是VGG16、VGG_CNN_M1024 以及ZF，其中VGG16模型具有13 層卷積層，屬于大型網絡訓練模型；VGG_CNN_M1024 模型具有5 個卷積層，屬于中型網絡訓練模型；ZF 模型具有5 層卷積層，屬于小型網絡訓練模型。利用三種網絡模型分別對煙葉圖像進行分級識別檢測，不同網絡訓練的精度以及檢測結果如表2。由表2 知，使用VGG16 模型訓練時，其訓練的MAp（Mean average accuracy）達到89.93%，使用VGG_CNN_M1024 模型訓練時其MAp 達到87.98%，使用ZF 訓練時其MAp 達到85.79%。由此可見隨著卷積神經網絡層數的增加，其檢測出的目標矩形框與標注的矩形框重疊度越高，訓練精度越高。因此，本文后續(xù)試驗將以VGG16網絡為基礎模型對煙葉圖像進行特征提取。

表2 基于不同卷積網絡模型下各等級煙葉檢測精度及結果比較

3.3 模型的試驗分析

利用改進的Faster R-CNN 網絡模型與7 個調整網絡模型，分別對訓練圖像數據集進行訓練和測試分析，并對各網絡模型的識別性能進行了對比，模型的說明見表3。針對不同的網絡模型，不同的測試集下對模型進行測試，模型的性能指標采用召回率以及準確率作為評價指標。計算公式為

表3 測試模型

式中，P為煙葉圖像檢測的準確率，R為煙葉圖像檢測的召回率，Tp為煙葉圖像檢測正確的正例數量，Fp為煙葉圖像檢測誤以為正確的正例數量，FN為煙葉圖像檢測誤以為錯誤的負例數量。

4 改進算法及煙葉圖像識別的實現

4.1 模型參數的改進

為了提高模型的識別準確率，增加模型的收斂速度，對模型參數進行調整?；谠囧e的思想調整參數，對模型進行多次的預訓練及驗證分析，得到較優(yōu)的模型參數如表4。全連接層參數改進前后的網絡模型平均識別準確率分別為88.37%和90.73%，平均識別準確率提高了2.36%。

表4 Faster R-CNN網絡模型主要調優(yōu)參數

4.2 特征提取部分的改進

為了卷積層更準確地提取煙葉的紋理、顏色、形狀以及目標輪廓等更具區(qū)分性的特征，故對Faster R-CNN模型的特征提取部分進行改進，在原VGG16 網絡模型的基礎上去掉第8 層、12 層、15 層3 個卷積層，同時引入Inception 網絡結構。在Google Net 提出的Inception［22］網絡結構之前，通過增加網絡的深度和寬度提升網絡性能，雖然有較高的網絡檢測精度，但也面臨參數過多、梯度彌散以及計算量增加等問題，為了解決上述方法的不足，Inception 網絡結構應運而生。Inception 網絡結構主要由1×1，3×3，5×5 的卷積核和3×3 的池化層堆疊構成。為了與原有VGG 網絡結構相匹配，Inception 網絡結構的具體網絡參數為128#1×1，128#3×3 reduce，128#3×3，64#5×5，24#5×5 reduce，64#pool proj，其中，128#3×3 reduce，24#5×5 reduce 表示在3×3，5×5 的卷積層前增加的降維層濾波器1×1，目的是為了降低特征圖的維度，增加網絡的寬度，減少原網絡結構的參數，增加網絡尺度的適應性。

4.3 感興趣區(qū)域的校準

為解決區(qū)域不匹配問題，對網絡結構的感興趣區(qū)域進行校準。原有網絡中的ROI pooling 對候選框及每個小網格位置進行量化時，兩次量化操作可能使得候選框的位置有偏差，造成區(qū)域不匹配問題。而ROI Align 的提出很好地解決了ROI Pooling操作中兩次量化造成的區(qū)域不匹配（mis-alignment）的問題［23］。ROI Align 取消了量化操作的過程，采用雙線性內插的方法獲得坐標為浮點數的像素點上的圖像數值，從而將整個特征聚集過程轉化為一個連續(xù)的操作。改進的模型框架如圖1。

圖1 改進的Faster R-CNN網絡

conv1×1、conv1×2、…、conv5×3為VGG卷積層，卷積核的大小為3×3；64、128、256、512 為卷積層輸出的通道數；pool3 為2×2 的最大池化層，Inception1×1、Inception2×1 為新加入的網絡結構，ROI Align為感興趣區(qū)域的校準；FC為全連接層。

4.4 模型訓練

以caffe 為實驗平臺，利用改進的Faster R-CNN 網絡對數據集進行訓練。隨機從29416 幅圖像中抽取23533 幅（70%）作為訓練驗證集（trainval），其余的5883（20%）作為驗證集，未參與訓練的2100 幅圖像對最終模型性能評價。采用四步交替訓練的方法，RPN 和Fast R-CNN 2 個網絡進行訓練，設置參數：總迭代次數為4.4×106，mini-batch為128，沖量為0.9，weight_decay 為5×10-4，最大迭代次數1.2×105。RPN 第一、二階段的訓練次數均為1.2×105，Fast R-CNN 第一、第二階段的訓練次數均為106，其中RPN、Fast R-CNN 第一階段學習率設置為10-4，第二階段的學習率設置為10-3。在8×105迭代后，每迭代105次保存一個模型，并在保存的模型中選取精度最高的作為最終模型。

5 結果與分析

5.1 感興趣區(qū)域對比分析

對感興趣區(qū)域改進后訓練數據集，并與未改進之前的訓練精度進行對比分析，結果見圖2。由圖可知，感興趣區(qū)域池化采用ROI align 訓練后平均分級準確率比采用ROI pooling 的提高了2.77%，改進后的檢測矩形框精度明顯提升，且改進后每個等級的煙葉識別準確率均有所提升，說明改進后的模型識別效果較好。

圖2 感興趣區(qū)域測試結果

5.2 去除卷積層，增加Inception結構的效果

增加網絡層數雖可提高模型的訓練精度，但會出現過擬合現象，因此本文去掉網絡模型特征提取的卷積層，構建了改進的VGG16、VGG16-A、VGG16-1A、VGG16-2A、VGG16-3A 網絡模型進行訓練對比分析，結果如圖3。得到了去掉特征提取的卷積層識別效果優(yōu)于原有Faster R-CNN 的網絡的模型，去掉網絡的不同卷積層，每個等級煙葉識別準確率比VGG16-A 網絡模型分別提高了1.4%、1.8%、1.7%、0.5%、0.9%、0.93%、1.7%，表明適當去掉卷積層以及對感興趣區(qū)域進行調整，有利于圖像的特征提取與學習，從而提升模型的識別性能。但減少不同的卷積層后的準確率與模型的卷積層數量并不一定存在確定的數量關系，表明適量的卷積層個數才能獲得較好的識別準確率。

圖3 去掉部分卷積層測試結果

在減少模型不同卷積層基礎上加入Inception結構，構建改進模型VGG16-D1A、VGG16-D2A、VGG16-D3A 以及本文改進的最終網絡模型，基于測試集的測試結果如圖4。由圖可知，本文改進后模型的準確率總體上比其他模型要高，識別準確率最低為90.62%，最高為92.46%，召回率最低為91.72%，最高為92.87%，平均識別準確率達到92.35%，說明模型能較好地學習煙葉的類別特征，識別魯棒性更優(yōu)；對于不同的煙葉等級，上部煙葉的識別準確率明顯的沒有其他兩個部位的高，說明在分級時可能將其他級別的煙葉混淆在上部煙葉等級中，而對于同一品種的煙葉等級，下部煙葉的識別準確率較為穩(wěn)定，說明不容易將下部煙葉與其他部位的煙葉混淆；從圖還可以看出，模型的識別準確率波動較大，一方面是因為煙葉的樣本量不夠，另一方面是在制作標簽時人為的誤判所致。

圖4 模型改進測試結果

5.3 模型的精度

Faster R-CNN網絡訓練模型時，網絡模型中的損失值（loss）可用來評估模型參數是否合適。使用改進后的模型對煙葉圖像數據集進行訓練，分析訓練完成后的日志文件中保存網絡訓練各個階段的loss 值，RPN 第一階段以及RPN 第二階段為區(qū)域生成候選框階段，主要是判別候選框與目標框的重合度，并利用RPN 階段的網絡權重對Fast-RCNN 網絡參數進行初始化，RPN 階段的輸出region proposal 作為Fast R-CNN 階段的輸入訓練Fast R-CNN，并對輸入的檢測框背景與目標進行判別，將結果返回感興趣區(qū)域信息的網絡參數去初始化RPN?；趐ython 編程語言，讀取網絡的迭代次數，繪制模型不同階段的損失率曲線。訓練各階段損失率曲線如圖5所示。

圖5 改進的網絡模型下訓練的各階段Loss曲線圖

圖5（a）和（b）為訓練RPN 兩個階段的損失曲線，可以看出，RPN損失曲線的損失率較低，接近于0，說明候選框的重合度高；圖5（c）和（d）為訓練FastRCNN 兩個階段的損失曲線，從圖5（c）到圖5（d）可看出，當迭代次數到達105次時，RCNN 損失率曲線收斂，損失率約為0.02%，訓練效果較為理想。

6 結語

1）為了實現對煙葉圖像的自動識別與分類，本文對Faster R-CNN 框架下VGG16、VGG_CNN_M1024 以及ZF 模型分別進行訓練測試分析，得出VGG16模型對煙葉的識別準確率較高。

2）通過調整VGG16 網絡模型全連接層參數訓練數據集，在此基礎上將ROI Pooling 改進為ROI Align，再去掉網絡模型第8層、第12層和第15層卷積層，同時引入Inception網絡結構為本文的最終分級模型。本文算法對圖像中煙葉分級的識別準確率最低為90.62%，最高為92.46%，召回率最低為91.72%，最高為92.87%，平均識別準確率達到92.35%，識別速度達到0.2s/幅。改進后的模型平均識別準確率相比原始網絡平均識別準確率（88.37%）提高了3.98%。