姚芷馨 張?zhí)t 趙昀杰

(新疆農(nóng)業(yè)大學計算機與信息工程學院，新疆 烏魯木齊 830052)

中國是世界上最早進行食用菌栽植的國家之一，擁有豐富的真菌物種資源，目前現(xiàn)已查明的真菌種類達1 500種以上，已知的食用菌有350多種，其中多屬擔子菌亞門，已人工訓化栽培成功的有60多種[1]。但目前食用菌種類識別通?？咳斯づ袛?，費時、費力、效率低，而且同一科屬性狀相似的識別出錯率高。

近年來，計算機視覺技術(shù)在食用菌上的應用研究越來越多，薛雨[2]利用機器視覺技術(shù)，針對食用菌的特征實現(xiàn)精準、穩(wěn)定的信息采集，通過不同時段的檢測數(shù)據(jù)，對食用菌生產(chǎn)環(huán)境進行了精確調(diào)節(jié)和控制，但只實現(xiàn)了對具有明顯形狀變化或顏色改變的食用菌進行檢測，此方法更適用于實驗室環(huán)境，對于自然環(huán)境中拍攝的食用菌有較大誤差；為快速有效地識別野生食用菌，林楠等[3]基于圖像處理方法和機器視覺技術(shù)，提出了一種改進的顏色空間融合形態(tài)特征提取方法。

研究擬提出一種基于卷積神經(jīng)網(wǎng)絡的Y-Weight訓練方法，通過控制有效學習率和權(quán)重范數(shù)來影響模型的泛化性能，以期為常規(guī)大型蔬菜市場和大型超市識別菌種提供幫助，減少人工識別的時間成本，提高工作效率，降低勞動強度。

1 材料與方法

1.1 數(shù)據(jù)來源及范圍

通過在公共數(shù)據(jù)集Fungus[4]上以及自建數(shù)據(jù)集YMushroom上進行訓練。其中，由于Fungus數(shù)據(jù)集類別多樣，背景較為復雜，有各種各樣的背景造成干擾，因此選用不同科屬的12類具有明顯特征且圖片數(shù)量較多較均勻的食用菌進行測試，共計1 093張圖片。其分布情況及部分示例如圖1所示。

圖1 Fungus(12)數(shù)據(jù)集分布Figure 1 Fungus (12) dataset distribution

自建數(shù)據(jù)集YMushroom是通過在常規(guī)蔬菜市場及大中型超市中調(diào)研，根據(jù)2020—2026年中國食用菌行業(yè)市場行情監(jiān)測及發(fā)展前景展望報告[5]中提供的市場銷售額、整體價格和機器手持采摘的成本等數(shù)據(jù)，挑選出最具經(jīng)濟價值的28種常見食用菌類(香菇、雙孢蘑菇、糙皮側(cè)耳、金針菇、黑木耳、銀耳、猴頭菇、毛頭鬼傘、姬松茸、茶薪菇、真姬菇、灰樹花、滑菇、刺芹側(cè)耳、蓋襄側(cè)耳、毛木耳、竹蓀、金頂側(cè)耳、大杯蕈、北冬蟲夏草、牛肝菌、松茸、雞樅、羊肚菌、榛蘑、雞油菌、紅菇、青岡菌)。

由于菌類生長時間與生長環(huán)境不同，需在不同時間段進行采集。采集時間從2019年10月—2021年3月。采集設備分別采用兩種不同圖像處理方式的智能手機OPPO Find X2和HUAWEI榮耀Play4T，使用原相機設置為方形拍攝。參考Fungus數(shù)據(jù)集制定嚴格的采集標準(尺寸、圖像背景、干濕比例、光照強度、不同成熟度等)。其中新鮮食用菌與干貨食用菌保持1∶1的采集比例，每個種類的數(shù)據(jù)集數(shù)量基本保持均衡，并且保證了個體種類具有多樣性。因為采集的樣本越多，模型的訓練精度就越高，所以28種常見食用菌平均每種采集了大約1 784張圖片，共計49 958張圖片。為提高模型運行速度，將采集后的數(shù)據(jù)集經(jīng)過圖像處理統(tǒng)一壓縮為600像素×600像素大小，以此建立一個符合食用菌分類的大型數(shù)據(jù)集。將數(shù)據(jù)集按照常規(guī)訓練進行劃分，按照8∶1∶1的比例將其中80%的樣本(約39 966幅圖像)用作訓練集，將10%的樣本(約4 996幅圖像)用作驗證集，將剩余10%的樣本(約4 996幅圖像)用作測試集。之后為投入訓練，需要將樣本圖像文件和對應的標簽文件轉(zhuǎn)換成HDF5格式文件(train.hdf5、val.hdf5、test.hdf5)，保存在固定文件夾中，以便隨時調(diào)用。自建數(shù)據(jù)集YMushroom分布情況及部分示例如圖2所示。

圖2 YMushroom數(shù)據(jù)集分布Figure 2 YMushroom dataset distribution

1.2 研究方法

(1)

(2)

當模型縮放尺度保持不變時，權(quán)重向量的關(guān)鍵特征就只需要考慮其方向性。當權(quán)重隨著step為t、learning rate為η的隨機梯度下降進行更新時，下一次step的通道權(quán)重向量即為：

ωt+1=ωt-η?Lt(ωt)。

(3)

權(quán)重向量在方向上的step大小按比例變化，如式(4)所示。

(4)

因此，當對所有層使用權(quán)重衰減然后進行歸一化時，可以防止權(quán)重范數(shù)的無限增長，從而維持權(quán)重方向的步長保持不變，以此提高有效學習率。

1.2.2 權(quán)重范數(shù) 根據(jù)式(1)～式(4)可以看出，卷積層的權(quán)重衰減主要是通過約束權(quán)重向量范數(shù)來完成的。為了研究在訓練期間權(quán)重向量范數(shù)的變化，不考慮卷積層的權(quán)重衰減，在ImageNet[6]上使用EfficientNet-B0進行訓練(100輪)，在卷積層中將權(quán)重范數(shù)固定為一個常數(shù)λ=0.000 1，而在權(quán)重衰減中并不使用定權(quán)范數(shù)，兩者的最佳學習率選擇也有所不同，通過使用網(wǎng)格搜索(grid search)[7]來確定學習率保證最佳性能。如圖3所示，兩者達到了同樣的top-1精度，這些結(jié)果表明批歸一化后的卷積層可以忽略權(quán)重衰減的影響。

圖3 Conv layers和Weight decay通過網(wǎng)格搜索后的top-1精度Figure 3 Top-1 accuracy of Conv layers and Weight decay after grid search

調(diào)整卷積層的權(quán)重范數(shù)是通過YWeight方法定義初始化速率為0，用V0表示?？偟挠柧毑綌?shù)用t表示，初始值為0。用x表示訓練樣本，用y表示對應的標簽，動量momentum用μ表示，τ表示交叉熵損失函數(shù)。則訓練速率計算公式如式(5)所示。

(5)

定義一個隨機的初始化權(quán)重向量W0，初始學習率用c表示，則有：

Wt+1=Wt-lr×ηt×Vt+1。

(6)

下一次的卷積層權(quán)重調(diào)整公式為：

(7)

1.2.3 全連接層 為研究權(quán)重衰減在全連接層中的作用，需要對上述卷積層權(quán)重衰減方法進行改進，首先保持其具有尺度不變性，使用普通的應用權(quán)重歸一化的全連接層來代替原先的全連接層，其次設置λ原先的0.000 1變?yōu)?，最后使用WConv+FC來代替原先的WConv，如式(8)所示。

(8)

原先的全連接層與替換后維持尺度不變性的全連接層進行對比，結(jié)構(gòu)如式(9)、式(10)所示。

FC(x;WFC)=xΤWFC，

(9)

(10)

(11)

(12)

在特征空間中，權(quán)重向量W的梯度為x，Wj表示其他類別向量，Wk表示標簽類向量，方向從Wj到Wk，其偏角大小由pj和g決定，并且pj也通過softmax函數(shù)依賴于g。當x是正確的分類時，g會持續(xù)增長，pj會迅速減小并且梯度減弱。x更容易偏向于Wj和Wk之間的class boundary，這種不明確的特征空間容易在訓練和測試之間發(fā)生偏移，導致泛化性不好。特征空間中訓練和測試的偏移如圖4所示。

圖4 特征空間中訓練和測試的偏移Figure 4 Offset of training and testing in feature space

(13)

使用限制了權(quán)值大小的YFC層代替NFC層，不改變其他超參數(shù)，通過權(quán)值選擇α的大小。總體來說，權(quán)重衰減通過約束全連接層的權(quán)重范數(shù)來影響cross-boundary risk，最終影響模型的泛化性能。通過使用YFC層可以恢復常規(guī)權(quán)重衰減的訓練的準確率。

1.2.4 訓練時learning rate和α的調(diào)整 在1.2.2和1.2.3中介紹了兩種權(quán)重衰減的機制：① 討論有效學習率對除卷積層以外的歸一化之后的層的影響；② 對于全連接層FC，控制cross-boundary的影響。YFC將這兩種機制結(jié)合起來，通過控制超參數(shù)lr和α直接控制其效果，使用grid search網(wǎng)格搜索來確定不同lr和α對top-1的影響，通過窮舉[10]的方式針對每種可能的參數(shù)組合情況進行訓練，并對模型進行評價，根據(jù)其評價結(jié)果將尋找到的top-1最大值時的參數(shù)取值情況進行保存，視為最優(yōu)。

1.3 系統(tǒng)框架

1.3.1 MobileNetV2 MobileNet[11]網(wǎng)絡結(jié)構(gòu)是一種小巧而高效的CNN模型，不僅在準確率和運行速率之間做了折中，還采用了深度可分離卷積模塊[12-13]，并設置了兩個超參數(shù)(寬度乘法器和分辨率乘法器)，通過調(diào)整兩個超參數(shù)來滿足應用需求。在ImageNet數(shù)據(jù)集上，MobileNet與VGG16的準確率幾乎一樣，但參數(shù)量只有其1/32，計算量只有其1/27。MobileNetV2引入了Bottleneck結(jié)構(gòu)，將其設計成紡錘型，先放大到原來的6倍，最后再縮小，形成倒殘差模塊(Inverted Residual Block)。網(wǎng)絡主體結(jié)構(gòu)如表1所示。

1.3.2 EfficientNet-B0 EfficientNet[14-15]的主干網(wǎng)絡延續(xù)使用了MobileNetV2網(wǎng)絡中的MBConv模塊，使用SENet中的壓縮激勵模塊(squeeze and excitation)優(yōu)化網(wǎng)絡結(jié)構(gòu)。其中運用到模型尺度化方法，在原始模型基礎(chǔ)上將通道數(shù)擴大，加深模型深度[16-17]，之后擴大輸入圖像分辨率，再放大基于通道數(shù)、深度、輸入圖像的組合尺度。EfficientNet模型尺度化方法如圖5所示。

表1 MobileNet主體結(jié)構(gòu)

圖5 EfficientNet模型尺度化方法Figure 5 Scaling method of EfficientNet model

模型尺度化方法首先執(zhí)行網(wǎng)格搜索，然后找到在固定資源約束下基線網(wǎng)絡(baseline)的不同縮放維度之間的關(guān)系[18]。其次找到每個維度適當?shù)谋壤禂?shù)，最后應用這些系數(shù)擴大基線網(wǎng)絡，使模型達到預期的大小或資源要求。與傳統(tǒng)縮放方法相比，這種模型尺度化方法能夠提高模型的精度和運行效率。

2 結(jié)果與分析

2.1 試驗環(huán)境

硬件環(huán)境：NVIDIA Tesla P100-PCIE；顯存16 GB；顯存位寬4 096 bit；CUDA版本11.0。

軟件環(huán)境：Windows10操作系統(tǒng)；Python版本為3.6.13；Tensorflow版本為2.0；Keras版本為2.3.1。

2.2 訓練方法

通過使用YWeight方法，在公共數(shù)據(jù)集Fungus和自建分類數(shù)據(jù)集YMushroom上進行試驗。訓練時使用Stochastic Gradient Descent(SGD)隨機梯度下降算法[19]，保證不會陷入original-loss的奇點和minibatch-loss的奇點，decay設置為1E-006，momentum為0.9。使用一個周期的余弦退火策略(Cosine Annealing)，使學習率按照周期變化。由于學習率是神經(jīng)網(wǎng)絡訓練中最重要的超參數(shù)之一，剛開始訓練模型初始化權(quán)重是隨機的，若選擇了一個較大的學習率可能會導致模型震蕩，因此前4輪選用線性預熱(linear warmup)來進行學習率的優(yōu)化，在預熱的小學習率下使模型慢慢趨于穩(wěn)定。除此之外，還使用了標簽平滑(label smoothing)為0.1的正則化策略，通過soft one-hot來加入噪聲，防止過擬合現(xiàn)象，減少真實樣本標簽的類別在計算損失函數(shù)時的權(quán)重。

2.3 性能評估指標

評價模型的性能通常使用準確率(Accuracy，A)、精度(Precision，P)、召回率(Recall，R)和F值(F-Score，F(xiàn))等指標來進行衡量，通常被用在二分類測試中。

準確率被用來統(tǒng)計模型正確識別的量度，是正確預測(真陽性和真陰性)的個數(shù)占樣本總數(shù)的比例，也被稱作“蘭德精度”，其計算方法如式(14)所示。

(14)

式中：

TP——將正類預測為正類的樣本數(shù)，即真陽性；

TN——將負類預測為負類的樣本數(shù)，即真陰性；

FP——將負類預測為正類的樣本數(shù)，即假陽性；

FN——將正類預測為負類的樣本數(shù)，即假陰性。

精度用來計算與真實值的接近程度，即對正類預測的準確性。其計算方法如式(15)所示。

(15)

召回率也被稱為靈敏度，為真陽性的數(shù)量占總體正類的比例。其計算方法如式(16)所示。

(16)

F值是綜合精度和召回率的一個判斷指標，是精度和召回率的調(diào)和平均值。其計算方法如公式(17)所示。

(17)

(18)

(19)

(20)

2.4 YWeight方法與貝葉斯優(yōu)化對比分析

為證明YWeight方法的有效性，使用YWeight權(quán)重衰減和貝葉斯優(yōu)化(Bayesian Optimization，BO)兩種方法，在CIFAR-10數(shù)據(jù)集上使用ResNet50[20]網(wǎng)絡和MobileNetV2網(wǎng)絡進行對比試驗，結(jié)果見表2。將ResNet50訓練120輪，MobileNet訓練150輪，原始模型訓練的top-1 精度為92.3%和91.41%，使用貝葉斯優(yōu)化進行調(diào)參后訓練的top-1精度為92.37%和91.53%，使用YWeight方法訓練后的top-1精度為92.41%和91.58%。

表2 YWeight與BO試驗結(jié)果

2.5 數(shù)據(jù)集試驗結(jié)果分析

使用MobileNetV2和EfficientNet-B0兩種模型結(jié)構(gòu)進行對比試驗，分別在公共數(shù)據(jù)集Fungus和自建數(shù)據(jù)集YMushroom上進行訓練。選取這兩種網(wǎng)絡結(jié)構(gòu)進行研究，是因為在ImageNet上，MobileNet在參數(shù)量是VGG16的1/32，計算量是VGG16的1/27的情況下，與VGG16幾乎達到了相同的精度。而選取EfficientNet網(wǎng)絡是因為其延續(xù)了MobileNetV2中的MBConv模塊作為模型的主干網(wǎng)絡，同時還使用SENet中的squeeze and excitation方法對網(wǎng)絡結(jié)構(gòu)進行了優(yōu)化，在8個廣泛使用的數(shù)據(jù)集中都達到過比較先進的精度。

通過在Fungus數(shù)據(jù)集上對比試驗，發(fā)現(xiàn)將MobileNet與EfficientNet兩種網(wǎng)絡結(jié)構(gòu)通過YWeight方法控制學習率和權(quán)重范數(shù)后，對準確率有一定的提升。使用YWeight方法在MobileNetV2網(wǎng)絡上進行訓練的模型命名為YWeight-MobV2，在EfficientNet-B0網(wǎng)絡上進行訓練的模型命名為YWeight-EffB0。

通過表3可以看出，當lr為0.2，α為4.0E-005時，MobileNetV2的準確率為82.71%，宏F值為81.47%；當使用YWeight方法控制lr為0.4，α為8.0時，YWeight-MobV2的準確率為83.59%，宏F值為82.34%。當lr為0.35，α為4.0時，EfficientNet-B0的準確率為86.84%，宏F值為85.61%；當使用YWeight方法控制lr為0.5，α為8.0時，YWeight-EffB0的準確率為87.62%，宏F值為86.29%。由此看出，對于樣本數(shù)量較少的Fungus數(shù)據(jù)集，在訓練次數(shù)相同的情況下，通過YWeight方法控制不同的學習率以及權(quán)重范數(shù)，使MobileNetV2相比于原有模型識別準確率提高了0.88%，宏F值提高了0.87%，使EfficientNet-B0識別準確率提高了0.78%，宏F值提高了0.68%?？梢钥闯?，MobileNetV2網(wǎng)絡在使用YWeight方法后，展現(xiàn)了更大的進步性，top-1準確率和宏F值比EfficientNet-B0得到了更大的提升。EfficientNet-B0網(wǎng)絡相比于MobileNetV2網(wǎng)絡來說其參數(shù)較多，模型層數(shù)更深，運行速度相對較慢，但top-1精度和宏F值相對較高。為更清晰直觀地了解訓練中模型擬合的速度和收斂速度，截取在驗證集上損失函數(shù)值的變化圖像進行對比分析，如圖6所示。

表3 Fungus數(shù)據(jù)集上識別結(jié)果

圖6 Fungus驗證集上各模型損失函數(shù)的變化曲線Figure 6 Variation curve of loss function of each model on Fungus verification set

在YMushroom數(shù)據(jù)集上進行對比試驗，使用YWeight方法在MobileNetV2網(wǎng)絡上進行訓練的模型命名為YWeight-MobV2，在EfficientNet-B0網(wǎng)絡上進行訓練的模型命名為YWeight-EffB0。

通過表4可以看出，當lr為0.3，α為4.0時，MobileNetV2的準確率為75.48%，宏F值為74.24%；當使用YWeight方法控制lr為0.4，α為8.0時，YWeight-MobV2的準確率為76.35%，宏F值為74.61%。當lr為0.3，α為8.0時，EfficientNet-B0的準確率為78.97%，宏F值為77.74%；當使用YWeight方法控制lr為0.4，α為16.0時，YWeight-EffB0的準確率為79.82%，宏F值為78.49%。由此看出，對于比較大型的YMushroom數(shù)據(jù)集，相比于原有模型，在訓練次數(shù)相同的情況下，通過YWeight方法控制不同的學習率以及權(quán)重范數(shù)，使MobileNetV2識別準確率提高了0.87%，宏F值提高了0.37%，使EfficientNet-B0識別準確率提高了0.85%，宏F值提高了0.75%。可以看出，使用YWeight方法后EfficientNet-B0在top-1準確率和宏F值的提升上更具進步性，MobileNetV2的宏F值僅提升了0.37%，而EfficientNet-B0的宏F值提升了0.75%。因此，基于試驗要求更高的精度，更適合選取EfficientNet網(wǎng)絡作為食用菌分類模型的主干網(wǎng)絡。4個模型在YMushroom驗證集上的損失函數(shù)變化圖像如圖7所示。

表4 YMushroom數(shù)據(jù)集上識別結(jié)果

對比表3和表4、圖6和圖7發(fā)現(xiàn)，對于小型數(shù)據(jù)集Fungus，僅需150輪就能夠收斂，訓練速度較快，但是對于大型數(shù)據(jù)集YMushroom則需要250輪才逐漸收斂，達到極值。證明不同的模型擁有不同的最優(yōu)lr，訓練模型在相同的設置下也會有不同的訓練結(jié)果，需要通過YWeight方法找到最優(yōu)的lr和α來提高模型性能。

圖7 YMushroom驗證集上各模型損失函數(shù)的變化曲線Figure 7 Variation curve of loss function of each model on YMushroom verification set

3 討論

(1) 目前中國較先進的菌菇研究方法大多是使用傳統(tǒng)的機器學習方法或者是層數(shù)較少的淺層神經(jīng)網(wǎng)絡來進行圖像識別，例如VGG16、AlexNet等。文中使用的MobileNet以及EfficientNet均為較深層的卷積神經(jīng)網(wǎng)絡，在模型準確率與運行速率上都有很大的提升。

(2) 目前針對食用菌圖像分類的研究分類種數(shù)不超過20種，且大部分都是基于公共數(shù)據(jù)集來進行網(wǎng)絡訓練的，而試驗對28種最常見的食用菌種類進行了研究，通過1年的時間，進行了不同環(huán)境、不同時間、不同拍攝設備的食用菌圖像采集，構(gòu)建了HDF5格式的大型食用菌數(shù)據(jù)集，共49 958張圖片，能夠使模型更好的訓練。

(3) 大部分食用菌識別用到的網(wǎng)絡都是通過遷移學習來完成的，通過修改模型參數(shù)來達到更高的準確率，而試驗創(chuàng)新使用了一種權(quán)重衰減方法，在兩種網(wǎng)絡結(jié)構(gòu)上試驗過后發(fā)現(xiàn)均適用，并且比原始的模型提高了準確率和運行效率。

4 結(jié)論

采用基于卷積神經(jīng)網(wǎng)絡的EfficientNet和MobileNet兩種網(wǎng)絡結(jié)構(gòu)，作為YWeight訓練方法的食用菌圖像分類模型，在兩個數(shù)據(jù)集上進行試驗，對模型識別性能進行對比分析，結(jié)果表明：

(1) 基于權(quán)重衰減策略，提出的訓練方法YWeight方法，通過一種高效的、魯棒性的方法選擇超參數(shù)，通過約束全連接層的權(quán)重范數(shù)來影響cross-boundary，最終影響模型的泛化性能。試驗證明通過調(diào)整超參數(shù)使模型在試驗中找到了接近最優(yōu)的解，在公開數(shù)據(jù)集Fungus和自建數(shù)據(jù)集YMushroom中都展現(xiàn)了非常高效的模型準確率，為食用菌自動識別提供了便利。

(2) 研究中發(fā)現(xiàn)權(quán)重衰減對最后的全連接層具有影響，發(fā)現(xiàn)了一種新的機制來補充權(quán)重衰減對模型泛化性能的影響，YWeight方法是簡單高效的，并且在大規(guī)模數(shù)據(jù)集上證明了其性能。

(3) 從檢測速度上看，基于YWeight方法的食用菌圖像分類模型能夠滿足常規(guī)蔬菜市場以及大型超市的實時識別要求。

(4) 由于數(shù)據(jù)集非常龐大，像素比較高，EfficientNet模型實時識別計算量較大，對設備要求比較高，今后可以嘗試其他更輕便高效的網(wǎng)絡進行訓練，進一步提高食用菌識別性能。

(5) 試驗訓練時使用的是SGD優(yōu)化器，可以在每次迭代中使用一個樣本來更新參數(shù)，能夠提高在自建的大型數(shù)據(jù)集YMushroom上的訓練速度。但是有可能達到局部最優(yōu)，在目標函數(shù)為強凸函數(shù)時，SGD可能無法做到線性收斂，準確率也會下降。因此，后續(xù)將繼續(xù)討論權(quán)重衰減在Momentum優(yōu)化器、Adam優(yōu)化器上應用的優(yōu)點以及可能存在的問題，并研究學習率、權(quán)重衰減和動量之間的聯(lián)系。