蔣 平

（榆林學(xué)院信息工程學(xué)院，陜西 榆林 719000）

隨著產(chǎn)品市場化程度越來越高以及人們消費(fèi)水平的提高，給紅棗產(chǎn)業(yè)帶來了巨大發(fā)展機(jī)遇，同時(shí)也為紅棗產(chǎn)業(yè)的發(fā)展帶來了新的挑戰(zhàn)。機(jī)遇在于果品企業(yè)將紅棗產(chǎn)品進(jìn)行分級、包裝后可大大提高紅棗的附加值，為企業(yè)創(chuàng)造更多的利潤。而挑戰(zhàn)也在于此，傳統(tǒng)的分級是通過人工進(jìn)行，人工分選的問題在于主觀性強(qiáng)、錯(cuò)誤率高、勞動(dòng)強(qiáng)度大、分選效率低，同時(shí)大大增加了人工成本，這嚴(yán)重阻礙了紅棗產(chǎn)業(yè)的發(fā)展，因此研究開發(fā)一種紅棗分級設(shè)備，由機(jī)器代替人工成為當(dāng)前亟待解決的問題。

文章針對場景如圖1 所示，利用輥輪傳輸帶輸送紅棗從照相機(jī)下方通過，紅棗可以滾動(dòng)，所以能夠拍攝到紅棗的全部表面。紅棗和輥輪都在一起運(yùn)動(dòng)前進(jìn)，換而言之，連續(xù)視頻中運(yùn)動(dòng)的不僅有紅棗，還有輥輪，因而基于背景差分類的快速目標(biāo)分割方式不適合該場景。

圖1 紅棗傳輸示意圖

文章采用卷積神經(jīng)網(wǎng)絡(luò)分割圖像方式分割紅棗區(qū)域，然后對紅棗單體目標(biāo)再進(jìn)行識(shí)別。設(shè)計(jì)的方法 采 用ERFNet （Efficient Residual Factorized Network） 分 割 紅 棗， 然 后 再 用GCN（Gabor Convolutional Network）對紅棗進(jìn)行分類。

文章主要貢獻(xiàn)有兩點(diǎn)：

（1）設(shè)計(jì)了一種快速紅棗分割以及紅棗權(quán)限識(shí)別的方法，紅棗分割耗時(shí)約0.02 s，單個(gè)紅棗識(shí)別耗時(shí)約0.03 s；

（2）構(gòu)建了一個(gè)紅棗數(shù)據(jù)集，含有3 737 張用于分割訓(xùn)練紅棗圖像；3 022 張用于訓(xùn)練識(shí)別的單體紅棗圖片。

1 相關(guān)工作

1.1 ERFNet

文章方法采用的ERFNet 框架如圖2 所示，整個(gè)網(wǎng)絡(luò)分成兩個(gè)部分，第一部分是編碼，第二個(gè)部分是解碼。

圖2 文章采用的ERFNet 主干網(wǎng)絡(luò)

輸入圖像大小為320×240×3 彩色圖像，經(jīng)過三次降采樣，然后再經(jīng)過三次上采樣，最終輸出320×240×2 特征圖，一個(gè)320×240 的特征圖對應(yīng)背景，另一個(gè)對應(yīng)目標(biāo)紅棗區(qū)域。

1.2 GCN

GCN 結(jié)合了普通卷積神經(jīng)網(wǎng)絡(luò)和Gabor 濾波兩者的優(yōu)勢，對紋理檢測非常有效，通常只需普通卷積神經(jīng)網(wǎng)絡(luò)的1/3 資源就能達(dá)到同等的性能。

文 章 采 用 的GCN 結(jié) 構(gòu) 如 圖3 所 示， 輸 入100×100 的RGB 圖像，先經(jīng)過一個(gè)標(biāo)準(zhǔn)卷積層，轉(zhuǎn)換為4×100×100 特征圖，然后連續(xù)經(jīng)過4 個(gè)Gabor 卷積層，再經(jīng)過一個(gè)最大化操作和全卷積，最終輸出2 000×1 的特征向量。該模型非常輕量，準(zhǔn)確率與ResNet-18 相當(dāng)，但計(jì)算速度快4～5 倍。

圖3 文章采用的GCN 網(wǎng)絡(luò)框架圖

2 紅棗表面缺陷快速檢測方法

文章提出的紅棗表面缺陷快速檢測方法首先采用ERFNet 檢測紅棗區(qū)域，然后利用GCN 對單體紅棗目標(biāo)提取特征并識(shí)別。

提出方法主要流程如圖4 所示，算法步驟如下：

圖4 紅棗表面缺陷快速識(shí)別流程圖

（1） 單 幀640×480×3 圖 像Img 轉(zhuǎn) 換 成320×240×3 后輸入ERFNet（如圖2 所示），輸出2 個(gè)320×240 特征圖，并變換成640×480 特征圖，最后兩個(gè)特征圖中對應(yīng)像素點(diǎn)值大設(shè)1，反之設(shè)0，得到紅棗區(qū)域?qū)?yīng)的掩模mask。

（2）在mask 中采用OpenCV 中的findContours提取輪廓，若輪廓面積大于2 000 則認(rèn)為是紅棗區(qū)域，再采用minAreaRect 方法獲得矩形坐標(biāo)，在原圖Img 中剪裁出相應(yīng)的區(qū)域，并轉(zhuǎn)換成100×100 大小，形成單體紅棗圖像img_crop。

（3）img_crop 輸入GCN（如圖3 所示），輸出結(jié)果中最大值對應(yīng)的類別就是識(shí)別結(jié)果。

紅棗外部缺陷檢測，實(shí)質(zhì)上就是一個(gè)圖像分割任務(wù)，再加分類任務(wù)。

3 仿真實(shí)驗(yàn)及結(jié)果

3.1 數(shù)據(jù)集及訓(xùn)練過程

3.1.1 數(shù)據(jù)集

采集了3 737 張紅棗圖像，利用Labelme 標(biāo)注工具標(biāo)注紅棗輪廓，共有3 737 張圖像用于訓(xùn)練ERFNet 模型。

利用訓(xùn)練好的方法分割模型，切割出4 908 張單棗圖片，每張圖片由10 名觀察者給出選項(xiàng)（正常棗、爛棗、霉棗、不確定），定義為得票超過5 的類別，最終獲得1 880 正常棗、678 爛棗、464 霉棗圖像。

3.1.2 模型訓(xùn)練

文中涉及到EFRNet 和GCN 兩個(gè)模型參數(shù)的訓(xùn)練。訓(xùn)練分割模型EFRNet 時(shí)，共有3 737 張圖像，其中90%用于訓(xùn)練，10%用于驗(yàn)證。損失是Dice 損失和標(biāo)準(zhǔn)交叉熵?fù)p失（Softmax 損失）之和，采用RMSProp（Root Mean Square Propagation） 優(yōu)化方法，迭代100 Epoch，每批處理64 張圖片；初始學(xué)習(xí)率設(shè)置為0.005，分別在第30、80 Epoch 時(shí)下降90%。

訓(xùn)練GCN 模型時(shí)，共有4 908 張圖片，其中正常棗、爛棗、霉棗各選取100 張，共300 張用于測試，訓(xùn)練圖像4 608 張。采用標(biāo)準(zhǔn)交叉熵?fù)p失和標(biāo)準(zhǔn)隨機(jī)梯度下降優(yōu)化方法，初始學(xué)習(xí)率0.001，訓(xùn)練100 Epoch，40 Epoch 后每隔10 Epoch，學(xué)習(xí)率下降20%；每批處理64 張圖片。

3.2 實(shí)驗(yàn)結(jié)果

訓(xùn)練機(jī)配置為：Intel 至強(qiáng)銀牌CPU，內(nèi)存32G，RTX 3090 顯 卡， 操 作 系 統(tǒng) 為Windows Server 2020， 開 發(fā) 環(huán) 境 是Python 3.8 + Torch 1.12.0。

EFRNet 模型訓(xùn)練時(shí)的損失如圖5（a），交叉熵?fù)p失和Dice 損失均保持在0.01 左右，總損失0.02。驗(yàn)證集的精度（Dice 系數(shù)）如圖5（b）所示，最后保持在0.985 左右，非常接近于理想值1。

圖5 EFRNet 和GCN 模型訓(xùn)練時(shí)損失和精度

GCN 模型訓(xùn)練時(shí)的損失如圖5（c）所示，訓(xùn)練集的損失幾乎是平穩(wěn)下降，測試集的損失在前期波動(dòng)非常大，后期也有較小的波動(dòng)。識(shí)別準(zhǔn)確度如圖5（d）所示，訓(xùn)練集的準(zhǔn)確率穩(wěn)定上升，后期一直保持在100%，而測試集的準(zhǔn)確度有較大波動(dòng)，后期基本保持在97.5%左右，最高達(dá)到98.7%。

提出方法的仿真系統(tǒng)如圖6 所示，PyQT 編寫界面，在CPU 處理下，紅棗分割耗時(shí)0.02 s，單個(gè)紅棗識(shí)別耗時(shí)0.03 s。

圖6 紅棗檢測仿真系統(tǒng)

4 結(jié)束語

文章設(shè)計(jì)了一種快速檢測紅棗表面缺陷的方法，采用了先分割紅棗區(qū)域，后識(shí)別的方法，速度達(dá)到20幀/秒，基本達(dá)到實(shí)時(shí)要求。