李小紅，褚毅宏，毛育志，尹冠軍，聶 葉，焦 富?

（1. 貴州茅臺酒股份有限公司，貴州 仁懷 564500；2. 邇言（上海）科技有限公司，上海 200000）

高粱是我國的主要雜糧作物之一，也是釀造白酒的最佳原料[1]。高粱籽粒質(zhì)量的優(yōu)劣直接關(guān)系著釀造白酒的品質(zhì)。高粱的質(zhì)量指標(biāo)主要有容重、不完善粒、雜質(zhì)、水分等[2]。目前在高粱質(zhì)量參數(shù)不完善粒的檢測識別中基本采用人工檢測方法[3-4]，該方法存在重復(fù)性差、檢測速度慢、主觀因素強(qiáng)和耗時費(fèi)力等缺點(diǎn)。不能滿足高粱不完善粒快速準(zhǔn)確檢測的需求。儀器法代替人工感官檢測是糧食檢測行業(yè)發(fā)展的重點(diǎn)、難點(diǎn)和必然趨勢。

目前在糧食的不完善粒檢測方面自動識別方法有基于圖像特征的機(jī)器視覺技術(shù)[5-6]、基于高光譜的成像技術(shù)[7-8]、基于聲學(xué)原理的檢測技術(shù)[9]、近紅外光譜[10]等檢測方法。但基本應(yīng)用于小麥、玉米、稻谷等糧食作物[5,11-12]，而高粱不完善粒的自動識別技術(shù)相關(guān)文獻(xiàn)報(bào)道極少。本文采用視覺成像系統(tǒng)收集各種類型高粱粒的成像，利用梯度圖求取高粱的所在區(qū)域的掩膜圖像，基于深度卷積神經(jīng)網(wǎng)絡(luò)識別技術(shù)建立了高粱不完善粒（生霉、蟲蝕、發(fā)芽、破碎等不完善粒）的識別模型，該方法解決了高粱籽粒小帶來的成像識別問題，同時滿足了高粱中不完善粒的快速準(zhǔn)確無損檢測，為白酒釀造企業(yè)原料質(zhì)量監(jiān)控提供了技術(shù)參考。

1 圖像采集技術(shù)

1.1 材料

高粱樣本若干；高粱完善粒與不完善粒的挑選由質(zhì)檢員人工檢測，分別選出完善粒、霉變粒、蟲蝕粒、發(fā)芽粒、破損粒等樣本各100 g。

1.2 儀器與設(shè)備介紹

目前市場上的儀器采圖采用單面或者雙面拍照。這樣的采圖方式往往會漏拍部分含缺陷的籽粒，或者是缺陷拍出來表現(xiàn)的不夠完整；另外籽粒之間的堆疊也可能造成預(yù)處理分割時籽粒的不完整，基于這些考慮，本文采用了邇言（上海）科技有限公司的一種可以逐粒下料的4個面拍照采樣的糧食不完善率檢測儀。

設(shè)備采用360°分布的四個攝像頭對高粱顆粒逐粒拍照，攝像頭采用的是工業(yè)相機(jī)，光源采用面光源呈360°均勻分布于攝像頭中間。高粱顆粒經(jīng)振動器逐粒呈自由落體方式落入圖像采集區(qū)域進(jìn)行采集拍照。

設(shè)備整個硬件系統(tǒng)由放料模塊、振動下料模塊、控制模塊組件、圖像采集模塊、樣品收集模塊、稱重模塊組成。軟件部分包括人機(jī)交互界面接口、串口通信模塊、自動識別模塊、數(shù)據(jù)管理模塊等組成。串口通信模塊主要實(shí)現(xiàn)軟件上位機(jī)與控制部分板卡進(jìn)行通信控制；圖像采集模塊以顆粒觸發(fā)光電傳感器的方式來觸發(fā)式的拍照采集；自動識別模塊將圖像采集模塊獲取的圖片進(jìn)行識別；數(shù)據(jù)管理模塊對識別的結(jié)果進(jìn)行存儲和展示。大致的系統(tǒng)流程圖如圖1所示。

圖1 設(shè)備系統(tǒng)流程圖Fig.1 Equipment system flow chart

1.3 圖像預(yù)處理

1.3.1 圖像采集

分別采集高粱中的完善粒、霉變粒、蟲蝕粒、發(fā)芽粒、破碎粒、擦皮粒等類型的樣品，分類進(jìn)樣，通過視覺成像系統(tǒng)，逐粒檢測，360°圖像采集，實(shí)時采集各種不完善粒樣品信息，每粒高粱得到 4張圖像，收集各種類型的樣品照片共約168 543張。

1.3.2 目標(biāo)圖像獲取

由于圖像采集系統(tǒng)采用的是工業(yè)相機(jī)，處于工業(yè)相機(jī)景深范圍外的大部分背景為黑色背景，這為圖片中高粱所在區(qū)域的提取提供了很大的方便，考慮到圖片背景等原因，本文采用梯度圖求取糧食所在區(qū)域的掩膜圖像。通過掩膜圖像對高粱圖像進(jìn)行目標(biāo)框的識別，利用目標(biāo)框截取高粱圖像，然后通過填充（padding）和放縮（resize）的方法得到300*300像素的高粱圖片。

2 識別方法的研究

圖像識別是指利用計(jì)算機(jī)對圖像進(jìn)行處理、分析和理解。圖像識別的主要流程分為四個步驟：圖像采集、圖像預(yù)處理、特征提取、圖像識別。圖像識別是以圖像的主要特征為基礎(chǔ)來進(jìn)行識別，每個圖像都有它的特征，如字母A有個尖，P有個圈、而Y的中心有個銳角等。計(jì)算機(jī)視覺從傳統(tǒng)的低級特征提取到深度學(xué)習(xí)提取特征經(jīng)歷了幾十年的發(fā)展。基于計(jì)算機(jī)視覺的發(fā)展歷程，本文分別從單一特征識別、基于機(jī)器學(xué)習(xí)多特征融合的圖像識別、基于深度學(xué)習(xí)的圖像識別、基于細(xì)粒度分類的圖像識別對高粱不完善粒的識別進(jìn)行了研究。

2.1 單一特征識別

圖像最底層的特征包括顏色特征、形狀特征、紋理特征等，這些在所分析的對象不復(fù)雜的時候就可以滿足圖像識別的要求。比如高粱的破損，直觀上可以用長、寬、長寬比或白色像素面積去做篩選，但是針對糧食這種生物特征波動較大的對象，僅僅用這些基礎(chǔ)的特征去判斷破損還遠(yuǎn)遠(yuǎn)不夠。從高粱的實(shí)物來觀察，有很多體型較小的高粱顆粒的長寬比特征與破損顆粒的長寬比特征有差異，然而從所采樣的圖片中任取完善粒 100粒，破損粒100粒，對它們做長寬比的統(tǒng)計(jì)，統(tǒng)計(jì)如圖2所示。完善粒與破損粒的長寬比分布有很大的重疊，所以長寬比很難識別出完善與破損。同理，從紅纓子高粱的顆粒來看，也有很多長的比較白的高粱，僅用白色像素去做破損的判斷也欠妥，另外反光的影響也會導(dǎo)致顏色分析出現(xiàn)偏差。

圖2 長寬比分布Fig.2 Distribution of aspect ratio

2.2 基于機(jī)器學(xué)習(xí)多特征融合圖像識別

從上一節(jié)的示例中可以看出，單一的特征識別存在大量誤判的問題，不適用于這類應(yīng)用場景。破損顆粒綜合了長、寬、長寬比、白色像素這些特征，甚至還表現(xiàn)出了邊緣的非凸性。通過分析高粱的不完善粒特征可以知道，高粱不完善粒的識別屬于多特征融合圖像識別的范疇?？梢越柚诟吡坏男螒B(tài)特征、顏色特征和紋理等特征對不完善粒情況進(jìn)行綜合評價(jià)。本方法借助于以上三類特征進(jìn)行主成分分析，通過特征參數(shù)的優(yōu)選，最后建立 SVM 模型，實(shí)現(xiàn)對高粱不完善粒的分類[16]。該方法的訓(xùn)練精度和測試精度見表1所示，由表中數(shù)據(jù)可以看出該方法的識別精度不高。

表1 算法訓(xùn)練與驗(yàn)證精度Table 1 Algorithm training and validation accuracy

2.3 基于深度學(xué)習(xí)的圖像識別

從 2.2節(jié)中可以看出，基于機(jī)器學(xué)習(xí)的多特征融合圖像識別技術(shù)相比于2.1節(jié)中的單一特征技術(shù)在圖像識別上能實(shí)現(xiàn)一定程度的高粱不完善粒分類。但是精度比較低。

基于深度學(xué)習(xí)的圖像識別技術(shù)雖然也是融合了圖像的多個特征進(jìn)行識別，但是不同于基于機(jī)器學(xué)習(xí)的多特征融合技術(shù)需要人工提取圖像的特征，深度學(xué)習(xí)則通過不斷的學(xué)習(xí)擬合自動的去學(xué)習(xí)圖像的特征。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一類包含卷積計(jì)算并且含有深層次結(jié)構(gòu)的深度學(xué)習(xí)網(wǎng)絡(luò)[13]，在圖像分類和分割、目標(biāo)檢測等方面的應(yīng)用中表現(xiàn)出色[14]。CNN網(wǎng)絡(luò)模型主要包含卷積層、池化層、全連接層，其中常用的圖像分類卷積神經(jīng)網(wǎng)絡(luò)模型有 Alexnet、VGGnet、inception net、Resnet、SeNet等。

高粱不完善粒的識別需要識別出高粱中的完善粒和不完善粒類別，這本質(zhì)上屬于圖像分類的課題。但是高粱不完善粒的識別融合了粗粒度和細(xì)粒度分類的問題，同時還存在多標(biāo)簽的問題（即某一粒高粱可能同時具備幾種不完善類別的標(biāo)簽）。為了簡化建模的方法，本方法選用前文提到的常見的圖像分類卷積神經(jīng)網(wǎng)絡(luò)來對高粱進(jìn)行識別，為減少計(jì)算成本，本方法采用基于SeNet框架的Se-Resnet50[17]網(wǎng)絡(luò)進(jìn)行識別研究。該方法的訓(xùn)練精度和測試精度見表1所示，由表中數(shù)據(jù)可知該方法有比較高的識別精度。

2.4 基于細(xì)粒度分類的圖像識別

為滿足更精細(xì)化的圖像類別預(yù)測需求，模型不能只停留在宏觀尺度上進(jìn)行粗略類別劃分，而是要進(jìn)入更加微觀的尺度“洞察秋毫”。而這種微觀尺度的分類任務(wù)稱之為細(xì)粒度圖像分類。細(xì)粒度圖像分類是近年來CV領(lǐng)域的一個熱門研究方向。細(xì)粒度圖像的類別劃分更加細(xì)化，類別之間差異更加細(xì)微，只能借助于微小的局部差異才能對不同類別進(jìn)行區(qū)分。近些年來針對細(xì)粒度分類問題，涌現(xiàn)出很多優(yōu)秀的網(wǎng)絡(luò)，比如MG-CNN、Bilinear-CNN、ST-CNN、RA-CNN，WS-DAN，TASN等。本文采用TASN[18]網(wǎng)絡(luò)來做預(yù)測分析。該方法的訓(xùn)練精度和測試精度見表1所示，由表中數(shù)據(jù)可知該方法較之前提到的方法精度都達(dá)到了最優(yōu)。

3 結(jié)果與分析

由 2.1節(jié)的分析可以看出基于單一特征的圖像識別技術(shù)沒有很明顯的識別特征，后續(xù)將不再做該方法的驗(yàn)證。

3.1 圖像處理

按照人工不完善粒檢測標(biāo)準(zhǔn)，分別采集高粱中的完善粒、霉變粒、蟲蝕粒、發(fā)芽粒、破碎粒等類型的樣品，分類進(jìn)樣采集圖片。如圖3所示為高粱不完善粒、完善粒和雜質(zhì)樣圖示例。

圖3 不完善粒、完善粒和雜質(zhì)示例Fig.3 Example of imperfect granules,perfect granules and impurities

由經(jīng)驗(yàn)豐富的檢驗(yàn)人員人工挑選各種類型的樣品照片共約168 543張，其中完善粒96 836張、擦皮粒4 183張、破損粒63 921張、蟲蝕粒252張、生霉粒521張、生芽粒2 280張，雜質(zhì)550張。

3.2 實(shí)驗(yàn)結(jié)果對比

從收集的圖片數(shù)量可看出，這是典型的長尾分布。訓(xùn)練時用到一些常見的數(shù)據(jù)增強(qiáng)方法和均衡數(shù)據(jù)策略來訓(xùn)練和調(diào)整參數(shù)。

3.2.1 驗(yàn)證集精度

將所收集到的數(shù)據(jù)按 4∶1劃分訓(xùn)練集和驗(yàn)證集，分別對章節(jié)2中提到的SVM、Se-Resnet50、TASN做訓(xùn)練分析。三種算法訓(xùn)練和驗(yàn)證的結(jié)果見表1。

3.2.2 準(zhǔn)確性驗(yàn)證

為了驗(yàn)證算法在線實(shí)時檢測的準(zhǔn)確性，在儀器中采集一個樣本的圖片后，分別用這些算法進(jìn)行識別，結(jié)合數(shù)據(jù)庫中存儲的像素面積來折算儀器的不完善率。

具體實(shí)驗(yàn)步驟如下：

1. 實(shí)驗(yàn)選取了 12組實(shí)驗(yàn)高粱樣品，根據(jù)GB/T 5494—2019《糧油檢驗(yàn) 糧食、油料的雜質(zhì)、不完善粒檢驗(yàn)》，每組樣品凈重為 50 g，測試前18目過篩，篩除細(xì)小的碎粒和粉塵。

2. 利用本文所述儀器進(jìn)行圖像采集拍照，得到每一粒高粱的4個方向的高清圖片。

3. 利用章節(jié)2中所述算法，計(jì)算不完善粒比率。

4. 利用儀器中數(shù)據(jù)庫存儲的每一粒的像素面積信息校準(zhǔn)折算高粱各項(xiàng)的不完善率。

5. 人工檢測樣品計(jì)算不完善率。

6. 比較不完善率的差異，見表2。

表2 算法實(shí)驗(yàn)數(shù)據(jù)表Table 2 Algorithm experiment data table %

根據(jù)GB/T 5494—2019《糧油檢驗(yàn) 糧食、油料的雜質(zhì)、不完善粒檢驗(yàn)》中不完善率的檢驗(yàn)方法，儀器基于自帶的自動分揀系統(tǒng)稱重計(jì)算高粱不完善率。從表中看出深度學(xué)習(xí)的檢測結(jié)果跟人工的值比較接近，與人工的平均誤差在 0.48%，滿足高粱不完善率檢測的偏差要求。

3.2.3 重復(fù)性驗(yàn)證

從模型驗(yàn)證精度和跟人工對比的人機(jī)差精度，最終選擇TASN網(wǎng)絡(luò)部署到設(shè)備上，部署采用Tensorrt加速的技術(shù)，最終儀器檢測時間控制在了5分鐘以內(nèi)。為了驗(yàn)證整機(jī)的重復(fù)性，根據(jù)LS/T 6402—2017《糧油檢驗(yàn) 設(shè)備和方法標(biāo)準(zhǔn)適用性驗(yàn)證及結(jié)果評價(jià)一般原則》對37份樣品進(jìn)行n=6次重復(fù)檢測，該模型檢測的不完善率相對標(biāo)準(zhǔn)偏差（RSD%）為 0.0%～1%，平均 0.46%，重復(fù)性小于0.5%。

4 結(jié)論

本研究從釀酒企業(yè)的需求出發(fā)，以高粱不完善粒檢測作為課題，選用了邇言（上海）科技有限公司的一款基于逐粒 360°拍照采圖的糧食不完善率檢測儀。在圖像識別上，分別采用單一特征、機(jī)器學(xué)習(xí)、粗粒度圖像分類、細(xì)粒度圖像分類的技術(shù)進(jìn)行了研究，開發(fā)了基于視覺成像系統(tǒng)與深度卷積神經(jīng)網(wǎng)絡(luò)模型的高粱不完善率快速檢測儀。該儀器能夠?qū)Ω吡徊煌晟屏＃棺兞?、蟲蝕粒、發(fā)芽粒、破損粒、擦皮粒）進(jìn)行快速的無損識別，相比于傳統(tǒng)人工檢測方法極大地提高了高粱不完善粒的檢測效率。另外，該方法同樣適用于其他糧食的檢測，為其他糧種檢測儀器的開發(fā)提供方法和參考。