焦 俊，郝靜烈，冷曉飛，劉 婭，楊彤瑤

(紅云紅河煙草（集團(tuán)）有限責(zé)任公司昆明卷煙廠，云南昆明 650000)

中國煙草十四五規(guī)劃中提出了按照“形成強大國內(nèi)市場，構(gòu)建新發(fā)展格局”的總體部署，中式卷煙知名品牌既要在暢通國內(nèi)大循環(huán)、促進(jìn)國內(nèi)國際雙循環(huán)和優(yōu)化供給結(jié)構(gòu)、改善供給質(zhì)量中承擔(dān)更大責(zé)任、發(fā)揮更大作用，也要通過技術(shù)創(chuàng)新、品牌創(chuàng)新、產(chǎn)品創(chuàng)新來更好地滿足人民群眾日益增長的物質(zhì)文化需求。行業(yè)深入實施“三品”戰(zhàn)略，增品種、提品質(zhì)、創(chuàng)品牌，尋找新的增長點。品牌卷煙成品的任何包裝質(zhì)量問題都會影響企業(yè)品牌形象，失去企業(yè)的信譽度，如何保證包裝生產(chǎn)的穩(wěn)定質(zhì)量，減少和杜絕不合格的卷煙產(chǎn)品流入市場，是各卷煙企業(yè)在全面質(zhì)量控制中的一個關(guān)鍵環(huán)節(jié)。目前，中國煙草品牌優(yōu)勢隨著卷煙設(shè)備自動化程度的不斷提高以及生產(chǎn)效率的提升，對卷煙產(chǎn)品質(zhì)量檢測和工藝環(huán)節(jié)中的質(zhì)量控制提出了新的要求，針對香煙包裝質(zhì)量檢測的研究也逐步被付諸實踐，在新出廠的卷煙機和包裝機中，基于傳統(tǒng)機器視覺相機的在線外觀質(zhì)量檢測模塊逐漸成為標(biāo)準(zhǔn)配置，然而，作為煙草企業(yè)品牌質(zhì)量的管控者，煙草企業(yè)三級站仍然在采用人工抽檢和人工目檢方式，隨著企業(yè)產(chǎn)量和卷煙制品品種的增加，對卷煙產(chǎn)品質(zhì)量檢測和工藝環(huán)節(jié)中的質(zhì)量控制提出了新的要求，人工抽檢方式已經(jīng)無法滿足現(xiàn)代化實際生產(chǎn)中的需求。通過機器視覺檢測，克服了人工檢測存在的問題，提高了檢測效率和檢測質(zhì)量，從而保證了產(chǎn)品品質(zhì)的需求，在國內(nèi)煙草企業(yè)變得越來越具備普遍性和必要性。

現(xiàn)在國際國內(nèi)的煙草煙支和小包裝外觀質(zhì)量的檢測出現(xiàn)了很多針對包裝質(zhì)量檢測的算法，其中最主要的是圖像匹配算法，圖像匹配是指通過一定的匹配算法在兩幅或多幅圖像之間識別同名點?，F(xiàn)行國際國內(nèi)的煙草煙支和小包裝外觀質(zhì)量檢測裝置主要就是基于工業(yè)相機，其理論基礎(chǔ)就是固化在工業(yè)相機內(nèi)部的圖像匹配算法。

圖1是現(xiàn)行小包在線檢測的安裝方式?；竟ぷ髟砭褪峭ㄟ^固化在工業(yè)相機內(nèi)部的圖像匹配算法，工業(yè)相機內(nèi)部的處理器對圖像信息進(jìn)行處理。通常采用的模板匹配是基于像素的匹配，用來在一副大圖中搜尋查找模版圖像位置的方法。與 2D 卷積一樣，它也是用模板圖像在輸入圖像（大圖）上滑動，并在每一個位置對模板圖像和與其對應(yīng)的輸入圖像的子區(qū)域進(jìn)行比較。通過諸如平方差匹配法、相關(guān)匹配法、相關(guān)系數(shù)匹配法、歸一化平方差匹配法、歸一化相關(guān)匹配法、歸一化相關(guān)系數(shù)匹配法等匹配算法找最大匹配的點，設(shè)置一個匹配閾值來匹配多個物體。

圖1 現(xiàn)行小包在線檢測安裝方式

模板匹配算法從自身的數(shù)學(xué)基礎(chǔ)而言，具有自身的局限性，主要表現(xiàn)在它只能進(jìn)行平行移動，若原圖像中的匹配目標(biāo)發(fā)生旋轉(zhuǎn)或大小變化，該算法會失準(zhǔn)。

而受限于機器視覺相機本身處理器的處理能力，在加載多種瑕疵的模式匹配算法會顯得力不從心。

較新的機器視覺相機也逐步引入了特征匹配算法以應(yīng)對檢測目標(biāo)的旋轉(zhuǎn)，移動以及視場光線變化，通過特征提取、匹配器和單應(yīng)性匹配以實現(xiàn)更靈活的瑕疵檢測。

SIFT 特征提取分析通過尺度空間濾波器構(gòu)建尺度空間，模擬圖像數(shù)據(jù)的多尺度特征。使用具有不同方差值的高斯拉普拉斯算子（LoG）對圖像進(jìn)行卷積。LoG 的計算量非常大，為了有效地在尺度空間檢測到穩(wěn)定的關(guān)鍵點，所以SIFT 算法使用高斯差分算子（DoG）來對LoG 做近似，利用不同尺度的高斯差分核與圖像卷積生成。在傳統(tǒng)機器視覺相機中，完成大數(shù)據(jù)量的計算非常困難，也就導(dǎo)致傳統(tǒng)機器視覺相機出現(xiàn)算力瓶頸，極大影響了瑕疵檢測能力的提升。

隨著深度學(xué)習(xí)理論的日益發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)算法獲得越來越復(fù)雜的圖像特征并進(jìn)行學(xué)習(xí)。2014年以來，研究人員將這些網(wǎng)絡(luò)應(yīng)用于特征提取的步驟，而不是使用SIFT 或類似算法。2016 年，DeTone 等發(fā)表了Deep Image Homography Estimation，提出了HomographyNet 回歸網(wǎng)絡(luò)，這是一種VGG 風(fēng)格模型，可以學(xué)習(xí)兩幅相關(guān)圖像的單應(yīng)性。該算法具有以端到端的方式同時學(xué)習(xí)單應(yīng)性和CNN 模型參數(shù)的優(yōu)勢。HomographyNet 回歸網(wǎng)絡(luò)產(chǎn)生八個數(shù)值作為輸出。以監(jiān)督的方式進(jìn)行訓(xùn)練，并計算輸出和真實單應(yīng)性之間的歐幾里德?lián)p失。該單應(yīng)性估計方法需要有標(biāo)記數(shù)據(jù)。雖然很容易獲得真實圖像的單應(yīng)性，但會消耗極大的實際算力。而以無監(jiān)督的方式進(jìn)行訓(xùn)練與傳統(tǒng)的基于特征的方法相比，這種無監(jiān)督方法具有相當(dāng)或更高的準(zhǔn)確率和魯棒性，并且具有更快的執(zhí)行速度。此外，與有監(jiān)督方法相比，它具有更好的適應(yīng)性和性能。同時來源于醫(yī)學(xué)圖像配準(zhǔn)的強化學(xué)習(xí)方法可以用于更復(fù)雜的轉(zhuǎn)換。Krebs 等使用人工代理優(yōu)化變形模型參數(shù)。該方法對醫(yī)學(xué)MRI 圖像的配準(zhǔn)進(jìn)行實驗，在2-D 和3-D中表現(xiàn)出了較好的結(jié)果。

1 深度學(xué)習(xí)檢測技術(shù)可以顯著簡化瑕疵檢測和缺陷檢查

該技術(shù)可以自主學(xué)習(xí)特定缺陷特征，從而可以識別特定的問題類別。如果用戶使用預(yù)訓(xùn)練的深度學(xué)習(xí)網(wǎng)絡(luò)，例如MVTec 的圖像處理軟件Halcon 的那些網(wǎng)絡(luò)，則基于樣本圖像，算法可以訓(xùn)練各種各樣的瑕疵和缺陷類型，然后可靠地識別它們。

采用深度學(xué)習(xí)技術(shù)進(jìn)行瑕疵檢測大致可以分為如下幾個步驟（圖2）。

圖2 瑕疵檢測步驟

1.1 圖像采集

通過采用西門子伺服系統(tǒng)控制的送檢皮帶和翻轉(zhuǎn)機構(gòu)，可以準(zhǔn)確地將送檢樣本停留在預(yù)先標(biāo)定位置，從而觸發(fā)對應(yīng)檢測位置的工業(yè)相機，獲得清晰可靠的樣本圖像。

1.2 樣本識別

采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）相結(jié)合完成瑕疵檢測的識別分類。

相比于傳統(tǒng)的圖像處理算法，卷積神經(jīng)網(wǎng)絡(luò)CNN 避免了對圖像進(jìn)行復(fù)雜的前期處理（即大量的人工圖像特征提取工作），也就是說，CNN 能夠直接從原始圖像出發(fā)，經(jīng)過非常少的預(yù)處理，就能從圖像中找出視覺規(guī)律，進(jìn)而完成識別分類任務(wù)，其實這就是端到端（end-end）的含義。CNN 的基本結(jié)構(gòu)包括以下兩層。

（1）特征提取層。每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其他特征間的位置關(guān)系也隨之確定。

（2）特征映射層。網(wǎng)絡(luò)的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid 函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。

如圖3所示，CNN 的核心在于卷積（Convolution）、池化（Poling）和非線性處理（ReLU）。

圖3 CNN模型步驟

二維圖像的卷積公式如下：

針對不同的瑕疵類型，選用不同的卷積核可以挖掘出更多的圖像特征，例如，采用如下的高斯-拉普拉斯算子，可以得到圖像的邊緣，從而使瑕疵的特征更為突出。

CNN 主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形，該部分功能主要由池化層（Poling）實現(xiàn)。①由于CNN 的特征檢測層通過訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)，所以在使用CNN 時，避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；②由于同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這也是卷積網(wǎng)絡(luò)相對于神經(jīng)元彼此相連網(wǎng)絡(luò)的一大優(yōu)勢。卷積神經(jīng)網(wǎng)絡(luò)以其局部權(quán)值共享的特殊結(jié)構(gòu)在圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡(luò)這一特點避免了特征提取和分類過程中數(shù)據(jù)重建的復(fù)雜度。

在煙草瑕疵檢測中，采用了一種新的級聯(lián)自動編碼器（CASAE）結(jié)構(gòu)（圖4），用于缺陷的分割和定位。級聯(lián)網(wǎng)絡(luò)將輸入的缺陷圖像轉(zhuǎn)化為基于語義分割的像素級預(yù)測掩模。利用壓縮卷積神經(jīng)網(wǎng)絡(luò)（CNN）將分割結(jié)果的缺陷區(qū)域劃分為特定的類。分割網(wǎng)絡(luò)定位像素級別的缺陷位置，然后通過分類網(wǎng)絡(luò)對缺陷進(jìn)行識別。

圖4 CASAE結(jié)構(gòu)

在剛開始檢測一個新的項目，只需要采集幾百到一千的圖像數(shù)據(jù)，在這些圖像數(shù)據(jù)上面標(biāo)記缺陷種類，然后進(jìn)行一輪訓(xùn)練。訓(xùn)練過后再放進(jìn)一批新的樣品圖，會發(fā)現(xiàn)檢測率相當(dāng)高，一開始就可以保持在95%～98%。在訓(xùn)練次數(shù)越多的情況下，檢測率是可以無限接近100%。

CNN 模型框圖，如圖5所示。

圖5 CNN模型

卷積神經(jīng)網(wǎng)絡(luò)CNN 無法利用歷史數(shù)據(jù)的時間依賴關(guān)系，從而導(dǎo)致CNN 的預(yù)測和分類出現(xiàn)偏差或加大計算資源的耗散。

由于煙草成品具備一定的時間關(guān)聯(lián)性，例如同一品牌的外包裝具有極強的一致性，包裝和瑕疵圖像數(shù)據(jù)同樣也具有較強的依賴性，即在煙草瑕疵檢測的應(yīng)用中，數(shù)據(jù)之間存在相互依賴關(guān)系。充分利用這些數(shù)據(jù)間的依賴性以及歷史數(shù)據(jù)的時間依賴關(guān)系，是在煙草瑕疵檢測中使用時間遞歸神經(jīng)網(wǎng)絡(luò)（recurrent neural network）的重要基礎(chǔ)。

圖6 為Elman RNN 網(wǎng)絡(luò)模型。Elman RNN 網(wǎng)絡(luò)模型中，X向量表示輸入層的值，O向量表示輸出層的值，一共就有三類參數(shù)值，分別是U、V和W。假設(shè)輸入層神經(jīng)元個數(shù)為n個，隱層的神經(jīng)元個數(shù)為m個，輸出層的神經(jīng)元個數(shù)為r，那么U是輸入層到隱藏層的權(quán)重矩陣，大小為（n×m）維；V是隱層到輸出層的權(quán)重矩陣，大小為（m×r）維。RNN 中隱層s（t）的值，不僅取決于當(dāng)前輸入x，還取決于上一次隱層的值s（t-1）。W表示的是隱藏層上一次輸出值而作為本次輸入的權(quán)重矩陣，大小為（m×m）維。

圖6 Elman RNN網(wǎng)絡(luò)模型

在理論上，這個模型可以擴展到無限維，也就是可以支撐無限的時間序列，但實際應(yīng)用中，考慮到歷史數(shù)據(jù)的相關(guān)性和時效，如下列公式所示。

將過去的所有序列作為輸入，從而生成當(dāng)前的狀態(tài)，其中θ 表示激活函數(shù)σ 中所有的參數(shù)集合。表示序列中的第t時刻或第t時間步的輸入數(shù)據(jù)，它通常也是一個向量；向量，表示隱層的值。

都可以看到，第t時間的記憶信息是由前（t-1）個時間步累計而成的結(jié)果和s（t-1）當(dāng)前的輸出X（t）。

由于傳統(tǒng)的RNN 存在梯度彌散問題或梯度爆炸問題，導(dǎo)致第一代RNN 基本上很難把層數(shù)提上去，因此其表征能力也非常有限，應(yīng)用上性能也有所欠缺，在煙草成品外觀檢測的應(yīng)用中，具體表現(xiàn)為算法收斂性不強，不利于提取外觀質(zhì)量瑕疵特征值，因此會導(dǎo)致在保證外觀瑕疵被檢出的前提下，需要大量的訓(xùn)練樣本和建立龐大的外觀質(zhì)量瑕疵，從而導(dǎo)致系統(tǒng)資源耗散過快，使系統(tǒng)過于龐大和復(fù)雜。

根據(jù)胡伯提出的LSTM 改進(jìn)算法，通過改造神經(jīng)元，添加了遺忘門、輸入門和輸出門等結(jié)構(gòu)，讓梯度能夠長時間地在路徑上流動，從而有效提升深度RNN 的性能。

在RNN 算法中引入梯度截斷（圖7）有助于處理爆炸的梯度。為了解決消失的梯度和更好地捕獲長期依賴，一種方法是使用LSTM 以及其他自循環(huán)和門控機制；另一個想法是正則化或約束參數(shù)，以引導(dǎo)信息流。LSTM 通過引入巧妙的可控自循環(huán)，以產(chǎn)生讓梯度能夠得以長時間可持續(xù)流動的路徑避免長期依賴問題，而GRU 它將忘記門和輸入門合成了一個單一的更新門。同樣還混合了細(xì)胞狀態(tài)和隱藏狀態(tài)，及其他一些改動。

圖7 RNN中的梯度截斷

自主瑕疵檢測。在通過訓(xùn)練獲得瑕疵特征庫后，即可進(jìn)入自主瑕疵檢測。當(dāng)待檢測樣品通過送檢皮帶進(jìn)入后，通過工業(yè)相機獲得的樣本圖像進(jìn)入模型，自動得出檢測結(jié)果，同時，RNN 模型可以充分利用檢測的歷史數(shù)據(jù)，使整個瑕疵檢測系統(tǒng)具備了記憶學(xué)習(xí)的功能，提升了系統(tǒng)智能程度，減少了樣本訓(xùn)練時間。

通過優(yōu)化的深度學(xué)習(xí)算法，利用采樣圖片進(jìn)行訓(xùn)練，從而得出各個品牌卷煙的瑕疵特征庫，訓(xùn)練圖片如圖8所示。

圖8 訓(xùn)練圖片

對于實時采集的樣品圖像及時進(jìn)行研判，研判圖片如圖9所示。

圖9 訓(xùn)練過程中對圖片研判

可以清晰標(biāo)定瑕疵部位的瑕疵類型，瑕疵面積和瑕疵擬合度。

實施前：

（1）僅能采用人工方式進(jìn)行外觀質(zhì)量評價，結(jié)論受個人習(xí)慣、外部因素影響較大，難以準(zhǔn)確化。

（2）人工檢測方式需要有經(jīng)驗的檢測人員，工作量大。

（3）檢測人員不能跟班生產(chǎn)。

實施后：

（1）采用設(shè)備對外觀質(zhì)量進(jìn)行測試，不受個人與外部環(huán)境因素的影響，測試結(jié)果客觀準(zhǔn)確。

（2）按照設(shè)備的使用操作規(guī)程，可以制定標(biāo)準(zhǔn)化的檢測流程，按步驟進(jìn)行測試，檢測過程得以標(biāo)準(zhǔn)化。

（3）節(jié)約人力物力，結(jié)果清晰可見，耗用時間短。

（4）使用了外觀檢測裝置進(jìn)行檢測后，隨著深度學(xué)習(xí)算法的逐步完善，以及AI 在學(xué)習(xí)足量的樣本數(shù)后越來越聰明，具備了深度學(xué)習(xí)和人工智能所帶來的種種優(yōu)勢，為后續(xù)的質(zhì)量管理工作提供了便利，使原來采用定性描述的指標(biāo)得以定量評價。

2 結(jié)語

煙草制品外觀質(zhì)量檢測對于企業(yè)品質(zhì)管理具有重大意義，本項目開發(fā)的目的為研制一套具有國際國內(nèi)領(lǐng)先水平的外觀質(zhì)量檢測。實現(xiàn)基于深度學(xué)習(xí)算法的品質(zhì)檢測研究和探索，對于卷煙生產(chǎn)上的眾多外觀質(zhì)量檢測裝置具有重大的指導(dǎo)意義，同樣深度學(xué)習(xí)的視覺檢測算法也具備極強的應(yīng)用外延，可以為煙草生產(chǎn)分析，智能化水平提升提供較強的理論基礎(chǔ)和實踐探索經(jīng)驗。