鄧春寧

(龍巖煙草工業(yè)有限責(zé)任公司，福建 龍巖 364021)

1 現(xiàn)有技術(shù)分析

傳統(tǒng)包裝外觀檢測系統(tǒng)主要采用基于模板匹配和顏色對比的圖像識別算法[2]，配合工控機、電氣設(shè)備、分離機構(gòu)、剔除機構(gòu)等主要器件，可以對產(chǎn)品包裝外觀中預(yù)設(shè)區(qū)域的質(zhì)量缺陷做到較高的檢出率。但是整體來說傳統(tǒng)檢測設(shè)備存在漏檢高、誤檢多，配置復(fù)雜，設(shè)備維護(hù)困難等問題[3]。由于傳統(tǒng)的視覺識別系統(tǒng)采用模板匹配和顏色對比的原則，因此只能預(yù)先判斷缺陷會出現(xiàn)在什么地方并設(shè)置檢測區(qū)域。傳統(tǒng)機器視覺檢測設(shè)備只能對預(yù)設(shè)的區(qū)域進(jìn)行檢測，預(yù)設(shè)區(qū)域外的信息不能檢測。如果檢測區(qū)域設(shè)置過大會引起誤檢，帶來大量的產(chǎn)品損耗。由于傳統(tǒng)機器視覺設(shè)備需要在煙包圖像表面設(shè)置很多檢測區(qū)域，每個檢測區(qū)域設(shè)置參數(shù)又完全不同，因此大大增加了配置參數(shù)的復(fù)雜度。傳統(tǒng)機器視覺檢測設(shè)備局限于解決一個具體的物理場景問題，質(zhì)量的控制只能依賴于單點檢測設(shè)備的能力，設(shè)備未聯(lián)網(wǎng)，數(shù)據(jù)不共享，無法做到全廠檢測標(biāo)準(zhǔn)的統(tǒng)一和產(chǎn)品缺陷的統(tǒng)一分析判斷。煙廠的工程師在維護(hù)這些檢測設(shè)備時，無法對設(shè)備統(tǒng)一維護(hù)管理，耗費大量精力。針對傳統(tǒng)檢測方式暴露的問題，急需轉(zhuǎn)變思路，尋求新的檢測算法和檢測方式。

2 解決方法

當(dāng)前全國各大煙廠面臨“高質(zhì)量”發(fā)展的新需求，因此對現(xiàn)有的生產(chǎn)設(shè)備提出了更高要求。近幾年，隨著計算機運算能力的提高，人工智能技術(shù)得到快速發(fā)展。以圖形計算為代表的GPU(圖形處理器)在計算機視覺訓(xùn)練中替代原有的CPU(中央處理器)，大大提升了計算性能，讓原來幾個月才能完成的訓(xùn)練縮短到幾天甚至幾個小時，大大縮短了計算機視覺前期訓(xùn)練和推理的迭代周期，帶來了效率上的成倍提升[4]。當(dāng)硬件、算法、大數(shù)據(jù)這3個因素在各個領(lǐng)域的突破達(dá)到一定程度時，自然就帶來了人工智能的大爆發(fā)。

本文利用華為強大的邊緣計算、云、網(wǎng)絡(luò)通信和綜合解決方案能力推出新型人工智能煙草質(zhì)檢綜合解決方案。此方案將機器視覺與人工智能圖像識別[5]以及信息與通信技術(shù)(information and communications technology,ICT)相結(jié)合，突破了傳統(tǒng)檢測算法原理的局限性，提升了煙包外觀檢測的精度，降低了誤檢率，改善了檢測設(shè)備的維護(hù)性和管理問題。

3 小包外觀檢測裝置

本方案通過為卷煙廠建設(shè)基礎(chǔ)的網(wǎng)絡(luò)及邊緣計算能力，進(jìn)而為煙草數(shù)字化轉(zhuǎn)型提供堅實的網(wǎng)絡(luò)和算力基礎(chǔ)，并逐步落實數(shù)字化工廠的各應(yīng)用場景。人工智能質(zhì)檢平臺打破原有的工控機模式，采用“端-邊-云”一體化的三層網(wǎng)絡(luò)架構(gòu)，各層級分工明確。端側(cè)負(fù)責(zé)圖像采集和動作執(zhí)行；邊側(cè)負(fù)責(zé)圖像推理計算、綜合檢測結(jié)果的下發(fā)；云側(cè)負(fù)責(zé)訓(xùn)練、算法優(yōu)化、大數(shù)據(jù)分析和存儲等。整體方案以高帶寬固定網(wǎng)絡(luò)作為承載網(wǎng)。

3.1 裝置結(jié)構(gòu)

小包外觀檢測裝置主要由分離裝置、視頻柜、壞煙收集箱、電控柜、分離柜和顯示終端等結(jié)構(gòu)組成。其中，分離裝置負(fù)責(zé)將連條小包分開一定距離，視頻柜負(fù)責(zé)采集小包外觀圖像，通過人工智能算法判斷是否有外觀質(zhì)量缺陷，剔除裝置中不合格的煙包小包。系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 小包檢測裝置結(jié)構(gòu)組成

視頻柜包括：

1)7臺CCD工業(yè)相機。

翠姨從此想到了念書的問題，但是她已經(jīng)二十歲了，上哪里去念書？上小學(xué)沒有她這樣大的學(xué)生；上中學(xué)，她是一字不識，怎樣可以。所以仍舊住在我們家里。

7臺CCD工業(yè)相機分別檢測煙包的兩個端面、上表面和側(cè)面。

2)1套LED照明系統(tǒng)。

該照明系統(tǒng)由多條高亮度LED光源組成，其從煙包的不同角度打光，以有效消除陰影以及透明紙的反光。

3)1套高精度光纖位置傳感器。

該傳感器固定在煙包檢測位置上。當(dāng)煙包經(jīng)過時，傳感器發(fā)出定位信號，啟動CCD相機進(jìn)行圖像捕捉，并將圖像發(fā)送給推理服務(wù)器。

人工智能圖像處理平臺：其硬件根據(jù)煙廠要求可選配工控機或服務(wù)器。平臺收到圖像后會調(diào)用人工智能算法模型對圖像進(jìn)行推理運算來判斷是否有缺陷。如果判斷有缺陷則發(fā)送剔除信號給剔除系統(tǒng)。如果選配工控機，則會安裝到電控柜里面；如果選配服務(wù)器進(jìn)行網(wǎng)絡(luò)化部署，則安裝到配套的服務(wù)器機柜。

剔除機構(gòu)包括：

1)1套反射式光纖位置傳感器。該傳感器固定在煙包剔除位置上，當(dāng)有包裝缺陷的煙包經(jīng)過時，傳感器發(fā)出信號給I/O控制板，I/O控制板將啟動高速氣閥擊打裝置，將該煙包迅速推出流水線。

2)1套高速氣閥擊打裝置。該裝置用來把有包裝缺陷的煙包從流水線上剔除。

電控柜主要由交換機、I/O控制板、供電模塊、接線端子、繼電器、工控機(選配)等組成。電控柜需要接入到車間的配電柜通電。電控柜給整個系統(tǒng)提供電源并進(jìn)行信號控制。電控柜提供12 V直流電給相機使用，提供24 V直流電給I/O控制板、工控機、燈光使用，提供220 V交流電給伺服電機、顯示一體機(可選)使用。

顯示終端：通過立式顯示一體機觸摸屏為用戶提供友好的人機界面。用戶可以通過維護(hù)終端進(jìn)行系統(tǒng)配置、實時圖像查詢、歷史圖像查詢、訓(xùn)練推理模型。

3.2 檢測流程

煙包小包從機臺傳送帶向前傳送到達(dá)分離裝置，分離裝置將連包小包分開后以一定間距進(jìn)入視頻柜。煙包小包到達(dá)視頻柜檢測位光纖傳感器時，I/O控制板會收到小包到位信號。I/O控制板一方面控制光源進(jìn)行打光，另外一方面將拍照信號發(fā)給CCD工業(yè)相機[6]，CCD工業(yè)相機接收到信號后對小包進(jìn)行拍照。推理系統(tǒng)調(diào)用人工智能圖像處理算法模型，判斷該煙包是否有外觀質(zhì)量問題。如果有缺陷，則對該煙包進(jìn)行標(biāo)記。煙包到達(dá)剔除機構(gòu)的定位光纖傳感器時，I/O控制板將收到煙包到位信號。I/O控制板查看程序是否有剔除標(biāo)記。如果需要剔除，I/O控制板發(fā)出剔除信號給剔除裝置進(jìn)行剔除；如果不需要剔除，則不做剔除動作。顯示終端(一體機)搭載客戶端軟件(可選配)，提供實時和歷史檢測圖像查詢、模型訓(xùn)練操作和系統(tǒng)配置等功能。流程圖如圖2所示。

圖2 煙包檢測裝置主要檢測流程圖

4 檢測算法

深度學(xué)習(xí)是一種機器學(xué)習(xí)方法，是人工智能算法的一個分支，深度學(xué)習(xí)取得的突破也驅(qū)動著人工智能蓬勃發(fā)展[7]。在RCNN、Fast RCNN之后，Ross Girshick在2016年提出Faster RCNN深度學(xué)習(xí)方法，將特征網(wǎng)絡(luò)、提取、目標(biāo)定位、目標(biāo)分類整合到一個網(wǎng)絡(luò)中，性能大幅提升,與RCNN和Fast RCNN相比，具有更快的速度和更高的精準(zhǔn)度。該小包外觀檢測裝置使用Faster RCNN作為主干網(wǎng)絡(luò)進(jìn)行小包的外觀缺陷檢測。該算法模型包含以下4個部分：

1)特征提取網(wǎng)絡(luò)。本文選擇ResNet50作為特征提取網(wǎng)絡(luò)，與ZF、VGG16相比，其卷積層數(shù)較多，能提取更多的特征，比較適合于煙包小包這種小區(qū)域的圖像特征提取的目標(biāo)檢測。

2)RPN區(qū)域選取網(wǎng)絡(luò)。RPN使用滑動窗口遍歷特征提取網(wǎng)絡(luò)中的特征圖，生成region proposals。通過softmax判斷anchors(錨點，9個框)是前景還是背景，再通過邊界框回歸對anchors進(jìn)行修正，獲得精確的proposals。其損失函數(shù)如下所示：

(1)

其中：

圖3 RPN網(wǎng)絡(luò)結(jié)構(gòu)

3)ROI Pooling。ROI Pooling的作用是根據(jù)預(yù)選框的位置坐標(biāo)在特征圖中將相應(yīng)區(qū)域池化為固定尺寸的特征圖，以便進(jìn)行后續(xù)的分類和包圍框回歸操作。由于預(yù)選框的位置通常是由模型回歸得到的，一般來講是浮點數(shù)，而池化后的特征圖要求尺寸固定,故ROI Pooling這一操作存在兩次量化過程：將候選框邊界量化為整數(shù)點坐標(biāo)值；將量化后的邊界區(qū)域平均分割成k×k個單元并對每一個單元的邊界進(jìn)行量化。事實上，經(jīng)過上述兩次量化，此時的候選框已經(jīng)和最開始回歸出來的位置有一定的偏差，這個偏差會影響檢測或者分割的準(zhǔn)確度[8]。為了解決上述缺點，本文采用ROI Align Pooling這一改進(jìn)方法對原算法進(jìn)行替換，步驟如下：遍歷每一個候選區(qū)域，保持浮點數(shù)邊界不做量化；將候選區(qū)域分割成k×k個單元，每個單元的邊界也不做量化；在每個單元中計算4個坐標(biāo)位置，用雙線性內(nèi)插的方法計算出這4個位置的值，然后進(jìn)行最大池化操作。

4)Classification。通過將proposal特征圖展平處理和一系列全連接層操作便可以得到目標(biāo)分類結(jié)果以及邊界框回歸的結(jié)果。

5 實用效果

準(zhǔn)確的視覺檢測來源于穩(wěn)定的成像，但實際在線檢測時又很難保證每包煙的姿態(tài)完全一致。煙包晃動會造成大量誤檢、誤剔，影響生產(chǎn)。本裝置采用專門研發(fā)的鋼絲護(hù)欄保證煙包在檢測位置有穩(wěn)定的姿態(tài)，從而保證檢測效果的準(zhǔn)確性和穩(wěn)定性。為了驗證Faster RCNN深度學(xué)習(xí)在煙包小包檢錯識別上的有效性，將標(biāo)注好的數(shù)據(jù)集加入進(jìn)行訓(xùn)練。數(shù)據(jù)集總共1 680張圖片，其中80%用作訓(xùn)練集，20%用于驗證集，訓(xùn)練100次。部分?jǐn)?shù)據(jù)集如圖4、圖5所示。

圖4 錯誤煙包圖

圖5 正確煙包圖

本文提出的檢測算法在實際應(yīng)用中達(dá)到了很高的精度，可以對煙包以300～600包/min的速度進(jìn)行5面檢測。實驗結(jié)果表明，一般缺陷檢出率大于99%，嚴(yán)重缺陷檢出率100%，誤檢率低于0.01%，可以有效識別2 mm×2 mm以上的污物、異物?？蓹z測缺陷種類見表1。

表1 檢測缺陷種類

6 結(jié)束語

本文將傳統(tǒng)機器視覺檢測裝置升級到人工智能視覺檢測裝置，使檢測裝置具備自我學(xué)習(xí)、持續(xù)演進(jìn)的能力，可大大提升識別的準(zhǔn)確率，顯著降低誤檢率。裝置的高精度光學(xué)CCD的引入能有效提高煙包缺陷檢測精度，人工智能圖像處理平臺的加持可有效提高系統(tǒng)的穩(wěn)定性。硬件采用標(biāo)準(zhǔn)化設(shè)計，形成視頻組件、電控組件、顯示組件、剔除組件、分離組件、告警組件等系列產(chǎn)品，可滿足卷煙廠不同應(yīng)用場景下的快速實施要求，避免因煙包外觀質(zhì)量缺陷帶來的損失，保障煙廠的煙支產(chǎn)品質(zhì)量。