摘要：提出了一種利用深度學(xué)習(xí)算法結(jié)合工業(yè)相機(jī)的煙支激光打孔異常檢測方法。針對(duì)該檢測過程中的難點(diǎn)，包括圖像采集困難、檢測響應(yīng)時(shí)間要求和抗干擾性等問題，作者選擇了彩色工業(yè)相機(jī)進(jìn)行圖像采集，并采用YOLOv3目標(biāo)檢測算法進(jìn)行煙支打孔點(diǎn)位的定位和分類。詳細(xì)介紹了YOLOv3檢測算法的實(shí)現(xiàn)流程，包括數(shù)據(jù)標(biāo)記、模型訓(xùn)練、調(diào)整置信度和非極大抑制等步驟。此外，為了提高圖像清晰度和檢測速度，提出了圖像增強(qiáng)和使用圖像金字塔變換的方法。經(jīng)過實(shí)際測試，該方法在煙支激光打孔異常檢測中取得了很好的效果，具有高準(zhǔn)確率、強(qiáng)抗干擾性和實(shí)時(shí)性等優(yōu)點(diǎn)。

關(guān)鍵詞：工業(yè)相機(jī)成像；目標(biāo)檢測；YOLOv3；伽馬圖像增強(qiáng)；圖像金字塔

一、前言

目前對(duì)煙支激光打孔異常的檢測存在以下難點(diǎn)：取圖，煙支出口輪輸出的煙支在輸送帶上呈層次排列，高低不平，相互遮擋，受光照影響大，且呈移動(dòng)狀態(tài)，采圖困難；檢測響應(yīng)時(shí)間，對(duì)煙支打孔處檢測有時(shí)間要求，需要及時(shí)得到檢測結(jié)果用于報(bào)警；抗干擾性，卷煙生產(chǎn)現(xiàn)場有粉塵、震動(dòng)等不利因素干擾相機(jī)采集數(shù)據(jù)以及檢測。對(duì)于上述難點(diǎn)，本文提出了一種利用深度學(xué)習(xí)算法結(jié)合工業(yè)相機(jī)的解決方法。

二、取圖

為了適應(yīng)現(xiàn)場惡劣的環(huán)境（震動(dòng)、粉塵）以及得到最佳的取圖效果，選擇工業(yè)相機(jī)可以達(dá)到最佳的取圖效果。根據(jù)目前煙支激光打孔點(diǎn)的成像范圍，相機(jī)應(yīng)選擇500萬像素，為獲得更好的目標(biāo)點(diǎn)位特征應(yīng)選擇彩色相機(jī)。

目前的檢測環(huán)境實(shí)現(xiàn)清晰取圖主要受兩個(gè)因素影響，第一點(diǎn)是檢測對(duì)象處于快速運(yùn)動(dòng)狀態(tài)，成像會(huì)有拖影現(xiàn)象。第二點(diǎn)是檢測對(duì)象表面高低不平，需要解決成像深度的問題。

（一）非靜止運(yùn)動(dòng)速度快的對(duì)象

對(duì)于非靜止且運(yùn)動(dòng)速度較快的對(duì)象，拍攝時(shí)需要解決的問題是拖影，即在工業(yè)相機(jī)曝光時(shí)，取圖對(duì)象與工業(yè)相機(jī)之間存在相對(duì)運(yùn)動(dòng)。這種運(yùn)動(dòng)會(huì)使圖像不斷發(fā)生變化，從而使每個(gè)像元受到來自對(duì)象各個(gè)部分的干擾，最終形成一個(gè)不斷改變的圖像空間，致使圖像疊加、變得模糊。

為了解決該問題需要給拍攝對(duì)象增加光源并調(diào)整相機(jī)合適的曝光時(shí)間，曝光時(shí)間太長會(huì)有拖影產(chǎn)生，曝光時(shí)間太短則無法對(duì)檢測目標(biāo)成像[1]。為達(dá)到最佳的成像效果需對(duì)曝光時(shí)間進(jìn)行計(jì)算，如下公式為最佳曝光時(shí)間的計(jì)算方法。假設(shè)運(yùn)動(dòng)物體速度V=100mm/s，相機(jī)分辨率R=1/100（mm/pixel），那么我們得到的最大曝光時(shí)間為0.1ms。

如果成像圖片允許5個(gè)像素的偏差，那么最大曝光時(shí)間T計(jì)算公式為：

（二）檢測對(duì)象表面高低不平

當(dāng)物體處于對(duì)焦點(diǎn)平坦時(shí)，感光芯片會(huì)捕捉到清晰的影像，而在對(duì)焦點(diǎn)平坦前方到后面的區(qū)域內(nèi)，能捕捉到清晰圖像的區(qū)域被稱為景深。如果拍攝對(duì)象有高低不平的現(xiàn)象，則需要加大取圖景深，從而獲得需要檢測對(duì)象的清晰圖像。

如下所示不同的景深成像示意圖。

通過上述方程，能夠得出光圈越小，景深就越深；拍攝距離越遠(yuǎn)，景深就越深的結(jié)論。為了獲得更深的景深，需要在取圖對(duì)象上加入光源，從而可以調(diào)小光圈，調(diào)大拍攝距離。

三、檢測算法的選擇

本文所述檢測環(huán)境為生產(chǎn)現(xiàn)場，其檢測對(duì)象受設(shè)備振動(dòng)、表面的煙絲影響，且檢測對(duì)象高低左右不平，檢測目標(biāo)較小，用傳統(tǒng)的視覺方法難以對(duì)檢測點(diǎn)位進(jìn)行定位，因此引入了深度學(xué)習(xí)的算法，利用深度學(xué)習(xí)的算法可對(duì)檢測目標(biāo)進(jìn)行實(shí)時(shí)跟蹤并分類。目前，比較主流的目標(biāo)檢測框架有YOLOv3、Fast R-CNN、SSD。下面將對(duì)這三個(gè)檢測算法進(jìn)行比較，以便從中選出合適的檢測框架。

SSD，即Single Shot MultiBox Detector，它的速率優(yōu)點(diǎn)突出，也具有一定的檢測準(zhǔn)確度。但是由于該檢測框架使用了低層網(wǎng)絡(luò)特征信息預(yù)測小物體，對(duì)小目標(biāo)的識(shí)別效果不佳。本文所述煙支的激光打孔檢測點(diǎn)位為小目標(biāo)特征，所以該檢測框架并不適合。

Faster R-CNN由R-CNN和Fast R-CNN發(fā)展而來，F(xiàn)aster R-CNN雖然有一定的檢測精度，但其訓(xùn)練步驟復(fù)雜，檢測模型需要分多個(gè)階段訓(xùn)練，對(duì)開發(fā)人員技術(shù)要求比較高，占用磁盤空間達(dá)一千張的訓(xùn)練圖片會(huì)產(chǎn)生上百GB的特征圖像且預(yù)測延時(shí)高。經(jīng)過測試，在使用GPU加速的情況下處理一張1000×1000像素大小的圖片仍然需要3s的響應(yīng)時(shí)間，本文所述目標(biāo)檢測為實(shí)時(shí)檢測，因此該檢測框架并不合適。

YOLOv3，YOLO是“You Only Look Once”的簡稱，它是一種具有目標(biāo)跟蹤識(shí)別功能的檢測框架。YOLOv3借鑒了YOLOv1和YOLOv2的思想，既可以實(shí)現(xiàn)大目標(biāo)的檢測，也可以檢測小目標(biāo)，盡管不是最精確的算法，但它在檢測精度、檢測速度和檢測模型的健壯性方面都表現(xiàn)出色，因此，它可以滿足對(duì)檢測時(shí)間有要求的場景。

四、YOLOv3目標(biāo)檢測實(shí)現(xiàn)流程

YOLOv3實(shí)現(xiàn)目標(biāo)檢測的流程需要四個(gè)步驟，分別是標(biāo)記數(shù)據(jù)、訓(xùn)練模型、調(diào)用模型進(jìn)行驗(yàn)證、實(shí)現(xiàn)檢測。

（一）數(shù)據(jù)標(biāo)記

為了實(shí)現(xiàn)本文所述場景下的檢測，需要對(duì)不同的特征點(diǎn)進(jìn)行標(biāo)記，將正常的煙支打孔分為一類。只露出一半的打孔煙支分為一類，打孔不好的分為一類，沒有打上孔的分為一類，有異物的分為一類，通過對(duì)以上特征進(jìn)行分類標(biāo)記并對(duì)檢測模型進(jìn)行訓(xùn)練后，可實(shí)現(xiàn)對(duì)煙支正常激光打孔的識(shí)別、煙支異常激光打孔的識(shí)別、煙支無激光打孔的識(shí)別，同時(shí)識(shí)別出煙絲以及其他非正常現(xiàn)象而產(chǎn)生的誤檢驗(yàn)。

（二）YOLOv3檢測模型的模型訓(xùn)練

1.影響訓(xùn)練的模型的幾個(gè)關(guān)鍵參數(shù)及調(diào)整

一次性的數(shù)據(jù)輸入量，Batch Size 是每一次輸入訓(xùn)練模型的數(shù)據(jù)量。如果不使用Batch Size，則需要一次把訓(xùn)練數(shù)據(jù)全部輸入到訓(xùn)練模型中。該方法會(huì)使GPU產(chǎn)生數(shù)據(jù)大爆炸，無法完成訓(xùn)練。使用Batch Size可有效減小輸入模型的數(shù)據(jù)量，減少對(duì)訓(xùn)練顯卡的性能要求，但同時(shí)Batch Size的大小又對(duì)模型的訓(xùn)練效果產(chǎn)生影響，所以在具體實(shí)踐中應(yīng)該根據(jù)硬件的性能進(jìn)行設(shè)置。設(shè)置BatchSize要注意以下幾點(diǎn)：Batch Size設(shè)置過小可能會(huì)導(dǎo)致檢測模型無法進(jìn)行穩(wěn)定的收斂，達(dá)不到預(yù)期的檢測效果，尤其是當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜時(shí)；設(shè)置的Batch Size太小導(dǎo)致GPU無法發(fā)揮最佳性能，影響訓(xùn)練速度；當(dāng)Batch Size過大時(shí)，網(wǎng)絡(luò)很容易陷入局部最優(yōu)解，從而降低檢測模型的健壯性。GPU對(duì)2的冪次的Batch Size可以發(fā)揮更優(yōu)的性能[2]，因此將Batch Size設(shè)置為4、8、16……可以取得更優(yōu)的檢測效果。

2.學(xué)習(xí)率的選擇

學(xué)習(xí)率是模型訓(xùn)練中一個(gè)非常關(guān)鍵的技術(shù)參數(shù)，它能夠影響loss值的收斂速率，SGD、RMSprop、Adam等優(yōu)化算法都會(huì)考慮到學(xué)習(xí)率對(duì)模型收斂的影響。如果學(xué)習(xí)率過低，模型收斂會(huì)變得緩慢，而如果學(xué)習(xí)率太高[3]，則或許會(huì)造成模型震蕩區(qū)間太大，錯(cuò)過最優(yōu)解，從而使模型無法達(dá)到最佳檢測效果。從訓(xùn)練結(jié)果的檢測效果看，學(xué)習(xí)率設(shè)置為0.5、0.1、0.05、0.01、0.005，0.005、0.0001、0.00001幾個(gè)數(shù)值訓(xùn)練效果最佳，但具體需結(jié)合模型訓(xùn)練的情況做判斷對(duì)比，小的學(xué)習(xí)率收斂慢，但一般能得到好的訓(xùn)練結(jié)果。

3.檢測模型的選擇

如圖1所示，根據(jù)模型的訓(xùn)練結(jié)果，可以得出當(dāng)loss處于A點(diǎn)，模型處于欠擬合狀態(tài)，模型處于欠擬合狀態(tài)，將無法達(dá)到需要的檢測準(zhǔn)確率。當(dāng)val loss處于B點(diǎn)、train loss處于C點(diǎn)，模型處于過擬合狀態(tài)，對(duì)訓(xùn)練圖片會(huì)有很好的測試效果，但模型的健壯性較差，只會(huì)對(duì)訓(xùn)練的圖片有較好的檢測效果，將其部署到實(shí)際的檢測場景將無法達(dá)到檢測要求。所以，在選擇訓(xùn)練模型的時(shí)候要綜合考慮val loss和train loss，以使模型達(dá)到最佳檢測效果。此處的模型可以選擇D1或者D2點(diǎn)作為檢測模型，具體效果需要根據(jù)實(shí)際使用情況做調(diào)整。

4.置信度與非極大抑制調(diào)整

如圖2所示，當(dāng)訓(xùn)練完成對(duì)目標(biāo)檢測，但置信度跟非極大抑制沒有調(diào)整好，會(huì)出現(xiàn)很多重復(fù)的檢測框及錯(cuò)誤的檢測框，此時(shí)需要對(duì)置信度跟非極大抑制進(jìn)行調(diào)整。

置信度的調(diào)整：置信度是衡量檢測準(zhǔn)確度的一個(gè)指標(biāo)，具體體現(xiàn)在檢測框位置的準(zhǔn)確度、檢測類別的準(zhǔn)確度。在實(shí)際運(yùn)用中可將其設(shè)置為一個(gè)閾值過濾掉那些低置信度的檢測目標(biāo)，以達(dá)到檢測的準(zhǔn)確性，具體設(shè)置為多少需要根據(jù)實(shí)際的檢測情況進(jìn)行調(diào)整。

非極大抑制：檢測模型檢測到目標(biāo)后會(huì)生成多個(gè)檢測框，但只需要一個(gè)較準(zhǔn)確的檢測框，此時(shí)對(duì)檢測框進(jìn)行過濾留下檢測位置較準(zhǔn)確的檢測框，非極大抑制就是尋找局部最優(yōu)，過濾掉重復(fù)檢測框，該值設(shè)置越大留下的檢測框越少，具體設(shè)置為多少需根據(jù)實(shí)際的檢測情況進(jìn)行調(diào)整。

五、圖像增強(qiáng)

如果要對(duì)圖片進(jìn)行準(zhǔn)確地檢測，需要一張清晰的圖片。然而，由于光源、設(shè)備振動(dòng)和現(xiàn)場環(huán)境的影響，往往無法獲得滿足要求的圖片。此時(shí)，圖像增強(qiáng)就顯得尤為重要，常見的圖像增強(qiáng)方法有：

經(jīng)典的銳化算法：如Sobel算子、Laplacian算子等。這些算法都是通過對(duì)圖像進(jìn)行微分或二階微分，來提取圖像的邊緣信息，從而達(dá)到增強(qiáng)圖像清晰度的目的。這種方法是比較經(jīng)典和常用的，但是對(duì)于噪聲有一定的敏感性。并不適用于本項(xiàng)目場景。

基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法：利用CNN可以有效地學(xué)習(xí)和提取圖像中的特征信息，在圖像增強(qiáng)方面也有很好的應(yīng)用前景。比如使用圖像超分辨率方法使得圖像細(xì)節(jié)更加清晰。這種方法能夠?qū)δ：龍D像進(jìn)行有效地處理，但是可能需要耗費(fèi)較多的計(jì)算時(shí)間。并不適用于本項(xiàng)目場景。

伽馬圖像增強(qiáng)（Gamma Image Enhancement）是一種基于灰度非線性變換的圖像增強(qiáng)方法。它通過將原始圖像的像素進(jìn)行冪次變換，來提高圖像的對(duì)比度和清晰度。該方法是一種既簡單又有效的圖像增強(qiáng)方法，能夠提高圖像的清晰度和對(duì)比度，而且處理時(shí)間通常很短。對(duì)于500萬像素的圖片，使用伽馬增強(qiáng)可以在60ms內(nèi)完成處理。所以，相對(duì)于其他提高圖像清晰度的方法，伽馬圖像增強(qiáng)比較適合于本項(xiàng)目場景。

六、檢測速度提升

本文討論的是一種實(shí)時(shí)檢測方法，對(duì)檢測速度有一定的要求，為了在實(shí)時(shí)檢測中提高檢測速度，通常需要對(duì)圖像進(jìn)行縮小操作。然而，直接縮小圖像往往會(huì)導(dǎo)致一些問題，例如丟失目標(biāo)特征點(diǎn)、降低檢測準(zhǔn)確度等。為解決這些問題，可以使用圖像金字塔變換來處理圖像。圖像金字塔是一種用于圖像尺度空間分析的方法。它通過對(duì)原始圖像進(jìn)行連續(xù)采樣得到一系列不同尺度的子圖，這些子圖的大小不同，但保留了原始圖像的主要特征。具體來說，圖像金字塔一般由多層圖像組成，每層圖像的分辨率比前一層低，但其相對(duì)于前一層有2倍的線性比例尺度差異。這樣，在縮小圖像的同時(shí)仍然可以有效地保留圖像的主要特征點(diǎn)，避免因圖像變形造成的檢測誤差。

在實(shí)時(shí)檢測中，使用圖像金字塔變換可以快速地對(duì)多尺度圖像進(jìn)行處理，提高圖像處理和目標(biāo)檢測的效率和準(zhǔn)確性。通過使用圖像金字塔，可以有效地解決圖像縮小后丟失特征點(diǎn)的問題，同時(shí)保留圖像的主要特征，從而提高檢測準(zhǔn)確度[3]。通過圖像金字塔對(duì)圖片的壓縮處理，在檢測精度不變的情況下，檢測速度由原來的0.14s秒提高到0.07s，速度提高了一倍。

七、結(jié)論

將深度神經(jīng)網(wǎng)絡(luò)算法結(jié)合工業(yè)相機(jī)應(yīng)用到卷煙的產(chǎn)品外觀缺陷檢測具有很好的檢測效果，具有以下特點(diǎn)：檢測準(zhǔn)確率高，在生產(chǎn)現(xiàn)場的測試對(duì)連續(xù)性的煙支激光打孔異常具有99%的檢出率；抗干擾性強(qiáng)可以應(yīng)對(duì)復(fù)雜環(huán)境下的檢測需求；具有跟蹤識(shí)別功能，不受特征點(diǎn)位置限制；深度學(xué)習(xí)算法具有迭代訓(xùn)練功能，可以通過不斷擴(kuò)大訓(xùn)練集數(shù)據(jù)對(duì)檢測模型進(jìn)行迭代和訓(xùn)練，使其具備更強(qiáng)的檢測功能，提高檢測精度。在實(shí)際應(yīng)用中，隨著數(shù)據(jù)量的增大，檢測精度將會(huì)進(jìn)一步提升。

本文所述方法不僅可以應(yīng)用于煙支激光打孔的檢測，在煙草行業(yè)的其他復(fù)雜場景，也有很好的應(yīng)用前景。

參考文獻(xiàn)

[1]陶徐.機(jī)器視覺在煙盒包裝檢測中的應(yīng)用[D].昆明：昆明理工大學(xué)，2017.

[2]Redmon J ， Farhadi A .YOLOv3： An Incremental Improvement[J].arXiv e-prints，2018.

[3]李立宗.OpenCV輕松入門面向Python[M].北京：電子工業(yè)出版社，2019：215-225.

作者單位：廣西中煙工業(yè)有限責(zé)任公司柳州卷煙廠

■ 責(zé)任編輯：尚丹