陳智斌，農(nóng)英雄，梁冬，孫忱，韋屹，鐘征燕

廣西中煙工業(yè)有限責(zé)任公司信息中心，南寧市西鄉(xiāng)塘區(qū)北湖南路28號(hào)530001

在煙草行業(yè)，卷煙零售數(shù)據(jù)是煙草企業(yè)非常重視的數(shù)據(jù)信息。通過采集和分析零售戶的卷煙零售數(shù)據(jù)，可以獲知零售戶、片區(qū)的銷售趨勢(shì)，用于指導(dǎo)品牌規(guī)格投放，從而提高煙草企業(yè)經(jīng)營(yíng)管理水平。然而傳統(tǒng)的卷煙零售數(shù)據(jù)采集技術(shù)，無論是依賴于市場(chǎng)人員到零售戶處進(jìn)行采集，還是布設(shè)POS系統(tǒng)要求零售戶掃碼記錄，均容易出現(xiàn)漏報(bào)、瞞報(bào)等問題，準(zhǔn)確性和覆蓋性不強(qiáng)，進(jìn)而導(dǎo)致卷煙零售數(shù)據(jù)質(zhì)量欠佳，亟需建立卷煙零售數(shù)據(jù)自動(dòng)化采集系統(tǒng)。自動(dòng)化采集系統(tǒng)的核心是卷煙牌號(hào)的正確識(shí)別。為了在數(shù)據(jù)采集過程中不干擾傳統(tǒng)購(gòu)煙流程，因此需結(jié)合卷煙零售店實(shí)際場(chǎng)景設(shè)計(jì)一種能準(zhǔn)確識(shí)別卷煙牌號(hào)的方法。目前，圖像識(shí)別技術(shù)是物體識(shí)別的主流技術(shù)，能夠?qū)崿F(xiàn)較高的準(zhǔn)確率，在煙草行業(yè)有較多的研究與應(yīng)用。涂勇濤等［1］、翁迅等［2］、馮春等［3］、顏西斌［4］、曹冬梅等［5］均對(duì)條煙識(shí)別開展了研究，條煙識(shí)別的準(zhǔn)確率和效率已取得較大提升，可基本滿足工業(yè)化自動(dòng)生產(chǎn)線的需求，但這些算法需要特殊的設(shè)備或者光源條件才能保證較好的識(shí)別準(zhǔn)確率，而這種條件在實(shí)際零售場(chǎng)景中難以具備。王鵬［6］提出了一種基于OCR視覺技術(shù)的煙箱品牌識(shí)別技術(shù)，但該方法要求的識(shí)別條件過于嚴(yán)格，實(shí)際場(chǎng)景中識(shí)別效率不高。謝志峰等［7］提出一種煙碼智能識(shí)別方法，可以實(shí)現(xiàn)煙碼的快速識(shí)別，但其識(shí)別準(zhǔn)確率易受煙碼圖像傾斜角度的影響，魯棒性較弱?？傮w上看，現(xiàn)有算法難以滿足卷煙零售場(chǎng)景下卷煙牌號(hào)識(shí)別的需求。近年來，深度學(xué)習(xí)技術(shù)在圖像識(shí)別領(lǐng)域得到快速應(yīng)用［8］，其識(shí)別準(zhǔn)確率、魯棒性較傳統(tǒng)的圖像識(shí)別方法有較大提升，在各類圖像識(shí)別的競(jìng)賽任務(wù)中均有優(yōu)異表現(xiàn)。因此，提出了一種基于深度學(xué)習(xí)的卷煙牌號(hào)識(shí)別方法，以期滿足卷煙零售數(shù)據(jù)自動(dòng)化采集過程中準(zhǔn)確識(shí)別卷煙牌號(hào)的需求。

1 總體設(shè)計(jì)

1.1 系統(tǒng)結(jié)構(gòu)

卷煙牌號(hào)識(shí)別硬件系統(tǒng)主要由高清彩色攝像頭和工控機(jī)組成，其中攝像頭具備10倍變焦能力，可保證攝像頭安裝在4 m的高度內(nèi)通過調(diào)節(jié)參數(shù)來獲取清晰的圖片；工控機(jī)配備1080 Ti顯卡，滿足深度學(xué)習(xí)算法對(duì)計(jì)算資源的需求。結(jié)合卷煙零售店實(shí)際場(chǎng)景，通過分析消費(fèi)者的購(gòu)煙流程可知，消費(fèi)者的購(gòu)煙過程離不開結(jié)算環(huán)節(jié)，而此環(huán)節(jié)發(fā)生在結(jié)算臺(tái)位置區(qū)域。為了不改變?cè)匈?gòu)煙流程并減少攝像頭對(duì)消費(fèi)者的干擾，將攝像頭安裝在結(jié)算臺(tái)正上方，把結(jié)算臺(tái)作為卷煙牌號(hào)識(shí)別區(qū)域，當(dāng)?shù)陠T將卷煙放到結(jié)算臺(tái)時(shí)進(jìn)行卷煙牌號(hào)識(shí)別，系統(tǒng)結(jié)構(gòu)見圖1。

圖1卷煙牌號(hào)識(shí)別系統(tǒng)結(jié)構(gòu)圖Fig.1 Structure of cigarette brand recognition system

1.2 技術(shù)路線

將卷煙牌號(hào)識(shí)別方法分成卷煙檢測(cè)、卷煙姿態(tài)矯正、卷煙特征提取和卷煙特征檢索4個(gè)部分，其中：卷煙檢測(cè)算法是基于CenterNet思想設(shè)計(jì)的檢測(cè)模型，負(fù)責(zé)檢測(cè)卷煙在圖像中的位置和姿態(tài)，其他物體都認(rèn)為是背景；卷煙姿態(tài)矯正算法通過射影變換矯正卷煙姿態(tài)，生成卷煙的正向圖像；卷煙特征提取算法采用Darknet53作為特征提取網(wǎng)絡(luò)，負(fù)責(zé)提取卷煙正向圖像的特征；卷煙特征檢索算法通過歐式距離閾值從卷煙特征庫(kù)中檢索出與當(dāng)前特征對(duì)應(yīng)的卷煙特征和牌號(hào)信息，核心技術(shù)路線如圖2所示。

圖2卷煙牌號(hào)識(shí)別方法技術(shù)路線圖Fig.2 Roadmap of cigarette brand recognition method

2 算法設(shè)計(jì)

2.1 卷煙檢測(cè)

深度學(xué)習(xí)常用的目標(biāo)檢測(cè)框架有Faster RCNN、SSD系 列、YOLO系 列 和CenterNet等，其中Faster RCNN算法的優(yōu)點(diǎn)是目標(biāo)檢測(cè)精確度高，但缺點(diǎn)是檢測(cè)時(shí)間過長(zhǎng)，難以滿足實(shí)時(shí)性要求［9］；SSD系列和YOLO系列都是端到端的目標(biāo)檢測(cè)算法，其檢測(cè)速度相比Faster RCNN有較大提升，且精度下降較少，可以在精度和實(shí)時(shí)性之間實(shí)現(xiàn)較好的平衡［10-11］；而CenterNet是新一代目標(biāo)檢測(cè)框架，其將目標(biāo)檢測(cè)任務(wù)視為一種關(guān)鍵點(diǎn)估計(jì)任務(wù)，并可用于3D檢測(cè)和人體姿態(tài)估計(jì)等多種任務(wù)中，具備良好的通用性，且相比SSD和YOLO有更好的檢測(cè)精度和實(shí)時(shí)性［12］。因此，為更好地實(shí)現(xiàn)卷煙的位置和姿態(tài)檢測(cè)，基于CenterNet設(shè)計(jì)卷煙檢測(cè)算法。

2.1.1 卷煙檢測(cè)定義

卷煙檢測(cè)任務(wù)包含卷煙的位置檢測(cè)和姿態(tài)檢測(cè)，其中位置檢測(cè)輸出卷煙的中心點(diǎn)位置pc（xc，yc）和卷煙包圍框的高度h與寬度w；姿態(tài)檢測(cè)輸出每盒卷煙4個(gè)角點(diǎn)的位置，分別為p1（x1，y1），p2（x2，y2），p3（x3，y3），p4（x4，y4），其 中x1≥x2≥x3≥x4，卷 煙 檢 測(cè) 實(shí) 例 如 圖3a所示。在卷煙檢測(cè)中，卷煙姿態(tài)信息具有重要作用，通過姿態(tài)矯正可以減少圖像背景或者其他卷煙局部圖像的干擾。如在圖3b中，由于兩盒卷煙靠得較近，如果只有卷煙位置檢測(cè)，那么卷煙檢測(cè)框中互相包含了相鄰卷煙圖像的一部分，將這些圖像直接送入卷煙特征提取網(wǎng)絡(luò)，易給卷煙特征提取網(wǎng)絡(luò)帶來二義性，不利于提升識(shí)別準(zhǔn)確率。

圖3卷煙檢測(cè)實(shí)例Fig.3 Example of cigarette brand detection

2.1.2 卷煙檢測(cè)算法設(shè)計(jì)

假設(shè)圖像的輸入為I∈RW×H×3，其中W和H是圖像的寬度和高度。令為卷煙位置檢測(cè)輸出的卷煙中心點(diǎn)熱力圖，其中T是熱力圖的步長(zhǎng)，此處采用表示在坐標(biāo)（x，y）處檢測(cè)到卷煙中心點(diǎn)，而則 表 示 背 景。對(duì)于每盒卷煙的Ground Truth中心點(diǎn)p∈R2，計(jì)算p在熱力圖的坐標(biāo)點(diǎn)并采用高斯核Yxy=在熱力圖上生成所有中心點(diǎn)的高斯分布，以此作為Ground Truth熱力圖。其中σp是目標(biāo)尺寸自適應(yīng)的標(biāo)準(zhǔn)差，當(dāng)1個(gè)坐標(biāo)點(diǎn)有多個(gè)中心點(diǎn)產(chǎn)生的高斯分布值時(shí)，選擇最大的值作為該點(diǎn)的值。中心點(diǎn)熱力圖的訓(xùn)練目標(biāo)是實(shí)現(xiàn)像素級(jí)的邏輯回歸，損失函數(shù)采用focal loss，其損失值Lk如式（1）所示。其中α和β是超參數(shù)，此處使用α=2，β=4，N為輸入圖像中含有的中心點(diǎn)數(shù)量。

中心點(diǎn)坐標(biāo)在下采樣的過程中產(chǎn)生了離散誤差，為彌補(bǔ)該離散誤差，需另外預(yù)測(cè)每個(gè)中心點(diǎn)的局部偏移量損失函數(shù)采用L1，其損失值Loff如式（2）所示。其中為在中心點(diǎn)預(yù)測(cè)的局部偏移量為下采樣時(shí)產(chǎn)生的真實(shí)離散誤差。

卷煙姿態(tài)檢測(cè)將卷煙4個(gè)角點(diǎn)的位置估計(jì)轉(zhuǎn)化成角點(diǎn)對(duì)中心點(diǎn)偏移量的估計(jì)。令為第k個(gè)卷煙的4個(gè)角點(diǎn)，中心點(diǎn)坐標(biāo)為則4個(gè)角點(diǎn)相對(duì)中心點(diǎn)的偏移量在預(yù)測(cè)卷煙中心點(diǎn)位置的基礎(chǔ)上，增加預(yù)測(cè)卷煙4個(gè)角點(diǎn)相對(duì)中心點(diǎn)的偏移量損失函數(shù)采用L1，其損失值Lc如式（4）所示。

為了更加精確定位卷煙角點(diǎn)的位置，可進(jìn)一步預(yù)測(cè)卷煙角點(diǎn)的熱力圖和每個(gè)卷煙角點(diǎn)的局部偏移量與卷煙中心點(diǎn)預(yù)測(cè)方法類似，令卷煙角點(diǎn)熱力圖的損失值為L(zhǎng)k-c，角點(diǎn)局部偏移的損失值為L(zhǎng)off-c，則卷煙檢測(cè)任務(wù)的總體損失值Ltotal如式（5）所示。其中λsize、λoff和λoff-c是權(quán)重參數(shù)。

卷煙檢測(cè)任務(wù)的主干網(wǎng)絡(luò)采用修改后的深層聚合模型DLA-34［13］，其模型結(jié)構(gòu)如圖4所示。其中框內(nèi)的數(shù)字是指相對(duì)原始圖像的下采樣系數(shù)，對(duì)于輸入尺寸為512 px×512 px的圖像，其輸出尺寸為128 px×128 px。在主干網(wǎng)絡(luò)提取卷煙圖像的特征后，直接回歸出卷煙的中心點(diǎn)熱力圖、卷煙中心點(diǎn)偏移量、卷煙包圍框尺寸、卷煙角點(diǎn)相對(duì)中心點(diǎn)的偏移、卷煙角點(diǎn)熱力圖和卷煙角點(diǎn)局部偏移量這6類信息。對(duì)于卷煙角點(diǎn)熱力圖檢測(cè)出來的角點(diǎn)，其每個(gè)角點(diǎn)互相獨(dú)立，不屬于具體的卷煙實(shí)例，而通過卷煙角點(diǎn)相對(duì)中心點(diǎn)的偏移量預(yù)測(cè)出來的卷煙角點(diǎn)則對(duì)應(yīng)于具體的卷煙實(shí)例，將這些角點(diǎn)綁定到和其最近的獨(dú)立卷煙角點(diǎn)上，完成獨(dú)立卷煙角點(diǎn)和卷煙實(shí)例的關(guān)聯(lián)，把綁定好的獨(dú)立卷煙角點(diǎn)作為該卷煙實(shí)例的姿態(tài)檢測(cè)結(jié)果。

圖4模型結(jié)構(gòu)圖Fig.4 Diagram of model architecture

2.1.3 數(shù)據(jù)處理與模型訓(xùn)練

卷煙檢測(cè)訓(xùn)練集包含5 000張?jiān)谡鎸?shí)卷煙零售店采集的圖片，有1 920 px×1 080 px、1 080 px×1 080 px和640 px×480 px 3種像素尺寸。由于模型訓(xùn)練時(shí)輸入圖片的分辨率統(tǒng)一為512 px×512 px，為減少直接縮放圖像導(dǎo)致的圖像變形，在1 920 px×1 080 px的圖像下方填充1 920 px×840 px的黑色圖像，形成1 920 px×1 920 px正方形圖像，同理填充640 px×480 px的圖像形成640 px×640 px的圖像。

模型訓(xùn)練時(shí)將學(xué)習(xí)率設(shè)置為1.25e-4，批處理大小為32。權(quán)重參數(shù)λsize設(shè)置為0.1，λoff=1和λoff-c=1［12］。在裝備2個(gè)英偉達(dá)TITAN X GPU的服務(wù)器上訓(xùn)練320 epochs，并在100，200，300 epochs時(shí)將學(xué)習(xí)率縮放為原來的1/10。為提升模型訓(xùn)練效果，在訓(xùn)練過程中采用隨機(jī)裁剪和隨機(jī)縮放等數(shù)據(jù)增強(qiáng)方法，并采用Adam來優(yōu)化總體的目標(biāo)。

2.2 卷煙姿態(tài)矯正

卷煙的正向圖像定義為由卷煙的4個(gè)角點(diǎn)形成的矩形圖像，矩形圖像與豎直方向的夾角為0°，且高度大于寬度。由于攝像頭安裝時(shí)可能存在一定偏轉(zhuǎn)角，以及卷煙售賣過程中姿態(tài)各異，導(dǎo)致通過卷煙包圍框截取出來的卷煙圖像不是正向圖像，可能包含較多的背景信息，這對(duì)卷煙識(shí)別帶來不利影響，需利用卷煙姿態(tài)信息通過平面射影變換完成卷煙的姿態(tài)矯正，生成卷煙的正向圖像。令p1，p2，p3是原始圖像上3個(gè)共線的點(diǎn)，而是射影變換后的3個(gè)點(diǎn)，射影變換滿足p'=Hp，如式（6）所示。

H是一個(gè)齊次矩陣，具備8個(gè)自由度，可通過變換前后的4對(duì)點(diǎn)求出矩陣的解。令卷煙檢測(cè)輸出的4角點(diǎn)p1（x1，y1），p2（x2，y2），p3（x3，y3），p4（x4，y4）為變換前的4個(gè)點(diǎn)，計(jì)算p1到p2距離的距離，則變換后對(duì)應(yīng)的4個(gè)點(diǎn)按如下方式確定：

由射影變換前后的4對(duì)點(diǎn)求出矩陣的解H后，將原始卷煙圖像進(jìn)行射影變換，并截取變換后4個(gè)角點(diǎn)組成的矩形區(qū)域作為卷煙正向圖像，卷煙姿態(tài)矯正實(shí)例如圖5所示。

圖5卷煙姿態(tài)矯正實(shí)例Fig.5 Example of cigarette pose correction

2.3 卷煙特征提取

優(yōu)良的特征可以很好地表征一個(gè)物體的特性，從而獲得較高的物體識(shí)別正確率。本研究中選擇Darknet53模型作為卷煙特征的提取模型，該模型具備優(yōu)良的特征提取能力，同時(shí)可以在運(yùn)行速度和準(zhǔn)確性之間實(shí)現(xiàn)平衡，具備非常靈活的特點(diǎn)［14］。

卷煙特征提取模型的訓(xùn)練集包含10 000張卷煙正向圖片，由于卷煙存在正反面之分，而且某些牌號(hào)正反面的特征存在較大的差異。如果將卷煙的正反面都視為同一類別，將對(duì)模型訓(xùn)練的收斂帶來不利影響，因此在訓(xùn)練卷煙特征提取網(wǎng)絡(luò)時(shí)需要將卷煙正反面分成兩種不同的類別。訓(xùn)練數(shù)據(jù)集在標(biāo)注完成后，類別數(shù)量為210類。模型訓(xùn)練時(shí)統(tǒng)一將輸入圖片分辨率縮放成448 px×448 px。為提升模型訓(xùn)練效果，在訓(xùn)練過程中采用隨機(jī)裁剪、隨機(jī)翻轉(zhuǎn)、圖像色彩調(diào)整等數(shù)據(jù)增強(qiáng)方法。設(shè)置學(xué)習(xí)率為1.0e-3，動(dòng)量設(shè)置為0.9，批處理大小為64，在裝備2個(gè)英偉達(dá)TITAN X GPU的服務(wù)器上訓(xùn)練20 000次。

2.4 卷煙特征庫(kù)構(gòu)建

卷煙特征庫(kù)是用于存放每個(gè)卷煙特征向量和對(duì)應(yīng)牌號(hào)信息的云端數(shù)據(jù)庫(kù)。實(shí)際應(yīng)用中，選擇Darknet53最后卷積層的輸入作為卷煙的特征，該特征是1 024維的向量。為了提高識(shí)別的準(zhǔn)確率，卷煙正反面可保存多個(gè)特征，因此一個(gè)卷煙牌號(hào)將對(duì)應(yīng)多個(gè)特征，其對(duì)應(yīng)關(guān)系見圖6。

圖6卷煙牌號(hào)和特征對(duì)應(yīng)關(guān)系圖Fig.6 Corresponding diagram of cigarette brand and features

根據(jù)卷煙牌號(hào)和特征的對(duì)應(yīng)關(guān)系，在卷煙特征庫(kù)建立數(shù)據(jù)表，見表1。在卷煙數(shù)據(jù)集中為每種卷煙牌號(hào)的正反面選擇合適數(shù)量的正向圖片，使用Darknet53特征提取模型對(duì)正向圖片進(jìn)行特征向量提取，并把特征向量和對(duì)應(yīng)的卷煙牌號(hào)信息保存至數(shù)據(jù)表中，以完成卷煙的信息注冊(cè)。待全部卷煙完成注冊(cè)之后，卷煙特征庫(kù)則構(gòu)建完畢。對(duì)于卷煙新產(chǎn)品或新包裝，采用以上相同方式完成卷煙的信息注冊(cè)，即可具備對(duì)該卷煙的識(shí)別能力，無需重新訓(xùn)練卷煙特征提取模型。

表1卷煙牌號(hào)和特征數(shù)據(jù)表Tab.1 Data of cigarette brand and features

2.5 卷煙特征檢索

卷煙特征檢索是通過計(jì)算待識(shí)別特征和卷煙特征庫(kù)中每個(gè)特征的歐氏距離，從中選出歐式距離最小的值，當(dāng)該值小于指定的歐氏距離閾值時(shí)，則判定兩個(gè)特征是同一牌號(hào)，否則不是同一牌號(hào)。由此在使用卷煙特征檢索前，需要確定歐式距離的閾值。選取2 000張未經(jīng)卷煙特征提取模型訓(xùn)練使用過的，且未在卷煙特征庫(kù)注冊(cè)過的卷煙正向圖片，形成圖片集P。使用卷煙特征提取網(wǎng)絡(luò)對(duì)圖片集P進(jìn)行特征提取，生成F特征集，通過以下偽代碼的方法確定出閾值：

對(duì)于在F特征集中的每一個(gè)特征fi：

計(jì)算fi與卷煙特征庫(kù)里每一個(gè)特征的歐式距離，記錄最小值時(shí)的特征fi'和距離值ei；

如果fi和fi'的牌號(hào)一致，則vi=1，否則vi=0；

將ei和vi形成鍵值對(duì)＜ei，vi＞加入到鍵值列表List中；

將List按照ei降序排序；

正確計(jì)數(shù)count=0；

對(duì)于在List中的每一個(gè)鍵值對(duì)＜ek，vk＞：

ifek＜thresholdandvk=1，則正確計(jì)數(shù)count加1，否則不加；

索引index增加1；

threshold=List中索引為index的ei值。

3 應(yīng)用效果

3.1 材料與方法

為了測(cè)試卷煙牌號(hào)識(shí)別方法的魯棒性，在廣西南寧市若干卷煙零售店按圖1方式安裝攝像頭，采集不同店鋪、不同卷煙牌號(hào)的圖片，生成I1、I2、I3和I4測(cè)試集。其中測(cè)試集I1是包含有1 000張、105種卷煙牌號(hào)的圖片集合，該測(cè)試集的卷煙牌號(hào)是全部在訓(xùn)練集中出現(xiàn)過的產(chǎn)品；測(cè)試集I2是包含有200張、20種卷煙牌號(hào)的圖片集合，該測(cè)試集的卷煙牌號(hào)是未在訓(xùn)練集中出現(xiàn)過的新產(chǎn)品；測(cè)試集I3是由測(cè)試集I1真實(shí)的卷煙姿態(tài)矯正后生成的卷煙正向圖片集，該測(cè)試集包含有1 896張圖片，105種卷煙牌號(hào)；測(cè)試集I4是由測(cè)試集I2真實(shí)的卷煙姿態(tài)矯正后生成的卷煙正向圖片集，該測(cè)試集包含有364張圖片，20種卷煙牌號(hào)。測(cè)試工控機(jī)配置CPU型號(hào)為i7-8700，GPU型號(hào)為GTX1080Ti，Pytorch版本為1.1.0，CUDA版本為9.0，CUDNN版本為7.1。卷煙牌號(hào)識(shí)別方法的測(cè)試分為4個(gè)部分，分別為：

（1）卷煙檢測(cè)模型測(cè)試。在測(cè)試工控機(jī)上采用I1和I2測(cè)試集對(duì)卷煙檢測(cè)模型進(jìn)行速度和精度測(cè)試，其中I1用于測(cè)試對(duì)已訓(xùn)練過的卷煙的泛化檢測(cè)能力；I2用于測(cè)試對(duì)新卷煙產(chǎn)品的泛化檢測(cè)能力。

（2）卷煙特征提取模型測(cè)試。在測(cè)試工控機(jī)上采用I3測(cè)試集對(duì)卷煙特征提取模型進(jìn)行速度和準(zhǔn)確率測(cè)試，通過識(shí)別準(zhǔn)確率的高低來判斷模型對(duì)卷煙特征提取能力的強(qiáng)弱。

（3）卷煙特征檢索識(shí)別方法測(cè)試。卷煙特征檢索識(shí)別方法指的是輸入卷煙正向圖像，采用卷煙特征提取模型提取該卷煙的特征，然后通過歐式距離閾值從卷煙特征庫(kù)中檢索出最符合條件的特征，并通過該特征獲得對(duì)應(yīng)的牌號(hào)。在測(cè)試工控機(jī)上采用I3和I4測(cè)試集對(duì)卷煙特征檢索識(shí)別方法進(jìn)行速度和準(zhǔn)確率測(cè)試，其中I3用于測(cè)試對(duì)已訓(xùn)練過的卷煙的泛化檢索識(shí)別能力；I4用于測(cè)試對(duì)新卷煙產(chǎn)品的泛化檢索識(shí)別能力。需注意的是，為了具備對(duì)I3和I4測(cè)試集中各卷煙牌號(hào)的檢索能力，已提前為每個(gè)卷煙牌號(hào)完成特征注冊(cè)和歐式距離閾值的確定。注冊(cè)過程為：先為每個(gè)卷煙牌號(hào)選擇正反面圖片各5張，然后通過卷煙特征提取模型提取各圖片的特征，最后將特征和卷煙牌號(hào)保存到卷煙特征庫(kù)中，注冊(cè)完成后卷煙特征庫(kù)的特征數(shù)量為1 250。歐式距離閾值按2.5節(jié)方式確定為

threshold=8.5。

（4）卷煙牌號(hào)識(shí)別方法整體測(cè)試。在測(cè)試工控機(jī)上采用I1和I2測(cè)試集對(duì)卷煙牌號(hào)識(shí)別方法進(jìn)行準(zhǔn)確率測(cè)試。測(cè)試時(shí)，記在正確位置標(biāo)記正確的卷煙牌號(hào)為一個(gè)正確樣例，在不正確位置標(biāo)記牌號(hào)、在正確的位置漏標(biāo)記牌號(hào)和在正確的位置標(biāo)記錯(cuò)誤牌號(hào)都記為錯(cuò)誤樣例，識(shí)別方法的正確率記為

3.2 測(cè)試結(jié)果分析

3.2.1 卷煙檢測(cè)模型測(cè)試結(jié)果

在測(cè)試集I1和I2上完成卷煙檢測(cè)模型的速度和精度測(cè)試。測(cè)試結(jié)果顯示幀率為21.6幀/s，在測(cè)試集I1的位置檢測(cè)單類平均精度（Average Precision，AP）為95.6%，姿態(tài)檢測(cè)多類平均精度（mean Average Precision，mAP）為93.4%；在測(cè)試集I2的位置檢測(cè)AP為94.9%，姿態(tài)檢測(cè)mAP為93.1%。結(jié)果表明：卷煙檢測(cè)模型在兩個(gè)數(shù)據(jù)集上均表現(xiàn)出較高的精度，體現(xiàn)模型對(duì)訓(xùn)練過的卷煙和新卷煙產(chǎn)品都具備良好的檢測(cè)性能。

3.2.2 卷煙特征提取模型測(cè)試結(jié)果

在測(cè)試集I3上完成卷煙特征提取模型的速度和準(zhǔn)確率測(cè)試。測(cè)試結(jié)果顯示幀率為35.7幀/s，準(zhǔn)確率為99.7%。結(jié)果表明：卷煙特征提取模型對(duì)卷煙具備較強(qiáng)的特征提取能力，可提取出較準(zhǔn)確的卷煙特征。

3.2.3 卷煙特征檢索識(shí)別方法測(cè)試結(jié)果

在測(cè)試集I3和I4上完成卷煙特征檢索識(shí)別方法的速度和準(zhǔn)確率測(cè)試。測(cè)試結(jié)果顯示幀率為33.6幀/s，測(cè)試集I3的準(zhǔn)確率為99.3%，測(cè)試集I4的準(zhǔn)確率為98.9%。結(jié)果表明：卷煙特征檢索識(shí)別方法在兩個(gè)數(shù)據(jù)集上均表現(xiàn)出較高的識(shí)別準(zhǔn)確率，體現(xiàn)該方法對(duì)訓(xùn)練過的卷煙和新卷煙產(chǎn)品都具備良好的檢索識(shí)別能力。

3.2.4 卷煙牌號(hào)識(shí)別方法整體測(cè)試結(jié)果

在測(cè)試集I1和I2上完成卷煙牌號(hào)識(shí)別方法的準(zhǔn)確率測(cè)試。測(cè)試結(jié)果顯示測(cè)試集I1的準(zhǔn)確率為98.1%，在測(cè)試集I2的準(zhǔn)確率為97.5%，綜合I1和I2兩個(gè)數(shù)據(jù)集的準(zhǔn)確率為98.0%。結(jié)果表明：卷煙牌號(hào)識(shí)別方法對(duì)訓(xùn)練過的卷煙和新卷煙產(chǎn)品都具備較好的識(shí)別能力，總體的識(shí)別準(zhǔn)確率達(dá)到98.0%，滿足數(shù)據(jù)采集準(zhǔn)確率90%的需求。圖7為卷煙牌號(hào)識(shí)別方法的應(yīng)用實(shí)例，煙盒圖像區(qū)域上的藍(lán)底字符串為識(shí)別結(jié)果，表明該方法可在復(fù)雜背景下實(shí)現(xiàn)卷煙牌號(hào)的準(zhǔn)確識(shí)別。

圖7卷煙牌號(hào)識(shí)別實(shí)例Fig.7 Example of cigarette brand recognition

4 結(jié)論

針對(duì)自動(dòng)化采集卷煙零售數(shù)據(jù)中卷煙牌號(hào)識(shí)別的需求，提出一種基于深度學(xué)習(xí)的卷煙牌號(hào)識(shí)別方法，該方法首先采用卷煙檢測(cè)算法檢測(cè)卷煙在圖像中的位置和姿態(tài)，其次通過卷煙姿態(tài)矯正生成卷煙的正向圖像，然后使用卷煙特征提取模型提取卷煙正向圖像的特征，最后通過歐式距離閾值從卷煙特征庫(kù)檢索出與該待識(shí)別特征最相符的卷煙特征，由卷煙特征和牌號(hào)的關(guān)系得到待識(shí)別特征的牌號(hào)。以在卷煙零售場(chǎng)景中采集的數(shù)據(jù)集為對(duì)象，對(duì)該方法進(jìn)行了測(cè)試，結(jié)果表明：該方法的識(shí)別準(zhǔn)確率達(dá)98.0%，滿足數(shù)據(jù)采集的準(zhǔn)確性要求。同時(shí)，對(duì)于新卷煙產(chǎn)品，只需將該卷煙注冊(cè)到卷煙特征庫(kù)中即可具備對(duì)其識(shí)別的能力，無需重新訓(xùn)練模型，具備良好的泛化性能。該方法的不足之處主要有：①需要在工控機(jī)上配備GPU，硬件成本較高；②要求卷煙煙盒具備4個(gè)角點(diǎn)，對(duì)其他形狀煙盒（如圓角煙盒）的識(shí)別可能效果不佳；③要求把卷煙放在結(jié)算臺(tái)識(shí)別區(qū)才可以完成識(shí)別?；谏鲜霾蛔?，如何降低成本、擴(kuò)展煙盒適應(yīng)性和實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景識(shí)別等方面仍需進(jìn)一步研究。