暴泰焚，焦慧敏，張皓，齊元?jiǎng)伲瑓侵均i

（北京印刷學(xué)院，北京 102600）

0 引言

目前印刷包裝過(guò)程中的很多產(chǎn)品從外觀來(lái)看具有數(shù)學(xué)上的反射對(duì)稱關(guān)系，通俗地說(shuō)有左右之分，例如手套，鞋子，無(wú)線藍(lán)牙耳機(jī)等，這些產(chǎn)品在包裝前后需要識(shí)別左右以完成分揀，多數(shù)情況下主要依賴人工識(shí)別和手動(dòng)分揀，自動(dòng)化程度較低，效率低下，且人在長(zhǎng)時(shí)間重復(fù)一項(xiàng)工作時(shí)容易疲倦而造成錯(cuò)檢漏檢，嚴(yán)重影響了產(chǎn)品質(zhì)量。針對(duì)此實(shí)際問(wèn)題，可以考慮應(yīng)用計(jì)算機(jī)視覺(jué)技術(shù)，搭載相應(yīng)的圖像采集裝置，代替人工操作，完成這類產(chǎn)品的自動(dòng)快速準(zhǔn)確識(shí)別。本文以醫(yī)用外科手套在生產(chǎn)脫模后左右手套識(shí)別為例進(jìn)行實(shí)驗(yàn)研究，旨在提升生產(chǎn)包裝過(guò)程的自動(dòng)化程度及反射對(duì)稱關(guān)系物體的檢測(cè)識(shí)別效率。

近年來(lái)運(yùn)用深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)技術(shù)突飛猛進(jìn)，其中卷積神經(jīng)網(wǎng)絡(luò)（CNN）顯著提高了計(jì)算機(jī)視覺(jué)、圖像處理等諸多任務(wù)的性能[1]，之后在CNN的基礎(chǔ)上又發(fā)展出了許多目標(biāo)檢測(cè)架構(gòu)，例如RCNN[2]，SPP-Net[3]，F(xiàn)ast-RCNN[4]，F(xiàn)aster-RCNN[5]，YOLO[6]等等。關(guān)于反射對(duì)稱關(guān)系物體檢測(cè)識(shí)別的相關(guān)研究方法也由傳統(tǒng)機(jī)器學(xué)習(xí)算法發(fā)展到以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)算法。比如張生軍等[7]使用主成分分析法對(duì)手部特征降維，并通過(guò)左手、右手和雙手遮擋3種模式進(jìn)行匹配達(dá)到左右手判別的目的。De Bellis等[8]利用人手解剖學(xué)特征構(gòu)建了人手的經(jīng)驗(yàn)?zāi)Ｐ?并構(gòu)造了決策樹(shù)分類器來(lái)區(qū)分用戶的左右手。崔欣等[9]基于人工神經(jīng)網(wǎng)絡(luò)，在皮膚顏色模型的基礎(chǔ)上提出了一種基于多色彩通道和鄰居投票的人手輪廓線提取方法，通過(guò)人手分割特征提取完成了左右手識(shí)別流程。汪飛躍等[10]使用柔性力敏傳感器獲取足底壓力動(dòng)態(tài)數(shù)據(jù)，結(jié)合腳印外觀形狀實(shí)現(xiàn)了左右腳動(dòng)態(tài)識(shí)別，并驗(yàn)證了所用方法的魯棒性。鐘志權(quán)等[11]提出并驗(yàn)證了首個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)，用于左右眼自動(dòng)判別，在識(shí)別具有多變性的眼底圖像時(shí)體現(xiàn)出高度的魯棒性。琚恭偉等[12]采用YOLOv5目標(biāo)檢測(cè)算法，研究了醫(yī)用外科手套生產(chǎn)過(guò)程中的左右手識(shí)別，使用固定式攝像頭獲得同一背景、同一主體、不同狀態(tài)的數(shù)據(jù)集，通過(guò)復(fù)制數(shù)據(jù)集的方法對(duì)比不同訓(xùn)練模型的測(cè)試結(jié)果，得出了相同的數(shù)據(jù)集復(fù)制多份可以增加訓(xùn)練模型準(zhǔn)確性的結(jié)論。高溯等[13]開(kāi)發(fā)了基于機(jī)器視覺(jué)和卷積神經(jīng)網(wǎng)絡(luò)算法的左右手識(shí)別模型，通過(guò)將獨(dú)立采集的左右手原始數(shù)據(jù)集與運(yùn)用OTSU算法二值化后的數(shù)據(jù)集的學(xué)習(xí)精度對(duì)比，證明了數(shù)據(jù)增強(qiáng)方法的合理性。

本文使用一種基于Transformer的端到端目標(biāo)檢測(cè)（Detection Transformer，DETR）算法，以自制的醫(yī)用外科手套左右手圖像數(shù)據(jù)集為例進(jìn)行訓(xùn)練，并基于python中的imgaug庫(kù)函數(shù)實(shí)施一種數(shù)據(jù)增強(qiáng)策略，保持圖像和標(biāo)注框同步改變，從而實(shí)現(xiàn)圖片與對(duì)應(yīng)標(biāo)注文件同時(shí)增強(qiáng)，以擴(kuò)充數(shù)據(jù)量并增加類型多樣性，極大減少人工標(biāo)注，同時(shí)可以緩解模型訓(xùn)練時(shí)的過(guò)擬合現(xiàn)象，以達(dá)到增強(qiáng)算法模型準(zhǔn)確性與適應(yīng)性、提高反射對(duì)稱關(guān)系物體檢測(cè)識(shí)別的準(zhǔn)確率與效率的目的。

1 DETR算法整體框架與原理

DETR (Detection Transformer)目標(biāo)檢測(cè)算法，是Facebook AI的研究者提出的Transformer視覺(jué)版本，通常應(yīng)用在目標(biāo)檢測(cè)與全景分割領(lǐng)域。與Faster-RCNN、YOLOv5等目標(biāo)檢測(cè)算法相比，DETR不再需要諸多手工設(shè)計(jì)組件，例如非最大值抑制（Non-Maximum Suppression,NMS）、錨定（Anchor）生成等。DETR算法是一個(gè)端到端的架構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單，其主要分為三個(gè)部分：傳統(tǒng)CNN的主干網(wǎng)絡(luò)（backbone）、Transformer結(jié)構(gòu)的編碼器Encoder和解碼器Decoder（主要用于提取預(yù)測(cè)框Bounding box）、預(yù)測(cè)頭Feed Forward Network（簡(jiǎn)稱FFN，使用二分圖最大匹配損失Bipartite matching loss來(lái)訓(xùn)練網(wǎng)絡(luò)）。算法結(jié)構(gòu)如圖1所示。

圖1 DETR算法整體結(jié)構(gòu)圖

DETR的總體流程是：首先提取出圖片中目標(biāo)的特定特征，將3通道圖片輸入到以CNN為主體的主干網(wǎng)絡(luò)中，然后結(jié)合圖片分塊后各部分的位置編碼信息，輸入到Transformer模型的編碼器和解碼器中，得到Transformer的檢測(cè)結(jié)果，再輸入到預(yù)測(cè)頭中，經(jīng)過(guò)兩個(gè)全連接層，分別進(jìn)行分類和預(yù)測(cè)框坐標(biāo)的回歸，輸出結(jié)果就是一系列預(yù)測(cè)框，其中每個(gè)框表示一個(gè)元組，包含物體的類別和檢測(cè)框位置。

1.1 Backbone主干網(wǎng)絡(luò)

1.2 Transformer編碼器與解碼器

Transformer編碼器Encoder與解碼器Decoder的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 Transformer編碼器與解碼器的網(wǎng)絡(luò)結(jié)構(gòu)圖

1）Transformer編碼器：首先，使用一個(gè)1×1的卷積層將一個(gè)高層特征圖f∈C×H×W的通道數(shù)由C降維到d，變成一個(gè)新的特征圖z0∈d×H×W。由于編碼器需要一個(gè)序列作為輸入的特性，因此這里將z0的空間維度壓縮為一維，從而得到d×HW的特征映射。每個(gè)編碼器層都有一個(gè)標(biāo)準(zhǔn)的結(jié)構(gòu)，由一個(gè)多頭自注意力模塊（multihead self-attention）和一個(gè)前饋網(wǎng)絡(luò)（FFN）組成。由于Transformer體系結(jié)構(gòu)是固定不變的，用固定位置編碼對(duì)其進(jìn)行補(bǔ)充，并將其添加到每層的輸入中。利用0作為擴(kuò)充值對(duì)圖像進(jìn)行填充以確保所有輸入圖像具有相同的尺寸，其中（H0,W0）是批處理中最大的圖像尺寸。

2）Transformer解碼器：結(jié)構(gòu)如圖2右側(cè)部分所示，它有兩個(gè)輸入，一個(gè)是編碼器得到的特征，另一個(gè)是對(duì)象查詢向量（Object queries）。Object queries是一個(gè)可以訓(xùn)練的嵌入向量，為了向不同的真實(shí)框（ground truth）進(jìn)行優(yōu)化，使用匈牙利匹配算法匹配Object queries和ground truth。

1.3 預(yù)測(cè)頭FFN

預(yù)測(cè)頭FFN是一個(gè)3層的感知機(jī)，激活函數(shù)使用的是ReLU函數(shù)，隱層節(jié)點(diǎn)數(shù)為d。每個(gè)Object queries通過(guò)預(yù)測(cè)頭來(lái)預(yù)測(cè)目標(biāo)的預(yù)測(cè)框和類別，其中預(yù)測(cè)框有三個(gè)值，分別是目標(biāo)的中心點(diǎn)以及寬和高。此模型的解碼器輸出N個(gè)預(yù)測(cè)框，本文目標(biāo)檢測(cè)任務(wù)檢測(cè)的感興趣物體數(shù)目2遠(yuǎn)小于N，因此一定會(huì)有預(yù)測(cè)框內(nèi)未檢測(cè)到目標(biāo)的情況，這類按照背景類來(lái)處理，用標(biāo)簽?來(lái)表示。

2 DETR目標(biāo)檢測(cè)算法的實(shí)現(xiàn)

本實(shí)驗(yàn)首先搭建DETR算法運(yùn)行環(huán)境，采集圖像構(gòu)建數(shù)據(jù)集，使用LabelImg工具標(biāo)注圖片生成VOC格式的.xml文件，再通過(guò)腳本轉(zhuǎn)換為COCO格式的.json標(biāo)簽文件。并對(duì)做好的數(shù)據(jù)集實(shí)施數(shù)據(jù)增強(qiáng)策略生成新的數(shù)據(jù)集。最后將兩數(shù)據(jù)集在DETR模型上進(jìn)行訓(xùn)練、測(cè)試，對(duì)比分析實(shí)驗(yàn)結(jié)果，得出結(jié)論。

2.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集構(gòu)建

本實(shí)驗(yàn)在Windows10系統(tǒng)服務(wù)器的Pycharm中配置DETR運(yùn)行環(huán)境，具體使用CUDA Toolkit 10.1版本，深度學(xué)習(xí)框架Pytorch 1.7.1版本，torchvision 0.8.2版本，Python 3.8版本。

采用固定式相機(jī)對(duì)充滿氣狀態(tài)下的醫(yī)用外科手套進(jìn)行拍攝，背景不變，結(jié)合實(shí)際生產(chǎn)過(guò)程中手套氣密性檢測(cè)場(chǎng)景，從正下方拍攝，通過(guò)平移、俯仰、旋轉(zhuǎn)手套，采集不同姿態(tài)下的圖片，因?qū)嶒?yàn)條件限制，相機(jī)在同一時(shí)刻采集多張圖像，共采集了1019張圖像，初步構(gòu)建一個(gè)數(shù)據(jù)集，按照DETR模型所用COCO2017數(shù)據(jù)集的格式劃分為訓(xùn)練集和驗(yàn)證集，比例為3:1。使用LabelImg對(duì)每張圖片框選標(biāo)注，標(biāo)注范例如圖3所示。

圖3 標(biāo)注范例

標(biāo)注標(biāo)簽有l(wèi)eft和right兩類，生成對(duì)應(yīng)的VOC格式的.xml標(biāo)簽文件，并轉(zhuǎn)換為COCO格式的.json標(biāo)簽文件，這樣就構(gòu)建了原始數(shù)據(jù)集。由于實(shí)驗(yàn)條件的限制，采集到的圖像中手套位置姿態(tài)較為單一，而且數(shù)據(jù)量較少，不足以模擬實(shí)際生產(chǎn)環(huán)境。為此基于Python中imgaug庫(kù)函數(shù)實(shí)施一種數(shù)據(jù)增強(qiáng)策略。Imgaug是一個(gè)封裝好的專用于圖像數(shù)據(jù)增強(qiáng)的Python庫(kù)，功能全面多樣，使用多種方式進(jìn)行數(shù)據(jù)增強(qiáng)，可用于分類、分割、檢測(cè)等任務(wù)，能實(shí)現(xiàn)關(guān)鍵點(diǎn)（key point）和預(yù)測(cè)框（bounding box）同時(shí)變換，根據(jù)本文原數(shù)據(jù)集的特征采取對(duì)應(yīng)的圖像變換：翻轉(zhuǎn)、鏡像、隨機(jī)方向旋轉(zhuǎn)、改變明亮度以及添加高斯噪聲等，保持圖像和標(biāo)注框同步改變，從而實(shí)現(xiàn)了圖像和對(duì)應(yīng)標(biāo)注文件同時(shí)增強(qiáng)，不需要再行標(biāo)注圖像。通過(guò)特定的圖像變換增加了手套位姿多樣性，而且每張圖像與對(duì)應(yīng)標(biāo)注文件增強(qiáng)的數(shù)量可以根據(jù)需求指定，這樣就能靈活地?cái)U(kuò)充數(shù)據(jù)，構(gòu)建出相對(duì)完善的數(shù)據(jù)集。

2.2 實(shí)驗(yàn)過(guò)程及結(jié)果分析

本數(shù)據(jù)集需要檢測(cè)的目標(biāo)類別有兩個(gè)：l e f t 和right，因此修改類別數(shù)num_classes為2，初始化模型參數(shù)，根據(jù)目標(biāo)檢測(cè)任務(wù)修改運(yùn)行配置參數(shù)：模型訓(xùn)練輪數(shù)epochs設(shè)置為80，批大小batch_size指一次訓(xùn)練輸入的樣本圖片數(shù)，將影響到模型的優(yōu)化程度和速度，為了達(dá)到內(nèi)存效率和內(nèi)存容量間的最佳平衡，批大小設(shè)置為2。在相同條件下訓(xùn)練原數(shù)據(jù)集與增強(qiáng)后的數(shù)據(jù)集，并可視化訓(xùn)練過(guò)程中各參數(shù)變化趨勢(shì)，分析模型目標(biāo)檢測(cè)性能。使用得到的最終模型對(duì)驗(yàn)證集圖片隨機(jī)測(cè)試，并可視化預(yù)測(cè)結(jié)果，在圖像上顯示出預(yù)測(cè)框、對(duì)應(yīng)的類別信息及置信度值。

本實(shí)驗(yàn)使用DETR算法框架對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行訓(xùn)練，得到訓(xùn)練模型，然后使用驗(yàn)證集數(shù)據(jù)對(duì)模型進(jìn)行測(cè)試，結(jié)果分別如圖4、圖5所示。訓(xùn)練后的模型進(jìn)行部分預(yù)測(cè)的結(jié)果如圖6所示。兩個(gè)數(shù)據(jù)集的目標(biāo)檢測(cè)結(jié)果參數(shù)如表1所示。比較測(cè)試模型時(shí)每一次迭代所用時(shí)間，原數(shù)據(jù)集是0.2503s，增強(qiáng)后的數(shù)據(jù)集是0.1636s，說(shuō)明經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后訓(xùn)練出的模型檢測(cè)速度更快，對(duì)數(shù)據(jù)的敏感性更高。但結(jié)合訓(xùn)練過(guò)程數(shù)據(jù)可知，相較于傳統(tǒng)目標(biāo)檢測(cè)算法，DETR算法訓(xùn)練時(shí)間較長(zhǎng)。

圖6 部分預(yù)測(cè)結(jié)果圖

表1 原數(shù)據(jù)集評(píng)估參數(shù)表

圖4 原數(shù)據(jù)集訓(xùn)練結(jié)果

圖5 進(jìn)行數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集訓(xùn)練結(jié)果

本實(shí)驗(yàn)的原數(shù)據(jù)集是使用固定式相機(jī)在相同背景下同一時(shí)刻，采集多張手套圖像構(gòu)建而成，相當(dāng)于將數(shù)據(jù)復(fù)制多份，這樣數(shù)據(jù)太為單一，會(huì)導(dǎo)致在模型上出現(xiàn)過(guò)擬合現(xiàn)象。從圖4(a)的精確率-召回率（簡(jiǎn)稱P-R）曲線可看出，精確率始終為1，不隨召回率而變化，而且模型開(kāi)始迭代、迭代50次、最終迭代的P-R曲線始終未變，說(shuō)明訓(xùn)練出的模型已過(guò)擬合，因?yàn)楦鶕?jù)其定義，精確率和召回率是一對(duì)相悖的指數(shù)，兩者不可能同時(shí)高。經(jīng)過(guò)數(shù)據(jù)增強(qiáng)，過(guò)擬合的程度減輕。從圖5(a)可看出，隨著召回率增大到1，精確率最終逐漸下降。對(duì)比3條P-R曲線：開(kāi)始迭代的P-R曲線緩慢下降，而迭代50次、最終迭代后的P-R曲線在召回率接近1時(shí)，精確率大幅下降。后兩條曲線將前者包圍，這表明多輪訓(xùn)練迭代后，模型的性能得到提升。

表2 經(jīng)過(guò)數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集評(píng)估參數(shù)表

使用mAP@50（IoU閾值取50%情況下的均值平均精度Mean Average Precision）、score（綜合評(píng)分值）與f1（評(píng)價(jià)指標(biāo)值）來(lái)評(píng)估模型目標(biāo)檢測(cè)性能。對(duì)比表1中的評(píng)估參數(shù)值，原數(shù)據(jù)集的mAP@50與f1值都達(dá)到最高值的理想化狀態(tài)，本實(shí)驗(yàn)訓(xùn)練了80個(gè)epochs，模型還遠(yuǎn)沒(méi)有收斂，這也說(shuō)明其完全處于過(guò)擬合狀態(tài)，綜合評(píng)分值score此時(shí)不具有參考價(jià)值；增強(qiáng)后的數(shù)據(jù)集各參數(shù)變化趨勢(shì)正常，經(jīng)過(guò)迭代50次后模型接近過(guò)擬合狀態(tài)，從圖5(a)的綜合評(píng)分-召回率（Scores-Recall）曲線可看出，當(dāng)?shù)?0次時(shí)，隨著召回率接近1，綜合評(píng)分值score在1.0附近略微下降；當(dāng)最終迭代時(shí)，隨著召回率接近1，score值會(huì)從1.0大幅下降到0.5左右，說(shuō)明從開(kāi)始迭代到迭代50次的過(guò)程中，模型極有可能出現(xiàn)過(guò)擬合狀態(tài)。但是最終迭代得到的模型各參數(shù)都有提升且處于正常狀態(tài)，其目標(biāo)檢測(cè)性能更優(yōu)。從圖4(b)、圖5(b)可看出，隨著模型迭代次數(shù)增加，類別錯(cuò)誤數(shù)class_error、去規(guī)?；A(yù)測(cè)框損失loss_bbox_unscaled、均值平均精度mAP三個(gè)指標(biāo)值上下波動(dòng)明顯，曲線極不平滑，最終也無(wú)穩(wěn)定趨勢(shì)，所以依據(jù)最后的訓(xùn)練結(jié)果判斷模型性能好壞是不全面的，這也說(shuō)明DETR模型還未達(dá)到收斂，可能需要增加訓(xùn)練輪數(shù)epochs到500左右才會(huì)收斂，反映出DETR模型收斂速度較慢的問(wèn)題。

如圖6所示，對(duì)部分訓(xùn)練圖片進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)框的位置和目標(biāo)類別都是正確的，但是置信度過(guò)高甚至達(dá)到理想值1（正常在0.95左右），這也是過(guò)擬合的體現(xiàn)。采集不同背景、不同分辨率的醫(yī)用外科手套圖像進(jìn)行預(yù)測(cè)，有的得不到預(yù)測(cè)框，有的得到了預(yù)測(cè)框和正確的目標(biāo)類別但是置信度低于0.8，識(shí)別準(zhǔn)確率太低，說(shuō)明模型目前僅適用于相同背景、相同分辨率的圖像數(shù)據(jù)集，其泛化能力還有待提升。

3 結(jié)語(yǔ)

本文使用一種基于Transformer的端到端目標(biāo)檢測(cè)（DETR）算法，針對(duì)反射對(duì)稱關(guān)系物體的檢測(cè)識(shí)別問(wèn)題，以醫(yī)用外科手套左右手分類為例，使用自制數(shù)據(jù)集進(jìn)行訓(xùn)練。由于實(shí)驗(yàn)條件有限，采集的圖像數(shù)量較少，只有1000多張，而且是相同背景下的數(shù)據(jù)，類型單一，導(dǎo)致訓(xùn)練過(guò)程出現(xiàn)過(guò)擬合現(xiàn)象。因此基于Python中imgaug庫(kù)函數(shù)實(shí)施了一種數(shù)據(jù)增強(qiáng)策略，將圖像和對(duì)應(yīng)的標(biāo)注文件同時(shí)增強(qiáng)，并進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證了數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集在訓(xùn)練模型過(guò)擬合問(wèn)題上有一定緩解，模型的泛化性能與準(zhǔn)確性有所提高，這對(duì)于提升反射對(duì)稱關(guān)系物體檢測(cè)識(shí)別的準(zhǔn)確率與效率有很好的意義。

但是DETR模型存在訓(xùn)練時(shí)間較長(zhǎng)、收斂較慢的問(wèn)題。由于實(shí)驗(yàn)條件限制，本文在兩個(gè)數(shù)據(jù)集上各自訓(xùn)練了80個(gè)epochs，非常耗時(shí)而且得到的訓(xùn)練模型并未完全收斂，魯棒性較差，預(yù)計(jì)達(dá)到500個(gè)epochs模型才能完全收斂。后續(xù)研究應(yīng)著眼于如何從數(shù)據(jù)角度解決訓(xùn)練模型的過(guò)擬合問(wèn)題，如何提升模型的泛化性能即實(shí)現(xiàn)對(duì)不同背景下反射對(duì)稱關(guān)系物體的檢測(cè)識(shí)別，以及如何從算法原理、模型結(jié)構(gòu)入手提升訓(xùn)練速度，加快模型收斂。