琚恭偉，焦慧敏，張佳明，暴泰焚，蔡吉飛

（北京印刷學(xué)院 機(jī)電工程學(xué)院，北京 102600）

0 引言

全球新冠疫情蔓延，使得醫(yī)用外科手套需求量激增。醫(yī)用外科手套具有左右手之分，包裝過(guò)程中，依靠人工識(shí)別和手動(dòng)分揀，但是長(zhǎng)時(shí)間人工分揀，容易產(chǎn)生錯(cuò)檢、漏檢。為了提高生產(chǎn)效率，急需采用自動(dòng)化方式代替人工分揀，實(shí)現(xiàn)左右手套識(shí)別問(wèn)題。本文使用深度學(xué)習(xí)技術(shù)，搭載相應(yīng)的圖像采集裝置，完成醫(yī)用外科手套的左右手識(shí)別，提高分揀過(guò)程中的自動(dòng)化程度。

隨著計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)的快速發(fā)展，使得自動(dòng)化和智能化包裝方式取得巨大進(jìn)步。Hinton[1]等人使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）參加ILSVRC（ImageNet Large Scale Visual Recognition Challenge）圖像分類大賽，證明了深度學(xué)習(xí)的潛力。目前，基于CNN的目標(biāo)檢測(cè)算法大致可以分為兩類，一類為“two-stage detection”（兩步驟檢測(cè)），另一類為“one-stage detection”（單步驟檢測(cè)）[2]?！皌wostage detection”即基于候選區(qū)域的目標(biāo)檢測(cè)算法，這是一個(gè)“從粗到細(xì)”的過(guò)程，先根據(jù)不同的區(qū)域選擇算法從圖像中選擇多個(gè)感興趣的領(lǐng)域，然后通過(guò)深度學(xué)習(xí)提取特征并分類檢測(cè)。T.-Y.Lin[3]等人提出的FPN（feature pyramid networks）算法，采用了特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)，在檢測(cè)各種尺度的目標(biāo)方面取得巨大的進(jìn)步?！皁ne-stage detection”即基于回歸的目標(biāo)檢測(cè)算法，在將一張圖像進(jìn)行分割操作，使其成為多個(gè)候選區(qū)域的同時(shí)，被分割出來(lái)的區(qū)域的邊界框和目標(biāo)的概率也會(huì)被預(yù)測(cè)出來(lái)，這樣就可以在犧牲部分定位精度的情況下，大大提升檢測(cè)速度。YOLO（You Only Look Once）v5被Jocher[4]提出，作為目前較為領(lǐng)先的目標(biāo)檢測(cè)技術(shù)，YOLOv5在推理速度上表現(xiàn)優(yōu)異。

外科手套在充氣狀態(tài)下進(jìn)行品質(zhì)檢測(cè)和左右手的識(shí)別。由于上道工序?qū)κ痔椎膴A持位置不同，導(dǎo)致充氣后的手套狀態(tài)各異，使得對(duì)目標(biāo)定位困難。郭[5]利用膚色檢測(cè)和背景差分方法相結(jié)合的方式實(shí)現(xiàn)人手的定位和跟蹤。張[6]提出基于梯度方向直方圖特征的主成份分析方法，對(duì)視頻中單手或者雙手的手部分割和跟蹤具有較好的輔助作用。Bao[7]對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的反向傳播過(guò)程進(jìn)行分析，采用不同的損失函數(shù)在模型中學(xué)習(xí)相同次數(shù)，分析比較學(xué)習(xí)結(jié)果，優(yōu)化了反向傳播過(guò)程，并應(yīng)用于人手的左右手識(shí)別，提高了識(shí)別正確率。

本文提出在YOLOv5目標(biāo)檢測(cè)算法的前提下，使用復(fù)制多份數(shù)據(jù)集的方法，減少人工labelimg標(biāo)注的時(shí)間，提高數(shù)據(jù)的有效性和模型的準(zhǔn)確性。

1 YOLOv5算法原理

YOLOv5模型集成了FPN多尺度檢測(cè)及Mosaic數(shù)據(jù)增強(qiáng)和SPP結(jié)構(gòu)，整體結(jié)構(gòu)可以分為四個(gè)模塊，具體為：輸入端（Input）、主干特征提取網(wǎng)絡(luò)（Backbone）、Neck與輸出層（Prediction）。

第一部分是Input，包括Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算、自適應(yīng)圖片縮放三大部分。Mosaic數(shù)據(jù)增強(qiáng)是將數(shù)據(jù)集圖片以隨機(jī)縮放、隨機(jī)裁剪、隨機(jī)排布的方式進(jìn)行拼接。自適應(yīng)錨框計(jì)算是指在網(wǎng)絡(luò)訓(xùn)練中，網(wǎng)絡(luò)在初始錨框的基礎(chǔ)上輸出預(yù)測(cè)框，進(jìn)而和真實(shí)框進(jìn)行比對(duì)，計(jì)算兩者差距，再反向迭代，更新網(wǎng)絡(luò)參數(shù)。自適應(yīng)圖片縮放常用的方式是將原始圖片統(tǒng)一縮放到一個(gè)標(biāo)準(zhǔn)尺寸，再送入檢測(cè)網(wǎng)絡(luò)中。

圖1 YOLOv5s網(wǎng)絡(luò)結(jié)構(gòu)圖

第二部分是Backbone，由Focus結(jié)構(gòu)和CSP結(jié)構(gòu)組成。Focus結(jié)構(gòu)中，切片操作是最為重要的。例如，輸入一個(gè)原始圖像，其大小為608×608×3，對(duì)其進(jìn)行切片操作，這樣就能使其成為一個(gè)304×304×12的特征圖，之后經(jīng)過(guò)32個(gè)卷積核進(jìn)行一次卷積操作，這樣就可以得到一個(gè)304×304×32的特征圖。CSPDarknet53是借鑒了CSPNet并在Yolov3所使用的主干特征提取網(wǎng)絡(luò)Darknet53的基礎(chǔ)上，將resblock_body的結(jié)構(gòu)進(jìn)行修改并使用CSPnet結(jié)構(gòu)，而產(chǎn)生的主干特征提取網(wǎng)絡(luò)Backbone結(jié)構(gòu)。這樣可以有效的增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力，在保證其運(yùn)行準(zhǔn)確性的同時(shí)，使CNN更加的小，這樣就可以有效降低計(jì)算瓶頸，也可以減小內(nèi)存成本。YOLOv5中分別設(shè)計(jì)和使用了兩種不同的CSP結(jié)構(gòu)，其中CSP1_X結(jié)構(gòu)應(yīng)用于主干特征提取網(wǎng)絡(luò)中，同時(shí)在Neck中使用了另一種CSP2_X結(jié)構(gòu)。

第三部分是Neck，由FPN和PAN組成，F(xiàn)PN是通過(guò)向上采樣的方法將上層的特征進(jìn)行傳輸融合，從而得到預(yù)測(cè)特征圖，其中含有兩個(gè)PAN結(jié)構(gòu)。FPN采用了自頂向下的結(jié)構(gòu)，這樣就可以進(jìn)行對(duì)于強(qiáng)語(yǔ)義特征的傳輸，特征金字塔采用了自底向上的結(jié)構(gòu)，這樣就可以進(jìn)行對(duì)于強(qiáng)定位特征的傳輸，這兩者經(jīng)過(guò)練手結(jié)合后，就可以將每一個(gè)檢測(cè)層做到特征聚合，這樣就成功提高了特征提取的能力。

第四部分是Prediction，Generalized Intersection over Union（GIOU_Loss）與Complete Intersection over Union（CIOU_Loss）目標(biāo)檢測(cè)任務(wù)往往都使用損失函數(shù)，損失函數(shù)一般由兩大部分構(gòu)成：回歸損失函數(shù)和分類損失函數(shù)。GIOU_Loss與CIOU_Loss都是以IOU_Loss為基礎(chǔ)發(fā)展的回歸損失函數(shù)。所需要識(shí)別的目標(biāo)框和檢測(cè)框之間的重疊面積是IOU_Loss主要考慮的問(wèn)題，但是它有時(shí)會(huì)存在所需要識(shí)別的目標(biāo)的框和檢測(cè)框的邊界不重合的問(wèn)題，GIOU_Loss解決了這個(gè)問(wèn)題，但是這兩個(gè)損失函數(shù)依舊存在著沒(méi)有考慮到所需要識(shí)別的目標(biāo)的框和檢測(cè)框中心點(diǎn)距離的信息的問(wèn)題，DIOU_Loss解決了這個(gè)問(wèn)題，但是DIOU_Loss存在沒(méi)有考慮所需要識(shí)別的目標(biāo)的框和檢測(cè)框的寬高比的尺度信息的問(wèn)題，而CIOU_Loss解決了這個(gè)問(wèn)題。

2 YOLOv5目標(biāo)檢測(cè)算法的實(shí)現(xiàn)

本次實(shí)驗(yàn)首先搭建YOLOv5環(huán)境，然后采集數(shù)據(jù)構(gòu)建數(shù)據(jù)集，通過(guò)labelimg工具對(duì)數(shù)據(jù)集做標(biāo)簽標(biāo)定，將做好的數(shù)據(jù)集放到Y(jié)OLOv5上進(jìn)行訓(xùn)練，產(chǎn)生訓(xùn)練模型，最后使用生成的訓(xùn)練模型對(duì)同一測(cè)試集進(jìn)行識(shí)別，得到識(shí)別結(jié)果，分析多次對(duì)測(cè)試集識(shí)別產(chǎn)生的結(jié)果，得出結(jié)論。實(shí)驗(yàn)流程如圖2所示。

圖2 實(shí)驗(yàn)流程圖

2.1 實(shí)驗(yàn)環(huán)境

本文的實(shí)驗(yàn)環(huán)境搭建在工作站上，服務(wù)器配置使用Ubuntu 18.04版本，CUDA Toolkit 10.1版本，深度學(xué)習(xí)框架平臺(tái)為Pytorch 1.6 版本。

2.2 數(shù)據(jù)收集及標(biāo)注

在收集數(shù)據(jù)時(shí)，使用固定式相機(jī)進(jìn)行拍攝，為模擬生產(chǎn)醫(yī)用外科手套現(xiàn)場(chǎng)，采集到的圖片為同一背景。在醫(yī)用外科手套充滿氣的狀態(tài)下，從底部對(duì)其進(jìn)行拍照，充分考慮實(shí)際醫(yī)用外科手套的氣密性檢測(cè)狀態(tài)，從其正下方拍照，通過(guò)旋轉(zhuǎn)、平移、俯仰手套等實(shí)際情況，收集手套在各個(gè)角度下的圖片數(shù)據(jù)，同時(shí)刪除數(shù)據(jù)集中人眼識(shí)別較低的圖片，共收集2378張照片，以此來(lái)增強(qiáng)數(shù)據(jù)的真實(shí)性，之后將收集到的數(shù)據(jù)分為三組，分別為訓(xùn)練集、驗(yàn)證集和測(cè)試集，比例為3∶2∶1。

針對(duì)數(shù)據(jù)集中的圖片，采用labelimg工具進(jìn)行框選標(biāo)注，將醫(yī)用外科手套左手的圖片標(biāo)注為left，右手為right，標(biāo)注范例如圖3所示。

圖3 labelimg軟件標(biāo)注圖

2.3 初始參數(shù)

將收集到的數(shù)據(jù)集和相對(duì)應(yīng)的標(biāo)簽文件，按照訓(xùn)練集、驗(yàn)證集、測(cè)試集的順序放到相對(duì)應(yīng)的文件夾中，然后配置訓(xùn)練模型的參數(shù)，通過(guò)終端輸入訓(xùn)練命令，模型的訓(xùn)練次數(shù)Epochs設(shè)為500；批次大小Batch size是指訓(xùn)練時(shí)一次性輸入網(wǎng)絡(luò)的圖片數(shù)目，與顯卡的顯存大小有關(guān)，將其設(shè)為16；提高輸入分辨率在一定程度上會(huì)提高小目標(biāo)檢測(cè)精度，所以輸入分辨率img-size的原始值為640。

2.4 實(shí)驗(yàn)過(guò)程及結(jié)果

為驗(yàn)證復(fù)制訓(xùn)練集和驗(yàn)證集的方法對(duì)系統(tǒng)識(shí)別準(zhǔn)確率的影響，本實(shí)驗(yàn)通過(guò)使用YOLOv5s訓(xùn)練框架對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練，對(duì)同一組訓(xùn)練集和驗(yàn)證集，復(fù)制一份到十份，對(duì)其逐一進(jìn)行訓(xùn)練，得到訓(xùn)練模型，將訓(xùn)練出來(lái)的模型，對(duì)相同的測(cè)試集進(jìn)行測(cè)試，得到平均得分、錯(cuò)識(shí)別率、漏識(shí)別率以及準(zhǔn)確率，結(jié)果如表1所示，結(jié)果趨勢(shì)如圖4所示。

圖4 實(shí)驗(yàn)趨勢(shì)圖

表1 實(shí)驗(yàn)結(jié)果對(duì)比

平均得分是測(cè)試之后產(chǎn)生具有識(shí)別標(biāo)識(shí)部分得分的平均值，錯(cuò)識(shí)別率是測(cè)試之后產(chǎn)生具有標(biāo)識(shí)部分醫(yī)用外科手套左右手辨別錯(cuò)誤占總數(shù)的比率，漏識(shí)別率是測(cè)試之后具有醫(yī)用外科手套左右手但未檢測(cè)出來(lái)的圖片占總數(shù)的比率，準(zhǔn)確率是測(cè)試之后正確識(shí)別醫(yī)用外科手套左右手占所有測(cè)試圖片總數(shù)的比率，僅對(duì)本文實(shí)驗(yàn)數(shù)據(jù)集的數(shù)據(jù)有效。錯(cuò)識(shí)別圖：如圖5(a)所示，第一輪原始數(shù)據(jù)右手的一張圖，圖5(b)所示，第六輪復(fù)制五份右手的一張圖；識(shí)別得分低圖：如圖5(c)所示，第一輪原始數(shù)據(jù)右手的識(shí)別圖，圖5(d)所示，第三輪復(fù)制兩份左手的一張圖；漏識(shí)別圖：如圖5(e)所示，第一輪原始數(shù)據(jù)左手的一張圖。本文測(cè)試結(jié)果，此處為第十輪識(shí)別結(jié)果部分?jǐn)?shù)據(jù)結(jié)果截圖，如圖6所示。

圖5 錯(cuò)識(shí)別、低識(shí)別、漏識(shí)別示例圖

圖6 第十輪識(shí)別結(jié)果部分?jǐn)?shù)據(jù)圖

2.5 實(shí)驗(yàn)分析

實(shí)驗(yàn)過(guò)程中每一輪對(duì)測(cè)試集單張圖片測(cè)試時(shí)間在0.004s到0.005s之間，訓(xùn)練速度基本一致。

通過(guò)對(duì)比實(shí)驗(yàn)過(guò)程中的數(shù)據(jù)，在第一輪原始數(shù)據(jù)和第二輪復(fù)制一份的時(shí)候，正確率較低，漏識(shí)別率和錯(cuò)誤率較高。到第五輪復(fù)制四份的時(shí)候，訓(xùn)練模型的準(zhǔn)確率滿足實(shí)際生產(chǎn)需求。在第六輪復(fù)制五份、第七輪復(fù)制六份、第九輪、復(fù)制八份的實(shí)驗(yàn)中，出現(xiàn)對(duì)一部分圖識(shí)別錯(cuò)誤的情況，這些錯(cuò)誤識(shí)別圖是收集數(shù)據(jù)的時(shí)候光線較強(qiáng)烈，對(duì)于光線較強(qiáng)的時(shí)候，該模型還是具有缺陷。為滿足工業(yè)生產(chǎn)識(shí)別需求，在生產(chǎn)過(guò)程中添加控制光照不變的裝置，收集該狀態(tài)下的數(shù)據(jù)集，以減少光照對(duì)識(shí)別的影響，進(jìn)而減少錯(cuò)誤率。

通過(guò)對(duì)比可得出結(jié)論：同一數(shù)據(jù)集使用復(fù)制訓(xùn)練集和驗(yàn)證集的方式可以增加準(zhǔn)確率，本實(shí)驗(yàn)使用復(fù)制的方法和YOLOv5模型中的Mosaic數(shù)據(jù)增強(qiáng)不沖突，此方法是在Mosaic數(shù)據(jù)增強(qiáng)基礎(chǔ)上進(jìn)行實(shí)驗(yàn)。對(duì)于模型準(zhǔn)確率，仍需要做多次實(shí)驗(yàn)，得到最優(yōu)的訓(xùn)練模型，避免光照、色差等因素的影響。

3 結(jié)語(yǔ)

本文采用YOLOv5目標(biāo)檢測(cè)算法，研究了固定式攝像頭對(duì)醫(yī)用外科手套生產(chǎn)過(guò)程中左右手識(shí)別，收集同一背景、同一主體、不同狀態(tài)的數(shù)據(jù)集，使用了復(fù)制數(shù)據(jù)集的方法，通過(guò)對(duì)比不同訓(xùn)練模型的測(cè)試結(jié)果，得出相同的數(shù)據(jù)集復(fù)制多份可以增加訓(xùn)練模型的準(zhǔn)確性的結(jié)論，但數(shù)據(jù)集復(fù)制到一定的次數(shù)之后，訓(xùn)練模型對(duì)同一批測(cè)試集有很好的識(shí)別性，此時(shí)模型處于過(guò)擬合的一個(gè)狀態(tài)。

由于本文數(shù)據(jù)集的單一性，出現(xiàn)過(guò)擬合狀態(tài)，下一步解決過(guò)擬合狀態(tài)的訓(xùn)練模型，增強(qiáng)模型的有效性。