李政謙， 王 娟， 李志強(qiáng)

(北京華電天仁電力控制技術(shù)有限公司， 北京 100039)

隨著深度學(xué)習(xí)的不斷發(fā)展，一系列重要成果將工業(yè)界和研究界的關(guān)注點(diǎn)轉(zhuǎn)移到產(chǎn)生有價(jià)值的數(shù)據(jù)，并從中訓(xùn)練學(xué)習(xí)算法，使基于深度學(xué)習(xí)的各種應(yīng)用能夠獲得越來(lái)越高的準(zhǔn)確度。想要將這些應(yīng)用在現(xiàn)場(chǎng)大規(guī)模部署，必須有一個(gè)能夠泛化的檢測(cè)模型，因此除了算法本身性能外，還需要數(shù)以十萬(wàn)計(jì)的高質(zhì)量數(shù)據(jù)作為訓(xùn)練集。一些場(chǎng)景容易獲得數(shù)據(jù)集，如微博上的用戶(hù)觀點(diǎn)、股票的各項(xiàng)數(shù)據(jù)等。但同時(shí)有一些場(chǎng)景很難獲得大規(guī)模訓(xùn)練集用來(lái)訓(xùn)練高泛化能力的模型，如武器檢測(cè)、設(shè)備異常檢測(cè)、安全帽檢測(cè)等。同時(shí)為了能夠正確識(shí)別這些圖片，必須手動(dòng)修改數(shù)據(jù)(如對(duì)圖片進(jìn)行標(biāo)注)，這需要付出相當(dāng)大的人力成本。

選擇安全帽檢測(cè)作為研究對(duì)象的原因一是因?yàn)榘踩睓z測(cè)領(lǐng)域沒(méi)有公共訓(xùn)練集，且對(duì)環(huán)境、遮擋、人物姿態(tài)、實(shí)時(shí)性等方面要求較高，這可以使用虛擬引擎來(lái)模擬復(fù)雜環(huán)境并生成大量圖片；二是網(wǎng)絡(luò)上現(xiàn)有五千張左右適用于安全帽檢測(cè)的圖片，數(shù)量適中，可以通過(guò)調(diào)整數(shù)據(jù)集數(shù)量來(lái)研究使用虛擬圖片對(duì)不同規(guī)模數(shù)據(jù)集的影響。

在本研究中，使用專(zhuān)業(yè)的游戲引擎Unity3D來(lái)解決該領(lǐng)域訓(xùn)練圖片較少的問(wèn)題并對(duì)獲取的圖片進(jìn)行自動(dòng)標(biāo)注。首先創(chuàng)建一個(gè)虛擬訓(xùn)練集，包括室內(nèi)控制室、室外現(xiàn)場(chǎng)等不同場(chǎng)景，晴天、雨天、陰天等不同天氣條件，明暗等不同光線情況，虛擬人物存在胡須、眼鏡等不同特征，并設(shè)置正面、背面、側(cè)面、跑動(dòng)、低頭等不同姿態(tài)。同時(shí)使用真實(shí)圖片作為測(cè)試集，以主流算法Yolov3作為檢測(cè)算法。實(shí)驗(yàn)結(jié)果表明，虛擬圖片不能完全代替實(shí)際圖片，在用來(lái)訓(xùn)練的實(shí)際圖片較少的情況下，增加虛擬圖片能夠有效提高系統(tǒng)檢測(cè)精度。

簡(jiǎn)述了現(xiàn)有安全帽檢測(cè)領(lǐng)域及虛擬數(shù)據(jù)的各項(xiàng)相關(guān)研究，描述虛擬引擎及訓(xùn)練集的制作過(guò)程，概述了檢測(cè)方法并討論了實(shí)驗(yàn)結(jié)果，最后進(jìn)行總結(jié)。

1 相關(guān)工作

1.1 安全帽檢測(cè)相關(guān)研究

對(duì)于基于深度學(xué)習(xí)的安全帽檢測(cè)，近年來(lái)研究人員做了很多研究工作。FU等[1]使用Faster R-CNN[2]+ZFNet[3]的組合搭建了安全帽檢測(cè)系統(tǒng)，該系統(tǒng)能夠?qū)崟r(shí)識(shí)別監(jiān)控視頻中的人員和安全帽，較原方法提升了檢測(cè)精度。方明等[4]通過(guò)在以YOLOv2[5]為基礎(chǔ)的模型中加入密集塊，使模型的大小縮減為原來(lái)的1/10，增加了模型的可用性。Oviedo等[6]使用了EspiNet V2模型，改進(jìn)了Faster R-CNN的CNN部分，獲得了一個(gè)6層(4卷積)的簡(jiǎn)單CNN網(wǎng)絡(luò)，減少了一定的參數(shù)量。該模型能夠從低角度和移動(dòng)攝像機(jī)拍攝且存在一定遮擋的情況下獲得較高的mAP(mean average precision，平均準(zhǔn)確率均值)。劉君等[7]設(shè)計(jì)了一種改進(jìn)的YOLO[8]網(wǎng)絡(luò)結(jié)構(gòu)，將RPN算法融入YOLO算法中，并借鑒R-FCN[9]算法，去掉一個(gè)全連接層，在卷積層上進(jìn)行滑動(dòng)窗口操作，采用先池化再卷積的方法，以減少圖片特征丟失。該模型在準(zhǔn)確率與檢測(cè)速度上都取得滿意的結(jié)果。Fu等[10]將深度殘差網(wǎng)絡(luò)技術(shù)與基于YOLOv3[11]檢測(cè)算法的多尺度卷積特征相結(jié)合，結(jié)合多尺度檢測(cè)訓(xùn)練，調(diào)整訓(xùn)練過(guò)程中的損失函數(shù)。該改進(jìn)提高了安全帽佩戴檢測(cè)精度。但這些檢測(cè)工作使用的都是數(shù)量不多的網(wǎng)絡(luò)圖片或固定場(chǎng)景的視頻圖片，不具備較強(qiáng)的泛化能力。

1.2 虛擬數(shù)據(jù)相關(guān)研究

隨著對(duì)海量數(shù)據(jù)的需求，虛擬生成的數(shù)據(jù)集最近獲得了研究人員的極大興趣。虛擬數(shù)據(jù)在計(jì)算機(jī)視覺(jué)領(lǐng)域很早就有了成功的歷史。Taylor等[12]利用計(jì)算機(jī)游戲《半條命》(Half-Life)創(chuàng)建了一個(gè)監(jiān)控系統(tǒng)中的跟蹤評(píng)估系統(tǒng)。Marin等[13]使用虛擬場(chǎng)景的公開(kāi)數(shù)據(jù)集用于行人檢測(cè)基準(zhǔn)測(cè)試，在沒(méi)有特別選擇虛擬樣本的情況下，基于虛擬和真實(shí)的訓(xùn)練所產(chǎn)生的分類(lèi)器的性能相似。Aubry等[14]使用計(jì)算機(jī)生成的圖像來(lái)研究訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)改變對(duì)物體風(fēng)格、視角和顏色等因素的網(wǎng)絡(luò)刺激，對(duì)深度特征進(jìn)行定性和定量分析。Hong等[15]探討了將在模擬虛擬世界中訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)移到現(xiàn)實(shí)世界中進(jìn)行基于視覺(jué)的機(jī)器人控制的問(wèn)題。在類(lèi)似的場(chǎng)景下，Luo等[16]開(kāi)發(fā)了一種在虛擬環(huán)境中訓(xùn)練的端到端主動(dòng)跟蹤器，可以適應(yīng)現(xiàn)實(shí)世界機(jī)器人的設(shè)置。Bewley等[17]訓(xùn)練了一個(gè)深度學(xué)習(xí)模型，在模擬環(huán)境中駕駛，并根據(jù)現(xiàn)實(shí)世界中經(jīng)歷的視覺(jué)變化對(duì)其進(jìn)行了適配。

在游戲引擎的選擇上，一些研究人員選擇流行的引擎虛幻引擎4(UE4)，Qiu W通過(guò)該引擎創(chuàng)建了一個(gè)開(kāi)源插件UnrealCV1。在此基礎(chǔ)上得到數(shù)據(jù)集并將Caffe與虛擬世界連接起來(lái)，以測(cè)試深度網(wǎng)絡(luò)算法[18]。Lai等[19]提出了一個(gè)新的視覺(jué)深度學(xué)習(xí)虛擬環(huán)境(VIVID)，它可以提供大規(guī)模的室內(nèi)和室外多樣化的場(chǎng)景并模仿人類(lèi)動(dòng)作，通過(guò)對(duì)深度學(xué)習(xí)的驗(yàn)證，展示了該系統(tǒng)的能力和優(yōu)勢(shì)。

也有很多研究人員使用《俠盜獵車(chē)手》(GTA-V)等開(kāi)放世界游戲，其特點(diǎn)是世界范圍廣、高度逼真。它們的逼真度不僅體現(xiàn)在材料的高逼真度上，還體現(xiàn)在游戲中的及其真實(shí)的外觀和高度的自由化上。Richter等[20]提出了一種使用GTA-V創(chuàng)建大規(guī)模的像素精確的地面真實(shí)數(shù)據(jù)準(zhǔn)確語(yǔ)義標(biāo)簽圖的方法，用來(lái)訓(xùn)練語(yǔ)義分割系統(tǒng)。Martinez等[21]與Filipowicz等[22]均使用GTA-V進(jìn)行自動(dòng)駕駛汽車(chē)的訓(xùn)練，通過(guò)游戲內(nèi)的圖像創(chuàng)建了大規(guī)模訓(xùn)練集，并訓(xùn)練一個(gè)用于識(shí)別圖像中的停車(chē)標(biāo)志并估計(jì)其距離的分類(lèi)器。Fabbri等[23]創(chuàng)建了一個(gè)從GTA-V中獲取圖像的數(shù)據(jù)集，并證明在真實(shí)人物跟蹤和姿勢(shì)估計(jì)等任務(wù)上可以達(dá)到很好的效果。Johnson-Roberson等[24]使用GTA-V進(jìn)行車(chē)輛檢測(cè)，主要的檢測(cè)方法是Faster-RCNN，并在KITTI數(shù)據(jù)集上驗(yàn)證了他們的結(jié)果。

近兩年，unity3D憑借其容易上手，所見(jiàn)即所得，功能齊全，縮短開(kāi)發(fā)時(shí)間；一次開(kāi)發(fā)，多平臺(tái)發(fā)布等優(yōu)點(diǎn)逐漸被研發(fā)人員關(guān)注。Lee等[25]在Unit3yD中使用深度學(xué)習(xí)開(kāi)發(fā)手寫(xiě)識(shí)別：使用卷積神經(jīng)網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)算法中的EMNIST數(shù)據(jù)集設(shè)計(jì)學(xué)習(xí)數(shù)據(jù)，并使用Unity3D游戲引擎構(gòu)建整個(gè)系統(tǒng)。該系統(tǒng)已經(jīng)開(kāi)發(fā)了一種使用游戲引擎的人工智能系統(tǒng)，簡(jiǎn)化了處理過(guò)程，提高了兼容性。Martinez等[26]使用視頻游戲引擎Unity開(kāi)發(fā)，以重現(xiàn)罕見(jiàn)但關(guān)鍵的轉(zhuǎn)角案例，可用于重復(fù)訓(xùn)練和增強(qiáng)機(jī)器學(xué)習(xí)模型，了解目前自動(dòng)駕駛車(chē)型的局限性。Hossain[27]通過(guò)使用Unity 3D，讓嵌入式設(shè)計(jì)的汽車(chē)在3D環(huán)境中檢查和試驗(yàn)新的軌道、參數(shù)和計(jì)算。在虛擬環(huán)境中模擬真實(shí)汽車(chē)的活動(dòng)，并利用Unity 3D將嵌入式設(shè)計(jì)的汽車(chē)融入到測(cè)試環(huán)境中，實(shí)現(xiàn)任意自主駕駛、轉(zhuǎn)向預(yù)測(cè)、深度學(xué)習(xí)和端到端的學(xué)習(xí)算法。Wood等[28]提出了一種快速合成大量可變眼區(qū)圖像作為訓(xùn)練數(shù)據(jù)的新型方法UnityEyes。使用虛擬圖像用來(lái)在復(fù)雜的場(chǎng)景、甚至在極端角度也可以用來(lái)預(yù)測(cè)。實(shí)驗(yàn)表明該方法在數(shù)據(jù)集上展示了具有高準(zhǔn)確率的預(yù)測(cè)結(jié)果。Wang等[29]提出了一種用于訓(xùn)練車(chē)輛檢測(cè)器的合成圖像的方法。在此方法中，考慮了許多因素來(lái)增加更多的變異，并擴(kuò)展了訓(xùn)練數(shù)據(jù)集的領(lǐng)域，開(kāi)發(fā)了一種轉(zhuǎn)移學(xué)習(xí)的方法來(lái)提高作者的車(chē)輛檢測(cè)器的性能，該方法只用一些人工標(biāo)注的真實(shí)圖像來(lái)提高作者的車(chē)輛檢測(cè)器的性能。

從以上關(guān)于虛擬世界用在深度學(xué)習(xí)中的研究可知，研究人員習(xí)慣于使用虛擬場(chǎng)景進(jìn)行自動(dòng)駕駛的訓(xùn)練，而進(jìn)行目標(biāo)檢測(cè)方面相對(duì)較少，更是很少有研究人員使用基于unity3D虛擬引擎搭建虛擬環(huán)境獲得虛擬圖片進(jìn)行安全帽檢測(cè)相關(guān)工作，這也是我們工作的創(chuàng)新點(diǎn)之一。

2 虛擬訓(xùn)練集的建立

普通的目標(biāo)檢測(cè)可以在龐大的通用注釋數(shù)據(jù)集上進(jìn)行訓(xùn)練，如ImageNet[30]、MS COCO[31]、Pascal[32]或OpenImages v4[33]等，這些數(shù)據(jù)集從網(wǎng)絡(luò)上收集了數(shù)以十萬(wàn)計(jì)的圖片，并已進(jìn)行標(biāo)注。而安全帽檢測(cè)領(lǐng)域由于沒(méi)有通用數(shù)據(jù)集，網(wǎng)絡(luò)圖片又十分有限，因此難以生成泛化性強(qiáng)的模型，選擇unity3D建立虛擬數(shù)據(jù)集幫助訓(xùn)練。Unity3D是由Unity Technologies開(kāi)發(fā)的一個(gè)讓使用者輕松創(chuàng)建諸如三維視頻游戲、建筑可視化、實(shí)時(shí)三維動(dòng)畫(huà)等類(lèi)型互動(dòng)內(nèi)容的多平臺(tái)的綜合型游戲開(kāi)發(fā)工具，是一個(gè)全面整合的專(zhuān)業(yè)游戲引擎。其提供了編輯器、beast渲染器、tree creator等大量的輔助工具，支持Javascript、C#、Boo等3種腳本語(yǔ)言，通過(guò)Mono實(shí)現(xiàn)了.Net代碼的跨平臺(tái)應(yīng)用，從而完美解決了對(duì)數(shù)據(jù)庫(kù)、xml、正則表達(dá)式等技術(shù)的支持。在圖像渲染方面其支持100多種光照材質(zhì)shader，20多種后期處理效果。和同類(lèi)引擎相比，Unity的優(yōu)勢(shì)在于輕量級(jí)，安裝容易，學(xué)習(xí)門(mén)檻較低，使用方法簡(jiǎn)單，友好的可視化編輯界面功能強(qiáng)大，編寫(xiě)方便，極易上手。功能齊全及完美的工作流程，縮短開(kāi)發(fā)時(shí)間，提高工作效率。

為了生成訓(xùn)練場(chǎng)景，使用自制的電廠現(xiàn)場(chǎng)模型以及一些網(wǎng)絡(luò)上的場(chǎng)景模塊作為檢測(cè)場(chǎng)景，一共25個(gè)不同的場(chǎng)景；通過(guò)在unity3D中使用材質(zhì)球(Materials)、粒子系統(tǒng)(Particle system)并調(diào)整渲染模式將每個(gè)室外場(chǎng)景設(shè)置了晴天、陰天、雨天等3種不同的天氣條件，對(duì)于室內(nèi)場(chǎng)景，在每個(gè)室內(nèi)空間使用了spotlight點(diǎn)光源，調(diào)整光源的亮度來(lái)改變圖片的色彩；在每個(gè)場(chǎng)景部署一系列有安全帽和沒(méi)有安全帽的頭部特征各異且姿態(tài)不同的人員，并使用Animation動(dòng)畫(huà)功能使他們能夠在場(chǎng)景內(nèi)自由活動(dòng)，生成多種不同的圖片；通過(guò)鼠標(biāo)調(diào)整攝像頭視角，獲得全方位多角度的數(shù)據(jù)集。最終能夠使用75個(gè)不同場(chǎng)景獲取訓(xùn)練集，每個(gè)場(chǎng)景截取100張圖片，一共獲得約7 500張?zhí)摂M圖片。不同場(chǎng)景圖片如圖1所示。

圖1 各場(chǎng)景圖片示例

對(duì)于數(shù)據(jù)集注釋的自動(dòng)生成，場(chǎng)景內(nèi)布置的人員如圖2所示，他們的頭部設(shè)有三維識(shí)別框，對(duì)三維識(shí)別框的每個(gè)頂點(diǎn)進(jìn)行Camera.WorldToScreenPoint(unity3D中三維坐標(biāo)轉(zhuǎn)屏幕坐標(biāo)方法)函數(shù)處理，獲得其在二維圖像上的位置，計(jì)算其變換后的三維邊界框的尺寸，選擇三維識(shí)別框中8個(gè)頂點(diǎn)映射到二維圖片上x(chóng)、y坐標(biāo)的極大值與極小值作為標(biāo)注框的4個(gè)頂點(diǎn)，即voc標(biāo)注格式中bndbox值。然后通過(guò)可見(jiàn)性判斷此框是否被遮擋，可見(jiàn)性是通過(guò)測(cè)試截圖的視線射線對(duì)框體中一定量的固定點(diǎn)的遮擋來(lái)檢查可見(jiàn)度，如果至少有一條射線沒(méi)有被遮擋，則認(rèn)為該物體是可見(jiàn)的。當(dāng)點(diǎn)擊截圖按鍵時(shí)，會(huì)同時(shí)保存圖內(nèi)人員頭部的矩形框及相應(yīng)屬性和位置，自動(dòng)建立數(shù)據(jù)集的注釋?zhuān)４娓袷饺鐖D3所示。

圖2 虛擬圖像的頭部三維識(shí)別框

圖3 生成的VOC格式標(biāo)注文件

3 實(shí)驗(yàn)及結(jié)果分析

3.1 Yolov3網(wǎng)絡(luò)介紹

基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法可分為基于分類(lèi)的目標(biāo)檢測(cè)算法和基于回歸的目標(biāo)檢測(cè)算法。基于分類(lèi)的目標(biāo)檢測(cè)算法也稱(chēng)為兩階段目標(biāo)檢測(cè)(two-stage)，首先針對(duì)圖像中目標(biāo)物體位置，預(yù)先提出候選區(qū)域，然后微調(diào)候選區(qū)并輸出檢測(cè)結(jié)果。其代表有R-cnn[34]、Fast R-CNN[35]、Faster R-CNN、FPN[36]、R-FCN、MASK R-CNN[37]等。由于兩階段檢測(cè)存在提取候選區(qū)域的過(guò)程，檢測(cè)速度難以滿足部分現(xiàn)場(chǎng)需求，因此研究人員開(kāi)發(fā)出單階段(one-stage)算法，將整個(gè)檢測(cè)過(guò)程簡(jiǎn)化為一次端對(duì)端的檢測(cè)。其代表有YOLO系列、RetinaNet[38]、M2Det[39]、EfficientDet[40]等。選用當(dāng)前的主流模型Yolov3作為測(cè)試模型，以增加實(shí)驗(yàn)的普適性。

Yolov3采用殘差網(wǎng)絡(luò)模型Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)代替了YOLOv2的Darknet-19，通過(guò)53個(gè)卷積層和5個(gè)最大池化層來(lái)提取特征，使用批量歸一化和dropout去除操作來(lái)防止過(guò)擬合，損失函數(shù)使用logistic代替了softmax，等等。YOLOv3預(yù)檢測(cè)系統(tǒng)采用了多尺度訓(xùn)練，使用分類(lèi)器多次執(zhí)行檢測(cè)任務(wù)，將模型應(yīng)用于圖像的多個(gè)位置和比例，例如輸入為416×416像素時(shí)會(huì)融合13×13，26×26，52×52像素3個(gè)特征層。因此YOLOv3適用于小目標(biāo)檢測(cè)，其結(jié)構(gòu)圖如圖4所示。

圖4 Yolov3網(wǎng)絡(luò)結(jié)構(gòu)圖

3.2 評(píng)價(jià)指標(biāo)

1)檢測(cè)速度(frames per second,FPS):每秒能夠檢測(cè)的圖片數(shù)量。

2)交并比(intersection over union,IOU):預(yù)測(cè)邊框與實(shí)際邊框的交集和并集的比值。

(1)

式中：A為預(yù)測(cè)邊框；B為實(shí)際邊框。

3)泛化交并比(generalized intersection over union,GIOU):一個(gè)優(yōu)化的交并比[41]。

(2)

式中，C為A與B兩個(gè)框的最小閉包區(qū)域面積。

4)準(zhǔn)確率P(precision)：

(3)

式中：TP為預(yù)測(cè)正確的正樣本的數(shù)量；FP為將負(fù)樣本預(yù)測(cè)成正樣本的數(shù)量。

5)召回率R(recall)：

(4)

式中，F(xiàn)N為將正樣本預(yù)測(cè)為負(fù)樣本的數(shù)量。

6)平均準(zhǔn)確率(average precision，AP)：

(5)

式中，t為在不同IOU下曲線的召回率，如當(dāng)t=0.7時(shí)，只有IOU≥0.7才被認(rèn)為是正樣本。

7)平均準(zhǔn)確率均值(mean average precision，mAP)：

(6)

式中，N為種類(lèi)數(shù)量。

3.3 模型訓(xùn)練過(guò)程

實(shí)驗(yàn)仿真在 PyTorch框架下進(jìn)行，訓(xùn)練及測(cè)試的計(jì)算機(jī)硬件配置 CPU 為 i9-9900X處理器，32GB內(nèi)存，GPU 為 Nvidia GeForce GTX 1080Ti，CUDA版本號(hào)為10.2.120，操作系統(tǒng)為Ubuntu 19.04。

設(shè)計(jì)進(jìn)行三輪訓(xùn)練進(jìn)行對(duì)比，第1輪使用300張真實(shí)圖片、300張?zhí)摂M圖片、300張真實(shí)圖片加300張?zhí)摂M圖片作為訓(xùn)練集，第2輪將真實(shí)與虛擬圖片的數(shù)量增到1 000張，第3輪將真實(shí)與虛擬圖片的數(shù)量增到4 000張，3輪的測(cè)試集均為1 000張真實(shí)圖片，用來(lái)評(píng)定只使用虛擬圖片的效果以及真實(shí)圖片與虛擬圖片搭配真實(shí)圖片的效果。同時(shí)采用圖像翻轉(zhuǎn)、裁剪、變化顏色、修改亮度、對(duì)比度、飽和度等多方式進(jìn)行圖像增廣。

訓(xùn)練中每一批次包含32張圖片，優(yōu)化器選擇adamW[42]，損失函數(shù)選擇Focal Loss，其中α=0.25,γ=1.5，初始學(xué)習(xí)率為0.1，在完成3代訓(xùn)練后調(diào)整學(xué)習(xí)率至0.000 1，連續(xù)50代未獲得更優(yōu)模型則在當(dāng)前學(xué)習(xí)率乘以系數(shù)0.3得到新的學(xué)習(xí)率，每次訓(xùn)練迭代3 000代?？傮w結(jié)果見(jiàn)表1。

3.4 結(jié)果分析

通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比可以看到:

表1 實(shí)驗(yàn)結(jié)果對(duì)比

1)由結(jié)果可知，使用虛擬圖片訓(xùn)練的模型比使用真實(shí)數(shù)據(jù)訓(xùn)練的模型loss值更低，但同時(shí)mAP也略低于真實(shí)圖片，說(shuō)明：①使用虛擬圖片訓(xùn)練后的模型能夠較為準(zhǔn)確地識(shí)別真實(shí)世界的檢測(cè)目標(biāo)。②虛擬圖片還無(wú)法完全達(dá)到真實(shí)圖片的復(fù)雜度，在訓(xùn)練時(shí)相對(duì)容易識(shí)別檢測(cè)目標(biāo)，而測(cè)試集使用的是真實(shí)圖片，模型訓(xùn)練的復(fù)雜度不夠高，因此會(huì)出現(xiàn)loss值低的同時(shí)mAP也低的情況。

2)由表1中每輪的1、3次對(duì)比可知，使用虛擬圖片與真實(shí)圖片的聯(lián)合訓(xùn)練集比只使用真實(shí)圖片的訓(xùn)練集所訓(xùn)練出的模型mAP高，說(shuō)明：①虛擬數(shù)據(jù)集的加入能夠在一定程度上提升訓(xùn)練后模型的泛化能力；②隨著真實(shí)數(shù)據(jù)的增加，虛擬數(shù)據(jù)集對(duì)mAP提升的效果逐漸降低；③對(duì)于擁有幾千張網(wǎng)絡(luò)圖片的安全帽檢測(cè)，虛擬數(shù)據(jù)集對(duì)最終mAP有提升效果；④對(duì)于真實(shí)訓(xùn)練集較少的研究，適合采用虛擬圖片擴(kuò)充數(shù)據(jù)集。

3)由表1中第3輪的3、4次對(duì)比可知，增加更多場(chǎng)景的虛擬圖片仍然能夠小幅提升模型mAP。

4 結(jié)束語(yǔ)

提出了使用虛擬圖片作為可用真實(shí)圖片少的目標(biāo)檢測(cè)模型的訓(xùn)練集，通過(guò)使用unity3D制作了大量的帶有頭部三維識(shí)別框的人物模型及場(chǎng)景模型，混合搭配這些模型并在動(dòng)畫(huà)中自動(dòng)截圖生成虛擬安全帽檢測(cè)訓(xùn)練集及其標(biāo)注數(shù)據(jù)集，進(jìn)行實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)使用虛擬圖片作為訓(xùn)練集能夠較為準(zhǔn)確的識(shí)別真實(shí)世界的檢測(cè)目標(biāo)，但檢測(cè)效果比真實(shí)圖片略差；真實(shí)圖片與虛擬圖片組成的聯(lián)合數(shù)據(jù)集能夠提升安全帽檢測(cè)的mAP；對(duì)于訓(xùn)練數(shù)據(jù)較少的研究來(lái)說(shuō)，適合采用虛擬圖片擴(kuò)充數(shù)據(jù)集。

本研究之后首先將著力于提升虛擬世界的模型真實(shí)度，力爭(zhēng)進(jìn)一步接近真實(shí)圖片；其次研究unity3D的時(shí)間及場(chǎng)景自動(dòng)切換，人物自由行動(dòng)等功能，在自動(dòng)標(biāo)注的基礎(chǔ)上減少布置場(chǎng)景的工作量；最后由于武器檢測(cè)領(lǐng)域的可用真實(shí)圖片遠(yuǎn)遠(yuǎn)少于安全帽檢測(cè)，而各類(lèi)游戲中武器模型已栩栩如生，在此領(lǐng)域制作虛擬訓(xùn)練集也會(huì)很有意義。