張 駿,朱 標(biāo),吉 濤

(中航華東光電有限公司 國(guó)家特種顯示工程技術(shù)研究中心 特種顯示國(guó)家實(shí)驗(yàn)室,安徽 蕪湖 241002)

1 引 言

2019年,武漢市爆發(fā)新型冠狀病毒疫情,疫情擴(kuò)展速度快,短短2周便傳播到全國(guó)各地。該病毒的主要癥狀之一就是體溫異常,因此體溫檢測(cè)成為監(jiān)控疫情的重要手段。人工智能與熱紅外測(cè)溫相結(jié)合的各種檢測(cè)系統(tǒng)紛紛亮相,曠視科技將可見光條件下檢測(cè)戴口罩遮擋的人臉技術(shù)和熱紅外技術(shù)相集合,推出了“曠視AI測(cè)溫系統(tǒng)”,商湯科技也相應(yīng)的推出了人臉識(shí)別、無(wú)感測(cè)溫與無(wú)感通行結(jié)合的出入口通行模塊,通過(guò)該模塊可以快速的檢測(cè)出人員有無(wú)佩戴口罩,規(guī)范員工佩戴口罩進(jìn)出。目前提出的智能監(jiān)控系統(tǒng),更多的是基于可見光下的人臉檢測(cè)(包括戴口罩遮擋),再通過(guò)可見光圖像和紅外圖像的配準(zhǔn),將可見光下檢測(cè)到的人臉區(qū)域應(yīng)用到紅外圖像中。而這類智能監(jiān)控系統(tǒng),對(duì)于硬件依賴較大,必須使用配準(zhǔn)好的雙光(可見光+熱紅外)采集設(shè)備。針對(duì)此種局限本文提出了一種基于MobileNet-SSD網(wǎng)絡(luò)的紅外人臉檢測(cè)算法,可直接檢測(cè)出熱紅外圖像中的人臉區(qū)域。

2 SSD網(wǎng)絡(luò)

SSD(Single Shot MultiBox Detector)算法,是一種端到端的單次多框?qū)崟r(shí)檢測(cè)的深度神經(jīng)網(wǎng)絡(luò)模型[1],融合了YOLO的回歸思想[2]和Faster RCNN[3]的候選框機(jī)制。該算法利用回歸的思想極大的減少了神經(jīng)網(wǎng)絡(luò)的計(jì)算量,提升了算法的運(yùn)行速度。算法中不需要生產(chǎn)候選框,而是直接提取輸入圖像的特征信息,然后直接在特征圖上回歸這個(gè)位置的邊界框以及對(duì)物體進(jìn)行分類；運(yùn)用局部特征提取的方法得到不同的位置,不同的寬高比、尺寸的特征,對(duì)比YOLO算法特征提取更加高效[1],此外,為了增加模型檢測(cè)不同大小物體的魯棒形,算法選取了網(wǎng)絡(luò)中多個(gè)層次的特征圖進(jìn)行預(yù)測(cè)。

SSD的網(wǎng)絡(luò)模型基于一個(gè)前饋卷積網(wǎng)絡(luò),大致可以分為:前端的特征提取網(wǎng)絡(luò)和后端的多尺度特征檢測(cè)網(wǎng)絡(luò),通過(guò)池化操作將前端提取網(wǎng)絡(luò)產(chǎn)生的特征圖尺寸逐層減小,再通過(guò)后端的檢測(cè)網(wǎng)絡(luò)的檢測(cè),實(shí)現(xiàn)多個(gè)尺度特征圖的檢測(cè)[1]。網(wǎng)絡(luò)的結(jié)構(gòu)如圖1所示。

圖1 SSD網(wǎng)絡(luò)結(jié)構(gòu)

3 MobileNet網(wǎng)絡(luò)

2019年,Google公司在MobileNet-V2之后提出了MobileNet-V3網(wǎng)絡(luò)[4],作為MobileNet系列的新成員,MobileNet-V3繼承了MobileNet的一貫輕量化的特點(diǎn),MobileNet網(wǎng)絡(luò)在V1模型中,采用直筒結(jié)構(gòu),利用分組卷積降低網(wǎng)絡(luò)的計(jì)算量,使得網(wǎng)絡(luò)的計(jì)算量降到最低,同時(shí)使用Point-Wise Conv進(jìn)行通道直接的融合[5]。V2模型在V1模型的基礎(chǔ)上,引入了bottleneck結(jié)構(gòu)[6],將bottleneck結(jié)構(gòu)變成了紡錘型,即resnet先縮小為原來(lái)的1/4,再放大到原來(lái)的6倍,再縮小[6],最后將Residual Block[7]中最后的ReLU操作取消。V3模型在V2的基礎(chǔ)上進(jìn)行了4處優(yōu)化:①引入了SE(Squeeze-and-Excite)結(jié)構(gòu),再bottleneck結(jié)構(gòu)中增加SE結(jié)構(gòu),文獻(xiàn)[4]中,作者給出了改進(jìn)后的結(jié)構(gòu)圖,并詳細(xì)解釋了增加SE結(jié)構(gòu)后,不僅提高了網(wǎng)絡(luò)的精度,同時(shí)也沒(méi)有增加時(shí)間的消耗；②修改了V2模型的尾部結(jié)構(gòu),直接去掉了V2結(jié)構(gòu)中Avg Pooling操作前紡錘型卷積的3×3以及1×1卷積,進(jìn)一步減少了計(jì)算量,同時(shí)精度也沒(méi)有損失[4]；③修改頭部卷積核通道數(shù)量,由V2模型中的32×3×3,修改為16×3×3；④非線性變化的改變,使用了h-swish替代了swish操作。

4 基于MobileNet-SSD的熱紅外人臉檢測(cè)算法

熱紅外圖像,因?yàn)槠涮厥獾某上裉攸c(diǎn),使其應(yīng)用領(lǐng)域廣泛,尤其在軍事、工業(yè)、醫(yī)療領(lǐng)域[8]。熱紅外圖像成像的原理是通過(guò)采集熱紅外波段8～14 μm,來(lái)探測(cè)物體發(fā)出的熱輻射,熱成像將熱輻射轉(zhuǎn)化為灰度值,通過(guò)黑體輻射源標(biāo)定得到的測(cè)溫算法模型(溫度灰度曲線)建立灰度與溫度的對(duì)應(yīng)關(guān)系[9]。其圖像的灰度分布與目標(biāo)反射特征無(wú)線性關(guān)系。如圖2所示。

從第2節(jié)中可以了解到SSD算法是有前端的特征提取網(wǎng)絡(luò)和后期的特征檢測(cè)網(wǎng)絡(luò)組成,在文獻(xiàn)[1]中作者指出前端特征提取網(wǎng)絡(luò),可以是一個(gè)去除全連接層的分類網(wǎng)絡(luò),如 AlexNet[10],VGG[11]等,作者使用了VGG16網(wǎng)絡(luò),文獻(xiàn)[4]中,作者將MobileNetV3應(yīng)用于SSD-Lite在COCO測(cè)試集上,對(duì)比基于VGG的SSD-Lite,運(yùn)行速度要快五六倍之多,雖然MobileNetSSD在精度有所下降,但可以滿足使用需求[4,12-15]。

4.1 基礎(chǔ)模型的訓(xùn)練

可見光條件下SSD算法通常采用VGG16作為基礎(chǔ)模型,在VGG16的基礎(chǔ)上通過(guò)新增卷積層來(lái)獲得更多的特征圖用來(lái)檢測(cè)。通常使用的VGG16是在相關(guān)數(shù)據(jù)集的預(yù)訓(xùn)練模型,如ImageNet數(shù)據(jù)集、ILSVRC CLS-LOC數(shù)據(jù)集等,這些數(shù)據(jù)集往往都提供了大量的可見光數(shù)據(jù)和預(yù)訓(xùn)練模型供大家使用。因此在可見光條件下,更多的研究重點(diǎn)集中在SSD特征搜索網(wǎng)絡(luò),而忽略了前期基礎(chǔ)模型的訓(xùn)練。文獻(xiàn)[16]中,Zhiqiang Shen提出了3個(gè)觀點(diǎn),首先是預(yù)訓(xùn)練模型一般都是在分類圖像數(shù)據(jù)集上訓(xùn)練,不一定可以遷移到檢測(cè)模型的數(shù)據(jù)上；其次,預(yù)訓(xùn)練的模型,其結(jié)構(gòu)是固定的,修改比較麻煩；最后,預(yù)訓(xùn)練的分類網(wǎng)絡(luò)的訓(xùn)練目標(biāo)一般和檢測(cè)目標(biāo)不一致,因此預(yù)訓(xùn)練模型對(duì)于檢測(cè)算法而言不一定是最優(yōu)的選擇[16]。而本算法針對(duì)的熱紅外圖像,恰好滿足了上述的觀點(diǎn),首先是熱紅外的分類圖像數(shù)據(jù)集,很難獲得,無(wú)法進(jìn)行預(yù)訓(xùn)練模型遷移,其次,訓(xùn)練目標(biāo)與檢測(cè)目標(biāo)不一致,因此本算法需要構(gòu)建自己的訓(xùn)練數(shù)據(jù)集,并進(jìn)行基礎(chǔ)模型的訓(xùn)練。

本文采用了文獻(xiàn)[4]中的MobileNetV3-Large網(wǎng)絡(luò)作為基礎(chǔ)模型,該模型對(duì)比Small模型增加了特征提取力度,極大程度的保證了淺層特征的提取。其網(wǎng)絡(luò)結(jié)構(gòu)在文獻(xiàn)[4]中有描述,這里不在闡述。文獻(xiàn)[4]中用h-swish函數(shù)代替了swish函數(shù),其公式如式(1)所示:

c∈[1,C]

(1)

(2)

4.2 MobileNet-SSD模型

目前,SSD在車牌檢測(cè)、人臉檢測(cè)中有廣泛的使用[1]。從2015年被提出以后,SSD算法便一直被用來(lái)與YOLO算法進(jìn)行比較,但是實(shí)際上SSD算法(除了SSD512)在速度和精度上都要優(yōu)于YOLO算法,原因在于,SSD采用了不同尺度的特征圖進(jìn)行檢測(cè),大尺度特征圖(較靠前的特征圖)用來(lái)檢測(cè)小物體,而小尺度特征圖(較靠后的特征圖)用來(lái)檢測(cè)大物體。同時(shí)使用了不同尺度和長(zhǎng)寬比的先驗(yàn)框[2]。因此這些特點(diǎn)決定了SSD算法可以很好的兼顧不同尺寸的目標(biāo)檢測(cè)。

MobileNet-SSD用MobileNetV3-Large網(wǎng)絡(luò)替代VGG16作為基礎(chǔ)網(wǎng)絡(luò),借鑒文獻(xiàn)[12]～[15]中對(duì)于SSD網(wǎng)絡(luò)的改變,本算法相應(yīng)的對(duì)網(wǎng)絡(luò)進(jìn)行了適當(dāng)?shù)母淖?首先使用Residual Block[7]代替了文獻(xiàn)[1]給出的Conv2d操作；以提升網(wǎng)絡(luò)的檢測(cè)精度；其次對(duì)預(yù)測(cè)框(Prior Box)的尺寸進(jìn)行了改變,使用了19,10,5,3,2,1尺寸的先驗(yàn)框代替文獻(xiàn)[1]中使用了38,19,10,5,3,1尺寸的先驗(yàn)框,這樣雖然降低了算法對(duì)于極小尺寸目標(biāo)的檢測(cè)精度,但是卻提升了網(wǎng)絡(luò)的運(yùn)算速度。網(wǎng)絡(luò)的損失函數(shù)均采用文獻(xiàn)[1]提出的方法,這里不在進(jìn)行闡述。

4.3 熱紅外人臉?lè)诸悢?shù)據(jù)集

因本算法針對(duì)于熱紅外圖像中的人臉檢測(cè),而目前沒(méi)有開源的熱紅外圖像數(shù)據(jù)集,所以本文收集了1000張熱紅外人臉圖像作為基礎(chǔ)分類模型訓(xùn)練的數(shù)據(jù)集,同時(shí)收集了550張不同環(huán)境下的熱紅外圖像作為檢測(cè)訓(xùn)練集。其中1000張熱紅外人臉圖像,采集了“黑熱”、“白熱”、“偽彩”、“是/否佩戴口罩”、“是/否佩戴眼鏡”等多種圖像,如圖3所示。

圖3 熱紅外人臉圖像訓(xùn)練集

可見光圖像的數(shù)據(jù)增強(qiáng)方法大致為顏色變換、幾何變換和裁剪變換,而紅外圖像自身的特點(diǎn),決定了顏色變換對(duì)于熱紅外圖像的增強(qiáng)作用不是很大。本文采用了縮放操作、隨機(jī)翻轉(zhuǎn)(水平,垂直方向)、旋轉(zhuǎn)操作、鏡像操作作為數(shù)據(jù)增強(qiáng)的方法。同時(shí)隨機(jī)抽取部分圖像進(jìn)行剪切操作,用來(lái)模擬可能出現(xiàn)的人臉大比例被遮擋的情況。

4.4 熱紅外人臉檢測(cè)數(shù)據(jù)集

熱紅外人臉檢測(cè),往往是在一幅熱紅外圖像中出現(xiàn)單個(gè)或多個(gè)人臉,同時(shí)因?yàn)椴煌四樤趫D像中的位置和尺寸的大小,使得4.3節(jié)中的人臉圖像不在適用于人臉檢測(cè),因此,本文在室內(nèi)環(huán)境下,又采集了550張不同情況下的人臉圖像,這些圖像包括單個(gè)人臉,多個(gè)人臉、同時(shí)出現(xiàn)尺寸大小不一的人臉等場(chǎng)景,采用縮放、隨機(jī)翻轉(zhuǎn)(水平,垂直)、圖像旋轉(zhuǎn)、鏡像以及對(duì)隨機(jī)圖像進(jìn)行圖像裁剪等系列操作方式作為數(shù)據(jù)增強(qiáng)手段。如圖4所示。

圖4 熱紅外人臉檢測(cè)數(shù)據(jù)集

5 實(shí)驗(yàn)對(duì)比及數(shù)據(jù)分析

本算法采用3組不同的實(shí)驗(yàn),以驗(yàn)證算法的可行性及性能。對(duì)比實(shí)驗(yàn)分別為:1)隨機(jī)抽取熱紅外人臉圖測(cè)試本算法的可行性；2)對(duì)比可見光人臉檢測(cè)精度分析本算法的性能；3)利用OpenVINO ToolKit加速本算法,測(cè)試算法的實(shí)時(shí)性。

5.1 前期實(shí)驗(yàn)準(zhǔn)備

在實(shí)驗(yàn)前期,需要對(duì)MobileNet V3-Large分類網(wǎng)絡(luò)進(jìn)行訓(xùn)練,為后續(xù)的MobileNet-SSD網(wǎng)絡(luò)提供特征提取模型。首先是數(shù)據(jù)集的準(zhǔn)備,我們收集了1000張不同環(huán)境下的熱紅外人臉圖像,后續(xù)又添加了1000張可見光條件下的貓臉圖像和1000張可見光條件下的狗臉圖像。采用7∶2∶1的分配比例分為訓(xùn)練樣本,驗(yàn)證樣本及測(cè)試樣本。實(shí)驗(yàn)環(huán)境為Window10+Anaconda3(64 bit),采用Pytorch 1.1.0+OpenCV3.3(No Contrib)作為深度學(xué)習(xí)框架,CPU 為Inter Core i7-7700HQ,內(nèi)存為16G,GPU為NVIDIA GeForce GTX1050Ti 4 GB。MobuleNet_V3-Large參數(shù)為學(xué)習(xí)率(Learning-rate)為1×10-3；輸入圖像尺寸(Input Size)為224×224；批次規(guī)模(Batch Size)為10；迭代次數(shù)(Epochs)為200；分類種類(Classes)為3類。迭代160次后,模型準(zhǔn)確率收斂到99.45 %,結(jié)束訓(xùn)練,模型大小為14.9 M。

5.2 可行性實(shí)驗(yàn)

實(shí)驗(yàn)平臺(tái)的硬件指標(biāo)與5.1節(jié)的硬件指標(biāo)一致。本實(shí)驗(yàn)隨機(jī)抽取了“黑熱”,“白熱”,“偽彩”的單一人臉和多人臉進(jìn)行了實(shí)驗(yàn),使用“標(biāo)記框面積比”,“誤檢測(cè)率”作為對(duì)比指標(biāo)。公式分別如(3)、(4)所示:

(3)

“誤檢測(cè)率”如(4)所示:

(4)

式(4)中,Qerror表示“誤檢測(cè)率”；Ndetect表示預(yù)測(cè)人臉框個(gè)數(shù)；Nthruth表示人工標(biāo)記框個(gè)數(shù)。當(dāng)Qerror>1時(shí),表示多預(yù)測(cè)出人臉；當(dāng)Qerror<1時(shí),表示出現(xiàn)漏檢測(cè)人臉；當(dāng)Qerror=1表示預(yù)測(cè)人臉框的數(shù)量和人工標(biāo)記的數(shù)量一致?？尚行詫?shí)驗(yàn)結(jié)果圖如圖5所示。其中圖5(a)、(b)、(c)為“白熱”圖像檢測(cè)結(jié)果,圖5(d)、(e)、(f)為“黑熱”圖像檢測(cè)結(jié)果；圖5(g)、(h)、(i)為偽彩圖像檢測(cè)結(jié)果。

表1、表2、表3中A、B、C、D分別為Nthruth、Ndetect、Qerror、Qarea,“-”表示沒(méi)有對(duì)應(yīng)值,從實(shí)驗(yàn)結(jié)果中不難發(fā)現(xiàn)3種不同形式的圖像,均出現(xiàn)了“漏檢測(cè)”的情況,在“單人近距離”條件下,3種圖像均出現(xiàn)了漏檢測(cè),尤其在“黑熱”圖像中,幾乎檢測(cè)不到人臉,從圖5(i),(j)不難看出,“黑熱”的人臉圖像特征信息(除去眼鏡部分)較少,所以很難完成檢測(cè)任務(wù)。相對(duì)而言,“白熱”、“偽彩”圖像提取的特征信息較為豐富,如圖5(d),(e),(o)。但因?yàn)榛A(chǔ)網(wǎng)絡(luò)的訓(xùn)練集數(shù)量過(guò)少,極大程度限制了網(wǎng)絡(luò)的性能,導(dǎo)致出現(xiàn)了大量漏檢測(cè)的情況；“多人中遠(yuǎn)距離”條件下,檢測(cè)效果對(duì)比“單人”情況有了大幅提高,也驗(yàn)證了MobileNet-SSD算法的多尺度特點(diǎn),但是漏檢測(cè)的情況也依然存在。在Qarea指標(biāo)上,只有圖5(d)中的預(yù)測(cè)框要大于標(biāo)記框,其他的預(yù)測(cè)框基本與標(biāo)記框大小一致。通過(guò)圖5和表1、表2和表3的數(shù)據(jù)對(duì)比,本算法完全可以適用于熱紅外圖像中的人臉檢測(cè)。

圖5 本算法檢測(cè)結(jié)果

表1 白熱圖像“可行性”實(shí)驗(yàn)指標(biāo)分析表

表2 黑熱圖像“可行性”實(shí)驗(yàn)指標(biāo)分析表

表3 偽彩圖像“可行性”實(shí)驗(yàn)指標(biāo)分析表

5.3 性能對(duì)比實(shí)驗(yàn)

5.2節(jié)中驗(yàn)證了本算法的可行性。在本節(jié)中,我們將對(duì)比于“可見光條件”下的檢測(cè)精度。實(shí)驗(yàn)環(huán)境,采用雙光采集設(shè)備(可見光+熱紅外),同步采集可見光和熱紅外圖像,在通過(guò)相關(guān)算法預(yù)測(cè)出可見光下的人臉區(qū)域,并將該區(qū)域,同步到熱紅外圖像中,繪制出區(qū)域A,再通過(guò)本算法以標(biāo)記了區(qū)域A的熱紅外圖像作為測(cè)試圖像,繪制預(yù)測(cè)區(qū)域B,對(duì)比區(qū)域A和區(qū)域B,以測(cè)試本算法的精確度Acczones。其公式如下:

(5)

圖6 性能對(duì)比實(shí)驗(yàn)圖

圖6中粗框?yàn)橥ㄟ^(guò)可見光同步并標(biāo)記溫度的預(yù)測(cè)框,細(xì)框?yàn)楸舅惴A(yù)測(cè)框,文字信息為算法的實(shí)時(shí)幀率；本次將市面上使用的一種“疫情監(jiān)控系統(tǒng)”相關(guān)算法作為對(duì)比對(duì)象。從圖6(b)、(d)中明顯可以發(fā)現(xiàn),對(duì)比算法的預(yù)測(cè)框位置偏差較大,考慮到雙光設(shè)備之間的偏差,我們默認(rèn)預(yù)測(cè)框標(biāo)記在合適的位置。

表4 可見光預(yù)測(cè)框與本算法預(yù)測(cè)框Acczones 對(duì)比

通過(guò)本次實(shí)驗(yàn)的結(jié)果圖和相關(guān)數(shù)據(jù)對(duì)比,可以得出對(duì)比市面上特定的雙光算法,本算法對(duì)于硬件依賴性更小。同時(shí)本算法在對(duì)于中、小尺寸的人臉檢測(cè)上,具有一定優(yōu)勢(shì),檢測(cè)精準(zhǔn)度也與特定雙光算法精度相當(dāng)。但在大尺寸的人臉檢測(cè)上本算法顯示出不足。

5.4 實(shí)時(shí)性測(cè)試

因深度學(xué)習(xí)模型的高計(jì)算量很難實(shí)時(shí)應(yīng)用,所以深度學(xué)習(xí)模型的優(yōu)化和硬件加速也成為了當(dāng)前重要的研究方向。OpenVINO ToolKit是Intel發(fā)布的一套深度學(xué)習(xí)推斷引擎,支持各種網(wǎng)絡(luò)框架。在Intel平臺(tái)上可以提升計(jì)算機(jī)視覺(jué)相關(guān)深度學(xué)習(xí)性能達(dá)19倍以上,解除CNN-based的網(wǎng)絡(luò)在邊界設(shè)備的性能瓶頸,對(duì)于OpenCV,OpenXV*等視覺(jué)庫(kù)實(shí)現(xiàn)了加速和優(yōu)化[17]。我們利用OpenVINO提供的工具,對(duì)算法模型進(jìn)行了轉(zhuǎn)換,生成可供OpenVINO使用的相關(guān)文件,在硬件平臺(tái)上進(jìn)行了相關(guān)測(cè)試。硬件平臺(tái)于5.1節(jié)的測(cè)試平臺(tái)相同。在CPU模式下,本算法的實(shí)時(shí)性達(dá)到30～33 f/s,可實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。如圖6中記錄實(shí)時(shí)幀率。

6 總 結(jié)

針對(duì)疫情期間的“體溫監(jiān)控”系統(tǒng)中雙光(可見+熱紅外)人臉檢測(cè)算法對(duì)硬件依賴性較強(qiáng),本文提出了一種基于MobileNet-SSD網(wǎng)絡(luò)的紅外人臉檢測(cè)算法,該算法直接對(duì)熱紅外圖像進(jìn)行人臉檢測(cè),極大程度的降低了熱紅外人臉檢測(cè)對(duì)于采集設(shè)備的依賴。對(duì)比市面上使用的“測(cè)溫監(jiān)控系統(tǒng)”中雙光人臉檢測(cè)算法,本算法在中/小尺寸的人臉檢測(cè)上,具有一定的優(yōu)勢(shì),同時(shí)檢測(cè)精確度也接近雙光檢測(cè)精度。通過(guò)OpenVINO加速,該算法可以實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。但是本算法也存在不足之處,如大尺寸單人檢測(cè)條件下,檢測(cè)率較低；訓(xùn)練數(shù)據(jù)集樣本較少等問(wèn)題。后期將針對(duì)這些不足之處,繼續(xù)進(jìn)行深入的研究。