陳紫媚 羅平

摘要：針對(duì)圖像模糊以及隱藏物品特征不明顯問(wèn)題，研究了一種更有效的被動(dòng)毫米波雷達(dá)圖像隱藏物品檢測(cè)方法。該方法首先使用超分辨卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始低分辨圖像進(jìn)行超分辨重建，然后使用直方圖閾值分割技術(shù)對(duì)圖像進(jìn)行二值化處理，最后使用YOLOv3進(jìn)行目標(biāo)檢測(cè)，被動(dòng)毫米波雷達(dá)圖像處理結(jié)果驗(yàn)證了提出方法對(duì)隱藏物品檢測(cè)的有效性。由結(jié)果可見，通過(guò)SRCNN算法對(duì)圖像進(jìn)行超分辨率重建后，圖像質(zhì)量得到了改善，再利用深度學(xué)習(xí)算法可較準(zhǔn)確地識(shí)別隱藏物品的位置、類別和置信度。

關(guān)鍵詞：被動(dòng)毫米波; 超分辨卷積神經(jīng)網(wǎng)絡(luò);YOLOv3;目標(biāo)檢測(cè);深度學(xué)習(xí)

中圖分類號(hào)：TP183 ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2020）28-0182-03

Abstract： Aiming at the problem that the image is fuzzy and the features of hidden objects are not obvious， a more effective method of detecting passive millimeter-wave radar image is studied. In this method， the original low-resolution image is reconstructed by using the super-resolution convolution neural network， then the image is binary processed by histogram threshold segmentation technology， and finally， the target is detected by using YOLOv3. The results of passive millimeter-wave radar image processing verify the effectiveness of the proposed method for detecting hidden objects. It can be seen from the results that the image quality is improved after super-resolution reconstruction by SRCNN， and then the location， category， and confidence of hidden objects can be identified more accurately by using a depth learning algorithm.

Key words： passive millimeter-wave; SRCNN; YOLOv3; object detection; deep learning

1引言

被動(dòng)毫米波[1-2]與太赫茲[3]是安全檢測(cè)儀成像方式之一，它們相比于傳統(tǒng)的X光與紅外成像，既能夠穿透纖薄的衣服、布袋、脂肪等遮蓋物，又可以吸收和反射金屬片、爆炸物、液體等極性類型的物品，并且輻射的光子能量低不會(huì)危害人體的健康，更值得進(jìn)行研究來(lái)開發(fā)性能更完善的檢測(cè)設(shè)備。被動(dòng)毫米波圖像分辨率低和紋理難以區(qū)分是檢測(cè)毫米波雷達(dá)圖像的主要障礙，嘗試使用超分辨率算法是解決這一缺陷的可取策略。

目前主流的檢測(cè)算法主要分為兩種：一種是單步端到端的檢測(cè)算法，典型代表有SSD和YOLOv3，檢測(cè)速度快但是對(duì)小目標(biāo)的檢測(cè)精度不高;一種是基于候選區(qū)的雙步檢測(cè)算法，比如Faster RCNN，檢測(cè)的效果好但耗費(fèi)的時(shí)間及計(jì)算資源量大。安全檢測(cè)儀一般使用在人群流量大的場(chǎng)景，其檢測(cè)效果直接與人身安全掛鉤，所以被動(dòng)毫米波雷達(dá)圖像的檢測(cè)模型既要滿足速度又要追求精度，筆者采取單步檢測(cè)算法YOLOv3檢測(cè)前添加超分辨處理的方法來(lái)改善檢測(cè)的質(zhì)量。

2檢測(cè)方法與步驟

2.1 SRCNN算法

SRCNN[4]由C.Dong等人提出，是第一種使用端到端的超分辨重建網(wǎng)絡(luò)算法。SRCNN三層網(wǎng)絡(luò)框架簡(jiǎn)練直白，首層有64個(gè)卷積核，尺寸為9*9，輸出64維的特征圖，下一層用32個(gè)1*1的卷積核過(guò)濾上一層的輸出，生成高清特征向量，最后一層用1個(gè)5*5的卷積核合并高清特征成圖。三層卷積的公式如下：

式中，W和B表示卷積的權(quán)重和偏置，×表示卷積。

這種超分辨重建方法需將圖像轉(zhuǎn)化成Ycbcr的格式，選取Y通道的像素，也就是根據(jù)圖像的亮度進(jìn)行重建，并將高清圖像轉(zhuǎn)換成低清圖像，用SRCNN訓(xùn)練低分辨率圖像到高分辨的映射。具體流程是這樣的：首先得到圖像Y通道數(shù)據(jù)后，采用Bicubic雙三次插值方法依次進(jìn)行1/n、n倍縮放得到低分辨圖像并維持圖像的大小，然后用SRCNN網(wǎng)絡(luò)訓(xùn)練插值后的圖像進(jìn)行3次卷積操作。3次卷積的意圖是先提取低分辨圖像的表征，然后用非線性投影映射出高維的分塊表示，最后聚集分塊表示得到高分辨圖像。接著擬定原始圖像作為高分辨圖像，計(jì)算訓(xùn)練得到的結(jié)果與高分辨圖像的均方誤差MSE，然后反向傳播，采用隨機(jī)梯度下降法更新權(quán)值，迭代上百次后得到端到端的映射關(guān)系。SRCNN的測(cè)試操作很簡(jiǎn)單，將一張低清圖像輸入網(wǎng)絡(luò)便可得到高清圖像。

超分辨重建的質(zhì)量可以使用峰值信噪比PSNR（Peek Signal-to-Noise Ratio）來(lái)評(píng)價(jià)，在超分辨場(chǎng)景下，PSNR/（單位為dB）可由像素點(diǎn)取值范圍的上界值L和圖像間的MSE均方誤差表示，即：

2.2 YOLOv3算法原理

YOLOv3[5]是繼檢測(cè)速度[6]頗快的YOLOv2[7]之后的改進(jìn)版本，它的一個(gè)突出亮點(diǎn)就是處理小問(wèn)題的檢測(cè)更準(zhǔn)確。YOLOv3使用53個(gè)連續(xù)的1*1和3*3的卷積網(wǎng)絡(luò)，即Darknet-53，比YOLOv2選取的Darknet-19多了近2倍的卷積層數(shù)量，這也是為什么YOLOv3比YOLOv2慢的原因之一。YOLOv3網(wǎng)絡(luò)先經(jīng)過(guò)5次下采樣從第79層提取圖像的32倍縮略圖，然后與61層融合提取圖像的16倍下采樣，再與36層融合提取圖像的8倍下采樣，得到3種大小的特征圖。假設(shè)原圖大小為416*416，則小特征圖被分成13*13個(gè)網(wǎng)格，中特征圖被分成26*26個(gè)網(wǎng)格，大特征圖被分成52*52個(gè)網(wǎng)格。網(wǎng)絡(luò)結(jié)構(gòu)可見下圖1：

借鑒特征金字塔（FPN）[8]的多尺度檢測(cè)方法，YOLOv3預(yù)測(cè)使用九個(gè)不同大小的錨定框，錨定框大小由k-means聚類算法對(duì)標(biāo)注數(shù)據(jù)計(jì)算得出，每個(gè)錨定框分為大中小三種尺寸，大尺寸錨定框檢測(cè)小特征圖，中尺寸檢測(cè)中特征圖，小尺寸檢測(cè)大特征圖。邊框回歸主要任務(wù)是從特征圖中預(yù)測(cè)出目標(biāo)框的位置和尺寸，使用最小二乘法訓(xùn)練。YOLOv3分類方法使用的是邏輯回歸的方法，計(jì)算邊界框與各個(gè)真實(shí)標(biāo)簽的IoU大小來(lái)預(yù)測(cè)是否含有目標(biāo)，若最大的IoU大于閾值，則預(yù)測(cè)框涵蓋檢測(cè)物體，邊界框被識(shí)別成最大閾值的類。最后三層會(huì)輸出每個(gè)網(wǎng)格預(yù)測(cè)的3個(gè)邊界盒位置大小、類別概率和對(duì)象預(yù)測(cè)值。YOLOv3的損失函數(shù)主要分為三個(gè)部分：目標(biāo)置信度損失[Lconf（o，c）]、目標(biāo)分類損失[Lcla（O，C）]以及目標(biāo)定位偏移量損失[Lloc（l，g）]。公式如下：

其中，[oi∈{0，1}]表示預(yù)測(cè)目標(biāo)邊界框i中是否真實(shí)存在目標(biāo)，存在為1，[ci]表示預(yù)測(cè)目標(biāo)矩形框i內(nèi)是否存在目標(biāo)的Sigmoid概率，[Oij]表示預(yù)測(cè)目標(biāo)邊界框i中是否真實(shí)存在第j類目標(biāo)，[Cij]表示網(wǎng)絡(luò)預(yù)測(cè)目標(biāo)邊界框i內(nèi)存在第j類目標(biāo)的Sigmoid概率，[l]表示預(yù)測(cè)矩形框坐標(biāo)偏移量，[g]表示與之匹配的真實(shí)框與默認(rèn)框之間的坐標(biāo)偏移量，[（bx，by，bw，bh）]為預(yù)測(cè)的目標(biāo)矩形框參數(shù)，[（cx，cy，pw，ph）]為默認(rèn)矩形框參數(shù)，[（gx，gy，gw，gh）]為與之匹配的真實(shí)目標(biāo)矩形框參數(shù)。

2.3 檢測(cè)步驟

第一步：將樣本數(shù)據(jù)劃分成訓(xùn)練集和測(cè)試集，訓(xùn)練集通過(guò)訓(xùn)練得到重構(gòu)圖片，測(cè)試集作為高分辨圖片來(lái)計(jì)算損失，然后用SRCNN重構(gòu)的模型預(yù)測(cè)。

第二步：對(duì)超分辨后的圖像根據(jù)直方圖進(jìn)行閾值分割，由于圖片數(shù)據(jù)較多，使用雙峰法對(duì)圖片進(jìn)行批量處理，然后對(duì)個(gè)別劃分不準(zhǔn)確的圖片進(jìn)行手動(dòng)調(diào)整，從而得到目標(biāo)邊界清晰并且有效的二值化圖片。

第三步：對(duì)圖片進(jìn)行標(biāo)注，逐張框選樣本圖片中的目標(biāo)，生成與圖片對(duì)應(yīng)的標(biāo)注文件。建立VOC文件夾，VOC下分Annotations、JpegImg和Set三個(gè)文件夾，將樣本標(biāo)注數(shù)據(jù)、圖片和數(shù)據(jù)集放入相應(yīng)的文件夾中。其中數(shù)據(jù)集是指將樣本按照8：2的比例劃分為train、val、trainval、test四個(gè)部分，以提供訓(xùn)練及測(cè)試。

第四步：加載訓(xùn)練集和測(cè)試集，接下來(lái)根據(jù)訓(xùn)練集的數(shù)據(jù)生成標(biāo)注文件annotation.txt，記載圖片的路徑和標(biāo)注框的xmin，ymin，w，h，以及類別對(duì)應(yīng)的序號(hào)。數(shù)據(jù)準(zhǔn)備好后進(jìn)行訓(xùn)練，訓(xùn)練的初始學(xué)習(xí)率設(shè)置為0.001，batch_size為64，epoch為100。訓(xùn)練完成后，加載訓(xùn)練的權(quán)重，完整的檢測(cè)步驟流程如下圖2所示：

3實(shí)驗(yàn)結(jié)果和分析

本實(shí)驗(yàn)選取了手機(jī)和小刀兩個(gè)類別的被動(dòng)毫米波圖像，圖像中的物品分別位于胸前以及褲袋兩個(gè)位置。其中，小刀的圖片數(shù)量有230張，手機(jī)的圖片數(shù)量有280張。實(shí)驗(yàn)使用的操作系統(tǒng)為Windows 10，Python版本為3.7，CUDA版本為9.0，cuDNN版本為7.0，Keras版本為2.1.5。

第一，由于卷積神經(jīng)網(wǎng)絡(luò)中色彩、縮放或明暗等不會(huì)改變結(jié)果，可以對(duì)原始圖像做旋轉(zhuǎn)或翻轉(zhuǎn)操作，加強(qiáng)數(shù)據(jù)樣本的多樣性，得到更多角度的數(shù)據(jù)集。然后將采集的圖片輸入到SRCNN網(wǎng)絡(luò)中，訓(xùn)練低像素圖片到高像素圖片的映射模型，結(jié)果使用模型重建后的圖片與原圖的PSNR均值為29.37。

第二，繪制圖像經(jīng)超分辨重建后的灰度直方圖如圖3所示，觀察直方圖可以發(fā)現(xiàn)，灰度直方圖呈出處雙峰的特征，為了分割出物品、人體和背景三個(gè)部分，選取兩峰之間的最小值作為閾值將被動(dòng)毫米波超分辨圖像二值化。

第三，使用標(biāo)注工具LabelImg框選目標(biāo)并設(shè)置標(biāo)簽類別，標(biāo)注的類別有三個(gè)：小刀、手機(jī)、人體，標(biāo)注后生成xml格式的數(shù)據(jù)文檔。

第四，使用訓(xùn)練100輪后的模型，輸入一張測(cè)試手機(jī)在胸前的圖片進(jìn)行檢測(cè)，可以得到以下結(jié)果如圖4所示。

多次測(cè)試后可以發(fā)現(xiàn)，人體的檢測(cè)精確率基本高達(dá)98%，手機(jī)預(yù)測(cè)的精確率在80%以上，小刀精確率在50%以上。YOLOv3在手機(jī)的被動(dòng)毫米波圖像數(shù)據(jù)集上表現(xiàn)出更好的預(yù)測(cè)結(jié)果，其中一個(gè)原因是手機(jī)的被動(dòng)式毫米波圖像比較明顯，二值化后的輪廓比較相似，小刀的特征還不夠明顯。

為驗(yàn)證本方法的效果，使用Faster-RCNN兩步檢測(cè)算法檢測(cè)被動(dòng)式毫米波雷達(dá)圖像，檢測(cè)結(jié)果如圖5所示。

經(jīng)計(jì)算，手機(jī)和小刀的平均精確率如表1所示。

4結(jié)論

本文闡述了使用卷積神經(jīng)網(wǎng)絡(luò)加強(qiáng)圖像特征的超分辨重構(gòu)框架，并說(shuō)明了使用YOLOv3檢測(cè)的方法，比較了不同目標(biāo)及不同檢測(cè)算法的檢測(cè)效果。對(duì)比本文的方法與其他檢測(cè)算法的結(jié)果可知，兩種方法對(duì)大目標(biāo)的檢測(cè)結(jié)果都表現(xiàn)較好，而本方法對(duì)小目標(biāo)檢測(cè)還存在不足，還需要再調(diào)整網(wǎng)絡(luò)設(shè)置的參數(shù)，進(jìn)一步優(yōu)化才能提高準(zhǔn)確度。從總體看來(lái)，使用YOLOv3檢測(cè)分辨重構(gòu)好的被動(dòng)毫米波超圖像是可以應(yīng)用于安檢領(lǐng)域的，而且強(qiáng)化目標(biāo)特征是提高檢測(cè)的準(zhǔn)確率的關(guān)鍵因素之一。

參考文獻(xiàn)：

[1] Gonzalez-Valdes B，Allan G，Rodriguez-Vaqueiro Y，et al.Sparse array optimization using simulated annealing and compressed sensing for near-field millimeter wave imaging[J].IEEE Transactions on Antennas and Propagation，2014，62（4）：1716-1722.

[2] Farhat N H，W R.Millimeter wave holographic imaging of concealed weapons[J].Proceedings of the IEEE，1971，59（9）：1383-1384.

[3] 成彬彬，李慧萍，安健飛，等.太赫茲成像技術(shù)在站開式安檢中的應(yīng)用[J].太赫茲科學(xué)與電子信息學(xué)報(bào)，2015，13（6）：843-848.

[4] Dong C，Loy C C，He K M，etal.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2016，38（2）：295-307.

[5] RedmonJ，F(xiàn)arhadiA.YOLOv3：an incremental improvement[EB/OL].2018：arXiv：1804.02767[cs.CV].https：//arxiv.org/abs/1804.02767

[6] Chang Y L，Anagaw A，Chang L N，et al.Ship detectionbased on YOLOv2 for SAR imagery[J].Remote Sensing，2019，11（7）：786.

[7] RedmonJ，F(xiàn)arhadiA.YOLO9000：better，faster，stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.21-26 July2017，Honolulu，HI，USA.IEEE，2017：6517-6525.

[8] Lin T Y，Dollár P，Girshick R，et al.Feature pyramid networks for object detection[C]//2017IEEEConference on Computer Vision and Pattern Recognition（CVPR）.21-26 July 2017，Honolulu，HI，USA.IEEE，2017：936-944.

【通聯(lián)編輯：唐一東】