張露，龐蕾，苗俊剛

(1.北京建筑大學(xué) 測(cè)繪與城市空間信息學(xué)院，北京 100044；2.北京航空航天大學(xué) 電子信息工程學(xué)院，北京 100191)

0 引言

由于世界各地恐怖暴力事件的頻發(fā)，人們對(duì)公共場(chǎng)所的安全問題倍加關(guān)注。毫米波(millimeter-wave，MMW)由于其杰出的輻射特性被廣泛應(yīng)用于人體安檢領(lǐng)域[1-5]。它對(duì)金屬具有較高反射率[6]，在穿過(guò)衣物等紡織品時(shí)能量衰減非常低，因此可以用于隱匿物的檢測(cè)。被動(dòng)毫米波(passive millimeter-wave，PMMW)成像系統(tǒng)無(wú)需向人體發(fā)射電磁波，通過(guò)捕獲物體輻射的熱噪聲成像[7-8]，不會(huì)產(chǎn)生有害人體的電離輻射。目前使用的被動(dòng)毫米波安檢系統(tǒng)需要受試者合作收集靜態(tài)單幀圖像以進(jìn)行人體隱匿物檢測(cè)[9-11]，但單幀圖像提供的信息有限且無(wú)法滿足實(shí)時(shí)的要求。因此，研究人員開發(fā)了陣列式PMMW實(shí)時(shí)成像系統(tǒng)，極大地提高了成像速度和圖像質(zhì)量。

根據(jù)PMMW成像的特點(diǎn)與方式，人體隱匿物檢測(cè)系統(tǒng)主要包括圖像預(yù)處理和目標(biāo)與背景分割兩個(gè)方面。在圖像預(yù)處理方面，單幀PMMW圖像包含信息有限，研究人員通常利用圖像融合等方法增加圖像中包含的信息量、提高檢測(cè)結(jié)果與實(shí)際的相符度。例如多張相關(guān)毫米波圖像融合、特征融合、光學(xué)或紅外圖像和毫米波圖像融合[12-17]。其中，多張相關(guān)毫米波圖像融合雖然能增加隱匿物的信息量，但由于圖像分辨率低，無(wú)法精確判定隱匿物所在的人體位置；特征融合雖然計(jì)算量小，但檢測(cè)結(jié)果準(zhǔn)確性不足；紅外圖像與毫米波圖像融合，雖然能獲得較高的圖像分辨率，但視覺效果不佳。在目標(biāo)與背景分割方面，Yeom等[18]對(duì)PMMW圖像的隱匿物與背景進(jìn)行了有效的分割，成功檢測(cè)出隱匿物；趙書占等[19]將遺傳算法與Otsu結(jié)合求解最優(yōu)分割閾值，實(shí)現(xiàn)了被動(dòng)毫米波影像中人體隱匿物和檢測(cè)背景的分割；杜琨等[20]采用人體區(qū)域分割與形態(tài)學(xué)結(jié)合的方法對(duì)毫米波圖像中的隱匿物進(jìn)行了有效的檢測(cè)和提取。這些算法的成功實(shí)現(xiàn)有助于PMMW序列影像人體隱匿物檢測(cè)方法的研究。

綜上，研究人員目前主要針對(duì)單幀PMMW圖像中信噪比低、空間分辨率低、對(duì)比度低的問題提出了檢測(cè)算法，但針對(duì)序列影像的人體隱匿物檢測(cè)算法較少。并且，由于PMMW成像系統(tǒng)獲得的圖像分辨率較低，安檢人員無(wú)法在圖像上準(zhǔn)確識(shí)別出隱匿物的位置，影響了安檢效率。基于上述問題，本文研究了序列PMMW圖像的人體隱匿物自動(dòng)檢測(cè)方法，并在此基礎(chǔ)上探討了PMMW圖像與光學(xué)圖像的融合方法。

1 基本原理

1.1 被動(dòng)毫米波成像原理

PMMW成像系統(tǒng)無(wú)需對(duì)目標(biāo)物發(fā)射電磁波，通過(guò)探測(cè)場(chǎng)景、隱匿物與人體輻射亮溫的差異成像。它主要由天線、輻射計(jì)接收器、伺服控制裝置、信號(hào)處理器和顯示控制裝置組成。當(dāng)成像系統(tǒng)工作時(shí)，天線接收輻射目標(biāo)的毫米波輻射能量，通過(guò)輻射計(jì)接收器和信號(hào)處理器轉(zhuǎn)換并處理目標(biāo)的毫米波輻射亮溫，然后將其發(fā)送到顯示器和控制設(shè)備存儲(chǔ)并顯示相應(yīng)的毫米波圖像。

1.2 相關(guān)系數(shù)法

影像的相關(guān)程度可通過(guò)影像相關(guān)系數(shù)來(lái)定量表示。相關(guān)系數(shù)越大表示兩個(gè)影像相似度越大，即場(chǎng)景中的目標(biāo)和背景的輻射相對(duì)越穩(wěn)定。

1.3 圖像配準(zhǔn)與圖像融合原理

1)圖像配準(zhǔn)。圖像配準(zhǔn)主要使用基于特征的方法，步驟為關(guān)鍵點(diǎn)檢測(cè)和特征描述、特征匹配、圖像變換。

2)小波融合。小波變換是一種基于頻率的圖像變換方法，其重新構(gòu)建的能力較為完善。它能夠?qū)υ紙D像進(jìn)行分解，得到一系列頻域特性和空間分辨率不同的子圖像，使原始圖像的細(xì)節(jié)特征和局部變化得以充分反應(yīng)。其中，離散小波變換(discrete wavelet transform，DWT)[21]應(yīng)用最為廣泛。

3)YIQ變換。YIQ色彩空間中，飽和度Q和色調(diào)I包含圖像色彩信息，而亮度Y則包含圖像的灰度信息。

YIQ顏色空間能夠?qū)D像中的亮度分量Y單獨(dú)提取存儲(chǔ)起來(lái)，并且YIQ與RGB色彩空間之間滿足線性變換，聚類特性好且數(shù)據(jù)量不大便于計(jì)算，即使是光照強(qiáng)度不斷變化的場(chǎng)合也能夠適應(yīng)。所以，YIQ變換用于處理彩色圖像可以獲得較好的效果，能夠在復(fù)雜運(yùn)動(dòng)背景下采集目標(biāo)物信息。

從RGB到Y(jié)IQ的轉(zhuǎn)換關(guān)系如式(3)所示。

(1)

2 基于被動(dòng)毫米波圖像與光學(xué)圖像的人體隱匿物檢測(cè)方法

2.1 基于被動(dòng)毫米波圖像的人體隱匿物特征提取

復(fù)雜的成像環(huán)境和硬件設(shè)備的限制使得單幀被動(dòng)毫米波影像質(zhì)量較低，僅依靠單幀影像進(jìn)行檢測(cè)有時(shí)會(huì)出現(xiàn)漏檢或誤檢隱匿物的情況。針對(duì)這一缺陷，本文采用同一場(chǎng)景的多幀影像提升信息量，并提出基于小波融合的多幀PMMW影像人體隱匿物檢測(cè)算法進(jìn)行檢測(cè)。

被動(dòng)毫米波人體隱藏物體檢測(cè)的步驟如下。

1)獲取數(shù)據(jù)。利用8 mm波段的PMMW實(shí)時(shí)成像人體安檢儀進(jìn)行實(shí)驗(yàn)，采集模擬的安檢序列影像。使用相關(guān)系數(shù)法選取兩幅最優(yōu)相關(guān)影像。

2)對(duì)篩選出的被動(dòng)毫米波影像進(jìn)行小波融合。

3)對(duì)圖像進(jìn)行濾波處理以去除噪聲。本文分別嘗試了利用3×3的均值濾波算子和高斯濾波算子對(duì)融合后的圖像進(jìn)行去噪處理，對(duì)比分析后選取對(duì)被動(dòng)毫米波圖像去噪效果較好的方法。

4)對(duì)去噪后的圖像進(jìn)行閾值分割和邊緣檢測(cè)，獲得隱匿物特征圖像和人體與隱匿物輪廓圖。本文通過(guò)Canny算子實(shí)現(xiàn)隱匿物的邊緣檢測(cè)。

2.2 隱匿物特征圖像與光學(xué)圖像融合

PMMW圖像的低分辨率會(huì)導(dǎo)致人體輪廓有缺失，從而無(wú)法確定隱匿物在人體中的確切位置。因此，本文將檢測(cè)得到的隱匿物特征圖像與光學(xué)圖像進(jìn)行配準(zhǔn)與融合，以便安檢人員獲得更好的視覺效果，提升安檢速度及準(zhǔn)確度。光學(xué)圖像與隱匿物特征圖像融合步驟如下。

1)對(duì)光學(xué)圖像進(jìn)行YIQ變換，提取其灰色分量并存儲(chǔ)顏色信息。

2)將隱匿物特征圖像和光學(xué)圖像進(jìn)行配準(zhǔn)并調(diào)整為相同分辨率。

3)光學(xué)圖像灰度分量與隱匿物特征圖像融合。

4)融合后的隱匿物圖像與存儲(chǔ)的光學(xué)圖像顏色信息進(jìn)行YIQ逆變換，得到假彩色隱匿物融合圖像。

2.3 技術(shù)流程

本文基于光學(xué)與毫米波圖像融合的人體隱匿物檢測(cè)總體技術(shù)流程如圖1所示。首先，輸入光學(xué)和毫米波原始影像數(shù)據(jù)，對(duì)毫米波影像進(jìn)行相應(yīng)的預(yù)處理(包括融合和去噪)；然后，對(duì)融合數(shù)據(jù)進(jìn)行分割處理和邊緣檢測(cè)，得到隱匿物結(jié)果。對(duì)光學(xué)影像進(jìn)行YIQ分解得到其灰度分量。光學(xué)圖像灰度分量作為參考圖像，將提取的隱匿物特征圖像與之配準(zhǔn)。配準(zhǔn)后將兩圖像融合，進(jìn)行YIQ逆變換，最終獲取隱匿物在人體光學(xué)圖像的顯示和定位。

圖1 人體隱匿物檢測(cè)流程圖

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

實(shí)驗(yàn)數(shù)據(jù)是由8 mm波段的PMMW實(shí)時(shí)成像人體安檢儀采集到的模擬安檢圖像和相應(yīng)的光學(xué)圖像。部分實(shí)驗(yàn)數(shù)據(jù)如圖2所示。實(shí)驗(yàn)中衣物遮擋的違禁品(隱匿物)是一個(gè)金屬手槍模型，如圖2(e)所示。

圖2 部分PMMW圖像與違禁品樣例

3.2 實(shí)驗(yàn)結(jié)果分析

以相關(guān)系數(shù)為篩選指標(biāo)，計(jì)算各影像間的相關(guān)系數(shù)，從序列PMMW圖像中選擇最相關(guān)的兩幀毫米波圖像。部分影像間相關(guān)系數(shù)如表1所示。

表1 部分毫米波影像間相關(guān)系數(shù)

因此，選擇相關(guān)系數(shù)r(圖像1，圖像2)=0.975 3的被動(dòng)毫米波圖像即圖2(a)和圖2(b)進(jìn)行融合。

將篩選出的兩幀影像進(jìn)行小波變換，在頻率域中，被動(dòng)毫米波圖像融合規(guī)則如式(2)所示。

c=a×(c1+c2)

(2)

式中：c1和c2分別為兩幀原始毫米波圖像；c為融合后的圖像頻率；a為一個(gè)小于1的系數(shù)，其值將影響融合后圖像隱匿物特征的檢測(cè)效果。通過(guò)實(shí)驗(yàn)得出，被動(dòng)毫米波圖像融合中，當(dāng)a=0.7時(shí)，隱匿物特征提取效果最好。

融合結(jié)果如圖3(a)所示。通過(guò)與融合前圖像(圖2(a)，圖2(b))對(duì)比可以得出，融合后的被動(dòng)毫米波圖像較好地保留了隱匿物的細(xì)節(jié)信息的同時(shí)也增強(qiáng)了隱匿物的信息量，這樣的融合處理更有利于后期毫米波圖像隱匿物的檢測(cè)。均值濾波和高斯濾波的結(jié)果分別如圖3(b)和圖3(c)所示。對(duì)比分析圖3(a)可以發(fā)現(xiàn)，兩種濾波方法都能在一定程度上抑制噪聲信息。相比之下，高斯濾波不僅能較好地去除被動(dòng)毫米波圖像的噪聲，同時(shí)也較好地降低了隱匿物信息的抑制作用。此外，高斯濾波后得到的邊緣檢測(cè)圖像相比于均值濾波后得到的邊緣檢測(cè)圖像更為平滑。因此，本文最終選取高斯濾波濾除被動(dòng)毫米波影像的噪聲。

對(duì)去噪后的PMMW圖像進(jìn)行閾值分割、二值化。本文采用自適應(yīng)閾值分割方法，自適應(yīng)閾值=0.631 4，分割結(jié)果如圖3(d)所示，其中白色部分表示隱匿物，黑色部分表示人體。Canny算子對(duì)檢測(cè)目標(biāo)輪廓較為敏感，采用Canny算子邊緣檢測(cè)的結(jié)果在圖3(e)中示出。該方法可以較好地自動(dòng)檢測(cè)PMMW圖像中的隱匿物和人體輪廓，但對(duì)于檢測(cè)隱匿物的實(shí)際形狀還有待改善。

被動(dòng)毫米波圖像分辨率低，圖像模糊，無(wú)法確定隱匿物在人體的具體位置。因此，將隱匿物特征圖像圖3(d)與對(duì)應(yīng)的光學(xué)圖像圖2(d)融合，實(shí)現(xiàn)隱匿物在人體的精確定位。

圖3 PMMW圖像隱匿物特征提取檢測(cè)

由于光學(xué)圖與PMMW圖像具有不同的信息通道數(shù)，光學(xué)影像具有RGB三個(gè)通道，而毫米波圖像為單通道。因此，本文采用YIQ方法分解光學(xué)圖像，得到灰度分量的同時(shí)存儲(chǔ)了顏色信息，原始光學(xué)圖像及其灰度分量分別如圖4(a)和圖4(b)所示。通過(guò)對(duì)比可以看出，該方法較好地分離了光學(xué)圖像的灰度分量，較完善地保留了圖像的顏色信息。光學(xué)圖像灰度分量作為參考圖像，將提取的隱匿物特征圖像與之配準(zhǔn)。將配準(zhǔn)后兩幀影像采用小波變換的方法融合。在頻率域中，光學(xué)圖像灰度分量與隱匿物特征圖像融合規(guī)則如式(3)所示。

c=a×(b×c1+c2)

(3)

式中：c1為隱匿物特征圖像；c2為光學(xué)圖像；c為融合后的圖像頻率；a、b均為小于1的系數(shù)。通過(guò)實(shí)驗(yàn)得出，當(dāng)a=0.9，b=0.2時(shí)，融合后圖像人體信息保留更加完整，隱匿物位置更加明確。

融合結(jié)果如圖4(c)所示。圖4(d)是在YIQ逆變換之后獲得的融合的假彩色圖像，與原始的PMMW圖像對(duì)比可以看出，融合后的假彩色圖像較好地保留了光學(xué)影像豐富的人體信息，同時(shí)獲取了隱匿物的位置信息，有利于安檢人員更準(zhǔn)確地判斷隱匿物所在的人體位置。

圖4 隱匿物PMMW圖像與光學(xué)圖像融合過(guò)程及結(jié)果

提取隱匿物特征圖像及光學(xué)圖像與隱匿物特征圖像融合所用時(shí)間如表2所示。

由表可知，兩幀原始PMMW圖像與對(duì)應(yīng)的光學(xué)圖像檢測(cè)人體隱匿物共耗時(shí)1.923 s，基本滿足被動(dòng)毫米波安檢儀器2～3 s/人的檢測(cè)需求。

4 結(jié)束語(yǔ)

本文研究了基于被動(dòng)毫米波圖像與光學(xué)圖像的人體隱匿物檢測(cè)方法。被動(dòng)毫米波圖像分辨率低，包含信息量少，視覺效果較差，因此，本文提出了一種將相關(guān)系數(shù)和小波融合相結(jié)合提取序列PMMW圖像中的人體隱匿物特征，利用YIQ變換與融合規(guī)則融合隱匿物特征圖像與光學(xué)圖像，進(jìn)而實(shí)現(xiàn)人體隱匿物檢測(cè)的方法。實(shí)驗(yàn)結(jié)果表明，該方法可以有效地檢測(cè)出被動(dòng)毫米波圖像中隱匿物，解決了無(wú)法準(zhǔn)確定位隱匿物所在人體位置的問題，提高了安檢效率。