劉 暢，於躍成

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院，江蘇鎮(zhèn)江 212100）

0 引言

隨著民航事業(yè)的蓬勃發(fā)展，機(jī)場(chǎng)的安全性越來(lái)越受到人們關(guān)注。傳統(tǒng)采用員工在航站樓中巡檢的方式費(fèi)時(shí)費(fèi)力，員工的責(zé)任心成為影響巡檢效果的關(guān)鍵因素。若員工在巡檢過(guò)程中出現(xiàn)分心，則極易造成航站樓的安全隱患。因此，使用巡檢機(jī)器人代替人工完成航站樓巡檢工作成為必然的發(fā)展趨勢(shì)。為適應(yīng)夜間機(jī)場(chǎng)航站樓弱光甚至無(wú)光的環(huán)境，選用熱成像攝像頭作為巡檢機(jī)器人的監(jiān)控?cái)z像頭成為最佳選擇。

熱成像攝像頭主要通過(guò)環(huán)境中的紅外輻射形成單通道圖像，所以由熱成像攝像頭提供的熱成像視頻在弱光甚至無(wú)光環(huán)境下可具有較好效果。人體自身體溫使得人體圖像在熱成像視頻中更加顯著，也使得針對(duì)人體的顯著檢測(cè)算法能夠在熱成像視頻中取得良好效果。近年來(lái)，研究者們進(jìn)行了大量顯著人體檢測(cè)算法實(shí)驗(yàn)，如文獻(xiàn)［1］利用區(qū)域和邊緣對(duì)比度生成的聯(lián)合對(duì)比度突出圖像的顯著性區(qū)域，也有將視覺(jué)注意力和信息論運(yùn)用于顯著人體檢測(cè)的方法［2］。隨著深度神經(jīng)網(wǎng)絡(luò)的廣泛運(yùn)用，大量基于深度神經(jīng)網(wǎng)絡(luò)的顯著性檢測(cè)算法被提出，比如在U-Net 網(wǎng)絡(luò)［3］基礎(chǔ)上利用混合損失指導(dǎo)三層次神經(jīng)網(wǎng)絡(luò)的BASNet 模型［4］，在U-Net 網(wǎng)絡(luò)中引入多個(gè)LSTM 注意力神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)模型［5］等。

諸多實(shí)驗(yàn)已證明顯著人體檢測(cè)算法在熱成像場(chǎng)景下的有效性，但是大多數(shù)顯著人體檢測(cè)算法都是將連續(xù)幀的視頻數(shù)據(jù)拆成一幀一幀的靜態(tài)圖像進(jìn)行檢測(cè)，這種檢測(cè)算法在面對(duì)機(jī)場(chǎng)航站樓的真實(shí)復(fù)雜場(chǎng)景時(shí)依舊面臨巨大的挑戰(zhàn)，特別是人體在熱成像圖像中呈現(xiàn)的復(fù)雜情況，如人體部分被遮擋、圖像邊緣的人體目標(biāo)不完整等。視頻數(shù)據(jù)與靜態(tài)圖像數(shù)據(jù)最大的不同之處是視頻可通過(guò)連續(xù)幀反映出物體運(yùn)動(dòng)信息，而由于人體運(yùn)動(dòng)產(chǎn)生連續(xù)幀之間的差異，使得人體圖像更加突出與顯著，因此在單幀的顯著性檢測(cè)效果不佳時(shí)，在顯著性檢測(cè)方法中融入動(dòng)態(tài)信息以便更好地利用連續(xù)幀視頻數(shù)據(jù)成為一種重要的手段。通常通過(guò)檢測(cè)連續(xù)幀中運(yùn)動(dòng)目標(biāo)的方式提取運(yùn)動(dòng)信息，但是熱成像視頻存在缺少紋理特征、視覺(jué)效果模糊、分辨率和信噪比低等特點(diǎn)，為檢測(cè)連續(xù)幀中的運(yùn)動(dòng)目標(biāo)帶來(lái)了巨大挑戰(zhàn)。

基于熱成像視頻的以上特點(diǎn)，在進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)無(wú)需考慮光照變化帶來(lái)的影響，但也使得運(yùn)動(dòng)目標(biāo)檢測(cè)中較為常用的光流法［6］無(wú)法適用于熱成像視頻。常用的幀差法實(shí)現(xiàn)起來(lái)十分簡(jiǎn)單，但是該方法過(guò)于敏感，檢測(cè)結(jié)果中往往存在大量非可疑目標(biāo)的背景區(qū)域［7］。背景差法是通過(guò)背景模型將運(yùn)動(dòng)目標(biāo)作為前景從背景區(qū)域中提取出來(lái)，使用高斯混合模型［8］、RPCA 模型［9］和改進(jìn)的ViBe 算法模型［10］等背景模型的背景差法也是目前最流行的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其兼顧了魯棒性和效率，并且將背景模型與幀差法相結(jié)合，有助于提高目標(biāo)檢測(cè)精度［11］，但是背景差法也面臨著如相機(jī)移動(dòng)、背景動(dòng)態(tài)變化等諸多挑戰(zhàn)［12］。為了保證巡檢效率，在實(shí)際的機(jī)場(chǎng)航站樓巡檢機(jī)器人場(chǎng)景中，要求巡檢機(jī)器人一直保持動(dòng)態(tài)移動(dòng)。攝像機(jī)的動(dòng)態(tài)移動(dòng)使得運(yùn)動(dòng)目標(biāo)檢測(cè)更具挑戰(zhàn)性，雖然背景差法可通過(guò)背景模型的更新來(lái)適應(yīng)背景的輕微變化，但僅使用背景差法檢測(cè)動(dòng)態(tài)熱成像場(chǎng)景中的運(yùn)動(dòng)目標(biāo)無(wú)法取得良好效果。

基于上述觀察，本文提出一種動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法（DTMD），并將檢測(cè)結(jié)果作為一種運(yùn)動(dòng)信息通過(guò)融合模塊融入到單幀顯著性檢測(cè)方法中，從而充分利用連續(xù)幀的視頻數(shù)據(jù)，使融合后的顯著人體檢測(cè)方法在面對(duì)人體部分被遮擋、人體在出入圖像邊緣等機(jī)場(chǎng)實(shí)際復(fù)雜情況時(shí)依然能取得良好效果。

1 相關(guān)工作

1.1 動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)檢測(cè)

在攝像機(jī)保持移動(dòng)的情況下，隨著攝像機(jī)的移動(dòng)，整個(gè)視頻畫(huà)面都在發(fā)生運(yùn)動(dòng)。在該情況下，區(qū)分靜止物體與運(yùn)動(dòng)物體變得十分困難。背景差法雖然可通過(guò)更新背景模型的方式使背景模型適應(yīng)因攝像機(jī)移動(dòng)帶來(lái)的連續(xù)幀背景變化，但是效果十分不理想。因此，如何通過(guò)對(duì)背景差法的改良應(yīng)對(duì)動(dòng)態(tài)攝像機(jī)一直都是研究熱點(diǎn)。

文獻(xiàn)［13］提出基于特征的方法構(gòu)建全景圖，將攝像頭拍攝到的圖像看成一整個(gè)平面來(lái)消除背景運(yùn)動(dòng)。但這種構(gòu)建全景圖的方式只對(duì)平移或平轉(zhuǎn)運(yùn)動(dòng)的攝像機(jī)有一定作用，在實(shí)際的機(jī)場(chǎng)場(chǎng)景中，巡檢機(jī)器人多數(shù)的運(yùn)動(dòng)是前后移動(dòng)，因此該方法無(wú)法應(yīng)用于機(jī)場(chǎng)巡檢機(jī)器人場(chǎng)景中。部分研究者會(huì)通過(guò)運(yùn)動(dòng)估計(jì)消除動(dòng)態(tài)攝像機(jī)的影響，如構(gòu)建兩個(gè)背景模型以完成不同任務(wù)，一個(gè)用于估計(jì)攝像機(jī)運(yùn)動(dòng)，一個(gè)用于檢測(cè)前景［14］。使用運(yùn)動(dòng)估計(jì)仿射模型，通過(guò)6 個(gè)參數(shù)的估計(jì)可快速進(jìn)行運(yùn)動(dòng)估計(jì)［15］。還有一些研究者則是通過(guò)特征點(diǎn)軌跡來(lái)分離前景和背景，通過(guò)分析特征點(diǎn)軌跡，對(duì)其進(jìn)行標(biāo)記，并將標(biāo)記信息傳播至整個(gè)圖像。常見(jiàn)的特征點(diǎn)分析方法有對(duì)軌跡屬性進(jìn)行聚類的方法［16］、通過(guò)動(dòng)態(tài)子空間分析軌跡數(shù)量隨時(shí)間變化的方法［17］以及結(jié)合物體外觀特征的方法［18］等。但是上述方法大多僅在可見(jiàn)光場(chǎng)景下有效，在熱成像場(chǎng)景下，部分方法并不能取得良好效果。因此，基于深度神經(jīng)網(wǎng)絡(luò)對(duì)場(chǎng)景進(jìn)行評(píng)估并將分析結(jié)果用于檢測(cè)模型設(shè)計(jì)中［19］，或者直接對(duì)背景建模［20］成為應(yīng)對(duì)背景變化、攝像機(jī)移動(dòng)等問(wèn)題的有效方法。但是基于深度神經(jīng)網(wǎng)絡(luò)的方法往往需要大量計(jì)算資源，較為耗時(shí)，而機(jī)場(chǎng)巡檢任務(wù)對(duì)實(shí)時(shí)性要求較高，所以將基于深度神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測(cè)作為運(yùn)動(dòng)信息提取方法在當(dāng)前場(chǎng)景中并不適用。

受上述啟發(fā)，為應(yīng)對(duì)熱成像場(chǎng)景，本文使用背景模型并結(jié)合圖像特征點(diǎn)軌跡的聚類方法與運(yùn)動(dòng)估計(jì)仿射模型以區(qū)分視頻數(shù)據(jù)的前景和背景，提出一種動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法（DTMD），該方法能夠有效解決熱成像場(chǎng)景下攝像機(jī)移動(dòng)導(dǎo)致的背景變化等問(wèn)題。

1.2 顯著性檢測(cè)融合運(yùn)動(dòng)信息

基于靜態(tài)圖像的顯著性檢測(cè)方法未能發(fā)揮視頻連續(xù)幀數(shù)據(jù)的優(yōu)勢(shì)，也沒(méi)有充分利用物體的運(yùn)動(dòng)信息。研究者們?yōu)榱顺浞掷梦矬w運(yùn)動(dòng)信息，也提出許多融合物體運(yùn)動(dòng)信息的顯著性檢測(cè)算法，將運(yùn)動(dòng)信息作為神經(jīng)網(wǎng)絡(luò)的一部分融入顯著性檢測(cè)神經(jīng)網(wǎng)絡(luò)中。文獻(xiàn)［21］將過(guò)去幀、過(guò)去幀的檢測(cè)顯著圖和當(dāng)前幀作為卷積神經(jīng)網(wǎng)絡(luò)的輸入，使得神經(jīng)網(wǎng)絡(luò)在檢測(cè)顯著性對(duì)象時(shí)可結(jié)合時(shí)間信息和物體運(yùn)動(dòng)信息。遞歸神經(jīng)網(wǎng)絡(luò)一直都是處理序列化數(shù)據(jù)的有效方法，如FGRNE 神經(jīng)網(wǎng)絡(luò)可結(jié)合物體運(yùn)動(dòng)信息與LSTM 序列特征進(jìn)行顯著性檢測(cè)［22］。

雖然將連續(xù)幀作為神經(jīng)網(wǎng)絡(luò)的一個(gè)分支輸入可有效提取與利用運(yùn)動(dòng)信息，但此類模型往往需要大量計(jì)算資源作為支撐，對(duì)于實(shí)時(shí)性要求較高的巡檢任務(wù)并不合適。而且在實(shí)際場(chǎng)景中，也有許多未發(fā)生移動(dòng)的顯著人體，此時(shí)運(yùn)動(dòng)信息分支的神經(jīng)網(wǎng)絡(luò)無(wú)法為顯著性人體檢測(cè)提供幫助，甚至?xí)a(chǎn)生負(fù)面影響。

為應(yīng)對(duì)熱成像場(chǎng)景，本文提出將運(yùn)動(dòng)信息檢測(cè)與顯著性檢測(cè)作為兩個(gè)任務(wù)分支同時(shí)執(zhí)行，最后將兩個(gè)分支的輸出進(jìn)行融合，得到最終融合運(yùn)動(dòng)信息的顯著人體檢測(cè)方法，該方法能夠在巡檢機(jī)器人有限的計(jì)算資源下達(dá)到實(shí)時(shí)檢測(cè)效果。

2 融入運(yùn)動(dòng)信息的顯著人體檢測(cè)方法

在處理視頻數(shù)據(jù)時(shí)，通常將連續(xù)的圖像數(shù)據(jù)作為檢測(cè)方法的輸入數(shù)據(jù)。本文方法先后將兩張圖像數(shù)據(jù)作為融入運(yùn)動(dòng)信息的顯著人體檢測(cè)方法的輸入數(shù)據(jù)，一幀為當(dāng)前幀圖像數(shù)據(jù)，也是檢測(cè)圖像數(shù)據(jù)，一幀為參照幀數(shù)據(jù)。因?yàn)闊岢上駭?shù)據(jù)缺少細(xì)節(jié)的特點(diǎn)，所以無(wú)法從熱成像數(shù)據(jù)中提取到有效的細(xì)微運(yùn)動(dòng)信息。為了使運(yùn)動(dòng)信息更加明顯，本文選擇當(dāng)前幀之前5 幀的圖像數(shù)據(jù)作為參照幀。融合動(dòng)態(tài)信息的顯著性人體檢測(cè)流程如圖1所示。

Fig.1 Flow of salient human body detection method incorporating motion information圖1 融合動(dòng)態(tài)信息的顯著性人體檢測(cè)流程

2.1 動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法

2.1.1 高斯混合背景模型

背景模型通過(guò)從圖像視頻數(shù)據(jù)中分離出前景和背景，從而檢測(cè)運(yùn)動(dòng)目標(biāo)。高斯混合背景模型通過(guò)初始設(shè)置k個(gè)高斯分布模型進(jìn)行建模，使用第一幀圖像數(shù)據(jù)的每一個(gè)像素值對(duì)第一個(gè)高斯分布模型進(jìn)行初始化。將當(dāng)前像素的值設(shè)為均值，權(quán)重設(shè)為1，其他高斯分布模型的均值和權(quán)重都初始化為0，如式（1）所示。

其中，k表示高斯分布模型的個(gè)數(shù)，由于熱成像圖像數(shù)據(jù)為單通道的灰度圖，因此將k設(shè)為3，xt表示t時(shí)刻的像素值，wi，t表示t時(shí)刻第i個(gè)高斯分布模型的權(quán)重值，η表示高斯分布概率密度函數(shù)，μi，t、τi，t分別表示t時(shí)刻第i個(gè)高斯分布模型的均值和協(xié)方差矩陣。

將每一個(gè)新像素值xt與k個(gè)高斯分布模型相匹配，若匹配，則該點(diǎn)為背景區(qū)域，不匹配則為目標(biāo)前景區(qū)域。匹配公式如式（2）所示。

其中，μi，t-1表示上一幀第i個(gè)高斯分布模型的均值，σi，t-1表示上一幀第i個(gè)高斯分布模型的標(biāo)準(zhǔn)差。無(wú)論是否匹配，對(duì)k個(gè)高斯分布模型權(quán)重進(jìn)行更新，如式（3）所示。

其中，α表示學(xué)習(xí)率，當(dāng)匹配當(dāng)前像素點(diǎn)時(shí)，Mi，t為1，不匹配則為0。當(dāng)高斯分布模型匹配當(dāng)前像素點(diǎn)時(shí)，則對(duì)當(dāng)前的高斯分布模型進(jìn)行更新，若不匹配則不更新。

若所有高斯分布模型都不匹配，則對(duì)權(quán)重最低的高斯分布模型進(jìn)行替換。雖然背景模型可通過(guò)模型的更新應(yīng)對(duì)背景的緩慢變化，并且在熱成像數(shù)據(jù)中不需要考慮到光線變化給背景帶來(lái)的影響，但只憑更新背景模型無(wú)法有效應(yīng)對(duì)攝像機(jī)運(yùn)動(dòng)帶來(lái)的背景變化，檢測(cè)出的前景中依舊會(huì)包含大量未移動(dòng)的背景區(qū)域。本文將高斯混合背景模型檢測(cè)出的前景部分劃分成一個(gè)個(gè)前景區(qū)域，并對(duì)其作進(jìn)一步判斷。

2.1.2 特征點(diǎn)選取與匹配

本文通過(guò)在參照幀和當(dāng)前幀的圖像數(shù)據(jù)上提取特征點(diǎn)，對(duì)兩幀的特征點(diǎn)進(jìn)行匹配，從而得到特征點(diǎn)運(yùn)動(dòng)軌跡，并對(duì)其作進(jìn)一步分析，排除被誤判為前景的背景區(qū)域。相比于SIFT 等其他特征點(diǎn)檢測(cè)算法，SURF 特征點(diǎn)算法更加高效，且適用于熱成像環(huán)境，所以本文選用SURF 特征點(diǎn)算法作為本文的特征點(diǎn)提取算法［23］。其首先通過(guò)構(gòu)建Hessian 矩陣檢測(cè)出極值點(diǎn)，在圖像中坐標(biāo)為（x，y）點(diǎn)的Hessian矩陣H(f(x，y))定義如式（4）所示。

其中，f(x，y)表示原始圖像的高斯卷積，之后構(gòu)建尺度空間，在不同尺度上檢測(cè)特征點(diǎn)，去除錯(cuò)誤定位的特征點(diǎn)，得到穩(wěn)定的特征點(diǎn)。最后確定特征點(diǎn)的主方向，生成特征點(diǎn)描述子。

特征點(diǎn)匹配算法通過(guò)兩個(gè)特征點(diǎn)之間的歐式距離確定匹配度，歐氏距離越短，兩個(gè)特征點(diǎn)匹配度越高，并通過(guò)Hessian 矩陣跡的正負(fù)號(hào)判斷對(duì)比度變化方向。若正負(fù)號(hào)不同，則將歐式距離設(shè)為0，排除兩個(gè)特征點(diǎn)匹配的可能。最后，當(dāng)前幀與參照幀上匹配好的特征點(diǎn)會(huì)形成一個(gè)特征點(diǎn)對(duì)。

2.1.3 運(yùn)動(dòng)估計(jì)仿射模型

通過(guò)兩幀之間已匹配的特征點(diǎn)對(duì)，對(duì)初步檢測(cè)出的運(yùn)動(dòng)目標(biāo)前景作進(jìn)一步判斷。由于熱成像圖像缺少紋理和細(xì)節(jié)，本文選擇運(yùn)動(dòng)估計(jì)仿射模型與特征點(diǎn)軌跡聚類兩種方法排除攝像機(jī)移動(dòng)導(dǎo)致的背景運(yùn)動(dòng)信息。

本文從計(jì)算速度和準(zhǔn)確性兩方面考慮，選用六參數(shù)模型作為運(yùn)動(dòng)估計(jì)仿射模型。為了對(duì)攝像機(jī)的移動(dòng)作出運(yùn)動(dòng)估計(jì)，本文選用高斯混合背景分離出背景區(qū)域中匹配的特征點(diǎn)對(duì)，計(jì)算六參數(shù)背景運(yùn)動(dòng)估計(jì)仿射模型，如式（5）所示。

2.1.4 特征點(diǎn)軌跡聚類方法

通過(guò)匹配的特征點(diǎn)對(duì)得到特征點(diǎn)運(yùn)動(dòng)軌跡，為了對(duì)特征點(diǎn)的運(yùn)動(dòng)軌跡進(jìn)行聚類，本文對(duì)特征點(diǎn)運(yùn)動(dòng)軌跡分別計(jì)算距離屬性和方向?qū)傩?，如式?）、式（8）所示。

在通過(guò)運(yùn)動(dòng)估計(jì)仿射模型和特征點(diǎn)軌跡聚類方法進(jìn)一步提取出特征點(diǎn)中的背景特征點(diǎn)之后，本文將包含特征點(diǎn)多數(shù)為背景特征點(diǎn)的前景區(qū)域從前景中排除。

2.2 融合模塊

為了保證該方法的效率和魯棒性，本文并不將運(yùn)動(dòng)信息直接融入到顯著性檢測(cè)算法中，而是將運(yùn)動(dòng)目標(biāo)檢測(cè)圖與顯著性檢測(cè)圖進(jìn)行融合，生成融入運(yùn)動(dòng)信息的顯著性檢測(cè)圖。該方法可讓本文動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法（DTMD）與任意一種單幀的顯著性檢測(cè)方法相融合，用運(yùn)動(dòng)信息彌補(bǔ)單幀顯著性檢測(cè)算法的分割檢測(cè)不完全等缺點(diǎn)。

本文將運(yùn)動(dòng)目標(biāo)檢測(cè)圖和顯著圖分別作交集與并集操作，利用輪廓檢測(cè)方法將兩圖交集的前景分割成一個(gè)個(gè)矩形前景區(qū)域。在每個(gè)矩形前景區(qū)域中計(jì)算運(yùn)動(dòng)目標(biāo)檢測(cè)圖和顯著圖的并交比，當(dāng)該數(shù)值過(guò)大時(shí)，說(shuō)明至少有一種檢測(cè)方法在此區(qū)域中的檢測(cè)結(jié)果異常。將該前景區(qū)域排除，而其余前景區(qū)域中的兩圖并集將被保留，得到最終融合結(jié)果。

3 實(shí)驗(yàn)與分析

本文實(shí)驗(yàn)硬件平臺(tái)的CPU 型號(hào)為Intel Core i7，GPU 型號(hào)為GTX 1060，內(nèi)存為16G。

3.1 數(shù)據(jù)集

為驗(yàn)證模型的效率和有效性，本文使用4 個(gè)測(cè)試數(shù)據(jù)集。其中，OSU［24］、KAIST［25］和FLIR 是3 個(gè)公開(kāi)的數(shù)據(jù)集，而ATH 則是機(jī)場(chǎng)候機(jī)樓采集的實(shí)際數(shù)據(jù)集。對(duì)于OSU 數(shù)據(jù)集，本文選取其中irw01-irw06的序列圖像。這些序列圖像主要關(guān)注行人行走時(shí)的多種姿態(tài)，包括行人手中物體對(duì)于身體產(chǎn)生的部分遮擋情況，以及兩個(gè)行人相遇時(shí)身體相互遮擋的情況。該數(shù)據(jù)集由固定攝像頭拍攝，所以背景沒(méi)有變化，行人與背景之間也具有較高對(duì)比度。

KAIST 數(shù)據(jù)集和FLIR 數(shù)據(jù)集都是通過(guò)車載攝像頭在街道上采集的圖像數(shù)據(jù)，這些圖像數(shù)據(jù)往往會(huì)因?yàn)閿z像機(jī)參數(shù)的不同而呈現(xiàn)出不同的成像效果。此外，與攝像機(jī)距離不同的行人在圖像中也會(huì)表現(xiàn)出不同的尺度大小。考慮到機(jī)場(chǎng)巡檢機(jī)器人的實(shí)際工作場(chǎng)景，本文主要關(guān)注數(shù)據(jù)集中不同尺度的人體、騎行對(duì)象和人群聚集場(chǎng)景。

ATH 數(shù)據(jù)集為機(jī)場(chǎng)候機(jī)樓真實(shí)場(chǎng)景下采集得到的實(shí)際數(shù)據(jù)集。類似于KAIST 和FLIR 兩個(gè)數(shù)據(jù)集，ATH 數(shù)據(jù)集中同樣面臨著由于人體目標(biāo)與攝像機(jī)之間因距離不同所造成的圖像尺度問(wèn)題。然而，不同于其它標(biāo)準(zhǔn)數(shù)據(jù)集，ATH 數(shù)據(jù)集中包含了候機(jī)樓特有的登機(jī)口、座椅區(qū)以及窗口處等諸多場(chǎng)景下的樣本。此外，數(shù)據(jù)集中的人體目標(biāo)包含站立、蹲坐、彎腰等多種姿態(tài)，并包含人體相互遮擋，或被座椅、立柱和衣著遮擋等多種遮擋場(chǎng)景?？梢?jiàn)相比于標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)集，ATH 數(shù)據(jù)集更為真實(shí)，場(chǎng)景也更加復(fù)雜。

3.2 評(píng)價(jià)指標(biāo)

為了評(píng)估該方法的性能，本文選擇分割模型中常用的評(píng)價(jià)指標(biāo)F-measure 和mIOU。一般而言，模型在數(shù)據(jù)集上運(yùn)行后的F-measure 和mIOU 值越高，意味著該模型有著更好的性能。如式（9）所示，F(xiàn)-measure 定義了顯著人體圖像分割的精確率和召回率加權(quán)調(diào)和平均值。

對(duì)于巡檢任務(wù)來(lái)說(shuō)，可疑目標(biāo)能否被正確發(fā)現(xiàn)比可疑目標(biāo)身體全部區(qū)域是否都被正確檢測(cè)出來(lái)更加重要。這意味著在使用F-measure 度量模型性能時(shí)，顯著人體圖像分割的精確率應(yīng)該占據(jù)更大的比重。按照文獻(xiàn)［26］的建議，本文設(shè)置β2的值為0.3。精確率Precision 和召回率Recall的定義如式（10）、式（11）所示。

其中，TP表示正樣本被正確預(yù)測(cè)的數(shù)目，F(xiàn)P、FN分別表示負(fù)樣本被檢測(cè)成正樣本的數(shù)目以及將正樣本預(yù)測(cè)成負(fù)樣本的數(shù)目。

mIOU 定義如公式（12）所示，用于表示真實(shí)圖像與預(yù)測(cè)圖中正樣本的交并比。

3.3 實(shí)驗(yàn)結(jié)果與分析

本文僅使用高斯混合背景模型從數(shù)據(jù)集中檢測(cè)運(yùn)動(dòng)目標(biāo)效果，如圖2 所示。其中，左圖為原始輸入圖，右圖為高斯混合背景模型檢測(cè)圖。

Fig.2 Gaussian mixture background model detection results圖2 高斯混合背景模型檢測(cè)結(jié)果

由圖2 可以看出，雖然高斯混合背景模型可檢測(cè)出圖像中的運(yùn)動(dòng)目標(biāo)，但是由于攝像機(jī)的運(yùn)動(dòng)使得檢測(cè)出的目標(biāo)中包含大量未運(yùn)動(dòng)目標(biāo)，如墻壁、燈牌等。本文提出的動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法在數(shù)據(jù)集上的檢測(cè)效果如圖3 所示。其中，左圖為原始輸入圖，右圖為運(yùn)動(dòng)目標(biāo)檢測(cè)圖。

Fig.3 DTMD detection results圖3 DTMD模型檢測(cè)結(jié)果

如圖3 所示，本文提出的運(yùn)動(dòng)目標(biāo)檢測(cè)方法在熱成像場(chǎng)景下有效檢測(cè)圖像中運(yùn)動(dòng)目標(biāo)的同時(shí)，可排除由于攝像機(jī)運(yùn)動(dòng)帶來(lái)的影響。

為驗(yàn)證本文所提出的將運(yùn)動(dòng)信息融入顯著性檢測(cè)方法的有效性，選擇4 種單幀顯著性模型Hsaliency［27］、Amulet［28］、CPD［29］、SRM［30］在4 個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并將動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法（DTMD）與4 種模型融合進(jìn)行對(duì)比實(shí)驗(yàn)。其中，Amulet、CPD、SRM 是基于深度神經(jīng)網(wǎng)絡(luò)的模型。F-measure 與mIOU 結(jié)果對(duì)比如表1所示。

Table 1 Comparison of F-measure and mIOU results表1 F-measure與mIOU結(jié)果對(duì)比

由表1 可知，在融入運(yùn)動(dòng)信息后，單幀的顯著性模型在4 個(gè)數(shù)據(jù)集上的性能普遍有所提升，特別是在mIOU 評(píng)價(jià)指標(biāo)上的表現(xiàn)。在OSU 數(shù)據(jù)集上由于攝像機(jī)未發(fā)生移動(dòng)，數(shù)據(jù)集本身較為簡(jiǎn)單，所以單幀顯著性檢測(cè)模型具有較好的性能。由于在融入的運(yùn)動(dòng)信息中包含少部分落葉等非人體運(yùn)動(dòng)信息，因此該模型融入運(yùn)動(dòng)信息后在評(píng)價(jià)指標(biāo)上的表現(xiàn)略有下降，但在顯著性人體檢測(cè)上的表現(xiàn)會(huì)更加完整。Hsaliency 模型本身并不是基于深度神經(jīng)網(wǎng)絡(luò)的模型，所以在對(duì)比度較低的KAIST 數(shù)據(jù)集和FLIR 數(shù)據(jù)集上表現(xiàn)不佳，在融入運(yùn)動(dòng)信息后整體檢測(cè)效果得到提升。Amulet 雖然檢測(cè)速度較慢，但是檢測(cè)精度較高，在融入運(yùn)動(dòng)信息之后能夠進(jìn)一步提升模型精度，并且檢測(cè)結(jié)果更加完整，特別是在ATH 機(jī)場(chǎng)實(shí)際數(shù)據(jù)集中。

CPD 模型和SRM 模型具有較快的檢測(cè)速度，但是分割出的目標(biāo)往往出現(xiàn)檢測(cè)不完全的情況，融入運(yùn)動(dòng)信息后在運(yùn)動(dòng)效果明顯、圖像邊緣人體目標(biāo)不完整等情形下的檢測(cè)效果明顯提升。以CPD 模型和SRM 模型為例的可視化效果如圖4 所示，其中左圖為原始輸入圖，右圖為運(yùn)動(dòng)目標(biāo)檢測(cè)圖。

Fig.4 Visual detection results圖4 可視化檢測(cè)結(jié)果

如圖4 可知，融入運(yùn)動(dòng)信息后的模型能夠清晰、有效地檢測(cè)出視頻數(shù)據(jù)中的運(yùn)動(dòng)人體。融入運(yùn)動(dòng)信息可有效降低巡檢后臺(tái)工作人員對(duì)部分可視化檢測(cè)結(jié)果的歧義和誤解，增加機(jī)場(chǎng)的安全性。在檢測(cè)效率方面，本文提出的動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法在擁有GPU 的實(shí)驗(yàn)環(huán)境下以一幀幀圖像輸入的方式進(jìn)行檢測(cè)，依舊能夠達(dá)到實(shí)時(shí)檢測(cè)速度。因此，本文所提出的融入運(yùn)動(dòng)信息的顯著人體檢測(cè)方法能夠滿足實(shí)際機(jī)場(chǎng)航站樓巡檢任務(wù)的實(shí)時(shí)性要求。

4 結(jié)語(yǔ)

針對(duì)被遮擋、多種姿態(tài)、出入攝像機(jī)邊緣等情形下的可疑目標(biāo)人體，本文提出一種動(dòng)態(tài)熱成像攝像頭下的運(yùn)動(dòng)目標(biāo)檢測(cè)方法（DTMD）。實(shí)驗(yàn)結(jié)果證明，該方法能夠在熱成像環(huán)境下有效排除攝像機(jī)移動(dòng)帶來(lái)的影響，并檢測(cè)出運(yùn)動(dòng)目標(biāo)。但該方法在熱成像環(huán)境下存在對(duì)細(xì)微運(yùn)動(dòng)的檢測(cè)精度不高，以及檢測(cè)出非人體運(yùn)動(dòng)目標(biāo)等問(wèn)題，并且無(wú)法檢測(cè)出未發(fā)生移動(dòng)的顯著人體目標(biāo)。本文通過(guò)融合模塊降低未發(fā)生移動(dòng)的顯著人體目標(biāo)和非人體運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果給融合結(jié)果帶來(lái)的負(fù)面影響，所提出的輕量級(jí)檢測(cè)方法能夠滿足機(jī)場(chǎng)航站樓巡檢任務(wù)的實(shí)時(shí)性要求。在未來(lái)的研究中，將在保證檢測(cè)方法運(yùn)行效率的前提下，著重提升針對(duì)非人體運(yùn)動(dòng)目標(biāo)和人體細(xì)微運(yùn)動(dòng)的檢測(cè)效果，以提高從連續(xù)幀中提取的運(yùn)動(dòng)信息對(duì)融合結(jié)果的增益。