馬 也，常 青，胡謀法

?

復雜背景下紅外人體目標檢測算法研究

馬 也，常 青，胡謀法

（國防科技大學 電子科學與工程學院ATR重點實驗室，湖南 長沙 410073）

紅外圖像信噪比和對比度較低、缺乏顏色紋理信息、目標周圍有光暈效應、邊緣模糊，這些缺點對紅外圖像中人體目標檢測提出了挑戰(zhàn)。本文對復雜環(huán)境下紅外圖像序列中運動人體目標檢測技術進行研究。首先采用基于改進的混合高斯模型（Gaussian mixture model，GMM）的背景減除法對人體目標進行分割，通過多個帶有權值的高斯過程來描述復雜變化的背景，對模型個數、權值、學習率進行更新。然后對分割得到感興趣區(qū)域（Region of interest，ROI）采用融合邊緣方向累加和特性的梯度方向直方圖（Accumulation of oriented edge and histogram of oriented gradient，AOE-HOG）進行特征描述，利用支持向量機（Support vector machine，SVM）實現(xiàn)對人體目標分類檢測。實驗表明，本文算法能夠在復雜場景下正確檢測出人體目標，對于多目標距離較近甚至有部分粘連的情形，也具有較好效果。

紅外圖像；人體檢測；混合高斯模型；邊緣方向累加和；梯度方向直方圖；支持向量機

0 引言

人體目標檢測是目前計算機視覺領域熱點研究課題，在智能視頻監(jiān)控、車載輔助駕駛、機場安防等領域都有廣泛應用前景。人體姿態(tài)多樣、形狀大小不一，是典型的非剛體目標，并且目標遮擋、粘連、重疊和背景干擾等狀況非常常見，再加上紅外圖像本身特性，使得快速準確檢測出紅外圖像序列中人體目標難度較大。

人體目標檢測主要分為ROI分割過程和分類檢測過程[1]。紅外圖像序列ROI分割方法主要有光流法[2]、幀差法[3]和背景差法[4]。光流法建立各個像素點的速度矢量特征，根據光流矢量的連續(xù)變化情況，確定運動目標的位置、數量和運動速度等信息。光流法對噪聲敏感、運算量大、實時性較差，常用于理論分析。幀差法對圖像進行時域差分，提取圖像中的運動目標區(qū)域或目標輪廓，適用于目標運動速度較快或對分割精度要求不高的情況。背景差法利用當前幀圖像與參考背景進行差分，檢測速度依賴于背景建模，并且對光照和干擾目標比較敏感，需要提高背景建模的實時性和魯棒性。

人體目標分類檢測的常用方法有：基于模版匹配[5]的方法、基于目標運動信息的識別[6]方法和基于目標特征提取分類[1]的方法?；谀０嫫ヅ涞姆椒ㄓ捎谒璧哪０鍘忑嫶?，且泛化能力較差，實現(xiàn)比較困難。而基于目標運動信息的方法運算量大，且易受噪聲和干擾目標影響，應用范圍有限。目標特征提取分類的方法通過提取目標的某些特征來對目標進行描述，由于泛化能力好而得到人們關注，比較經典的目標特征描述方法有：局部二值（LBP）特征[7]、Haar-like特征[8]和HOG特征等[9]。LBP特征是一種用于紋理分類的特征提取方法，當圖像比較模糊或者光照變化強烈時，LBP特征難以有效描述人體目標紋理特征。Haar-like特征最早應用于人臉檢測，只能描述特定走向（水平、垂直、對角）結構。但由于紅外圖像的質量通常較差、圖像模糊，關鍵點并不明確，使得關鍵點檢測算法難以準確檢測出目標。而HOG特征通過掃描窗口對待檢測圖像進行密集掃描并計算梯度方向，梯度特征是紅外圖像中比較穩(wěn)定的特征，對紅外人體目標檢測準確率較高，但實際應用中還需要進一步解決紅外圖像帶來的特異性缺陷。

紅外成像雖然使得陰影、光照突變、環(huán)境光和夜間可視性等影響傳統(tǒng)計算機視覺的關鍵問題得到有效解決，但是對比度低、邊緣模糊、信噪比低、噪聲大、缺乏色彩信息以及成分復雜等特點也使得其面臨特有的挑戰(zhàn)。針對復雜背景下紅外序列圖像中人體目標檢測，本文提出了一種有效的改進算法，采用基于改進的GMM人體目標分割和基于AOE-HOG特征的人體檢測方法在一定程度上提高了實時性和準確性。本文首先采用自適應更新GMM個數算法，對紅外圖像序列中ROI進行分割，得到人體候選目標；然后對候選目標提取AOE-HOG特征；對包含人體目標和非人體目標的訓練樣本進行訓練，得到基于核函數映射的SVM分類器，根據AOE-HOG特征對目標進行分類；最后根據分類結果剔除非人體目標，篩選出人體目標。算法流程圖如圖1所示。

圖1 算法流程圖

1 基于改進GMM的人體目標ROI分割

通常情況下，人體溫度恒定且比周圍環(huán)境的溫度要高，因此紅外圖像中人體亮度比背景亮度要高，并且通常保持穩(wěn)定。對于較為單一場景，例如開闊地帶、空天等，可以采用幀差法和區(qū)域閾值法等較為簡單直接的方法；而針對變化大、干擾目標多的復雜場景，比如水面波紋、樹葉擺動等，紅外圖像序列中對應像素的灰度值變化范圍更大，這時常使用背景差法提取前景目標，而GMM是背景建模的經典方法之一。GMM對存在小幅度周期運動的復雜背景適應性較好，例如噴泉、搖動的樹枝、飄動的旗幟以及波動的水面等情況，可以抑制動態(tài)背景對目標檢測的影響。

1.1 經典GMM

最早提出的GMM是利用多個狀態(tài)描述每個像素點在不同時刻的灰度值來對背景建模，將待檢測像素點的灰度值與多個狀態(tài)的灰度值比較，判斷待檢測像素點是前景目標還是背景[10]。

定義某個高斯分布出現(xiàn)的概率與其方差的比值，作為判斷目標像素點的度量，用公式表示為：

＝,t/,t(3)

因為背景點比起前景點更穩(wěn)定、出現(xiàn)次數更多，因此背景點對應的高斯分布會有較小方差和較大權值。當比值大時，說明這個高斯分布更有可能表示背景像素點；反之，則表示可能為目標像素點。將個高斯分布按照值的大小進行降序排列。設選取前個高斯分布描述背景，則有：

如果該點像素值滿足這一不等式，則判定此點匹配該高斯分布，將其判定為背景像素點；如果不匹配所有的高斯分布，則判定該點屬于目標像素點。對某一幀的所有像素點都進行匹配，得到的所有目標像素點構成的集合就是可能的人體目標。最后根據匹配結果對模型進行更新，更新策略為：

1）如果該點像素匹配一個或者一個以上的高斯分布，則判定該點屬于背景像素點。模型更新用公式組表示為：

式中：∈[0, 1]為學習率，＝/,t為權值更新率，表示高斯分布中各參數更新快慢程度，I表示當前時刻任意像素點像素值。

2）如果該點像素值與所有高斯分布都不匹配，則判定該點屬于目標像素點，并按照當前像素灰度值產生新的高斯模型（均值0即為像素灰度值，方差為02，并選取較小權值），替換權值最小的高斯分布。對其余－1個高斯模型僅更新權值，保持均值和方差2不變，表示為：

1.2 改進的GMM

經典GMM的高斯模型個數是確定的，通常取3～5。實驗發(fā)現(xiàn)，設定＝3難以滿足干擾目標較多、有多個前景目標或者目標運動較快的情況，分割結果往往帶有很多噪聲點，甚至條狀分布的虛假目標，不利于后續(xù)分類檢測；而設定＝5時，對較為簡單的運動場景卻耗時過長，難以滿足實時性需求。原因在于，高斯模型個數不變時，背景大部分像素點變化很小，每次更新都會有高斯模型與該背景像素點相匹配，導致其權值逐漸變大，而不匹配的高斯模型權值會逐漸變小。所以當高斯模型個數固定時，每個高斯模型對于沒有變化的背景像素點都進行了無效的更新，更新策略冗余導致耗時過長。因此，本文采用自適應更新GMM個數的算法，快速高效地訓練背景模型，提取背景圖像，保證分割效果較好的同時可以提高實時性。

自適應更新GMM個數在初始時對每個像素點只分配一個高斯模型，接下來進行模型匹配時，如果能夠與該模型匹配，那么保持該高斯模型不變；如果不能與該模型匹配，則需要判斷模型個數是否達到所設定的極限值（為適應復雜場景，設定極限值＝5），如果未達到極限值，則新增加一個高斯模型，如果達到極限則用新的模型替換權值最小的高斯模型。更新完成之后，利用公式(3)，按照的大小進行排序，再利用公式(8)對權值進行歸一化處理。改進的GMM算法流程圖如圖2所示。

采用改進算法得到的結果如圖3所示，圖a為第330幀原始灰度圖像，采用設定經典GMM個數＝3不變，得到的分割結果含有很多背景像素點（圖b），耗時為1.786 s/幀；而設定＝5不變時，得到的結果較好（圖c），但是耗時為5.436s/幀，難以滿足實時性需求。采用改進的GMM，設定模型極限值為＝5，得到的分割結果包含背景像素點較少，且目標輪廓清晰準確（圖d），耗時為0.782s/幀。實驗結果證明，改進算法能夠大大減小背景更新幅度，減少計算量。

2 基于AOE-HOG特征的人體檢測

由于復雜背景的變化，前述ROI分割得到人體候選目標可能含有虛假目標，需要通過特征提取、分類進一步判斷候選目標是否為人體目標。

2.1 HOG特征

HOG特征通過計算、統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構成特征，能夠很好地描述局部目標的形狀和表象，常結合SVM應用于圖像識別。HOG特征構建過程如下：

圖2 改進的GMM算法流程圖

圖3 經典GMM和自適應更新GMM分割結果對比

1）計算灰度圖像梯度

首先定義圖像中像素點(,)的像素灰度值、水平方向梯度和垂直方向梯度分別為：(,)、G(,)和G(,)，則(,)處的梯度幅值和梯度方向表示為：

式中：

2）為每個細胞單元構建HOG

把訓練樣本圖像分割為若干個像素的單元（cell），把梯度方向平均劃分為9個區(qū)間（bin），在每個單元里面對所有像素的梯度方向在各個方向區(qū)間進行直方圖統(tǒng)計，得到一個9維特征向量。每相鄰4個單元構成一個塊（block），把一個塊內的特征向量聯(lián)起來得到36維特征向量，用塊對樣本圖像進行掃描，掃描步長為一個單元。

3）特征串聯(lián)

最終得到一個高維度向量**，、、分別表示每個區(qū)間中細胞單元的數目、每個細胞單元中像素點的數目、每個細胞的直方圖通道數目。

4）HOG特征向量歸一化

對每一個塊內的HOG特征向量進行歸一化，用公式表示為：

式中：表示特征向量，||||表示范數（通常＝1,2），為了避免分母為零無意義，加入一個較小的正數。

HOG特征與其他特征描述方法相比有以下優(yōu)點：第一針對圖像局部方格即細胞單元進行提取的HOG特征具備幾何和光學不變性；第二是經過對各細胞單元歸一化后，對人體輕微肢體動作的包容性較強，可以忽略而不會影響檢測效果；第三是HOG特征對空域抽樣、方向抽樣不敏感，只要人體大體上能夠保持直立的姿勢，不會影響檢測結果。綜合考慮，HOG在圖像中人體目標檢測有較強適用性。

本文采用1570幅128×64像素大小的灰度圖像作為訓練樣本，其中人體目標470個，非人體目標1100個。把每幅圖像的每8×8像素組成一個單元，每2×2個單元組成一個塊，因為每個單元有9維特征，所以每個塊內有4×9＝36維特征，以8個像素為步長，則水平方向將有7個掃描窗口，垂直方向將有15個掃描窗口。也就是說，128×64像素大小的圖片總共有4×9×7×15＝3780維特征。

2.2 AOE-HOG特征提取

Dalal[9]最早將HOG特征用于可見光圖像中的人體目標檢測，識別正確率較高，但對紅外圖像中目標接近、粘黏和部分遮擋情況的適應性較差；而對于多個人體目標的場景，存在漏警現(xiàn)象，降低了識別的正確率?？紤]到紅外圖像中紋理細節(jié)較少，而人體目標邊緣特性帶來的有效信息非常重要，能夠降低局部噪聲的影響，因此本文引進邊緣方向累加和這一統(tǒng)計特性描述邊緣信息。邊緣方向累加和是圖像邊緣在各個方向的概率統(tǒng)計累加結果，因此能夠利用ROI的邊緣信息來檢測紅外圖像中非剛性的人體目標。經過驗證，本文融合邊緣方向累加和特性對HOG特征進行改進，能夠明顯提高運動人體目標識別的正確率。

邊緣方向累加和的算法具體如下：

2）卷積運算提取邊緣信息。將每一幅訓練圖像與5個卷積核分別進行卷積濾波，每個卷積核對應生成一幅濾波后圖像，因此共有5幅濾波后圖像。

3）將濾波后每幅圖像各像素灰度值進行各自累加，得到5個標量，作為邊緣方向累加和特性。

4）對邊緣方向值進行歸一化。采用的歸一化因子為像素灰度值的最大值。由此生成一個5維特征向量，并與HOG特征的3780維特征向量進行特征串聯(lián)，形成一個3785維的特征向量。

利用經典的HOG特征和AOE-HOG特征進行人體目標分類的結果如圖4所示。實驗結果證明，增加邊緣方向累加和特性后能夠更好地描述紅外圖像人體目標的特征，對邊緣特性較差的目標有更準確的分類結果，提高了分類正確率；由于改進方法僅增加了5維特征，因此耗時沒有明顯增加。

圖4 采用經典HOG特征和AOE-HOG特征提取人體目標的結果對比

2.3 采用SVM進行目標分類檢測

SVM[11]是一種有監(jiān)督的機器學習方法，通過構建分類界面實現(xiàn)對目標區(qū)域的分類，即采用一系列的正負訓練樣本對分類器進行監(jiān)督訓練，求出最優(yōu)的分類決策函數。SVM以結構化風險最小化為原則，在選擇分類模型和模型參數上兼顧訓練誤差和測試誤差最小化。

而在實際問題中，很多都是非線性可分的情況，這時需要放寬約束條件，引入松弛變量≥0，＝1, 2,,，此時最優(yōu)超平面的目標函數為：

式中：定義為懲罰參數。目標函數的第一項為最大化分類間隔，第二項為分類造成的錯誤代價，此時問題轉化為使得目標函數最小化。

對于人體目標檢測這一非線性可分問題，可以通過適當的核函數將多維向量映射到更高維的空間，來建立一個有最大間隔的超平面，這個最優(yōu)超平面即作為分類決策函數。核函數是一個對稱函數:R×R?，將2個R空間中的維向量映射為一個實數，計算高維空間中的點積得到：

式中：:R?R。本文采用在實際應用性能更優(yōu)的徑向基核函數作為支持向量機的內積函數[12]，公式為：

式中：為核參數。在訓練樣本集的選取上，選取多種形態(tài)動作的人體目標和一些相似程度較高的干擾目標，來增加多樣性，確保分類算法健壯。

經過以徑向基核函數為內積函數的SVM分類后，進行交叉驗證（Cross validation，CV）驗證分類器性能。本文選用K-folder CV進行驗證[13]：將訓練樣本均分為個子集進行交叉比對測試，考察其分類平均準確率。將1100個非人體目標樣本和470個人體目標樣本隨機分成8～12組進行驗證，得到不同分組情況下的平均耗時和平均準確率。綜合耗時和準確率考慮，選取10組作為交叉驗證組數較為合理，平均耗時為5s左右。此時，確定懲罰參數C的最佳值為128，核參數最佳值為＝4，交叉驗證平均準確率接近99.9%。

通過訓練樣本建立SVM分類器，將ROI提取得到的特征向量作為SVM分類器的輸入，根據輸出判別結果判斷其是否為人體目標。

3 實驗與結果分析

本文選取OTCBVS測試數據庫中6個室內外場景的紅外視頻源，包含多個人體、樓道、窗戶、天花板、頂燈、樹林、草地、車輛等多種目標，并且多個人體目標有分隔距離較大、分隔距離較小、粘連、部分遮擋、目標穿越遮擋物等多種情況。這些視頻對人工場景和自然場景具備一定代表性，貼合實際中的復雜場景。

在Intel Core i7-7500U CPU 2.70GHz處理器上安裝64位Windows10操作系統(tǒng)，運行Matlab R2016b版本軟件，程序讀取同一紅外圖像序列，將分割出的ROI歸一化為128×64像素大小后分別提取經典HOG特征和AOE-HOG特征，然后使用參數為(,)＝(128, 4)的徑向基核函數SVM進行分類。得到實驗統(tǒng)計結果如表1所示，正確率和平均耗時結果對比分別如圖5、圖6所示。部分實驗結果例圖如圖7所示。

實驗結果表明，對紅外圖像采用基于改進的GMM的背景減除法對紅外圖像進行分割，提取AOE-HOG特征后進行分類識別，虛警率低于3.5%、漏警率低于3%，準確率在97%以上，平均耗時較低。證明本文的人體目標檢測算法能夠在復雜場景下正確檢測出人體，對于目標距離較近（圖7(a)）、多個目標同時檢測（圖7(b)）、部分目標粘連（圖7(c)）、部分目標遮擋（圖7(d)）和車輛行駛干擾（圖7(e)）、穿越遮擋物干擾（圖7(f)）的情形有較好效果。

表1 不同測試集的人體檢測結果

圖5 HOG和AOE-HOG的正確率結果對比

圖6 HOG和AOE-HOG的平均耗時結果對比

圖7 基于AOE-HOG特征的三個測試集人體目標檢測結果例圖

4 結論

本文針對紅外圖像中的人體目標檢測技術進行研究，采用基于改進的GMM的背景減除法進行人體目標分割，取得了較好的效果。在有樹葉擺動等微小目標干擾的復雜環(huán)境下具備較強的抗干擾能力。針對人體目標形態(tài)多變的特點采用AOE-HOG特征來描述人體目標，用支持向量機對人體目標和非人體目標進行分類。實驗結果表明，本文提出的人體目標檢測方法，能夠在復雜場景下正確檢測出人體，且平均耗時較低。但本文算法對于人體被遮擋部分較多、異常成像導致圖像缺失、多個目標發(fā)生重疊時的情況還未能有效解決。實驗結果中虛警和漏警也集中出現(xiàn)在目標被遮擋和多個目標重疊的情況。

[1] 蘇松志, 李紹滋, 陳淑媛, 等. 行人檢測技術綜述[J]. 電子學報, 2012, 40(4):814-820.

SU Songzhi, LI Shaozi, CHEN Shuyuan, et al. A survey on pedestrian detection[J].2012, 40(4): 814-820.

[2] Enkelmann W. Investigations of multigrid algorithms for the estimation of optical flow fields in image sequences[J]., 1988, 43(2):150-177.

[3] Lipton A J, Fujiyoshi H, Patil R S. Moving Target Classification and Tracking from Real-time Video[C]//, 1998: 8.

[4] Seki M, Fujiwara H, Sumi K. A Robust Background Subtraction Method for Changing Background[J]., 2000: 207-213.

[5] Liu T L, Chen H T. Real-Time Tracking Using Trust-Region Methods[J]., 2004, 26(3): 397-402.

[6] Hampapur A, Brown L, Connell J, et al. Smart video surveillance: exploring the concept of multiscale spatiotemporal tracking[J]., 2005, 22(2):38-51.

[7] Oren M, Papageorgiou C, Sinha P, et al. Pedestrian Detection Using Wavelet Templates[C]//, 1997: 193.

[8] Ojala T, Harwood I. A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J]., 1996, 29(1): 51-59.

[9] Dalal N, Triggs B. Histograms of Oriented Gradients for Human Detection[C]//., 2005: 886-893.

[10] Stauffer C, Grimson W E L. Adaptive Background Mixture Models for Real-Time Tracking[C]//,, 1999: 252.

[11] C J. Burges. A Tutorial on Support Vector Machines for Pattern Recognition[J]., 2010, 2(2): 121-167.

[12] 王鵬, 朱小燕. 基于RBF核的SVM的模型選擇及其應用[J]. 計算機工程與應用, 2003, 39(24): 72-73.

WANG Peng, ZHU Xiaoyan. Model Selection of SVM with RBF Kernel and its Application[J]., 2003, 39(24): 72-73.

[13] Vapnik V, Chapelle O. Bounds on error expectation for support vector machines[J]., 2000, 12(9): 2013-2036.

Research on Infrared Human Detection from Complex Backgrounds

MA Ye，CHANG Qing，HU Moufa

(,410073,)

Infrared images have disadvantages such as low signal-to-noise ratio and contrast, a lack of color texture information, and a halo effect around target and blurry edges. These factors pose challenges for detecting humans in infrared images. This study focuses on human detection technology used for infrared image sequences in complicated environments. Specifically, we use a background subtraction method to segment a human-body target based on a modified Gaussian mixture model. First, we use multiple Gaussian processes to simulate the complex changes in the background with the appropriate weight values. These processes also update the number, weight values, and learning rate of the Gaussian model. We then use the fusion of the accumulated oriented edges and a histogram of oriented gradient characteristics to describe the region of interest. Finally, we employ a support vector machine to classify the human targets precisely. Experiments show that the algorithm can detect human targets accurately in complex backgrounds and that it generates good results on multiple objects,near in distance, and even some of havingadhesion multiple objects, near distance, and even some of the adhesion.

infrared image，human detection，GMM，AOE，HOG，SVM

TP391.4

A

1001-8891(2017)11-1038-07

2017-04-15；

2017-06-28.

馬也（1994-），男，四川西昌人，碩士研究生，主要研究方向為信息與通信系統(tǒng)。E-mail：bigmaye@qq.com。