張 馳,譚南林,李國正,蘇樹強

(北京交通大學 機械與電子控制工程學院,北京 100044)

0 概述

自然界中的物體都會向外輻射紅外線,利用探測儀可以得到不同物體的紅外圖像。由于紅外熱成像技術不受照明條件影響且穿透能力強,其被廣泛應用于安防監(jiān)控[1]、自動駕駛[2]等領域,并且對紅外圖像行人檢測算法的有效性和實時性提出了更高的要求。

近年來,紅外圖像行人檢測成為研究的熱點,但相較于可見光圖像處理技術還有很大的提升空間。紅外圖像包含的特征與可見光圖像不同,需要從紅外特征層面來解決行人檢測問題。國內(nèi)外學者對紅外圖像行人檢測算法進行了大量研究。文獻[3]提出基于圓形最短路徑的紅外圖像行人分割算法,通過顯著性映射和灰度閾值法對包含行人的前景進行估計。文獻[4]提出利用多維模板形式的中層屬性,將局部轉(zhuǎn)向核作為底層描述符來檢測遠紅外線圖像中的行人。文獻[5]基于圖像灰度值生成顯著圖,對得到的感興趣區(qū)域(Region of Interest,ROI)提取局部強度差異直方圖(Histogram of Local Intensity Differences,HLID)特征,并使用支持向量機(Support Vector Machine,SVM)分類器得到行人區(qū)域。文獻[6]使用改良的脈沖耦合神經(jīng)網(wǎng)絡對紅外圖像中的行人進行分割,以有效抑制噪聲。文獻[7]提出一種基于框選分割的監(jiān)督學習框架,結合可見光和紅外2個通道對多光譜的行人進行檢測。文獻[8]基于HOG對紅外圖像進行檢測,通過減去熱激活區(qū)域?qū)崿F(xiàn)算法加速。文獻[9]對紅外圖像進行預處理,使噪聲大幅降低,細節(jié)得到增強,并實現(xiàn)智能分析與自動報警的協(xié)同。文獻[10]提出多特征級聯(lián)的紅外行人檢測算法,在方向梯度直方圖(Histogram of Oriented Gradient,HOG)之前加入了長寬比和頭部Haar特征的初級分類器。文獻[11]使用自動摳圖算法對紅外圖像中的行人進行檢測,其將自動選取的區(qū)域作為深度神經(jīng)網(wǎng)絡的輸入。文獻[12]使用卷積神經(jīng)網(wǎng)絡對紅外圖像中的行人進行分類。

現(xiàn)有顯著性檢測算法主要應用于普通的可見光圖像,計算復雜度較高且沒有充分利用紅外圖像的特點。針對上述問題,本文提出一種紅外圖像行人檢測算法,基于改進的顯著性算法和多級縮小ROI區(qū)域策略對紅外圖像中的行人進行檢測。

1 紅外圖像行人特征

紅外圖像沒有顏色通道特征和紋理特征,加上噪聲的干擾,其信息量會有較大損失。在紅外圖像中,非行人的干擾源主要為圖像中的噪聲和其他熱源。紅外圖像中溫度較高的物體對應的像素灰度值高,相較于周圍背景環(huán)境更加突出,由于行人圖像亮度較大會產(chǎn)生明顯的輪廓線,避免了色彩信息的干擾,因此顯著性檢測算法也更加適用。

紅外圖像中的信息主要包括目標行人、背景和噪聲。對感興趣區(qū)域(如行人位置)進行選擇性增強同時淡化非感興趣區(qū)域,即為顯著性增強操作。顯著性可以體現(xiàn)圖像感興趣區(qū)域的獨特性和奇異性,使用顯著性區(qū)域能夠減少行人檢測的計算復雜度。相較于利用傳統(tǒng)滑動窗口法尋找ROI,顯著性增強法不需要對圖像中每個區(qū)域都進行復雜的計算,因此,其效率更高。

在紅外圖像中,亮度值高的像素點成為顯著性區(qū)域的概率較高,并且行人區(qū)域的邊緣較為復雜,需要使用不同尺度的滑窗檢測不同尺度的行人。對于遠距離的行人,可以使用深度學習算法進行判定,而對于近距離且尺寸較大的行人,則使用HOG結合SVM的算法進行檢測。但是,在許多場景下采集到的紅外圖像的背景與可見光圖像一樣,是動態(tài)變化的,背景差算法并不適用。

2 紅外圖像行人檢測算法

2.1 紅外顯著性檢測算法

經(jīng)典的顯著性檢測算法有譜殘余(Spectral Residual,SR)算法、Itti算法、GBVS(Graph-Based Visual Saliency)算法和LC算法。SR算法將圖像轉(zhuǎn)換頻域得到幅度譜,再利用對數(shù)譜進行濾波,兩者相減得到殘余譜,反變換后得到顯著圖[13]。Itti算法基于視覺模型提取顏色和亮度特征,通過中心周圍算子和高斯金字塔進行差運算獲得顯著圖[14]。GBVS算法是一種自底向上提取人眼感興趣區(qū)域的算法,與Itti算法不同,GBVS算法采用馬爾科夫鏈,利用其平穩(wěn)分布來提取顯著圖[15]。LC算法將像素與圖像中其他所有像素的距離之和進行歸一化,從而得到顯著值,并通過直方圖來簡化計算[16]。

上述算法都以可見光圖像作為顯著性處理的目標,而紅外圖像無顏色信息,可省去圖像灰度化過程,且行人區(qū)域本身灰度值較高。本文使用改進的LC算法進行檢測,求解圖像顯著性的過程如下:

(1)

其中,fn是圖像像素的頻數(shù),D(p,n)是距離矩陣。

本文對LC算法進行改進,首先得到紅外圖像的灰度直方圖,再使用分水嶺算法將圖像中較暗的區(qū)域置零,減少計算量和干擾因素,以降低其他特征計算的復雜度。在對顯著性進行計算時,只針對高亮像素點,并加入修正值和HLID特征,使得顯著性計算結果更適用于紅外圖像行人檢測。當某一像素點周圍的8個值都為圖像中的暗區(qū)域時,認為該點為噪聲點并予以剔除,當周圍的8個值差值較大,呈現(xiàn)邊緣梯度特征時,在該像素點的灰度值上加入HLID方差修正。相比其他顯著性算法需要在不同圖像域間進行轉(zhuǎn)換計算,該顯著性檢測算法只需進行統(tǒng)計直方圖計算、距離相乘和歸一化操作,并增加零點的數(shù)量,算法的計算復雜度低,能在較短時間內(nèi)得到紅外圖像中的關鍵區(qū)域,縮小了后續(xù)檢測的計算范圍。其中,HLID特征主要是中心像素與周圍像素點的差異。

本文改進算法得到的顯著性圖像行人區(qū)域像素值高,通過分水嶺算法已獲得大量的零像素值點,可減少后續(xù)處理的計算量。此外,本文通過改進的基于質(zhì)心重定位的滑窗搜索算法對紅外顯著圖像進行過濾。根據(jù)紅外圖像中行人的特征,引入限定條件,即當中心區(qū)域比周圍區(qū)域亮時,顯著性區(qū)域像素平均值要達到一定閾值。在中心亮度高的滑窗區(qū)域定位圖像質(zhì)心,使用質(zhì)心位置重新調(diào)整選取框,使得選取結果更加符合真實的行人區(qū)域,以避免滑窗算法步長太小而造成計算復雜度升高。在此基礎上,使用滑窗算法對顯著性紅外圖像進行選取,得到最終結果,如圖1所示。

圖1 改進滑窗算法的選取結果Fig.1 Selection results of improved sliding window algorithm

在圖1中,虛線框是直接使用滑窗算法檢測得到的結果,實線框是依據(jù)質(zhì)心位置再次調(diào)整后的優(yōu)化位置。可以看出,經(jīng)再次調(diào)整后的結果更為準確。此外,該方法可加快滑窗檢測速度,同時提高Zernike矩對稱性和相似性計算效率。

2.2 Zernike矩在紅外圖像行人檢測中的應用

圖像檢測的核心問題是特征提取,圖像的矩是圖像的重要特征之一。矩是圖像在多項式上的一個投影,經(jīng)典的矩有不變矩、幾何矩、旋轉(zhuǎn)拒等。不變矩具有平移、尺度變化、旋轉(zhuǎn)(相似變換)等不變性,經(jīng)典的不變矩有Hu矩、Fourier-Mellin矩、Zernike矩等。Zernike矩是基于Zernike多項式的正交化函數(shù)[17],Zernike矩在識別效果上比Hu矩好,但其計算復雜度高,對紋理豐富的圖像區(qū)分效果差。正交矩較為復雜,其計算復雜度高,但信息冗余較小。

對于二維離散數(shù)字圖像轉(zhuǎn)換到極坐標下的圖像g(r,θ),其n階m重Zernike矩的定義如下:

(2)

Vn,m(r,θ)=Rn,m(r)ejqθ

(3)

低階Zernike矩描述整體形狀信息,高階Zernike矩描述圖像的細節(jié)信息,相對于高階矩,低階矩對噪聲不敏感。在紅外圖像中,行人的特征主要由形狀信息構成,由于本文檢測的遠距離行人紅外圖像中細節(jié)信息損失較多,因此主要使用低階矩進行計算。

在通過顯著性算法得到待檢測區(qū)域后,將選取框左右一分為二,對一側(cè)圖像進行轉(zhuǎn)置運算,使得對稱圖像變換為旋轉(zhuǎn)圖像,再使用Zernike矩對圖像進行對稱度計算,其中相似度高的選取框被認定為行人。由于行人兼具剛性物體和柔性物體的特征,具有對稱性,但是對稱度不高,因此需要提高對稱性的閾值限制,而部分誤檢的非行人區(qū)域由下一級進行濾除。因為行人的姿勢體態(tài)特征較多,所以使用部分行人的Zernike矩的結果值,通過SVM分類算法進行學習訓練,利用標準行人形狀得到SVM訓練結果,在此基礎上,對待檢測區(qū)域的Zernike矩進行分類。

2.3 多級特征行人檢測算法

行人目標檢測和顯著性檢測的目的并不相同,本文在獲得顯著性檢測結果之后,屏蔽圖像中的許多背景,再使用多級檢測可以縮小紅外圖像ROI,提升系統(tǒng)的實時性,不同層級的算法復雜度逐次遞增,與行人紅外圖像的相似特征進行匹配。由于缺少紅外訓練庫且不同參數(shù)的紅外相機對不同距離行人的拍攝結果差異較大,因此不同紅外圖像行人的邊緣信息和亮度也存在較大差異。同時,在OTCBVS紅外數(shù)據(jù)集中,行人目標的高度基本不超過30像素,寬度不超過20像素,尺寸較小,不適合使用HOG和SVM算法進行判定。

本文紅外圖像檢測算法的思路如下:

1)由改進LC算法得到顯著性區(qū)域,使用滑窗算法進行過濾,在紅外圖像顯著性結果像素值之和大于一定范圍時,認定該區(qū)域可能出現(xiàn)行人。如果行人可能出現(xiàn)的區(qū)域中心像素點灰度值相較于周邊背景的像素點灰度值要高,則排除非行人的干擾區(qū)域。

2)在得到高亮區(qū)域后,通過質(zhì)心重定位提高滑窗算法效率,使用圖像Zernike矩得到弱對稱性特征,并與行人的Zernike矩進行比較,在此基礎上,使用SVM進行分類。

3)基于遷移學習思想,使用結合邊緣梯度特征的深度學習對區(qū)域進行判斷,再通過訓練得到的卷積神經(jīng)網(wǎng)絡模型加以區(qū)分。

本文基于多級特征紅外圖像行人檢測算法的流程如圖2所示。多級特征可以過濾大部分的背景干擾區(qū)域,逐級剔除非行人區(qū)域,計算所得結果可以衡量行人存在的可能性。

圖2 基于多級特征的紅外圖像行人檢測流程Fig.2 Procedure of pedestrian detection in infrared imagebased on multi-level feature

3 紅外圖像卷積神經(jīng)網(wǎng)絡算法

3.1 深度學習算法

隨著神經(jīng)網(wǎng)絡的深入研究和計算機運行速度的提高,機器學習進入嶄新的發(fā)展階段。算法的優(yōu)化、數(shù)據(jù)量的擴大以及GPU的發(fā)展,使得深度學習可將圖像中各像素點的像素值轉(zhuǎn)變成更高層次、更抽象的表達。相比淺層模型,深度學習算法能夠更合理地表示非線性函數(shù),同時也促進了遷移學習的發(fā)展。深度學習能夠利用輸入數(shù)據(jù)自動學習行人特征,不僅有無監(jiān)督學習和監(jiān)督學習的雙重優(yōu)點,還具有強大的特征表達能力。卷積神經(jīng)網(wǎng)絡是深度學習的主要手段之一,擅長處理圖像相關的機器學習問題。

邊緣梯度信息是圖像特征的基本表達。使用邊緣梯度信息等淺層特征作為深度神經(jīng)網(wǎng)絡的輸入,可減少網(wǎng)絡層數(shù)。由于紅外行人圖像包含信息量少、顏色信息缺失,因此本文深度學習網(wǎng)絡的輸入為紅外灰度圖像與邊緣梯度圖像的結合,從而包含更多的深層次信息和有效特征,加快淺層特征學習速度。

3.2 遷移學習理論

遷移學習的一個根本性計算問題是挖掘相似領域間的共享知識結構,并將其作為標注信息,建立從已知領域遷移到目標待求解領域的聯(lián)系。隨著深度學習算法的發(fā)展,遷移學習也逐漸得到廣泛應用,兩者能夠互相促進,通過使用訓練好的網(wǎng)絡模型簡化大量的學習過程。本文使用監(jiān)督遷移學習,對含有標記小數(shù)據(jù)量的行人訓練集進行訓練。紅外圖像行人與可見光行人特征的區(qū)別主要在于行人背景不同,紅外圖像行人的背景較為單一。在訓練時,將可見光圖像轉(zhuǎn)換為灰度圖和邊緣梯度圖,并將其作為輸入,得到相似的輸入模型。在紅外圖像行人檢測應用中,可以直接使用從普通的行人檢測中學習到的超參數(shù),以精簡訓練流程,并通過遷移學習驗證網(wǎng)絡泛化能力。本文的遷移學習是基于樣本的同構遷移學習,紅外圖像行人檢測的遷移學習過程如圖3所示。

圖3 紅外圖像行人遷移學習示意圖Fig.3 Schematic diagram of pedestrian transfer learningin infrared image

4 實驗結果與分析

本文使用俄亥俄州立大學建立的OTCBVS紅外數(shù)據(jù)集進行實驗。所用CPU主頻為3.40 GHz的PC機,并在OpenCV環(huán)境下對算法進行驗證。OTCBVS紅外數(shù)據(jù)集共有284幅熱紅外圖像,有晴天、雨天和陰天不同環(huán)境下采集到的行人圖像,共包含984個行人區(qū)域。

4.1 顯著性檢測結果

將本文改進的LC算法與SR、Itti、GBVS和LC 4種經(jīng)典顯著性算法進行對比,結果如圖4所示。

圖4 紅外圖像顯著性算法檢測結果對比Fig.4 Comparison of detection results of saliency algorithm forinfrared image

由圖4可以看出,SR算法的檢測結果受復雜邊緣的影響較大,且需要將圖像轉(zhuǎn)換到頻域進行計算,復雜度較高。Itti和GBVS算法的精度較高,但也存在計算復雜度高的問題,并且結果易受背景的影響,有時無法突出行人所在區(qū)域。LC算法速度快,但是結果中仍存在較多背景。多數(shù)算法在圖像中熱源背景干擾信息較多的情況下,行人的顯著性會降低,圖4的實驗結果表明,本文改進算法更適用于紅外圖像行人高亮度區(qū)域的檢測,可將圖像中不同尺度距離行人的關鍵信息保留下來,突出紅外目標,且時間復雜度低,能在幾毫秒的時間內(nèi)處理尺寸為240像素×360像素的圖像。不同顯著性算法的耗時情況如表1所示。

表1 5種顯著性算法的耗時對比Table 1 Comparison of consumed time of five saliency algorithms

4.2 行人檢測結果

在得到顯著性圖像后,使用多級檢測算法可以得到行人的檢測結果。首先使用紅外圖像的多級特征對行人目標進行分類,通過改進的滑窗搜索算法選取行人可能存在的區(qū)域,其中包含大量的非行人區(qū)域。不同編號的環(huán)境不同,因此,檢測結果有所差距。其中,編號為00003的圖像由于拍攝環(huán)境溫度高,行人與周邊背景區(qū)分度較低,難以通過亮度差的算法進行區(qū)分,檢測成功率低。在此溫度環(huán)境下,可將可見光圖像作為行人檢測通道,本文不對該情況做特殊處理?；八阉魉惴ǖ倪x取結果如表2所示。其中,未識別的目標主要為距離相近的行人和圖像邊緣較小的行人。

表2 滑窗搜索算法的選取結果Table 2 Selection results of sliding window search algorithm

在完成行人目標分類以后,使用Zernike矩對選取區(qū)域進行行人相似度檢測和圖像對稱度檢測,濾除部分非行人區(qū)域。本文選用Z20、Z22、Z31、Z33、Z40、Z42和Z44這7個低階特征。OTCBVS紅外數(shù)據(jù)集中部分行人和非行人區(qū)域的Zernike矩幅值曲線如圖5所示。在圖5中,Zernike矩的特征值均為滑窗選取框左右劃分后的計算結果,每個行人目標對應的2條曲線表示從中心線分割后的2組特征?？梢钥闯?行人和非行人的特征曲線有一定的差距,且行人的對稱性一般較高。從表2和圖5可以看出,行人的Zernike矩在Z20和Z44兩處特征值較高,其他位置的特征值偏低,而非行人圖像沒有該規(guī)律。

圖5 部分Zernike矩的幅值曲線Fig.5 Amplitude curve of some Zernike moments

依據(jù)上述特征,可以在OTCBVS紅外數(shù)據(jù)集中過濾部分非行人特征,縮小行人可能存在的區(qū)域。由于Zernike矩的計算復雜度較高,其計算時間較長,且與紅外圖像的復雜度,即通過顯著性檢測后得到的待檢測行人區(qū)域數(shù)量相關,每張圖像的平均處理時間約為20 ms。在此基礎上,使用SVM對圖像顯著性區(qū)域中提取到的待檢測圖像進行判定,得到的結果如表3所示。

表3 Zernike矩濾除后的判定結果Table 3 Determine results after filtering using Zernike moments

Zernike矩能夠進一步縮小行人范圍,但是,將Zernike矩的結果作為最終行人檢測結果的錯誤率較高,行人的特征變化較多,主要用于去除部分非行人區(qū)域。

因為紅外圖像的行人特征和遠距離行人特征相同,缺乏色彩信息,在識別判斷時,通過邊緣和梯度信息對行人和背景進行區(qū)分。在多級特征判定的最后,使用遷移可見光圖像訓練的深度學習模型進行判斷。本文的紅外圖像行人檢測結果在誤檢率為10%的情況下,檢測準確率可達91.5%。通過改進顯著性算法等低階計算,能夠有效縮小行人待檢測區(qū)域,相比直接使用深度神經(jīng)網(wǎng)絡,可減少大量輸入,避免了深度學習的復雜計算,可應用于嵌入式設備中,同時保證了深度學習的高準確率。

表4是本文算法在OTCBVS紅外數(shù)據(jù)集上的最終檢測結果。由文獻[18-19]可知,稀疏表示算法的準確率為90%,相較而言本文算法的檢測準確率較高。圖6和圖7給出本文算法在OTCBVS紅外數(shù)據(jù)集上的檢測結果。其中,圖7中打傘的行人由于灰度值在紅外圖像中衰減嚴重,不容易被檢測出來。

表4 本文算法在OTCBVS紅外數(shù)據(jù)集的檢測結果Table 4 Detection results of the proposed algorithm on the OTCBVS dataset of infrared images

圖6 OTCBVS紅外數(shù)據(jù)集上的行人檢測結果1Fig.6 Pedestrian detection results 1 on the OTCBVSdataset of infrared images

圖7 OTCBVS紅外數(shù)據(jù)集上的行人檢測結果2Fig.7 Pedestrian detection results 2 on the OTCBVSdataset of infrared images

5 結束語

本文提出一種基于多級特征的紅外圖像行人檢測算法。使用改進的顯著性檢測算法得到圖像中的高亮區(qū)域,結合質(zhì)心重定位的滑窗算法得到待檢測區(qū)域,由Zernike矩特征對圖像的對稱性和行人的相似性進行判斷,濾除錯誤結果。在此基礎上,使用基于可見光圖像遷移學習訓練的卷積神經(jīng)網(wǎng)絡進行判定分類。實驗結果表明,與基于稀疏表示的行人檢測算法相比,該算法的檢測準確率較高。下一步將對不同層級的特征檢測時間加以限制,提升算法的實時性。