王鑫 張鑫 寧晨
摘 要:針對紅外成像條件下人體目標受干擾嚴重時目標的識別準確性和魯棒性較差的問題,提出了一種基于多特征降維和遷移學習的紅外人體目標識別方法。首先,針對傳統(tǒng)的紅外人體目標特征提取方法提取某單一特征時存在信息涵蓋不全面的問題,提取目標不同種類的異構特征,從而充分挖掘出紅外人體目標的特點。其次,為了向后續(xù)識別分析提供有效且緊湊的特征描述,采用主成分分析方法對融合后的異構特征進行降維。最后,針對帶標簽的紅外人體目標樣本數(shù)據(jù)匱乏、訓練樣本和測試樣本之間的分布及語義偏差導致的泛化性能差等問題,提出了一種有效的基于遷移學習的紅外人體目標分類器,可較大程度地提高泛化性能和目標識別準確度。實驗結果表明,所提的方法在紅外人體目標數(shù)據(jù)集上的識別準確率達到了94%以上,與使用方向梯度直方圖(HOG)特征、亮度自相似(ISS)特征等單一特征進行特征表示的方法以及使用傳統(tǒng)的非遷移分類器如支持向量機(SVM)、K-近鄰算法(KNN)等進行學習的方法相比均有所提升,且更加穩(wěn)定,可以在實際的復雜紅外場景中提升人體目標識別的性能。
關鍵詞:紅外;人體目標識別;多特征;降維;遷移學習
中圖分類號: TP391.413文獻標志碼:A
Infrared human target recognition method based on multi-feature dimensionality
reduction and transfer learning
WANG Xin1*, ZHANG Xin1, NING Chen2
(1. College of Computer and Information, Hohai University, Nanjing Jiangsu 211100, China;
2. School of Physics and Technology, Nanjing Normal University, Nanjing Jiangsu 210000, China)
Abstract: Aiming at the poor recognition accuracy and robustness of the human targets caused by the serious interference on the targets under infrared imaging conditions, an infrared human target recognition method based on multi-feature dimensionality reduction and transfer learning was proposed. Firstly, in order to solve the problem of incomplete information during the extraction of a single feature by the traditional infrared human target feature extraction method, different kinds of heterogeneous features were extracted to fully exploit the characteristics of infrared human targets. Secondly, to provide the efficient and compact feature description for subsequent recognition, a principal component analysis method was utilized to reduce the dimensionality of the fused heterogeneous features. Finally, to solve the problems such as poor generalization performance, caused by the lack of tagged human target samples in infrared images as well as the distributional and semantic deviations between the training samples and testing samples, an effective infrared human target classifier based on transfer learning was presented, which was able to greatly improve the generalization performance and the target recognition accuracy. The experimental results show that the recognition accuracy of the method on infrared human target data set reaches more than 94%, which is better and more stable than that of the methods with a single feature such as Histogram of Oriented Gradients (HOG), Intensity Self Similarity (ISS) for feature representation or the methods learned with traditional non-transfer classifiers such as Support Vector Machine (SVM), K-Nearest Neighbors (KNN). Therefore, the performance of infrared human target recognition is improved in real complex scenes by the method.
Key words: infrared; human target recognition; multi-feature; dimensionality reduction; transfer learning
0 引言
紅外人體目標識別是紅外圖像處理和模式識別領域中一個重要的研究分支。由于在紅外圖像中,人體目標受成像噪聲的干擾,對比度一般較低;其次,目標所處的背景一般較為復雜,目標容易被背景所干擾;最后,人體目標姿態(tài)多變,且容易被其他物體遮擋,因此,紅外人體目標的有效和穩(wěn)健識別目前仍是一項富有挑戰(zhàn)性的課題,對其深入研究有著重要的理論意義和實用價值[1]。
為了有效地在紅外圖像中識別出人體目標,首先需要對紅外人體目標圖像進行特征提取。為此,研究學者們提出了眾多的紅外圖像目標特征提取方法。例如:文獻[2-3]提出采用方向梯度直方圖(Histogram of Oriented Gradients, HOG)對紅外人體目標形狀進行特征提取;文獻[4]在分析了紅外人體目標特性的基礎上,提出了一種基于局部強度差異直方圖(Histograms of Local Intensity Differences, HLID)的紅外人體目標亮度特征提取方法;文獻[5-6]采用局部二進制模型(Local Binary Pattern, LBP)對紅外目標進行紋理特征提取;文獻[7]針對紅外人體目標識別,提出了一種梯度位置方向直方圖(Gradient Location-Orientation Histogram, GLOH)對目標進行形狀特征提取。以上研究均通過提取紅外人體目標的某單一特征對目標進行表示,雖然取得了一定的效果,但是特征描述不全面,導致識別精度不夠高。為此,又有學者提出對紅外人體目標圖像進行多特征提取和融合,改善了識別的性能。比如:文獻[8]提出針對紅外圖像分別采用HOG和Haar-like提取形狀和紋理特征進行融合,提高了紅外人體目標識別的精度;文獻[9]采用HOG提取紅外人體目標的形狀特征,然后采用邊界片段模型(Boundary-Fragment-Model, BFM)提取輪廓特征,一定程度上提升了識別的性能;文獻[10]采用了HOG和LBP描述子分別提取形狀和紋理等特征,較單一特征而言,有利于目標的識別。從上述分析可以得出如下幾點結論:首先,多特征融合確實能提高紅外人體目標識別的精度;其次,針對紅外人體目標而言,HOG特征已被證明是一種有效的特征提取方式;最后,雖然目前有很多方法提出提取紅外人體目標的多種特征,但是有些方法提取的特征是同類的(即非異構特征),如形狀、紋理、輪廓特征反映的實際都是目標的結構信息,因此,它們實際上未能從多個角度提取目標不同類型的特征,識別性能也就無法得到更滿意的提升。
紅外人體目標識別的第二個關鍵環(huán)節(jié)是分類器的設計。目前,針對紅外人體目標的識別,常見的分類器有基于支持向量機(Support Vector Machine, SVM)的分類器[11-12]、基于AdaBoost的分類器[13]、基于稀疏表示(Sparse Representation, SR)的分類器[14]等。這些分類器雖然都取得了一定的效果,但是為了保證分類模型準確可靠,在進行訓練時它們都依賴于兩個基本的假設:1)訓練樣本與新的測試樣本需要滿足獨立同分布的條件;2)必須有足夠多的有效樣本才能訓練出一個性能較好的分類模型。然而,在紅外人體目標識別的實際應用中可以發(fā)現(xiàn),這兩個條件很難滿足。首先,原先可利用的帶標簽的樣本可能變得不可用:由于紅外圖像特殊的成像原理,即使是同一目標,不同外部環(huán)境仍然可能會造成成像結果的巨大差異,導致訓練樣本與新的測試樣本的分布及語義產生較大的偏差。此外,可利用的帶標簽的紅外圖像樣本數(shù)據(jù)比較匱乏。因此,如何利用有限的帶標簽訓練樣本或源領域數(shù)據(jù),建立出一個可靠的模型對目標領域數(shù)據(jù)進行預測(源領域數(shù)據(jù)和目標領域數(shù)據(jù)可以不服從相同的數(shù)據(jù)分布)變得非常有意義。
近年來,遷移學習[15-16]在計算機科學等領域引起了廣泛的關注和研究。遷移學習通過遷移已經(jīng)學習到的知識來解決目標領域中僅含有微量帶標簽樣本的學習問題?,F(xiàn)階段,遷移學習在目標識別與分類問題上已經(jīng)有了成功的應用。比如:文獻[17]針對合成孔徑雷達(Synthetic Aperture Radar, SAR)目標識別,進行了SAR模擬數(shù)據(jù)集和實測數(shù)據(jù)集的知識遷移,將從模擬數(shù)據(jù)學習到的知識遷移到實際數(shù)據(jù)中,由此得到的識別性能比僅在實測數(shù)據(jù)集上進行訓練的識別性能有更大的優(yōu)勢;文獻[18]針對異構遙感圖像分類問題,設計了一套迭代重加權遷移學習框架,完成了目標的有效識別;文獻[19]利用遷移學習模型從源域和目標域中深入挖掘信息,將人臉建模為結構化和近似穩(wěn)定的表征,從而有效提升了人臉識別的準確性。
基于上述分析,針對紅外人體目標識別問題,本文提出了一種基于多特征降維和遷移學習的目標識別方法。首先,針對紅外人體目標特征提取問題,提出提取目標的形狀和亮度兩種異構特征進行融合,并通過降維方法獲取簡潔高效的目標特征。然后,基于遷移學習框架設計了一種有效的分類器應用于紅外人體目標的識別過程中,可較大程度地提高識別的準確性。實驗結果表明,本文的方法有效提高了復雜背景下紅外人體目標識別的性能。
1 本文方法
本文方法的處理流程如圖1所示,包括訓練和識別兩個模塊。在訓練模塊中,分別采用紅外和可見光圖像構建源訓練樣本集(源訓練樣本集中含有紅外人體目標和非人體目標圖像)和輔助訓練樣本集(輔助訓練樣本集中含有可見光人體目標和非人體目標圖像);然后,對不同集合里面的圖像分別采用HOG方法提取形狀特征,并采用亮度自相似(Intensity Self Similarity, ISS)方法提取亮度特征;接著,將兩種異構特征進行融合并采用主成分分析法(Principal Component Analysis, PCA)對其進行降維;最后,基于降維后的特征,訓練遷移學習分類器。在識別模塊中,給定一幅待識別紅外圖像,同樣首先提取其HOG特征和ISS特征,然后對融合特征進行降維,最后基于降維后的特征,利用已經(jīng)訓練好的分類器進行分類識別,即可得到最終的識別結果。
1.1 訓練樣本集的構建
由于實際紅外圖像目標樣本的規(guī)模一般較小,且訓練樣本和測試樣本的語義分布存在一定差異。本文提出使用遷移學習框架來有效彌補紅外圖像目標樣本規(guī)模過小的不足,提高泛化性能。因此,首先需要構建源訓練樣本集和輔助訓練樣本集,共同組成帶標簽的訓練集合。
分別采用紅外和可見光圖像構建源訓練樣本集和輔助訓練樣本集,記為S1=[s11,s12,…,s1m],S2=[s21,s22,…,s2n],其中m和n分別表示源訓練樣本和輔助訓練樣本的個數(shù)。將S1和S2進行合并,得到完整的訓練樣本集:
S=[s1,s2,…,sm,…,sm+n](1)
對每一個訓練樣本,添加類別標簽,對應的類標集設為:
L=[label1,label2,…,labelm,…,labelm+n](2)
其中,labeli∈{0,1}為第i個訓練樣本圖像的類標。源和輔助訓練樣本類標集分別為Ls=[label1,label2,…,labelm],La=[labelm+1,labelm+2,…,labelm+n]。
1.2 異構多特征的提取
本文提出分別采用HOG方法提取目標的形狀信息和ISS方法提取亮度信息,這兩種信息是紅外人體目標非常顯著的特征,兩者結合將形成互補,增強圖像特征描述的完備性。
1.2.1 基于HOG的形狀特征提取
基于HOG的形狀特征提取方法提取出的特征對目標局部形狀的變化以及光照變化具有魯棒性,因此,被廣泛應用于目標識別、跟蹤等領域。
給定一幅待處理的目標樣本圖像si(1≤i≤m+n),首先利用梯度算子求取每個像素點的橫向梯度和縱向梯度,分別設為H(x,y)和Z(x,y),每個像素點的梯度幅度和方向計算式為:
M(x,y)=H(x,y)2+Z(x,y)2(3)
θ(x,y)=arctan[Z(x,y)H(x,y)](4)
然后,將圖像分成若干單元,每一單元劃分為9個梯度方向,得到一個9維的向量。把相鄰的4塊單元組成一個塊,得到一個36維的特征向量。最后將所有向量連在一起就得到了樣本圖像的HOG特征向量hogi。
最終,可以得到所有訓練樣本圖像的HOG特征集:
hog_set=[hog1,hog2,…,hogm+n]T(5)
1.2.2 基于ISS的亮度特征提取
與可見光圖像相比,紅外圖像沒有豐富的顏色信息可利用,富含的是像素點的亮度信息,因此亮度信息是紅外圖像的一個非常重要的特征[20]。考慮到紅外人體目標圖像中,人體頭部、手臂及腿部區(qū)域亮度一般具有極較高的相似性,而軀干部分的亮度與上述區(qū)域相比相似度要低很多,根據(jù)這個特點,本文提出計算紅外人體目標圖像中不同塊之間的灰度相似度,來表征人體目標的亮度信息。具體方法如下:
首先,給定一幅待處理的目標樣本圖像si(1≤i≤m+n),對其進行不重疊分塊,設分為了u塊。統(tǒng)計每一塊的灰度直方圖信息Hp(1≤p≤u)。
然后,針對圖像中的任意兩塊,通過其對應的兩個向量Hp、Hq之間夾角的余弦值來表征它們之間的相似度,值越大則代表越相似。兩塊之間的相似度issp,q計算式如下:
issp,q=Hp·Hq‖Hp‖·‖Hq‖(6)
這樣,可以獲得關于樣本圖像si的一個u×(u-1)/2維的相似度向量,作為樣本圖像的基于ISS的亮度特征issi。
最終,可以得到所有訓練樣本圖像的ISS特征集:
iss_set=[iss1,iss2,…,issm+n]T(7)
1.3 基于PCA的融合特征降維
針對1.2節(jié)提取的HOG特征集和ISS特征集,將它們進行串聯(lián)融合,得到所有樣本圖像的融合特征集feat:
feat=[hog_set,iss_set](8)
考慮到融合后的特征維數(shù)較大,且特征向量之間可能存在大量的相關性,造成特征表示的繁冗以及計算效率的降低,因此,提出對特征進行有效的降維。目前,常見的特征降維方法有基于PCA的方法[21]和基于線性判別分析(Linear Discriminant Analysis, LDA)的方法[22],相較于LDA而言,PCA能夠保持特征數(shù)據(jù)的內在信息,去除特征數(shù)據(jù)之間可能存在的相關性,因此本文采用PCA方法對融合特征向量集feat進行降維。具體過程如下:
首先,針對feat,求其協(xié)方差矩陣C并計算其特征值。將特征值按從大到小的順序進行排列,得到λ1,λ2,…,λp,并得到對應的特征向量v1,v2,…,vp。
然后,計算累計方差貢獻率G(k):
G(k)=∑ki=1λi/∑pj=1λj(9)
根據(jù)設定的累計方差貢獻率閾值,求出主成分的個數(shù)k。
第三,選取λ1,λ2,…,λp中前k個特征值λ1,λ2,…,λk所對應的特征向量v1,v2,…,vk構成投影矩陣V,利用投影矩陣V對原特征矩陣feat進行投影,即可得到降維后的特征矩陣feat_p:
feat_p=feat×VT(10)
其中,源訓練樣本降維后的特征向量集可以表示為Ts=[feat_p1, feat_p2,…, feat_pm]T,輔助訓練樣本降維后的特征向量集則表示為Ta=[feat_pm+1, feat_pm+2,…, feat_pm+n]T。
1.4 遷移學習分類器的設計
針對降維后的特征向量集feat_p,將其融入遷移學習框架中,提出一種基于遷移學習的紅外人體目標分類器,其設計如下:
步驟1 選取SVM作為遷移學習框架中的基本分類器。計算訓練數(shù)據(jù)集feat_ p中所有樣本數(shù)據(jù)的初始權重w1i為:
w1i=1/m,i=1,2,…,m
1/n, i=m+1,m+2,…,m+n (11)
步驟2 設t=1,2,…,N,其中N表示迭代次數(shù)。將權重進行歸一化:
wti=wti/∑m+ni=1wti(12)
步驟3 輸入訓練數(shù)據(jù)集Ts和Ta,及其對應的類標Ls和La、歸一化權重wti (i=1,2,…,m+n),采用TradaBoost算法[15]對SVM分類器進行訓練,得到分類映射ht:X→Y。
步驟4 計算分類映射ht在Ts上的分類錯誤率:
et=∑mi=1wti·|ht(feat_pi)-labeli|∑mi=1wti(13)
其中:ht(feat_pi)(i=1,2,…,m)表示第i個訓練樣本的分類結果;labeli(i=1,2,…,m)表示第i個訓練樣本的真實類標。
步驟5 根據(jù)計算得到的分類錯誤率,重新調整權重:
wt+1i=
wti·βt-|ht(feat_ pi)-labeli|,i=1,2,…,m
wti·β|ht(feat_ pi)-labeli|,i=m+1,m+2,…,m+n(14)
其中,參數(shù)βt=et1-et(當et≥1/2時,調整et為0.499;et=0時,調整et為0.001)。參數(shù)β=1/(1+2lnmN)。
步驟6 將步驟2至步驟5重復執(zhí)行N次。最終可以得到一個經(jīng)過訓練后穩(wěn)定的SVM分類器。
最后,輸入待識別的紅外圖像。首先提取其HOG和ISS融合并降維后的特征feature,然后利用訓練好的分類器hf(x)計算最終分類識別的結果:
識別結果=人體目標, hf(feature)=1
非人體目標,hf(feature)=0 (15)
2 實驗與結果分析
2.1 實驗環(huán)境和數(shù)據(jù)
為了驗證本文提出的基于多特征降維和遷移學習的紅外人體目標識別方法的有效性,在CPU主頻為1.5GHz、內存為4GB、仿真軟件為Matlab R2014a的PC上對算法進行了實驗。
實驗采用了LSI Far Infrared Pedestrian Dataset[23]和INRIA Person Dataset[24]這兩個公共數(shù)據(jù)集。表1詳細介紹了本文實驗的數(shù)據(jù)集。其中,源訓練樣本集和測試集中的紅外圖像均來自于LSI Far Infrared Pedestrian Dataset中的Classification Dataset,此紅外圖像集中包含了形態(tài)各異的紅外人體目標圖像以及不同環(huán)境下的紅外非人體目標圖像,可以滿足訓練樣本和測試樣本采集的需求。從LSI圖像庫中隨機挑選了310張紅外正樣本圖像和310張紅外負樣本圖像作為源訓練樣本圖像,另外隨機挑選了正負樣本圖像各500張作為實驗的測試集。樣本圖像大小均為64×32像素。圖2給出了部分源訓練樣本圖像示例。
輔助訓練樣本集中的可見光圖像來源于INRIA數(shù)據(jù)集,該數(shù)據(jù)集包含了2416幅人體目標圖像和1218幅非人體目標圖像,圖像大小均為64×32像素。其中,包含人體目標的圖像中行人的姿態(tài)豐富,所處的背景復雜;而非人體目標圖像包含了街道、建筑物、自然風景等不同的形式,滿足了本文實驗輔助樣本所需的多樣性。為了滿足遷移學習模型中輔助訓練樣本數(shù)至少為源訓練樣本數(shù)的2倍這一要求,從INRIA圖像集中選取了正負樣本圖像各720張來作為輔助訓練樣本集。圖3給出了部分輔助訓練樣本圖像示例。
本文采用識別準確度(Accuracy Rate, AR)和F1-measure(F1)[25]來衡量目標識別的效果,采用多次隨機測試的標準差(Standard Deviation, SD)來驗證算法的穩(wěn)定性。AR和F1指標計算方法如下:
其中:TP和FN分別表示正樣本被正確識別和錯誤識別的個數(shù); TN和FP則分別表示負樣本被正確識別和錯誤識別的個數(shù)。 precision=TP/(TP+FP)表示識別的精確率,recall=TP/(TP+FN)表示識別的召回率。F1為精確率和召回率的調和均值。顯然,AR和F1的值越大,說明識別的效果越理想。
此外,多次隨機測試的標準差SD計算方法如下:
SD=1NN-1∑NNi=1(ARi-1NN∑NNi=1ARi)2(18)
其中:NN為隨機測試實驗的次數(shù);ARi為第i次實驗的識別準確度。SD值越小,表明識別性能越穩(wěn)定。
2.2 異構多特征提取實驗
首先,為了驗證提出的異構多特征提取和融合算法的有效性,將基于HOG和ISS的融合特征(記為:HOG+ISS)或某單一特征(HOG或ISS)的識別結果進行了對比實驗(為了公平起見,分類器選用的都是本文介紹的遷移學習分類器),結果如表2所示。由表2可以發(fā)現(xiàn),使用單一特征HOG和ISS進行識別,AR分別為90.60%和87.30%,F(xiàn)1分別為91.28%和88.25%;而使用兩種融合特征HOG+ISS時,AR與F1分別為91.40%和92.04%,與使用單一特征相比均有所提高。因此,本文的多特征策略可以有效提高識別的性能。
2.3 基于PCA的融合特征降維實驗
接著,為了驗證提出的基于PCA的融合特征降維方法的有效性,對比分析了降維前后融合特征用于識別的性能(為了公平起見,分類器選用的都是本文介紹的遷移學習分類器),實驗結果如表2所示。其中,降維后的融合特征記為(HOG+ISS)_p。由表2可以看出,使用降維前的融合特征進行識別,AR和F1分別為91.40%和92.04%;使用PCA降維后的融合特征進行識別,AR和F1分別為94.30%和94.51%,與降維前的特征識別效果相比,AR值提高了2.90個百分點,F(xiàn)1值提高了2.47個百分點。使用降維前的融合特征進行識別的時間為4.41s;而使用降維后的融合特征進行識別的時間為1.06s,其識別效率是降維前的4倍。由此可見,本文提出的基于PCA的融合特征降維策略,不僅大幅提高了識別效率,而且由于降維操作去除了特征數(shù)據(jù)中相關的冗余信息,為后續(xù)識別分析提供了更加有效且緊湊的特征描述,識別的準確性也有較大提升。
此外,選取了其他幾種同類別性能較好的特征提取方法進行整體識別性能的對比,分別是:完備局部二值模式(Completed Local Binary Pattern, CLBP)特征[26],HOG特征經(jīng)過詞袋模型(Bag Of Words, BOW)編碼后的特征HOG-BOW[27],以及HOG與CLBP的聯(lián)合特征HOG+CLBP[28]。由表2可知,在識別準確性方面,本文的特征提取方法((HOG+ISS)_p)僅低于HOG+CLBP方法0.3個百分點,優(yōu)于其他的所有方法,但本文方法的特征維數(shù)只有298維,其識別效率比HOG+CLBP方法高出2倍以上。因此本文的方法擁有更好的整體性能。
2.4 基于遷移學習的目標識別實驗
然后,為了驗證提出的基于遷移學習的分類器分類識別的性能,將提出算法和其他幾種性能優(yōu)良的分類器如SVM、KNN[29]、AdaBoost、NaiveBayes[30]等進行了對比分析(均使用本文提出的融合降維特征),結果如表3所示。由表3可見,針對本文提出的異構多特征融合降維特征,若采用提出的基于遷移學習的分類器進行紅外人體目標識別,則AR和F1分別為94.30%和94.51%;而若采用非遷移學習分類器進行識別時, AR和F1最好的結果為92.40%和92.51%,仍低于本文的遷移學習分類器。這一結論表明本文提出的基于遷移學習的紅外人體目標分類器有效地從可見光樣本圖像中提取出了有助于紅外人體目標識別的實例,提高了目標識別的性能,一定程度上解決了傳統(tǒng)分類器由于紅外樣本圖像過少而導致泛化性能差、目標識別率較低的問題。
2.5 算法的穩(wěn)定性驗證
最后,針對本文提出算法的穩(wěn)定性進行了分析。重新從LSI圖像庫中隨機挑選了310張紅外正樣本圖像和310張紅外負樣本圖像作為源訓練樣本圖像,另外隨機挑選了正負樣本圖像各500張作為實驗的測試集,重復10次。取10次測試實驗的平均準確度AR及標準差SD對穩(wěn)定性進一步評估,結果如表4~5所示。表4給出了前文所提的不同特征提取方法經(jīng)過10次實驗的目標識別結果(分類器采用的都是本文的基于遷移學習的分類器);表5給出了前文所提的不同分類器進行10次實驗的目標識別結果(特征采用本文提出的降維后的融合特征)。由表4~5可知,本文提出的方法在進行紅外人體目標識別時保持著較高的識別精度,且穩(wěn)定性均優(yōu)于其他的方法,整體性能更為優(yōu)異。
綜上可知,本文提出的方法能有效進行紅外人體目標的識別:異構多特征提取策略保證了特征的完備性;基于PCA的融合特征降維方法精煉了特征的描述,提高了識別的效率;基于遷移學習的分類器則解決了傳統(tǒng)的機器學習方法在訓練樣本較少的情況下分類識別性能不佳的問題,整個算法有效而穩(wěn)健。
3 結語
針對紅外成像條件下人體目標受干擾嚴重時目標的識別準確性和魯棒性較差的問題,本文提出了一種基于HOG與ISS多特征降維和遷移學習的紅外人體目標識別方法。該方法首先提取紅外人體目標圖像基于HOG的形狀特征和基于ISS的亮度特征,這兩種異構特征的結合能有效提升特征表達的完備性;其次,對融合后的異構特征,提出采用PCA對其進行降維,一方面有利于后續(xù)識別效率的提高,另一方面確保信息的緊致性,有助于提升識別的精度;最后,設計的遷移學習分類器在有效訓練樣本較少的情況下能提高分類器的泛化性能和目標識別的準確度,且識別結果優(yōu)于傳統(tǒng)的分類器方法。雖然本文方法在進行紅外人體目標圖像識別時取得了較好的效果,但是識別的準確性仍然有進一步提高的空間。因此,尋找更高效準確的特征提取方法以及尋求遷移學習算法的有效改進將是我們接下來的主要研究方向。
參考文獻 (References)
[1]WANG X, XU L, ZHANG Y, et al. A novel hybrid method for robust infrared target detection [J]. KSII Transactions on Internet and Information Systems, 2017, 11(10): 5006-5022.
[2]LEE Y, CHAN Y, FU L, et al. Near-infrared-based nighttime pedestrian detection using grouped part models [J]. IEEE Transactions on Intelligent Transportation Systems, 2015, 16(4): 1929-1940.
[3]劉峰,王思博,王向軍,等.多特征級聯(lián)的低能見度環(huán)境紅外行人檢測方法[J].紅外與激光工程,2018,47(6):127-134.(LIU F, WANG S B, WANG X J, et al. Infrared pedestrian detection method in low visibility environment based on multi feature association [J]. Infrared and Laser Engineering, 2018, 47(6): 127-134.)
[4]KIM D S, KIM M, KIM B S, et al. Histograms of local intensity differences for pedestrian classification in far-infrared images [J]. Electronics Letters, 2013, 49(4): 258-260.
[5]SUN J, FAN G, YU L, et al. Concave-convex local binary features for automatic target recognition in infrared imagery [J]. EURASIP Journal on Image and Video Processing, 2014, 2014: Article No. 23.
[18]LI X, ZHANG L, DU B, et al. Iterative reweighting heterogeneous transfer learning framework for supervised remote sensing image classification [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(5): 2022-2035.
[19]REN C, DAI D, HUANG K, et al. Transfer learning of structured representation for face recognition [J]. IEEE Transactions on Image Processing, 2014, 23(12): 5440-5454.
[20]MIRON A, BESBES B, ROGOZAN A, et al. Intensity self similarity features for pedestrian detection in far-infrared images [C]// Proceedings of the 2012 IEEE International Symposium. Piscataway: IEEE, 2012: 1120-1125.
[21]ABDI H, WILLIAMS L J. Principal component analysis [J]. Wiley Interdisciplinary Reviews: Computational Statistics, 2010, 2(4): 433-459.
[22]LI M, YUAN B. 2D-LDA: a statistical linear discriminant analysis for image matrix [J]. Pattern Recognition Letters, 2005, 26(5): 527-532.
[23]KHELLAL A, MA H, FEI Q. Pedestrian classification and detection in far infrared images [C]// Proceedings of the 2015 International Conference on Intelligent Robotics and Applications, LNCS 9244. Cham: Springer, 2015: 511-522.
[24]DALAL N. Finding people in images and videos [D].? Grenoble, France: Institute National Polytechnique de Grenoble, 2006: 106-107.
[25]WANG X, SHEN S, NING C, et al. Multi-class remote sensing objects recognition based on discriminative sparse representation [J]. Applied Optics, 2016, 55(6): 1381-1394.
[26]GUO Z, ZHANG L, ZHANG D. A completed modeling of local binary pattern operator for texture classification [J]. IEEE Transactions on Image Processing, 2010, 19(6): 1657-1663.
[27]KHAN M N A, FAN G, HEISTERKAMP D R, et al. Automatic target recognition in infrared imagery using dense HOG features and relevance grouping of vocabulary [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway: IEEE, 2014: 293-298.
[28]HASSAN M A, PARDIANSYAH I, MALIK A S, et al. Enhanced people counting system based head-shoulder detection in dense crowd scenario [C]// Proceedings of the 6th International Conference on Intelligent and Advanced Systems. Piscataway: IEEE, 2016: 1-6.
[29]WANG S, LIU Z. Infrared face recognition based on histogram and k-nearest neighbor classification [C]// Proceedings of the 7th International Symposium on Neural Networks. Berlin: Springer, Heidelberg, 2010: 104-111.
[30]YANG B, LEI Y, YAN B. Distributed multi-human location algorithm using naive Bayes classifier for a binary pyroelectric infrared sensor tracking system [J]. IEEE Sensors Journal, 2015, 16(1): 216-223.
This work is partially supported by the National Natural Science Foundation of China (61603124), the Fundamental Research Funds for the Central Universities (2019B15314), the Six Talents Peak Project of Jiangsu Province (XYDXX-007).
WANG Xin, born in 1981, Ph. D., associate professor. Her research interests include image processing, pattern recognition, computer vision, machine learning.
ZHANG Xin, born in 1995, M. S. candidate. His research interests include image processing, pattern recognition.
NING Chen, born in 1978, Ph. D. candidate, lecturer. His research interests include image processing, machine learning.
收稿日期:2019-06-12;修回日期:2019-08-26;錄用日期:2019-09-25?;痦椖浚簢易匀豢茖W基金資助項目(61603124);教育部中央高?;究蒲袠I(yè)務費專項資金項目(2019B15314);江蘇省 “六大人才高峰”高層次人才項目(XYDXX-007)。
作者簡介:王鑫(1981—),女,安徽阜陽人,副教授,博士,主要研究方向:圖像處理、模式識別、計算機視覺、機器學習; 張鑫(1995—),男,江蘇泰州人,碩士研究生,主要研究方向:圖像處理、模式識別; 寧晨(1978—),男,安徽阜陽人,講師,博士研究生,主要研究方向:圖像處理、機器學習。
文章編號:1001-9081(2019)12-3490-06DOI:10.11772/j.issn.1001-9081.2019060982