丁 飛， 劉桂華， 高軍強

(西南科技大學信息工程學院，四川 綿陽 621010)

基于一種改進的HOG-SVM的紅外視頻圖像人形檢測方法

丁 飛， 劉桂華， 高軍強

(西南科技大學信息工程學院，四川 綿陽 621010)

為了實時、高效地檢測紅外視頻圖像中不同姿態(tài)的人形目標，提出了基于改進的方向梯度直方圖-支持向量機(HOG-SVM)紅外視頻熱圖像人形識別算法。首先，采用鏈碼跟蹤方法提取視頻中的輪廓區(qū)域，并計算輪廓的最小長寬比，實現(xiàn)人形輪廓的預判斷，從而剔除了圖像中小型和大型干擾物；其次，為了縮短特征提取的時間，將篩選出的輪廓圖片統(tǒng)一縮放到64×128像素，再提取該輪廓區(qū)域的HOG特征；最后，建立1 300張包含各種紅外人形姿態(tài)的訓練樣本數(shù)據(jù)庫，基于SVM原理訓練得到關于紅外人形的線性目標分類模型，最終實現(xiàn)了實時、高效檢測紅外視頻人形目標的目的。搭建仿真平臺進行試驗并分析所得數(shù)據(jù)；分析結(jié)果表明，該算法具備各種人形姿態(tài)識別的魯棒性，3 m之內(nèi)對人形姿態(tài)的識別率可達到95%，且運行時間短，可滿足系統(tǒng)的實時性要求。

機器人； 紅外熱成像儀； 圖像； 檢測； 支持向量機； 數(shù)據(jù)

0 引言

在視頻監(jiān)控中，對移動目標進行檢測、識別并自動報警一直都是熱門的研究問題，其在車輛安全、安全監(jiān)控以及機器人技術(shù)等領域都有著重要的應用。過去十幾年，行人檢測技術(shù)已經(jīng)有了很多成熟的算法，但至今依然存在許多問題和難點。紅外熱成像具有全天候24 h監(jiān)視、背景簡單、雨霧天氣不受光線影響等優(yōu)勢，這使得紅外視頻監(jiān)控的應用更為廣泛[1]。

倪福川等[2]提出了一種基于矩不變量的分級識別人的“頭肩像”技術(shù)。方亞軍等[3]提出了一種基于獨立模板匹配的方法。Harsh Nanda[4]提出了一種概率模板的紅外視頻人形檢測方法，檢測低分辨率以及殘缺不全的紅外視頻中的人形目標，但概率模板匹配耗時且識別率較低。胡景榮等[5]提出對靜態(tài)圖像作小波變換，提取目標局部突出特征，結(jié)合動態(tài)幀的步態(tài)特征，最后利用支持向量機(support vector machine, SVM)進行學習與識別分類。Jakir Hossen等[6]使用光流法來分離運動目標，用PCA方法識別人形的可疑行為。D.Tome等[7]提出更加復雜的行人檢測算法，使用了改進的卷積神經(jīng)網(wǎng)絡，該方法準確性較高，但系統(tǒng)運行時間長。

針對以上問題，本文提出了改進的方向梯度直方圖-支持向量機(histogram of oriented gradient-support vector machine, HOG-SVM)紅外視頻圖像的人形檢測方法。首先使用鏈碼跟蹤法提取紅外圖像的目標輪廓，使用最小長寬比對輪廓目標進行預判斷。其次，對每一個目標輪廓進行SVM分類，快速識別出人形目標。為了訓練出有效、穩(wěn)定的SVM模型，制作1 300張紅外人形圖像作為人形訓練數(shù)據(jù)庫，以達到更高的識別率。

1 紅外視頻圖像的人形檢測原理

紅外視頻圖像和其他視頻圖像相比，其背景簡單、干擾物較少，有利于檢測目標輪廓[8]。但是紅外視頻中的人形形態(tài)容易受外界因素干擾，比如光照強度、衣服的材質(zhì)、戴帽子圍脖、距離的遠近等，這使得鏡頭中的人形會出現(xiàn)拉伸、斷裂，導致不易分辨出人形特征。

Danal的HOG-SVM方法需對每一幅圖像進行不同尺度的搜索，降低了算法的運算效率。為了解決這個問題，在保證識別率的基礎上，首先提取目標物體的輪廓，將每個提取出來的輪廓縮放為固定大小，采用最小外接矩形結(jié)合頭肩分離處理的方法優(yōu)化人形頭肩斷裂的情況；然后，提取該輪廓的HOG特征；最后，使用SVM對該輪廓進行分類識別。這樣能有效避免對圖像的盲目搜索，達到快速識別的效果。系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖

2 輪廓提取

紅外圖像的成像原理是普朗克定律。由于目標物體本身放出熱量形成的紅外熱圖像，相對于其他視頻圖像，具有背景簡單、干擾物較少的優(yōu)勢，所以可對視頻圖像中的目標進行輪廓提取，再剔除小型目標以及大型目標。

鏈碼跟蹤方法(即Freeman鏈碼)[9]示意圖如圖2所示。其定義為：任選一個像素點P作為參考點，與其相鄰的像素分別在8個不同的位置上，給他們賦予方向值0～7,如圖2(a)所示。0～7位鏈碼方向值所指方向是以中心點(即參考點P)水平方向以東的點(即數(shù)值0)為起始，依次按逆時針方向旋轉(zhuǎn)45°，如圖2(b)所示。

圖2 鏈碼跟蹤方法示意圖

輪廓的跟蹤可以按照鏈碼的方向進行，下一跟蹤點的獲取依賴上一輪廓點，從而避免了對所有像素點的掃描，提升了輪廓跟蹤的效率。Freeman編碼實例如圖3所示，其為一個8×8的點陣圖，其中一條線段以S為起始點、E為終點，此線段就可表示為L=43 322 100 000 066。

圖3 Freeman編碼實例

輪廓提取的目標可能是行人、燈光、動物，所以要根據(jù)最小外接矩形的長寬比排除一些干擾物。本文算法中將長/寬(高/寬)的比值記為R，則最小外接矩形算法判斷人形的過程如下。

(1)如果人形目標區(qū)域的寬度大于或等于像素寬度的1/4，那么判定物體距離攝像頭較近，目標的上半?yún)^(qū)域出現(xiàn)在鏡頭中，最小外接矩形的長寬比R≤1，則判定出現(xiàn)的目標物體可能是人；

(2)如果人形目標區(qū)域的寬度小于像素寬度的1/4，則表示目標物體距離攝像頭較遠；此時，最小外接矩形的長寬比R≥1.2，則判定目標物體可能是人。

在人形輪廓提取的過程中，人的頸部容易被圍脖或其他衣物遮擋，造成頸部亮度不明顯，使頸部的輪廓提取失敗，出現(xiàn)了頭肩部分離的情況,不利于后續(xù)的特征分析及檢測識別。為了優(yōu)化這一現(xiàn)象，需要對頭肩分離的情況作出判斷并進行相應的優(yōu)化處理。本文算法作出以下4點判斷(以下試驗數(shù)據(jù)基于的圖像分辨率大小為600×400像素，且所有閾值的設定是經(jīng)重復多次的試驗經(jīng)驗值)。頭肩分離與拼接對比如圖4所示。

圖4 頭肩分離與拼接對比圖

①假設在目標輪廓提取之后，有2個外接矩形出現(xiàn)，分別記為矩形A(頭部)和矩形B(肩部以下)，頭肩分離及人體放大效果如圖4(a)所示。

②矩形A和矩形B的上下間隔的像素距離很小，且小于閾值50個像素點。

③矩形A的垂直中心線與矩形B的垂直中心距離位置相差很小，且小于閾值20個像素點。

④矩形B的像素面積比矩形A的像素面積大6倍。

同時滿足以上4個條件的，可以判斷人形的頭肩部是分離狀態(tài)，且矩形A和矩形B屬于同一個人形目標，則將A、B拓展為一個整體，計入一個最小外接矩形。圖4(b)是進行閉運算更改后的效果。

3 特征描述和制作紅外人形數(shù)據(jù)庫

HOG特征[10]是一種特征描述算子,可以對人體目標信息和運動信息形成豐富的特征集。HOG算法的基本思想是：局部目標的表象和形狀能夠被梯度強度在梯度方向上的分布很好地描述。其基本步驟如下：

①進行灰度化處理；

②采用Gramma校正法對輸入圖像進行顏色空間的標準化，即歸一化處理；

③計算圖像中每個像素的梯度(包括大小和方向)，這主要是為了捕獲輪廓信息，同時進一步弱化光照的干擾；

④將圖像劃分為細胞單元(cell)；

⑤統(tǒng)計每個cell的直方圖(不同梯度的個數(shù))，即可形成每個cell的描述符；

⑥將幾個cell組成一個block，一個block內(nèi)所有的cell的描述符串起來便得到該block的HOG描述符；

⑦將圖像內(nèi)的所有block的HOG特征描述符串起來，即可得到該圖像的HOG特征描述符。

3.1 改進的HOG特征描述

一般情況下，基于HOG算法的行人檢測是利用一個64×128像素塊的窗口(window)在一幀圖像上進行光柵掃描，水平方向和垂直方向上的掃描步長均為8像素。

HOG算法原理如圖5所示。由圖5可知，細胞單元、塊單元、窗口之間的像素關系。每個細胞單元有9維的直方圖，把上、下、左、右4個相鄰的cell視為1個像素塊(block),即1個block的直方圖維數(shù)是 4×9=36維，每個window包含15×7 = 105個block，計算出1個窗口就是105×36 = 3 780維。本試驗的圖像分辨率是600×400,設定的window的大小是64×128像素，滑塊在水平方向和垂直方向都間隔8個像素進行搜索，那么每張圖片window的運算周期是[(600-64)/8+1]×[(400-128)/8+1]=2 380，使檢測的效率較低。

圖5 HOG算法原理圖

由于紅外視頻圖像對于熱源物體顯示區(qū)域色彩高亮，一般與背景無溫度差的物體就會呈現(xiàn)和背景相似的顏色。人形的顯示為高亮色彩，提取輪廓相對簡單。為了降低運算周期，首先對提取出的輪廓通過最小外接矩形進行篩選，然后將篩選出的輪廓統(tǒng)一縮放為64×128像素大小的圖片，即將一幅600×400像素圖像替換為一個64×128像素的window窗口大小的目標圖像，然后運用HOG算法進行特征提取，運算周期從2 380下降到個位數(shù)級別，大大提升了運算效率。

3.2 紅外圖像的樣本庫制作

SVM分類器計算流程[11]如圖6所示,它包括訓練模塊、乘法累加器模塊和比較器模塊。

圖6 SVM分類器計算流程圖

由圖6可知，訓練模塊采用SVM對紅外行人檢測數(shù)據(jù)庫進行訓練，本試驗測試了兩種數(shù)據(jù)庫。第一種是INRIA[10]行人檢測庫，包含了2 000張正樣本和1 000張負樣本。INRIA數(shù)據(jù)庫中的行人主要是可見光下的行人庫，包含了各種人的形態(tài)、衣著打扮、姿勢以及背景。第二種是為了更加詳細地描述紅外人形的特征,所制作的新紅外人形數(shù)據(jù)庫，命名為INFIMG，其包含1 300張正樣本、1 000張負樣本。樣本像素大小統(tǒng)一為64×128，人的形態(tài)有直立、彎腰、戴帽子、側(cè)身、半身，以及單人和多人、近景和遠景下的人形。

4 試驗數(shù)據(jù)分析

本試驗采用改進的HOG- SVM方法來識別紅外視頻圖像下的人形。試驗中，仿真平臺硬件環(huán)境為：CPU采用Intel酷睿i5-2430，CPU主頻為2.4 GHz，2 GB內(nèi)存的PC機；采用非接觸式LCIR-1501在線式紅外熱成像儀，通過RJ45網(wǎng)絡輸入，視頻的幀率是27 fps，視頻分辨率為600×400像素。

①本試驗SVM的訓練數(shù)據(jù)庫圖像使用的是INFIMG庫。測試樣本是在不同距離情況下拍攝的紅外人形視頻，隨機抽取200張圖片。本文對這兩種訓練數(shù)據(jù)在不同距離下的識別率進行了對比，結(jié)果如圖7所示。

圖7 不同數(shù)據(jù)庫的樣本識別率對比曲線

通過對比可知，INRIA數(shù)據(jù)庫的識別效果不如INFIMG數(shù)據(jù)庫。

為說明本文提出的基于輪廓改進的HOG算法對運算效率有顯著的提升效果，從視頻圖像中隨機使用300張圖片，對這兩種方法進行對比。一種是使用Danal的HOG-SVM特征提取方法，另一種是使用本文算法。兩種方法的運行時間對比結(jié)果如圖8所示。

圖8 傳統(tǒng)方法與本文算法運行時間對比圖

本文算法對紅外視頻中人形各種姿勢以及多人狀態(tài)的識別效果較好，且運行比較穩(wěn)定。軟件集成和結(jié)果顯示使用的是MFC開發(fā)環(huán)境，能有效識別各種人形姿態(tài)。

5 結(jié)束語

本文提出了基于輪廓的HOG-SVM對紅外視頻的人形檢測方法。該方法首先提取每幀圖片有輪廓的目標區(qū)域；再用最小外接矩形長寬比判別出符合要求的人形輪廓區(qū)域，對提取出的輪廓進行HOG特征描述；最后使用線性SVM進行分類，達到人形識別的目的。該方法提高了算法的運行效率，以及紅外視頻下的人形識別率。試驗結(jié)果表明，相對于傳統(tǒng)的HOG-SVM的方法，該方法節(jié)約了運行時間，平均每幀圖像(600×400像素)減少的時間約為45 ms，極大地滿足了27 fps的處理時間要求，而且對各種人形姿勢具有較高的識別率。

[1] NAVARRO E,FERNANDEZ C A，MARTINEZ T A.Intelligent multisensory system in support of information society in support of information society[J].International Journal of System Science,2014,45(4):711-713.

[2] 倪福川，賀貴明，龍磊.基于不變矩的人形“頭肩像”識別技術(shù)[J].計算機工程，2005,31(10):174-176.

[3] FANG Y J,YAMADA K,NINOMIYA Y,et al.A shape-independent-method for pedestrian detection with far-infrared-images[J].IEEE Transactions on Vehicular Technology,2004,53(6):1679-1697.

[4] NANDA H,DAVIS L.Probabilistic template based pedestrian detection in infrared videos[J].Intelligent Vehicle Symposium,2002(1):15-20.

[5] 胡景榮，洪昆，茹華所.一種基于SVM的人形識別算法[J].昆明理工大學學報(理工版)，2010,35(5):70-73.

[6] HOSSEN J,JACOBS E,JACOBS K.Human suspicious activity recognition in thermal infrared video[R].Infrared Sensors,Devices,and Applications IV,2014:9220.

[7] TOME D,MONTI F,BAROFFIO L,et al.Deep convolutional neural networks for pedestrian detection[J].Computer Vision and Pattern Recognition,2016(47),482-489.

[8] 汪金禮，王皓，袁寶紅.紅外視頻監(jiān)控中的人體目標檢測[J].測試技術(shù)學報，2014,28(1):39-43.

[9] 陳士金，湯漾平，鄧勇.基于鏈碼的輪廓跟蹤技術(shù)在二值圖像中的應用[J].華中理工大學學報，1998,26(12):26-28.

[10]DANAL N,TRIGGS B.Histograms of oriented gradients for human detection[J].Computer Vision and Pattern Recognition,2005(1):886-893.

[11]徐淵，許曉亮，李才年，等.結(jié)合SVM分類器與HOG特征提取的行人檢測[J].計算機工程，2016,42(1)：56-65.

Humanoid Detection Method Based on Improved HOG-SVM for Infrared Video Images

DING Fei,LIU Guihua,GAO Junqiang

(School of Information Engineering,Southwest University of Science and Technology，Mianyang 621010，China)

In order to detect humanoid target with different postures in infrared video images in real time and with high efficient,based on improved HOG-SVM,the humanoid recognition algorithm for infrared thermal video images is proposed.Firstly,the chain code tracing method is applied to extract the contour area in video,and the minimum length width ratio is calculated to realize the pre-judgment of the humanoid contour;thus the small,medium and large sized distractors are removed.Then,in order to shorten the searching period of feature extraction,the contour images extracted are unified scaling into 64×128 pixels,and the HOG characteristics of the contour area are extracted.Finally,the database of training samples containing 1,300 infrared humanoid postures is established,the classification model of linear targets of infrared humanoid is obtained based on training method using SVM principle,thus the purpose of real time and high efficient detection of infrared video of humanoid target is reached.The simulation platform is set up for testing and analyzing the data obtained;the results of analysis show that the algorithm possesses robustness to recognize various humanoid postures,the recognition rate of the humanoid postures is up to 95% within 3 meters,and the running time is short.It can satisfy the real time requirement of the system.

Robot； Infrared thermal imaging instrument； Image； Measurement; Support vector machine； Data

資金項目:四川省科技廳資金資助項目(13zxtk05)、西南科技大學創(chuàng)新團隊基金(14tdtk01)

丁飛(1991—)，女，在讀碩士研究生，主要從事機器視覺及模式識別的研究。E-mail：1134174002@qq.com。 劉桂華(通信作者)，女，博士，教授，主要從事機器人場景智能感知、圖像處理、機器視覺方向的研究。E-mail：liughua_swit@163.com。

TH6;TP391.41

A

10.16086/j.cnki.issn 1000-0380.201702012

修改稿收到日期:2016-07-22