張姍姍，景文博，劉學，王曉曼，朱海忱

（1.長春理工大學　電子信息工程學院，長春　130022；2.長春理工大學　光電工程學院，長春　130022）

?

一種基于深度信息的人頭檢測方法

張姍姍1，景文博2，劉學1，王曉曼1，朱海忱1

（1.長春理工大學電子信息工程學院，長春130022；2.長春理工大學光電工程學院，長春130022）

摘要：針對目前人頭檢測方法對光線變化敏感和易受陰影干擾的問題，提出了一種基于深度圖像的人頭檢測方法。首先通過運動目標檢測，得到運動人員所在區(qū)域；然后對該區(qū)域使用改進的立體匹配算法，該匹配算法對傳統(tǒng)的WTA匹配算法進行改進，只對強紋理點進行匹配，對弱紋理點只進行視差驗證，并根據(jù)三角投影原理計算出深度圖。由于深度圖中人員與周圍場景的深度分布不同，根據(jù)深度分布將人頭區(qū)域提取出來，得到候選區(qū)域，最后將候選區(qū)域經(jīng)過形態(tài)學運算并根據(jù)區(qū)域輪廓的特征來判斷是否為人頭。實驗結(jié)果表明：該方法在不同光線環(huán)境條件下的檢測正確率為94%以上，誤檢測率僅為5.77%，檢測精度高，對光線和陰影的抗干擾性良好，能夠很好地適應復雜環(huán)境。

關(guān)鍵詞：人頭檢測；運動目標檢測；立體匹配；深度圖

隨著計算機圖像處理能力和技術(shù)的提高，基于計算機視覺和圖像處理的行人流量監(jiān)測系統(tǒng)成為研究人員關(guān)注的熱點，由于人頭頂部形狀和特征相對固定，因此人頭檢測成為行人流量監(jiān)測的有效方法。

常用的人頭檢測方法有基于人頭和人臉輪廓特征的檢測方法、基于顏色的檢測方法兩大類。其中趙軍偉等人［1］提出的基于人頭發(fā)色模型和區(qū)域分割，區(qū)域篩選相結(jié)合的人頭檢測方法，檢測方法實時性較好，但是對光變換敏感，識別率不理想；徐超等人［2］提出的根據(jù)人頭HOG特征，通過SVM訓練樣本得到行人分類器實現(xiàn)人頭檢測，該檢測方法具有較好的穩(wěn)健性，正確率也較高，但是分類器的訓練比較耗時。劉輝等人［3］提出的基于人頭輪廓檢測和發(fā)色檢測結(jié)合的檢測方法，該方法實時性好，但是對于發(fā)色多樣，有遮擋的情況穩(wěn)健性差。上述方法主要的問題就是易受陰影影響，且對于遮擋和外形與人頭部相似的物體時，容易出現(xiàn)誤判，識別率不理想。

針對以上問題，提出了一種基于深度圖像的檢測方法，通過對雙目相機采集的圖像進行運動目標檢測，獲得目標區(qū)域；然后對左右視圖進行立體匹配進而獲得目標區(qū)域的深度圖。根據(jù)人體特征對深度圖分層，再通過進一步的輪廓檢測就可以提取人頭信息。由于雙目視覺具有精度高，對光線不敏感等優(yōu)點，而且利用深度信息能夠一定程度上避免虛假人頭的出現(xiàn)，降低了誤判率，實現(xiàn)了復雜場景下的人頭檢測。

1　雙目立體視覺成像原理

雙目立體視覺系統(tǒng)由左右兩部攝像機組成，按照光軸平行放置，如圖1所示是一套無畸變、行對準的標準立體成像系統(tǒng)。圖中雙目相機視場交匯的三角區(qū)域為檢測有效區(qū)，相機的視角為70°。成像系統(tǒng)圖如圖2所示，在雙目視覺系統(tǒng)中，行人各個部分的高度是不同的，相機從上向下拍攝時目標三維信息不同。

圖1　雙目立體成像系統(tǒng)

圖2　雙目視覺成像原理

圖中O1和O2分別為相機光軸與成像平面的交點，基線距b是兩相機光心O1和O2的連線距離；相機焦距為f?？臻g中某點P投影在左圖像和右圖像上的相應坐標分別為P1（u1，v1），P2（u2，v2），由于校正后的圖像滿足極線定理，因此點P在左右視圖上成像點的縱坐標是相同的，即v1=v2，橫坐標u1和u2的差值d即為視差。由三角關(guān)系得到：

則視差為d=u1-u2，由此可得P點在相機坐標系下的深度信息z：

由上式可知，只要將左圖像上像素點在右視圖上找到對應的匹配點，就可以計算出該像素點的視差，從而計算出該點的深度信息。

2　基于深度信息的人頭檢測方法

2.1運動目標檢測

運動目標的檢測，就是把圖像中的前景目標從背景中分離出來［4］。對于檢測算法來說，所要提取的是運動目標，而背景不僅會對人頭的檢測造成干擾，而且會增加立體匹配的時間。因此運動目標的檢測是整個檢測方法中不可缺少的一步。

本文使用改進的幀差法對目標進行檢測。首先采集前N幀圖像，對N幀圖像中每一個對應位置的像素點按照灰度值大小進行排序，去除最大值，最小值，剩下的值取平均得到B（x，y），并將其作為原始背景圖像：

式中：Ik（x，y）表示輸入的第k幀圖像，max，min像素集合中排序后最大值，最小值。

為防止圖像中光線變化較大時對檢測結(jié)果造成影響，運用式（4）對背景圖像進行更新。

式中，Bk（x，y）是當前求得的背景圖像；Bk-1（x，y）是上次更新后背景圖像；B（x，y）為更新的背景圖像。α是更新系數(shù)；

對背景圖像和當前幀圖像做差分，以閾值T對差分圖像二值化處理，就可以得到運動目標區(qū)域。

算法框圖如圖3所示。

2.2基于深度特征的目標區(qū)域提取

首先需要進行立體匹配求視差，使用傳統(tǒng)的WTA立體匹配算法［5］時，需要對每一個像素點都進行匹配，耗時大，實時性不理想。且由于人頭目標的紋理往往很弱，會造成誤匹配。為了提高算法的準確性和實時性，使用一種改進的立體匹配算法。

圖3　運動目標檢測算法示意圖

首先對提取的目標區(qū)域進行Canny邊緣檢測，提取強紋理點。基于視差的分段連續(xù)性，由于場景中大部分區(qū)域的視差都是連續(xù)的，因此只對強紋理點進行匹配求視差d。對非強紋理點只作簡單的視差驗證，減少了匹配的時間。采用SAD作為相似性測度函數(shù)。

對特征點進行匹配求視差：以該點為中心，取一個n×n的窗口，分別計算中心點和其在另一個視圖中視差范圍0～dmax內(nèi)的匹配代價CSAD（x，y，d），取匹配代價最小的d為dnew。

SAD相似性測度函數(shù)表示為：

對非紋理點，先進行簡單的視差驗證，驗證的方法就是將上一個點的視差dlast代入式（2），計算出左右圖像在此視差值下的CSAD（x，y，d）值，然后與Tth進行對比，若小于閾值Tth說明視差是連續(xù)的，則不做處理。若大于閾值Tth說明視差存在跳變，需要再次對該點進行SAD匹配，計算視差。匹配結(jié)果可以表示為：

算法流程如圖4所示。

通過上述方法得到視差圖后，通過三角原理得到能夠反映距離信息的深度圖。深度圖像是灰度圖像，灰度值的大小反應了目標與相機的距離信息。如圖5所示。

圖4　改進的立體匹配算法示意圖

圖5　深度圖分層

圖5中Z1，Z2，Z3為圖中對應點計算的深度；I1，I2，I3為深度圖中對應的灰度值。深度圖呈現(xiàn)了目標區(qū)域的整體深度信息，灰度值越小距離越遠，灰度值越大距離越近。由圖5可知，深度圖分層效果十分明顯。根據(jù)圖中人體的特征，人的頭部是距離相機最近的，像素值最大，因此可以通過深度分層能夠?qū)⒑蓄^部信息的區(qū)域提取出來。

2.3人頭輪廓提取

經(jīng)過深度分層后圖像存在著許多連通區(qū)域，這些區(qū)域往往帶孔洞和毛刺，有時兩區(qū)域會出現(xiàn)粘連現(xiàn)象［6］。這將嚴重影響后續(xù)的頭部輪廓篩選。根據(jù)人頭的類圓形特征，可以對圖像采用具有圓形特征的結(jié)構(gòu)元進行膨脹、腐蝕操作，這樣不僅可以去除孔洞和毛刺，還可以使處理后的區(qū)域類圓形特征更加明顯，如圖6所示。

圖6　人頭區(qū)域提取

下一步是對處理后的區(qū)域進行篩選。篩選的參數(shù)主要有三個［7，8］：區(qū)域圓度C，面積S，輪廓矩形占空比M。

由于人頭區(qū)域具有類圓形特征，可以用圓度參數(shù)C來評價候選區(qū)域的類圓特征，并以此判斷該區(qū)域是否為目標區(qū)域：

式中，dmax表示為區(qū)域中距離中心最遠的距離。C的值在0～1之間。C的值越趨于1，表明該區(qū)域越趨于圓形。

人頭區(qū)域的面積S是有一定范圍的，該值的設定是根據(jù)實驗情況來決定的，在本次實驗中S閾值為100，如果該區(qū)域面積不在規(guī)定面積范圍內(nèi)，則該區(qū)域可以排除。

輪廓矩形占空比M指目標輪廓面積與其所在外接矩形區(qū)域面積的比值［7］。人頭目標是一個凸多邊形，因此這個值不應過小，否則認為該候選區(qū)域不是目標。當檢測區(qū)域符合這3個指標就被判定為人頭。候選區(qū)域如圖6（a）所示，3號和4號的C值過小被排除，5號和6號面積S過小被排除，1號區(qū)域和2號區(qū)域判定為人頭區(qū)域。由圖6（c）可知，篩選區(qū)域準確，檢測效果良好。

基于深度信息的人頭檢測方法整體框圖如圖7所示。

圖7　基于深度信息的人頭檢測方法框圖

3　實驗結(jié)果與分析

采用兩部Lumenera LM135M型相機為雙目成像設備，像元尺寸為4.65um×4.65um，焦距為8mm，圖像分辨率為1392×1040。

實驗中將雙目相機相距60mm分別安裝在實驗室房頂上，相機距離地面3m，并保持兩相機光軸平行，使其自上而下拍攝圖像。

為了驗證本文檢測方法在不同光照環(huán)境下的有效性，進行了大量實地實驗，從多方面驗證本文算法的有效性，以下為兩組對比實驗詳情。

圖8　在弱光照環(huán)境下的人頭檢測

如圖8所示，在弱光照環(huán)境下，目標區(qū)域與周圍環(huán)境的對比度較差，干擾了運動目標檢測，結(jié)果如圖（c），圖中的目標區(qū)域出現(xiàn)了粘連、孔洞和不完整的問題。但是根據(jù)深度圖提取的人頭區(qū)域仍十分準確，如圖（e）所示。對目標區(qū)域進行膨脹，腐蝕操作并按照文中的三項指標對圖中的候選區(qū)域進行篩選得到圖（g）。以每個區(qū)域的外接矩形的對角線為直徑畫圓，得到最終檢測結(jié)果如圖（h）。由檢測結(jié)果可知，本文提出的人頭檢測方法在弱光照環(huán)境下，克服了圖像對比度差的問題，準確地檢測到了人頭區(qū)域，檢測效果良好。

圖9　強光照環(huán)境下的人頭檢測

如圖9所示，強光照環(huán)境下，圖（a）、（b）中行人的影子比較明顯。這對人頭的準確檢測造成干擾，如圖（c）為運動目標檢測得到的目標區(qū)域，影子和目標區(qū)域完全粘連在一起，難以分離。圖（d）是進行立體匹配后得到的深度圖，可以看到明顯的分層效果。根據(jù)深度圖提取的人頭區(qū)域，得到圖（e），圖中人頭區(qū)域已經(jīng)比較明顯，而且也完全濾除了影子對后續(xù)處理的干擾。由檢測結(jié)果可知，本文檢測方法克服了強光照和陰影的干擾，準確有效地檢測出了人頭區(qū)域，檢測效果良好。

對比檢測結(jié)果可知，本文提出的人頭檢測方法對光線變化和陰影有良好的抗干擾能力，對于復雜場景中的人頭能夠有效地檢測。

為了測試本文方法的有效性，分別在強光照和弱光照模擬環(huán)境下，利用本文基于深度信息的人頭檢測算法，對實驗室的人員進行檢測，并與傳統(tǒng)的基于Hough變換的人頭檢測方法進行對比，取其中30組實驗數(shù)據(jù)，對比結(jié)果如圖10和圖11所示。

圖10　強光照環(huán)境下的檢測結(jié)果對比

圖11　弱光照環(huán)境下的檢測結(jié)果對比

由圖10和圖11可以看出，本文檢測方法檢測結(jié)果與傳統(tǒng)Hough檢測方法相比與實際結(jié)果更為接近。

為了直觀對比兩種方法的優(yōu)劣，對本文檢測方法在不同條件下檢測的準確性和誤檢測率進行統(tǒng)計并與傳統(tǒng)Hough檢測進行對比。如表1和表2所示。

表1　不同條件人頭檢測的準確率

表2　不同干擾下的誤檢率

由表1可知，在強光照和弱光照情況下，人頭檢測準確率差別不大，且都達到94%以上，對比傳統(tǒng)方法提高了檢測準確率，表明本文檢測方法能夠在不同的光線環(huán)境下完成精準的人頭檢測。表2反映了本文的檢測算法對于環(huán)境良好的抗干擾能力。誤識別率僅為5.77%，是傳統(tǒng)Hough變換檢測方法誤檢率的一半，說明本文方法對光線和陰影的抗干擾性良好，能夠很好適應復雜環(huán)境。

4　結(jié)論

本文采用改進的立體匹配算法將圖像分為強紋理點和非強紋理點分別進行處理，克服了人頭區(qū)域紋理較弱的缺點，提高深度計算的準確度。且利用深度圖像中人體與環(huán)境的深度分布不同的特點，克服了光照和陰影等對于檢測造成的干擾，實現(xiàn)了在不同光照環(huán)境下對于人頭的精準檢測。由實驗結(jié)果可知：本文檢測方法能夠準確確定頭部位置，誤檢測率低，抗干擾能力強，準確率可達95.69%。對于復雜場景中的人頭能夠有效地檢測。在大型商場和客車站等公共場所的行人流量統(tǒng)計方面有重要的應用意義。

參考文獻

［1］趙軍偉，侯清濤，李金屏，等.基于數(shù)學形態(tài)學和HSI顏色空間的人頭檢測［J］.山東大學學報：工學版，2013，43 （1）：5-10.

［2］徐超，高夢珠，查宇鋒，等.基于HOG和SVM的公交乘客人流量統(tǒng)計算法［J］.儀器儀表學報，2015，36（2）：446-452.

［3］劉輝，朱闖，張?zhí)煊?，?一種基于頭部特征的人頭檢測方法［J］.光電子技術(shù)：工學版，2014，34（1）：21-25.

［4］鄭佳，李江勇.基于背景差分和信息熵的運動目標檢測算法［J］.激光與紅外，2014，44（5）：563-566.

［5］王逸林，馬玫.基于區(qū)域匹配算法的雙目立體匹配技術(shù)的研究［C］.大連海事大學，2012.

［6］于海濱，劉濟林.應用于公交客流統(tǒng)計的機器視覺方法［J］.中國圖像圖形學報，2008（15）：716-722.

［7］徐培智，徐貴力，黃鑫.基于隨機Hough變換的人頭檢測［J］.計算機工程，2012，38（1）：199-200.

［8］Munozib，Molina P J，Galilea J L L.Embedded vision modules for tracking and counting people［J］. IEEE Transactions on Instrumentation and Measurement，2009，58（9）：3004-3011.

A Head Detection Method Based on Depth Information

ZHANG Shanshan1，JING Wenbo2，LIU Xue1，WANG Xiaoman1，ZHU Haichen1
（1.School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022；2.School of Optoelectronic Engineering，Changchun University of Science and Technology，Changchun 130022）

Abstract：For the problem head detecting method is sensitive to changing light and vulnerable of shadow interference，a head detection method based on the depth map is proposed. Firstly，get moving target region by the moving target detection. Then a improved stereo matching algorithm is used to the target area，a matching algorithm based on the traditional WTA matching algorithm，we just need to match strong texture point by stereo matching algorithm，verify disparity of weak texture point and we can calculate the depth map. Because the depth distribution between people and surrounding scene is different in the depth map，we can extract the head region depend on the depth distribution，and then get candidate region through expansion and corrosion operation. Determine whether the region is the head with the characteristic of the head. Experimental results show that the method tested under different environmental conditions is 95.69%，error detection rate is 5.77%，high precision，strong anti-interference performance to light and shadow and applicable to complex environment.

Key words：head detection；moving target detection；stereo matching；depth map

中圖分類號：TP391.41

文獻標識碼：A

文章編號：1672-9870（2016）02-0107-05

收稿日期：2015-09-10

作者簡介：張姍姍（1989-），女，碩士研究生，E-mail：ass0987@163.com

通訊作者：景文博（1980-），男，博士，副教授，E-mail：wenbojing@sina.com