黃杰賢,黃志平,楊冬濤,歐陽玉平
(1.廣東嘉應(yīng)學(xué)院 電子信息工程學(xué)院,廣東 梅州 514015;2.廣東振聲科技股份有限公司,廣東 梅州 514000;3.華南農(nóng)業(yè)大學(xué) 工程學(xué)院,廣東 廣州 510642)
危險(xiǎn)作業(yè)場所一般指生產(chǎn)易燃、易爆或高腐蝕性產(chǎn)品的生產(chǎn)場所,該類商品的特殊性與高危性使其與公共安全密切相關(guān),直接影響到社會穩(wěn)定和千家萬戶的安全。國家有關(guān)安全生產(chǎn)監(jiān)管部門對該類型的生產(chǎn)場所的作業(yè)人數(shù)進(jìn)行嚴(yán)格的限定——定員監(jiān)控。當(dāng)前政府對企業(yè)的定員監(jiān)控仍停留在對人數(shù)進(jìn)行現(xiàn)場清點(diǎn),輔助以定期檢查、不間斷抽查的方法來獲取在崗在職人員數(shù)據(jù)信息。這就存在以下弊端:1)可靠性不高,容易產(chǎn)生漏洞;2)準(zhǔn)確率低,無法避免因人為疏忽導(dǎo)致的錯(cuò)誤;3)實(shí)時(shí)性差,信息匯總與上報(bào)存在時(shí)間差,導(dǎo)致監(jiān)管工作遲滯??梢姡捎脗鹘y(tǒng)方法已難以滿足現(xiàn)代企業(yè)安全生產(chǎn)的發(fā)展要求。這就迫切要求發(fā)展一套全自動、智能化的監(jiān)測方法,確保對工作人員的監(jiān)控與管理。
當(dāng)前,通過機(jī)器視覺技術(shù)對人頭進(jìn)行檢測、識別、跟蹤可成功地對人流進(jìn)行統(tǒng)計(jì),該技術(shù)作為研究熱點(diǎn)得到科研,工程人員的重視[1-2]。常用的人頭檢測方法可分為分為雙目視覺與單目視覺兩大類。雙目視覺是目前最準(zhǔn)確的人頭檢測方法,采用雙目視覺不僅可獲取人頭的特征信息[3],也可獲取人頭的深度信息,但是雙目視覺對硬件條件要求較高:兩個(gè)攝像頭——增加成本;計(jì)算機(jī)要求同時(shí)處理兩幅圖像——計(jì)算效率不高;使用之前兩個(gè)攝像頭要求做好標(biāo)定工作——增加了使用的復(fù)雜度。鑒于以上不足,大部分場合都采取單目視覺的人頭檢測方法,目前比較常用的人頭檢測算法主要有:顏色法、形態(tài)學(xué)分法、輪廓分析法、分類器設(shè)計(jì)法與人體特征法。采用顏色識別人頭的方法是最簡單,最直觀的方法,但也是準(zhǔn)確率最低的方法。在使用顏色特征檢測人頭時(shí),配合紋理特征或者形態(tài)特征提高檢測準(zhǔn)確率。例如盧等人采用頭發(fā)顏色信息與紋理信息實(shí)現(xiàn)對人頭的識別[4];趙等人通過提取HSI空間的顏色特征,并配合數(shù)學(xué)形態(tài)學(xué)方法提高人頭檢測準(zhǔn)確率[5]。輪廓特征是重要的特征,Kulrapat建立了肩部與頭部的模型對人員進(jìn)行識別與跟蹤[6];Jin采用橢圓擬合的方法對人頭進(jìn)行匹配[7],于通過霍夫變換法非常有效地對人的頭部區(qū)域進(jìn)行提取[8],張通過輪廓曲率判斷人頭目標(biāo)[9],而在實(shí)際的檢測過程中,背景、衣服與頭部的顏色特征相似將造成頭部輪廓的可區(qū)分性下降使得輪廓無法提取。文嘉俊等使用AdaBoost算法學(xué)習(xí)訓(xùn)練人頭檢測分類器,然后通過過線跟蹤的方法統(tǒng)計(jì)進(jìn)出口人流量[10]。牛勝石結(jié)合Ada?Boost算法和支持向量機(jī)(Support Vector Machine,SVM)訓(xùn)練人頭檢測分類器[11];但是該算法的離線訓(xùn)練過程繁雜,要求大量學(xué)習(xí)樣品以及選取最優(yōu)的權(quán)值參數(shù)才可取得較高的準(zhǔn)確率,這就限制了此種算法的推廣應(yīng)用。人體特征法主要通過對人的骨架特征進(jìn)行匹配進(jìn)而判斷出人頭位置,不足之處在于該種檢測方式的成像角度不可避免地產(chǎn)生遮擋問題[12]。為了更準(zhǔn)確高效地對人頭進(jìn)行識別與跟蹤,本文首先對移動目標(biāo)進(jìn)行分割,定義了方向熵與目標(biāo)置信度函數(shù)對人頭進(jìn)行提取,最終通過運(yùn)動目標(biāo)的運(yùn)動軌跡實(shí)現(xiàn)定員管理。
背景均值分割是一種簡單、快速、有效的移動目標(biāo)提取方法,在監(jiān)控場景無監(jiān)控目標(biāo)的情況下首先獲取背景圖像B(x,y)為
式中:Ii(x,y)為第i幀圖像,背景圖像隨著時(shí)間改變不斷地根據(jù)式(1)進(jìn)行更新。將運(yùn)動目標(biāo)從圖像背景中進(jìn)行分割依據(jù)下式
式中:Tn表示分割閾值,根據(jù)幀之間的3倍標(biāo)準(zhǔn)差獲?。ㄈ缡剑?));Tm為頭發(fā)顏色灰度閾值。采用式(2)對移動目標(biāo)(如圖1a)進(jìn)行分割,得到如圖1b所示的分割結(jié)果。
圖1 目標(biāo)分割實(shí)驗(yàn)
從圖1b可觀測得到,圖像分割的內(nèi)容不僅包括頭部區(qū)域,也包含其他雜點(diǎn)。為了避免這些雜點(diǎn)對后續(xù)的圖像處理造成干擾,采用圖像區(qū)域生長方法對關(guān)鍵的區(qū)域進(jìn)行篩選,具體步驟如下:
步驟1,在對運(yùn)動目標(biāo)分割的基礎(chǔ)上隨機(jī)選擇種子點(diǎn);
步驟2,將種子點(diǎn)相鄰的、具有相同性質(zhì)的像素點(diǎn)(基于式(2)提取的像素點(diǎn))進(jìn)行合并,新合并的像素點(diǎn)作為新的種子點(diǎn)重復(fù)步驟2的操作直至所有符合條件的區(qū)域合并完成;
步驟3,觀測該區(qū)域的面積區(qū)域,設(shè)置面積閾值(本實(shí)驗(yàn)選取人頭面積大小的值為閾值)得到移動目標(biāo)最終處理結(jié)果(如圖1c)。
從圖1c的圖像處理結(jié)果觀測得到,非頭部區(qū)域的雜點(diǎn)被濾除,包含有頭部的圖像區(qū)域仍需做進(jìn)一步圖像分析實(shí)現(xiàn)頭部目標(biāo)的正確提取。
本節(jié)首先構(gòu)建方向熵函數(shù)以獲取圓形目標(biāo)的輪廓位置信息與方向信息[13-14]。在整幅圖像中,某像素點(diǎn)的紋理梯度數(shù)學(xué)表達(dá)式如式(4)所示,對應(yīng)的紋理梯度方向角度計(jì)算公式定義為
將θ劃分不同的角度級i,i=1,2,…,Nθ。在本實(shí)驗(yàn)中,當(dāng) θ∈ (0°,10°)時(shí),i=1 ;當(dāng) θ∈ (10°,20°)時(shí) i=2 ,…,當(dāng)θ∈(80°,90°)時(shí),Nθ=9為最高角度級。分別從整幅圖像中攫取R×S的圖像,定義統(tǒng)計(jì)函數(shù) fθ(i)(如式(6)所示),該公式表示為落入角度級為i的像素統(tǒng)計(jì)量,在整幅圖像中,像素落入i角度級區(qū)間的概率Pθ(i)為
定義方向熵為
將式(7)對圖2a圓目標(biāo)進(jìn)行圖像處理,從圖2b實(shí)驗(yàn)結(jié)果得到,邊緣的方向熵值明顯低于非邊緣區(qū)域,圖2c為設(shè)置方向熵閾值對邊緣的提取,邊緣區(qū)域的角度級也呈集中分布(如圖2c),輪廓點(diǎn)的方向亦可得以確定。
圖2 基于方向熵的輪廓特征信息提取
因此,圖2c與標(biāo)準(zhǔn)圓在位置上重合,在角度上相等的像素點(diǎn)可判定為可信的輪廓點(diǎn)。圖3為對圖2圓目標(biāo)的搜索過程,圖3a~圖3d搜索匹配的準(zhǔn)確率不斷提高,符合條件輪廓點(diǎn)也不斷增加(如圖3e表示),因此,根據(jù)輪廓點(diǎn)數(shù)量最大的原則可實(shí)現(xiàn)對目標(biāo)的匹配。圖4為最終的篩選結(jié)果及實(shí)現(xiàn)最佳匹配。
根據(jù)上文實(shí)驗(yàn)結(jié)果可以得到,使用式(5)不僅可以獲取邊緣的位置信息,也可以獲取輪廓角度信息。因此,使用輪廓及其方向角度級二元信息使得搜索圓目標(biāo)準(zhǔn)確性、可靠性更高。將其應(yīng)用于人體頭部特征的定位的基本思路與步驟為:
步驟1,采用式(7)對圖像進(jìn)行處理(如圖5b、圖6b所示);
圖3 輪廓搜索
圖4 目標(biāo)匹配
圖5 頭部定位的實(shí)驗(yàn)1
圖6 頭部定位實(shí)驗(yàn)2
步驟2,基于標(biāo)準(zhǔn)圓的輪廓與角度信息對經(jīng)式(5)處理后的圖像作進(jìn)行輪廓篩選(如圖5c、圖6c所示);
步驟3,根據(jù)局部輪廓特征實(shí)現(xiàn)對人頭定位(如圖5d、圖6d所示)。
前文的實(shí)驗(yàn)驗(yàn)證了基于輪廓方向特征對于提取人頭區(qū)域有效性。但在現(xiàn)實(shí)的場景中存在多個(gè)人員目標(biāo)同時(shí)運(yùn)動的情況,鑒于人頭尺寸大小不一,仍需對圖像做進(jìn)一步分析與處理以實(shí)現(xiàn)在同一場景中同時(shí)提取多個(gè)目標(biāo)。人頭是類圓型目標(biāo),輪廓相當(dāng)于弧長。在相同半徑條件下,弧長越長越更接近圓?;谠撎攸c(diǎn),建立弧長置信度函數(shù)對人頭進(jìn)行定位,定義如下
圖7 人頭目標(biāo)的搜索
在圖7中搜索的結(jié)果中,每個(gè)圓形區(qū)域都包含有人的頭部區(qū)域,驗(yàn)證了基于弧長置信函數(shù)搜索方法的有效性。從所有搜索的候選區(qū)域中選取弧長置信度最高的區(qū)域確立人的頭部區(qū)域(如圖8所示)。
圖8 頭部區(qū)域的確立
將該方法應(yīng)用于多個(gè)人員目標(biāo)定位情景中,實(shí)驗(yàn)結(jié)果如圖9所示。
圖9 多目標(biāo)人頭定位
實(shí)現(xiàn)對人頭區(qū)域的定位工作后,本節(jié)從:1)相鄰幀圖像的人頭區(qū)域重合;2)基于連續(xù)相鄰幀圖像人頭運(yùn)動的預(yù)測兩方面對人頭目標(biāo)進(jìn)行跟蹤[15-17]。對相鄰幀圖像進(jìn)行人頭定位,圖像之間的人頭在位置上存在重疊區(qū)域(如圖10所示),因此可判斷人頭從坐標(biāo)(x1,y1)移動至坐標(biāo)(xn,yn)。
圖10 目標(biāo)移動
針對移動目標(biāo)的搜索與跟蹤過程中,為了更準(zhǔn)確、高效地對移動目標(biāo)進(jìn)行搜索與跟蹤,可基于前幾幀圖像與當(dāng)前圖像的目標(biāo)位置對下一幀圖像目標(biāo)的位置進(jìn)行預(yù)測。本文選取3幀圖像:當(dāng)前幀(第k幀),前1幀(k-1幀)與前2幀(k-2幀)基于牛頓插值法建立預(yù)測函數(shù)定義如下
式中:fX(k),fY(k)分別為第k幀(當(dāng)前幀)圖像目標(biāo)的X坐標(biāo)值與Y坐標(biāo)值。對目標(biāo)進(jìn)行跟蹤時(shí),根據(jù)預(yù)測函數(shù)對目標(biāo)的坐標(biāo)位置進(jìn)行預(yù)判,從而縮小目標(biāo)搜索范圍,提高了搜索效率與準(zhǔn)確率。圖11為目標(biāo)的跟蹤及其運(yùn)動軌跡線。
圖11 多目標(biāo)跟蹤及其運(yùn)動軌跡
在圖11中,每個(gè)人頭目標(biāo)對應(yīng)著一對圓,分別表示目標(biāo)的起始區(qū)域與終點(diǎn)區(qū)域,該對圓心的坐標(biāo)分別為起始點(diǎn)坐標(biāo)與終點(diǎn)坐標(biāo),之間的連線則是目標(biāo)的運(yùn)動軌跡。圖11中的中間線為計(jì)數(shù)觸發(fā)線,當(dāng)目標(biāo)軌跡線由下向上越過中間線則表示該目標(biāo)“進(jìn)入”;當(dāng)目標(biāo)軌跡從上往下穿過中間線則表示“離開”。因此基于機(jī)器視覺技術(shù)的定員管理算法可概括為:1)采用圖像處理技術(shù)確立移動目標(biāo);2)基于方向熵實(shí)現(xiàn)對圓輪廓進(jìn)行篩選;3)基于圓輪廓實(shí)現(xiàn)對人頭的識別;4)對人頭目標(biāo)進(jìn)行跟蹤,最終實(shí)現(xiàn)對進(jìn)出人員的實(shí)時(shí)監(jiān)控與統(tǒng)計(jì)。流程圖如圖12所示。
圖12 流程圖
為了測試該算法的性能,系統(tǒng)對視野內(nèi)的移動目標(biāo)進(jìn)行跟蹤,對“進(jìn)入”與“離開”的人數(shù)進(jìn)行統(tǒng)計(jì),實(shí)驗(yàn)結(jié)果如表1所示。
表1 目標(biāo)跟蹤統(tǒng)計(jì) 人
表2中,選取237個(gè)人頭樣品并采用不同的算法進(jìn)行圖像處理,通過觀測“準(zhǔn)確率”與“算法時(shí)間”兩個(gè)指標(biāo)對算法性能進(jìn)行對比分析。實(shí)驗(yàn)中測試視頻抓取的每幀圖像大小為640×480,在雙核處理器 2 Gbyte內(nèi)存PC機(jī)的硬件平臺,VC2008軟件平臺上運(yùn)行。
表2 人頭識別對比實(shí)驗(yàn)
從表2的算法處理時(shí)間觀測得到:盡管“HSI顏色與形態(tài)學(xué)”與“霍夫變換法”是比較提取人頭識別的有效方法,但對人頭與背景的對比度要求較高,但人頭與背景的顏色相近時(shí),算法準(zhǔn)確率下降。AdaBoost算法雖然在效率與準(zhǔn)確率上有優(yōu)勢,但達(dá)到高效、高準(zhǔn)確率的效果有兩個(gè)前提條件:1)選取大量樣品讓系統(tǒng)進(jìn)行學(xué)習(xí),當(dāng)應(yīng)用場景變化,或者光照條件發(fā)生明顯變化時(shí),要求系統(tǒng)重新學(xué)習(xí);2)在對樣品學(xué)習(xí)的基礎(chǔ)上,要求工作人員調(diào)整好最優(yōu)的參數(shù)。以上兩點(diǎn)工作冗余、繁瑣、復(fù)雜。使得該算法不具通用性,推廣應(yīng)用難度大。
本文提出的算法在存在干擾的情況下實(shí)現(xiàn)對類圓形目標(biāo)的輪廓進(jìn)行提取,并基于輪廓實(shí)現(xiàn)對類圓目標(biāo)的匹配。將該算法應(yīng)用于廣東振聲科技股份有限公司的工業(yè)炸藥生產(chǎn)作業(yè)場所的定員管理為例,對“進(jìn)入”,“離開”生產(chǎn)作業(yè)場所的人數(shù)進(jìn)行智能識別與統(tǒng)計(jì),有效提升了企業(yè)的管理、監(jiān)控、安全水平。平均時(shí)間約為30 ms/f(毫秒/幀),完全可以滿足實(shí)時(shí)檢測的要求,準(zhǔn)確率達(dá)到90%以上。當(dāng)工人進(jìn)入生產(chǎn)場時(shí),著裝佩戴的工作帽形態(tài),顏色(灰色)具有一致性,本文的算法也適用于戴工作帽情況下。但該研究工作仍然存在不足之處:1)仍需進(jìn)一步提高準(zhǔn)確率;2)當(dāng)行人攜帶與人頭大小的圓形物品通過時(shí),算法會將圓形物品錯(cuò)檢為人頭,從而導(dǎo)致計(jì)數(shù)錯(cuò)誤。如何克服以上問題,提高檢測準(zhǔn)確率,則有待進(jìn)一步深入研究。
[1]BENABBAS Y,IHADDADENE N,YAHIAOUI T,et al.Spatiotemporal optical flow analysis for people counting[C]//Proc.of 7th IEEE International Conference on Advanced Video and Sig?nal Based Surveillance.Boston,USA:IEEE Press,2010:212-217.
[2]JAIJING K,KAEWTRAKULPONG P,SIDDHICHAI S.Object de?tection and modeling algorithm for automatic visual people count?ing system[C]//Proc.6th International Conference on Electrical Engineering/Electronic,Computer,Telecommunication and Infor?mation Technology.[S.l.]:IEEE Press,2009:1062-1065.
[3] 顧騁,錢惟賢,陳錢,等.基于雙目立體視覺的快速人頭檢測方法[J].中國激光,2014,41(1):1-6.
[4] LU Huchuan,ZHANG Ruijuan,CHEN Yenwei.Head detection and tracking by mean-shift and kalman fiter[C]//Proc.3rd Interna?tional Conference on Innovative Computing Information and Con?trol.[S.l.]:IEEE Press,2008:357-360.
[5] 趙軍偉,侯清濤,李金屏,等.基于數(shù)學(xué)形態(tài)學(xué)和HSI顏色空間的人頭檢測[J].山東大學(xué)學(xué)報(bào),2013,43(2):6-10.
[6]JAIJING K,KAEWTRAKULPONG P,SIDDHICHAI S.Object de?tection and modeling algorithm for automatic visual people count?ing system[C]//Proc.6th International Conference on Electrical Engineering/Electronic,Computer,Telecommunication and Infor?mation Technology.[S.l.]:IEEE Press,2009:1062-1065.
[7] JIN Yonggang,MOKHTARIAN F.Towards robust head tracking by particles[C]//Proc.IEEE International Conference on Image Processing.[S.l.]:IEEE Press,2005:864-867.
[8] 于海賓,劉敬彪,劉濟(jì)林.用于行人頭部特征提取的目標(biāo)區(qū)域匹配方法[J].中國圖像圖形學(xué)報(bào),2009,14(3):482-488.
[9] 張海洋,陳國龍,李現(xiàn)偉.基于曲率尺度空間的人頭檢測方法研究[J].計(jì)算機(jī)工程與應(yīng)用,2012,48(14):195-197.
[10] 文嘉俊,徐勇.基于AdaBoost和幀間特征的人數(shù)統(tǒng)計(jì)[J].中國圖象圖形學(xué)報(bào),2011,16(9):1729-1735.
[11] 牛勝石,毛曉暉,侯建華,等.基于AdaBoost和SVM的人頭實(shí)時(shí)檢測[J].微型機(jī)與應(yīng)用,2010(13):33-36.
[12] 夏菁菁,高琳,范勇,等.基于骨架特征的人數(shù)統(tǒng)計(jì)[J].計(jì)算機(jī)應(yīng)用,2014,34(2):585-588.
[13] YE Feng,LI Di,HUANG Jiexian,et al.Flaw detection on FPC solder surface[J].Circuit World,2012,38(3):142-152.
[14] 楊冬濤,黃杰賢,龔昌來,等.基于輪廓方向特征的柚子果形檢測研究[J].激光與紅外,2013,43(6):712-716.
[15]CONG Yong,GONG Haifeng,ZHU Songchun,et al.Flow mosa?icking:real-time pedestrian counting without scene-specific learning[C]//Proc.IEEE Conference on Computer Vision and Pat?tern Recognition (CVPR)2009.Miami,USA:IEEE Press,2009:1093-1100.
[16] ANTIC B,LETIC D,CULIBRK D,et al.K-means based seg?mentation for realtime zenithal people counting[C]//Proc.16th IEEE International Conference on Image Processing(ICIP).Cai?ro,Egypt:IEEE Press,2009:2565-2568.
[17] DINESH K V P,TESSAMMA T.Performance study of an im?proved legendre moment descriptor as region-based shape de?scriptor[J].Pattern Recognition and Image Analysis,2008(1):23-29.