楊靜， 惠秦雙， 徐彬

(西安理工大學(xué) 機(jī)械與精密儀器工程學(xué)院，陜西 西安 710048)

基于多信息融合的施工升降機(jī)轎廂人數(shù)統(tǒng)計(jì)方法研究

楊靜， 惠秦雙， 徐彬

(西安理工大學(xué) 機(jī)械與精密儀器工程學(xué)院，陜西 西安 710048)

為了避免群死、群傷事故，必須對(duì)施工升降機(jī)轎廂內(nèi)人數(shù)進(jìn)行監(jiān)控。結(jié)合升降機(jī)的工作特點(diǎn)，本文利用安全帽的顏色特征進(jìn)行靜態(tài)圖像人數(shù)統(tǒng)計(jì)?？紤]升降機(jī)轎廂空間小、安全帽圖像容易產(chǎn)生粘連、因人貨同梯導(dǎo)致圖像背景復(fù)雜等問(wèn)題，利用目標(biāo)區(qū)域最小外接矩形的面積、質(zhì)心位置以及占空比、長(zhǎng)寬比等多種幾何特征融合處理，解決了粘連圖像的人數(shù)識(shí)別以及干擾背景的分離?，F(xiàn)場(chǎng)測(cè)試結(jié)果表明，本算法對(duì)復(fù)雜背景粘連圖像的人數(shù)識(shí)別準(zhǔn)確率較高，實(shí)時(shí)性好，基本滿足工程應(yīng)用的需要。

轎廂人數(shù)統(tǒng)計(jì)； 顏色特征； 圖像粘連； 復(fù)雜背景； 多信息融合

隨著城鎮(zhèn)化建設(shè)的推進(jìn)，施工升降機(jī)的使用日益頻繁。為了避免群死、群傷事故，國(guó)內(nèi)對(duì)施工升降機(jī)的載運(yùn)人數(shù)進(jìn)行了限制，要求安全監(jiān)控系統(tǒng)具有升降機(jī)吊籠內(nèi)人數(shù)統(tǒng)計(jì)的功能。

根據(jù)現(xiàn)有文獻(xiàn)報(bào)道，區(qū)域環(huán)境下的人數(shù)統(tǒng)計(jì)主要有兩種方法，一是基于視頻圖像跟蹤，如文獻(xiàn)[1]、[2]通過(guò)視頻幀，利用運(yùn)動(dòng)信息和邊緣輪廓面積實(shí)現(xiàn)目標(biāo)檢測(cè)與跟蹤，適用于廣場(chǎng)等較大區(qū)域場(chǎng)合的運(yùn)動(dòng)物體檢測(cè)；二是利用靜態(tài)圖像的目標(biāo)特征，基于先驗(yàn)知識(shí)與規(guī)則進(jìn)行人數(shù)識(shí)別。如文獻(xiàn)[3]利用了人的頭部及人體高度幾何特征進(jìn)行人數(shù)識(shí)別，但要求人體圖像必須完整；文獻(xiàn)[4]采用改進(jìn)型Hough變換來(lái)檢測(cè)頭部以識(shí)別人數(shù)，圖像灰度值對(duì)檢測(cè)影響大；文獻(xiàn)[5]采用 Haar特征分類器對(duì)圖像人數(shù)進(jìn)行檢測(cè)，但上述文獻(xiàn)都沒(méi)有處理人員遮擋問(wèn)題。

本文研究的施工升降機(jī)，其吊籠空間狹小(3.1 m×1.5 m×2.4 m)，目標(biāo)運(yùn)動(dòng)行程短且目標(biāo)之間彼此遮擋，容易跟蹤丟失，所以不宜使用圖像視頻跟蹤的方法?？紤]攝像頭只能安裝在吊籠內(nèi)，攝像頭相對(duì)目標(biāo)比較近，他們的相對(duì)位置對(duì)圖像面積影響大，而且吊籠空間小，圖像容易產(chǎn)生粘連，施工電梯人貨同梯，背景復(fù)雜。文獻(xiàn)[6]基于人體輪廓特征的提取及填充來(lái)統(tǒng)計(jì)區(qū)域內(nèi)人數(shù)，應(yīng)用單一輪廓面積閾值處理人員粘連，但沒(méi)有考慮背景顏色區(qū)域的識(shí)別以及攝像頭位置對(duì)圖像面積的影響，這種單一信息的處理方法用于本文的工況中則誤差較大。本文利用施工現(xiàn)場(chǎng)安全帽顏色特征以及顏色區(qū)域最小外接矩形的面積、質(zhì)心位置以及長(zhǎng)寬比、占空比等多種幾何特征融合處理，解決干擾背景的分離以及粘連圖像的人數(shù)識(shí)別，從而提高施工升降機(jī)吊籠內(nèi)人數(shù)統(tǒng)計(jì)的準(zhǔn)確度。

1 多信息融合的人數(shù)統(tǒng)計(jì)算法流程

施工現(xiàn)場(chǎng)人員都必須佩戴安全帽，本文抓住安全帽顏色以及形狀的特征，采用基于靜態(tài)圖像的吊籠內(nèi)人數(shù)統(tǒng)計(jì)方法，圖1為算法基本流程。首先選取實(shí)際工況的不同樣本圖像，提取安全帽的RGB色彩信息，在此基礎(chǔ)上，通過(guò)單向量SVF濾波器對(duì)圖像進(jìn)行分割并二值化處理；然后，利用多種幾何特征的信息融合對(duì)候選區(qū)域進(jìn)行佩戴安全帽人員的人數(shù)統(tǒng)計(jì)。

2 SVF單向量濾波器提取顏色特征

不同廠家、不同批次生產(chǎn)的同一顏色安全帽，其RGB直方圖可能是不同的；同時(shí)，安全帽相對(duì)轎廂窗口位置不同，光照影響也會(huì)導(dǎo)致其RGB直方圖不同，本文在顏色特征提取時(shí)，首先選取不同位置安全帽樣本圖像獲取RGB空間直方圖，然后采用單向量SVF濾波器對(duì)圖像進(jìn)行分割、二值化處理，具體算法如下。

1) 獲取樣本圖像的r、g、b三分量值；考慮施工現(xiàn)場(chǎng)紅色以及黃色安全帽比較多，根據(jù)實(shí)際樣本圖像，本文確定紅色像素的閾值范圍為：r-g>40且r-b>40；黃色像素的閾值范圍為：g-b>40且r-b>60。

2) 計(jì)算圖片的r、g、b三分量值，并根據(jù)公式(1)[7]計(jì)算F值。

(1)

式中，r、g、b分別表示RGB顏色空間的紅、綠和藍(lán)三分量，D=20是單色提取因子。

3) 對(duì)圖片中F≥1的像素，利用先驗(yàn)樣本的閾值得到不同特征色彩的二值化圖像。

3 安全帽多幾何特征的融合

由于攝像頭在轎廂內(nèi)一般側(cè)面安裝，而且實(shí)際轎廂內(nèi)人群擁擠，圖像中安全帽經(jīng)常出現(xiàn)粘連現(xiàn)象(見(jiàn)圖2)，此時(shí)，簡(jiǎn)單的圓特征無(wú)法準(zhǔn)確識(shí)別數(shù)量。本文利用二值化后圖像連通域的最小外接矩形的長(zhǎng)寬比以及占空比兩個(gè)特征，結(jié)合連通域面積特征來(lái)處理圖像中安全帽的粘連問(wèn)題。式(2)給出了外接矩形長(zhǎng)寬比C以及占空比Z[8]的定義。

(2)

式中，a為外接矩形的長(zhǎng)，b為外接矩形的寬，AS是連通區(qū)域面積，A0是連通區(qū)域外接矩形的面積。

一般對(duì)于標(biāo)準(zhǔn)圓圖像，最小外接矩形的長(zhǎng)寬比C=1，占空比Z=0.79；當(dāng)目標(biāo)粘連時(shí)，通過(guò)最小外接矩形長(zhǎng)寬比C可以確定目標(biāo)個(gè)數(shù)；通過(guò)占空比Z則可以確定圖像是否為檢測(cè)目標(biāo)形狀。例如圖3的連通域1，長(zhǎng)寬比C=1.8，占空比Z=0.78；通過(guò)長(zhǎng)寬比可確定圓數(shù)量為2；對(duì)于連通域2，長(zhǎng)寬比C=1.1，占空比Z=0.43；通過(guò)占空比可以判斷圖像形狀非圓。

式(2)定義了兩個(gè)最小外接矩形的比值特征。為了提高判斷準(zhǔn)確率，本文進(jìn)一步融入了最小外接矩形的面積特征。實(shí)際情況攝像頭一般安裝于電梯轎廂一側(cè)，由于轎廂高度有限，安全帽與攝像頭之間的距離對(duì)圖像的面積影響較大(見(jiàn)圖4)。

對(duì)于普通3.1 m的轎廂，同一個(gè)安全帽在距攝像頭近的地方以及遠(yuǎn)離攝像頭的地方，圖像面積相差80%；即使在同一個(gè)位置，由于人的身高不同，安全帽的面積也不同，本文首先獲得兩種極端位置安全帽的圖像樣本，結(jié)合外接矩形質(zhì)心相對(duì)攝像頭距離，采用線性擬合方法，得到安全帽圖像不同位置的最小面積，利用上述最小面積可以直接從圖像中濾除一些非安全帽的圖像，同時(shí)，在上述連通域最小外接矩形長(zhǎng)寬比以及占空比判斷基礎(chǔ)上，進(jìn)一步利用最小面積進(jìn)行判斷，從而提高準(zhǔn)確性。

圖5給出了本文基于顏色與多幾何特征融合的安全帽識(shí)別算法，圖中N代表連通域的安全帽個(gè)數(shù)。

4 現(xiàn)場(chǎng)實(shí)驗(yàn)

在實(shí)際施工現(xiàn)場(chǎng)，安全帽經(jīng)常會(huì)同時(shí)有紅、黃或藍(lán)幾種特定的顏色，利用上述算法可以對(duì)不同顏色的安全帽分別進(jìn)行統(tǒng)計(jì)，然后總和人數(shù)。在施工現(xiàn)場(chǎng)安裝攝像頭，實(shí)際采集圖像為圖6(a)、(b)。

本文以紅色安全帽為例進(jìn)行分析，圖6(a1)、(b1)為二值化后的圖像，圖6(a2)(b2)為算法分析、處理后的結(jié)果。由圖6可見(jiàn)，二值化分割后，圖6(a1)有6個(gè)紅色連通域，利用面積特征，連通域4、5、6可以直接排除；連通域3長(zhǎng)寬比為2、但因占空比為0.7，不符合目標(biāo)閾值而被排除；連通域1占空比為0.82、長(zhǎng)寬比為1.81，并且面積符合了該質(zhì)心位置處目標(biāo)數(shù)為2的面積范圍，因此，連通域1的安全帽數(shù)為2；連通域2占空比為0.81、長(zhǎng)寬比為1.18，且面積符合了該質(zhì)心位置處目標(biāo)數(shù)為1的面積范圍，因此，連通域2內(nèi)目標(biāo)數(shù)為1；最后統(tǒng)計(jì)原圖(圖6(a))中紅色安全帽數(shù)量為3。同樣對(duì)于圖6(a)的情況，采用文獻(xiàn)[6]的單一的面積特征處理，連通域3將會(huì)被標(biāo)為2個(gè)目標(biāo)物，圖6(a)安全帽數(shù)量將會(huì)識(shí)別為5，誤差高達(dá)40%。

圖6(b)顏色分割后，標(biāo)號(hào)8、9、10、11、12、13、14的連通域，因其連通域面積小于質(zhì)心所處位置的最小面積閾值被排除；標(biāo)號(hào)1聯(lián)通域占空比僅為0.4被濾除，標(biāo)號(hào)2～7的連通域，占空比、長(zhǎng)寬比均符合閾值要求，同時(shí)，結(jié)合本文面積閾值隨質(zhì)心位置變化的規(guī)律，可以判斷2～7的連通域都分別為1個(gè)紅色安全帽，因此，原圖(圖6(b))中紅色安全帽數(shù)量為6。對(duì)于圖6(b)的情況，采用文獻(xiàn)[6]的簡(jiǎn)單面積處理，連通域1會(huì)被誤認(rèn)為是11個(gè)安全帽粘連，且連通域7會(huì)按照面積大小被標(biāo)為2個(gè)目標(biāo)，于是，對(duì)于圖6(b)的情況，按文獻(xiàn)[6]的單一的面積特征處理，安全帽數(shù)量為18，誤差將會(huì)非常大。由此可見(jiàn)，對(duì)于復(fù)雜背景條件下，安全帽粘連情況，本算法采用多幾何特征融合處理，分析結(jié)果比單一特征處理準(zhǔn)確率更高。

現(xiàn)場(chǎng)測(cè)試中發(fā)現(xiàn)，施工升降機(jī)吊籠內(nèi)有對(duì)外窗戶，升降機(jī)在運(yùn)行過(guò)程中，不同樓層，光線從窗口入射情況不同，光照變化導(dǎo)致人數(shù)識(shí)別錯(cuò)誤。實(shí)驗(yàn)中，將窗戶遮擋，利用吊籠內(nèi)的燈，提供穩(wěn)定的光源，對(duì)施工現(xiàn)場(chǎng)上、下班人員乘梯高峰時(shí)間段以及正常工作時(shí)間段進(jìn)行了測(cè)試，提取了100多種不同位置有圖像粘連的情況的照片，利用上述多幾何信息融合的算法，人數(shù)統(tǒng)計(jì)誤差1人的為86%以上。

5 結(jié) 論

施工升降機(jī)轎廂空間小，轎廂內(nèi)安全帽圖像容易出現(xiàn)粘連，而且不同位置安全帽面積差別較大，在這種復(fù)雜的現(xiàn)場(chǎng)環(huán)境下，本文利用安全帽的顏色以及幾何特征，首先通過(guò)單向量SVF濾波器對(duì)圖像進(jìn)行分割并二值化處理；然后，利用連通域最小外接矩形的面積、質(zhì)心位置以及長(zhǎng)寬比、占空比多種幾何特征的信息融合對(duì)粘連情況的人數(shù)進(jìn)行識(shí)別。與傳統(tǒng)人數(shù)檢測(cè)方法相比，本文利用多信息融合的方法，有效提高了復(fù)雜背景圖像粘連情況下人數(shù)識(shí)別準(zhǔn)確率，通過(guò)現(xiàn)場(chǎng)測(cè)試，算法實(shí)時(shí)性好，但實(shí)際工程中，由于施工升降機(jī)吊籠內(nèi)的對(duì)外窗戶，不同樓層吊籠內(nèi)的光照變化，導(dǎo)致人數(shù)識(shí)別準(zhǔn)確率降低，以后工作有待對(duì)算法的進(jìn)一步優(yōu)化，以提高算法的魯棒性與實(shí)用性。

[1]Gianluca Antonini，Jean Philippe Thiran，Senior Member.Counting pedestrians in video sequences using trajectory clustering[J]. IEEE Video Technology,2006,16(8):1008-1020.

[2]靳海燕，熊慶宇，王楷，等.基于圖像處理的電梯轎廂內(nèi)人數(shù)統(tǒng)計(jì)方法研究[J].儀器儀表學(xué)報(bào)，2011，32(6):161-165.

Jin Haiyan, Xiong Qingyu,Wang Kai,et al.Study of a counting method for the number of people in the elevator based on image processing technology[J]. Chinese Journal of Scientific Instrument,2011，32(6):161-165.

[3]Haritaoglu I, Davis L S.W4:A real time system for detecting and tracking people[C]//Proceedings of 3th IEEE International Conference on Automatic Face and GestureRecognition,Los. Alamitos,CA,USA:IEEE ComPut.Soc,1998:222-227.

[4]于海濱，劉濟(jì)林.應(yīng)用于公交客流統(tǒng)計(jì)的機(jī)器視覺(jué)方法[J].中國(guó)圖象圖形學(xué)報(bào)，2008,13(4):716-722.

Yu Haibin, Liu Jilin.A vision-based method to estimate passenger flow in bus[J].Journal of Image and Graphics, 2008,13(4):716-722.

[5]劉子源，蔣承志.基于OpenCv和Haar特征分類器的圖像人數(shù)檢測(cè)[J]. 遼寧科技大學(xué)學(xué)報(bào)，2011,34(4):384-388.

Liu Ziyuan,Jiang Chengzhi.People number detection of image in fixed place with OpenCV and Haar-like classifier[J].Journal of University of Science and Technology Liaoning,2011,34(4):384-388.

[6]張建青，趙麗英.基于MATLAB的數(shù)字圖像人數(shù)統(tǒng)計(jì)[J].微計(jì)算機(jī)信息,2012,28(2):157-161.

Zhang Jianqing,Zhao Liying.MATLAB-based statistics on the number of digital image[J].Microcomputer Information,2012,28(2):157-161.

[7]陳維馨,李翠華,汪哲慎.基于顏色和形狀的道路交通標(biāo)志檢測(cè)[J]. 廈門大學(xué)學(xué)報(bào),2007,9(5):635-640.

Chen Wexin,Li Cuihua,Wang Zheshen.Road traffic sign detection using color and shape[J].Journal of Xiamen University, 2007,9(5):635-640.

[8]趙軍偉，侯清濤，李金屏,等.基于數(shù)學(xué)形態(tài)學(xué)和HSI顏色空間的人頭檢測(cè)[J]. 山東大學(xué)學(xué)報(bào),2013,43(2):6-10.

Zhao Junwei,Hou Qingtao,Li Jinping,et al.Head detection algorithm based on mathematical morphology and HSI color space[J].Journal of Shandong University of Technology, 2013,43(2):6-10.

(責(zé)任編輯 王衛(wèi)勛)

Study of a counting method for the number of people in the elevator based on multi-source information fusion

YANG Jing, HUI Qinshuang, XU Bin

(Faculty of Mechanical and Precision Instrument Engineering,Xi’an University of Technology，Xi’an 710048，China)

In order to avoid the death or injury in group, it is necessary to supervise and count the number of people in the elevator. Combining with the elevators' working characteristics, this paper utilizes the color features of safety helmets to count the number of people. Considering that the space in the elevator is small and the images of safety helmets are easy to produce image overlapping problems, and meanwhile the loading of people and groceries can lead to the image background complicated overlapping problems, this paper utilizes the multi-source information fusion to solve such problems as the square of the minimum external rectangle, the location of the centroid, duty cycle, and the length-width ratio. The result of experiment on the site shows that this method improves accuracy, has an excellent real-time quality and can be applied to the engineering applications well.

count the number of people in the elevator； color features； overlapping problem； complicated background； multi-source information fusion

1006-4710(2015)02-0238-04

2014-09-24

陜西省教育廳產(chǎn)業(yè)化基金資助項(xiàng)目(2013JC25)；陜西省科學(xué)技術(shù)研究發(fā)展計(jì)劃基金資助項(xiàng)目(2014TG-01)。

楊靜，女，副教授，博士，研究方向?yàn)闄C(jī)電系統(tǒng)檢測(cè)與控制。E-mail: yjzhd@163.com。

TP391.4

A