楊文明 孫大任 李得第 謝正偉

(1.清華大學(xué)深圳研究生院信息科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣東深圳 518055;2.清華大學(xué)電子工程系,廣東深圳 518055;3.深圳市星谷科技有限公司,廣東深圳 518000)

一種基于目標(biāo)分塊的建筑活動板房識別方法

楊文明1孫大任2李得第2謝正偉3

(1.清華大學(xué)深圳研究生院信息科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,廣東深圳 518055;2.清華大學(xué)電子工程系,廣東深圳 518055;3.深圳市星谷科技有限公司,廣東深圳 518000)

活動板房作為施工過程中的標(biāo)志建筑,若能對其進(jìn)行準(zhǔn)確識別,將有助于提升施工智能監(jiān)控系統(tǒng)的性能。本文針對建筑工地目標(biāo)復(fù)雜,光照,遮擋等因素多的特點(diǎn),提出一種基于目標(biāo)分塊的建筑活動板房識別方法。算法將板房分為房頂,墻體與窗體三部分,首先在監(jiān)控場景圖中檢測藍(lán)色房頂區(qū)域,通過形態(tài)學(xué)操作與外接矩形計算,自適應(yīng)獲取板房墻體的候選區(qū)域。然后對候選區(qū)進(jìn)行局部閾值處理,腐蝕處理與連通域檢測,得到板房窗體中心點(diǎn)集合。再通過窗體縱坐標(biāo)直方圖統(tǒng)計與滑窗求和,判別是否為板房。實(shí)驗(yàn)表明,該法對光照,角度,尺度有一定的魯棒性,對墻體清楚的活動板房有較高的識別率,達(dá)到了83.0%。

板房檢測 目標(biāo)分塊 形態(tài)學(xué)處理

1 引言

國土監(jiān)察對打擊違法侵占國有土地的行為,切實(shí)保障國有儲備土地的安全有重要的作用。然而現(xiàn)有的監(jiān)察方法多是通過人工來周期性或不定時的進(jìn)行巡查,這樣不僅會耗費(fèi)巨大的人力、財力及物力,對邊遠(yuǎn)地區(qū)的土地也難以做到實(shí)時監(jiān)管,同時還存在著監(jiān)察區(qū)域狹小等問題。

隨著計算機(jī)視覺[1]的不斷發(fā)展,諸多使用攝像頭進(jìn)行智能監(jiān)控的嘗試也應(yīng)運(yùn)而生。目前的智能監(jiān)控多是根據(jù)施工過程的特點(diǎn)及建筑工地中標(biāo)志性物體進(jìn)行分析,Ehsan Rezazadeh Azar[2]等人通過檢測液壓挖掘機(jī)來判別施工活動,J.Teizer, P.A.Vela[3]等人通過追蹤工地上的人員來分析施工行為,A.Peddi等人[4]通過人物姿態(tài)分析實(shí)時判定施工活動。

以上研究中的檢測對象多是施工人員,施工工具及地表變化,關(guān)于施工過程中標(biāo)志性建筑的檢測卻很少。觀察國內(nèi)的施工過程可以發(fā)現(xiàn),工程開展初期,往往要先搭建起活動板房,以供施工人員住宿使用。因此,若能準(zhǔn)確識別出監(jiān)控區(qū)域中是否存在板房,無疑對整個系統(tǒng)性能的提升有很大幫助。

但實(shí)際視頻中,由于光照,角度,尺度的劇烈變化,使用單一特征很難界定什么是板房。因此,本文針對通用活動板房的特點(diǎn),提出了一種基于目標(biāo)分塊的板房檢測方法。該法通過對可疑區(qū)域進(jìn)行圖像切塊,將板房分割為房頂,窗體及墻身三部分,利用顏色,結(jié)構(gòu),方向等信息,通過分析各塊的特點(diǎn)及塊與塊間的關(guān)系,對板房進(jìn)行識別。因?yàn)檩^多的利用相對信息,此法對光照,角度,尺度有很好的魯棒性,可以實(shí)現(xiàn)板房的精確檢測,如圖1所示。

圖1 板房示意圖

2 特征提取

由于尺度,角度的影響,不同視頻中板房呈現(xiàn)出的姿態(tài)千差萬別,因此很難獲取普適的整體特征,對板房進(jìn)行描述。

然而,通用的板房存在著固有的結(jié)構(gòu)信息,由于結(jié)構(gòu)是相對的,不管視頻間的差異有多大,同一視頻中的板房,各部分間的關(guān)系仍保持穩(wěn)定。本文提出的算法便是基于這種特性的。

圖2 目標(biāo)分塊圖

2.1 目標(biāo)切塊

圖3 自適應(yīng)墻體搜索示意圖

圖4 房頂檢測過程

圖5 窗體檢測過程

算法的第一步是對可疑目標(biāo)進(jìn)行分塊,然后根據(jù)先驗(yàn)知識,利用塊與塊間的聯(lián)系,對每一塊進(jìn)行識別。

分塊的目的在于克服不同場景中板房尺度,角度的差異給分類器帶來的影響。

對板房來說,房頂和墻身在色度,紋理上具有顯著的差異。但單純依據(jù)這兩者進(jìn)行識別,很難取得理想的效果。由于窗體與墻體間有穩(wěn)定的位置關(guān)系,而窗體的方向與房頂?shù)姆较蛞灿泻軓?qiáng)的相關(guān)性,因此算法將板房分割為房頂,墻面,窗體三部分,如圖2所示。

2.2 房頂檢測與板房提取

相對于場景中的其它物體,活動板房的房頂區(qū)域在顏色上有顯著的特征,可以作為目標(biāo)提取的依據(jù)。

算法在HSV空間上進(jìn)行房頂檢測。HSV是一種比較直觀的顏色模型,便于選取合適的顏色閾值。對人工截取的房頂樣本進(jìn)行顏色分布統(tǒng)計[5],得到的統(tǒng)計結(jié)果為:H空間分布在[170,240]之間,V空間分布在[0.6,1]之間。

因?yàn)樵诠庹詹皇呛軜O端的情況下,板房的房頂與墻面的顏色有很大的區(qū)別,寬泛的閾值就足以精確的區(qū)分兩者。而房頂與墻面的分界線被清楚的檢測出之后,后續(xù)的房頂角度檢測就不會受到太大的影響。

檢測到房頂候選區(qū)后,對候選區(qū)做形態(tài)學(xué)處理。具體上,先進(jìn)行連通域檢測,排除較小的連通域,以去除明顯不是房頂?shù)膮^(qū)域。之后再進(jìn)行閉運(yùn)算,以連接檢測結(jié)果中的斷點(diǎn)。

形態(tài)學(xué)處理后,得到較為完整的房頂區(qū)域。對該區(qū)域求取最小外接矩形,可以獲得板房屋頂?shù)母?屋頂最小外接矩形的中心 roof_ center和旋轉(zhuǎn)角度roof_ angle。板房墻體的大小可以根據(jù)房頂信息進(jìn)行自適應(yīng)搜索:

圖6 縱坐標(biāo)直方圖與滑窗

表1 算法識別結(jié)果

圖7 部分識別效果圖

其中板房墻體外接矩形的中心wall_width ,wall_height,為板房墻體外接矩形的高與寬,wall_angle為墻體的旋轉(zhuǎn)角度,scale為自定義的放大尺度,如圖3,圖4所示。

獲取墻體區(qū)域后,由于實(shí)際應(yīng)用中的板房墻體大多會包含一些旋轉(zhuǎn),這會給后續(xù)程序帶來干擾,因此需要對獲取到的墻體進(jìn)行反旋轉(zhuǎn)處理。

由于已經(jīng)獲得房頂?shù)男D(zhuǎn)角度wall_angle ,墻體與房頂必定是平行的,因此將ROI中的圖片按wall_angle 反旋轉(zhuǎn),即可提取出正面無旋轉(zhuǎn)的墻體。

2.3 窗體檢測

2.3.1 自適應(yīng)閾值操作

對2.2中得到的墻體候選圖進(jìn)行自適應(yīng)的閾值操作,二值化公式為:

dst（x,y）為閾值化后的二值圖,src（x, y）為原灰度圖。T為閾值,sgn為符號函數(shù)。

通過計算鄰域內(nèi)均值得到:

ai為以 src（x, y）為中心的鄰域內(nèi)的像素值,N為鄰域內(nèi)像素總數(shù)。

2.3.2 腐蝕

腐蝕操作的定義為:

其中erode(x,y)為腐蝕后的圖像,b為自定義的結(jié)構(gòu)元素[6]。

該處進(jìn)行腐蝕的目的是消除除窗體與墻面的粘連,以獲得獨(dú)立的窗戶,便于精確檢測其輪廓。算法使用的結(jié)構(gòu)元素為大小的矩形小塊。

2.3.3 輪廓檢測與最小外接矩形

對腐蝕后的二值圖進(jìn)行輪廓檢測,得到輪廓集合,對該集合中的每一個元素計算其最小外接矩形,得到矩形集合Rect。對Rect中的元素進(jìn)行篩選,篩選的條件如下:

其中x為Rect集合中的元素,xwidth表示外接矩形的寬,表示外接矩形的高, Scontour表示連通域的面積, Scontour為人為設(shè)定的比例系數(shù)。最后,取篩選后的矩形中心得到最終的窗體集合Window,如圖5所示。

2.4 板房判定

依據(jù)房頂傾斜角度旋轉(zhuǎn)后的板房,窗戶排列近似為一條水平線。因此可以統(tǒng)計Window中元素縱坐標(biāo)的直方圖,若為板房,則直方圖中的點(diǎn)應(yīng)該會集中分布在某幾個區(qū)域,且每個區(qū)域點(diǎn)數(shù)占總點(diǎn)數(shù)的比例應(yīng)大于某一閾值。

對獲取的直方圖進(jìn)行滑窗計數(shù),窗體寬度d決定了檢測的精度。當(dāng)滑窗內(nèi)點(diǎn)數(shù)和超過總點(diǎn)數(shù)一定比例后,即可判定存在平行的窗體,也就是判定為板房,如圖6所示。

3 實(shí)驗(yàn)結(jié)果與分析

在自建的施工工地監(jiān)控數(shù)據(jù)庫上,使用本文提出的算法進(jìn)行活動板房識別。數(shù)據(jù)庫中圖片大致可分為4類:

（1)板房墻體清晰,每個板房房頂較獨(dú)立。

（2)板房墻體清晰,但多個房頂相互粘連。

（3)墻體模糊。

（4)無板房。

識別結(jié)果如表1所示。

對多數(shù)窗體朝向正面,同一圖片中板房分布相對獨(dú)立的樣本,算法有很好的識別率,實(shí)際應(yīng)用中能達(dá)到83.0%。但對圖片中板房分布擁擠,房頂互相粘連的情況,識別率會顯著下降,同時漏警率大大上升。這是由于房頂粘連導(dǎo)致對墻體大小和位置的估計失準(zhǔn),使算法未能工作在設(shè)想的狀態(tài)下。

實(shí)際應(yīng)用中,由于系統(tǒng)的實(shí)時監(jiān)控性以及板房建設(shè)需要有一定過程,板房大多只會以單個或兩個的形式出現(xiàn),突然出現(xiàn)大量板房的概率很低,因此對單個板房的識別率將主導(dǎo)系統(tǒng)的性能。雖然算法在房頂粘連的情況下表現(xiàn)不佳,但在實(shí)際的監(jiān)控場景下仍可以正常工作。

而由于場景中的其它物體與活動板房特征有較大的區(qū)別,算法虛警率很低,如圖7所示。

4 結(jié)語

本文提出一種基于目標(biāo)分塊的建筑活動板房識別方法,算法依據(jù)先驗(yàn)知識將目標(biāo)切分為三塊,運(yùn)用色度分析,形態(tài)學(xué)處理,連通域分析及直方圖統(tǒng)計等方法,著重研究不同塊之間的相對信息,以提升識別率,克服不同監(jiān)控場景中尺度,角度的干擾。算法在自建的數(shù)據(jù)庫上,在圖片中各板房獨(dú)立分布的情況下取得了83.0%的識別率,且虛警較低,可以滿足一般監(jiān)控的需求。

對房頂粘連導(dǎo)致識別率顯著下降的情況,由于實(shí)際使用時是實(shí)時監(jiān)控,同時出現(xiàn)大量板房的幾率很小,因此不會大幅度影響系統(tǒng)的性能。該部分的改進(jìn)重點(diǎn)將落在房頂連通域檢測上面,作為日后的研究方向。

[1]Vernon D.Machine vision-Automated visual inspection and robot vision[J].NASA STI/Recon Technical Report A,1991,92: 40499.

[2]Rezazadeh Azar E,McCabe B.Part based model and spatial–temporal reasoning to recognize hydraulic excavators in construction images and videos[J].Automation in construction, 2012,24:194-202.

[3]Teizer J,Vela P A.Personnel tracking on construction sites using video cameras[J].Advanced Engineering Informatics,2009,23(4):452-462.

[4] Peddi A,Huan L,Bai Y,et al.Development of human pose analyzing algorithms for the determination of construction productivity in real-time[C]//Construction Research Congress,ASCE, Seattle,WA.2009:11-20.

[5]郭煒強(qiáng).基于運(yùn)動特征的林火煙霧圖像檢測技術(shù)研究[D].北京林業(yè)大學(xué),2012.

[6]Gonzalez R C,Woods R E.Digital image processing[J].2002.

楊文明,男,漢族,2010.1就職于清華大學(xué)深圳研究生院信息科學(xué)與技術(shù)重點(diǎn)實(shí)驗(yàn)室,講師、副教授。主要從事圖像處理與計算機(jī)視覺領(lǐng)域的研究,具體包括智能視頻分析、生物特征識別、立體成像與分析、工業(yè)視覺檢測、醫(yī)學(xué)影像處理、光學(xué)字符識別、智能交通系統(tǒng)等。近年來,在IEEE Trans. on Image Processing、Information Sciences、Pattern Recognition、 IEEE SPL等國際期刊和IEEE ICIP、ICASSP、ACM Multimedia等國際會議發(fā)表學(xué)術(shù)論文30余篇,獲得中國發(fā)明專利授權(quán)4項(xiàng)。

孫大任,男,漢族,2013年9月就讀于清華大學(xué)電子工程系,專業(yè)為電子與通信工程（圖像處理方向)。2008年9月-2012年6月,就讀于東南大學(xué)吳健雄學(xué)院,專業(yè)為電子信息工程。

李得第,男,漢族,2012年9月就讀于清華大學(xué)電子工程系,專業(yè)為電子與通信工程（圖像處理方向)。2007年9月-2011年6月,就讀于杭州電子科技大學(xué)電子信息學(xué)院,專業(yè)為電子信息工程。

謝正偉,男,漢族,大學(xué)本科,深圳市星谷科技有限公司系統(tǒng)研發(fā)部經(jīng)理。