王自偉,盛惠興,2
(1.河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院,常州213022;
2.常州市傳感網(wǎng)與環(huán)境感知重點(diǎn)實(shí)驗(yàn)室,常州213022)
人臉是一個(gè)常見而復(fù)雜的視覺模式,人臉?biāo)磻?yīng)的視覺信息在人與人的交流和交往中有著重要的作用和意義,對(duì)人臉進(jìn)行處理和分析在視覺監(jiān)控、公共安全、視頻會(huì)議以及人機(jī)交互等領(lǐng)域都有著廣泛的應(yīng)用前景。人臉檢測(cè)是指對(duì)任意給定的一幅圖像或者一段視頻采用一定的方法和策略對(duì)其進(jìn)行搜索以確定其是否含有人臉以及所有人臉在圖像中出現(xiàn)的位置[1]。近年來基于圖像的方法為主要研究熱點(diǎn)。這類方法主要有基于線性子空間的方法,基于神經(jīng)網(wǎng)絡(luò)的方法,基于SVM的方法,基于Adaboost的方法等。其中,Adaboost算法[2]和其他方法相比,其檢測(cè)效果和穩(wěn)定性都較好,被廣泛用于人臉檢測(cè)中。而在視頻圖像中,運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究課題。預(yù)先對(duì)運(yùn)動(dòng)物體進(jìn)行檢測(cè),然后在提取的運(yùn)動(dòng)區(qū)域上進(jìn)行Adaboost人臉檢測(cè)算法,可以很大程度上縮短人臉檢測(cè)的時(shí)間。
因此將KIM算法[3]和Adaboost人臉檢測(cè)方法相結(jié)合,提出了一種快速的人臉檢測(cè)算法,該算法對(duì)于人臉檢測(cè)具有較好的準(zhǔn)確性和實(shí)時(shí)性。
常用的運(yùn)動(dòng)區(qū)域檢測(cè)方法主要有光流法、幀間差分法和背景減法等[4-5]。
光流法是采用運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性,有效地實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤。該類檢測(cè)方法可以適用于攝像機(jī)靜止和運(yùn)動(dòng)兩種場(chǎng)合。但是多數(shù)光流場(chǎng)計(jì)算方法相當(dāng)復(fù)雜,且容易受到噪聲影響,因此應(yīng)用性和實(shí)時(shí)性較差。幀間差分法是通過對(duì)相鄰的兩幀做減法,閾值化后得到運(yùn)動(dòng)目標(biāo)的區(qū)域。該方法簡(jiǎn)單快速,實(shí)時(shí)性好,并且對(duì)動(dòng)態(tài)環(huán)境具有較好的適應(yīng)性。但該方法對(duì)噪聲十分敏感,而且提取的運(yùn)動(dòng)區(qū)域容易產(chǎn)生空洞現(xiàn)象,不能有效地提取完整目標(biāo)。背景減法是利用當(dāng)前幀圖像與背景圖像相減得出運(yùn)動(dòng)區(qū)域,當(dāng)背景穩(wěn)定的情況下,可以完整的檢測(cè)出前景運(yùn)動(dòng)目標(biāo)。而當(dāng)光照突變時(shí),容易產(chǎn)生將背景像素誤判為前景目標(biāo)的現(xiàn)象,引起較大的檢測(cè)誤差。因此該方法對(duì)于背景建模和背景更新要求較高,而且對(duì)于與背景灰度相近的目標(biāo)不能夠完全檢測(cè)出來。
此次采用的KIM算法是將三幀差法和背景減法相結(jié)合來有效提取運(yùn)動(dòng)區(qū)域。這種方法既能克服背景差法易受外界環(huán)境的影響,還能夠避免幀差法中運(yùn)動(dòng)目標(biāo)重疊而檢測(cè)不出來的現(xiàn)象,因此可以得到更加全面的運(yùn)動(dòng)區(qū)域。KIM算法原理框圖如圖1所示。
圖1 KIM算法流程圖
設(shè) It-1、It、It+1為視頻的連續(xù) 3 幀圖像,利用幀間差分法原理,首先計(jì)算It-1和It的差值以及It和It+1的差值,然后通過閾值化分割得到二值圖像,并將結(jié)果進(jìn)行與運(yùn)算,得到其共同部分,從而有效去除幀差法的“雙影”效果。
因此在三幀差法中使用一種改進(jìn)的自適應(yīng)閾值選擇方法,利用幀差圖像的結(jié)果,即運(yùn)動(dòng)像素的均值作為閾值,然后對(duì)幀差結(jié)果進(jìn)行二值化處理,公式描述如下:
其中,d(i,j)表示圖像中點(diǎn)(i,j)的灰度值,n 為圖像中像素不為0的點(diǎn)的個(gè)數(shù),M,N分別為圖像的高度和寬度,如果d(i,j)≥Tth,則改點(diǎn)為運(yùn)動(dòng)點(diǎn)。
由圖2的實(shí)驗(yàn)結(jié)果可知,該方法得到的運(yùn)動(dòng)區(qū)域檢測(cè)效果比采用固定閾值和OTSU法(大津法)即最大類間方差法得到的結(jié)果要好的多。手動(dòng)設(shè)定閾值和OTSU法得到的二值圖像明顯缺失了大部分運(yùn)動(dòng)區(qū)域,而自適應(yīng)均值法則能很好的提取出運(yùn)動(dòng)區(qū)域部分。
但是在視頻圖像中無運(yùn)動(dòng)目標(biāo)時(shí),輕微的環(huán)境變化會(huì)使檢測(cè)的噪聲很大,此次是通過設(shè)定閾值下限來改善無運(yùn)動(dòng)目標(biāo)時(shí)噪聲很大的情況。當(dāng)?shù)玫讲钪祱D像Dt(x,y)時(shí),先求得其像素的最大與最小值的差值 Xt,若 Xt<T,則令差分圖像 Dt(x,y)=0,若Xt≥T,則通過上述的自適應(yīng)閾值方法得到二值圖像,此處使T=40。
圖2 三種閾值分割方法的結(jié)果圖
背景減法一般有統(tǒng)計(jì)中值法、卡爾曼濾波法、高斯模型法、Surendra法等??紤]到實(shí)時(shí)性因素,這次是使用均值法進(jìn)行初始背景計(jì)算,然后利用Surendra算法[6]進(jìn)行背景更新和背景建模。首先利用連續(xù)的N幀視頻圖像取像素平均值建立初始背景B(x,y),公式描述如下:
然后將初始背景與當(dāng)前幀進(jìn)行差值計(jì)算,并設(shè)置閾值T,若差值小于閾值時(shí),對(duì)當(dāng)前幀進(jìn)行累加求和并使計(jì)數(shù)器加一,若差值大于閾值則忽略不計(jì)。如此反復(fù)進(jìn)行下一幀與初始背景的差值計(jì)算。累加到一定幀數(shù)后對(duì)累加的和進(jìn)行均值計(jì)算,得到背景,如果累加和為零,則用初始背景的像素點(diǎn)作為新的背景。
獲取背景圖像后,將當(dāng)前幀與背景圖像做差值運(yùn)算,得到的就是運(yùn)動(dòng)區(qū)域,即前景圖像。然后通過閾值化分割得到二值化圖像,閾值通過上述的自適應(yīng)閾值法求得。
由于光照等外界環(huán)境的影響,背景在不斷的變化,因此需要建立背景更新模型來降低背景減法所帶來的檢測(cè)誤差。這次利用閾值分割的二值化結(jié)果TBt(x,y)使用了一種自適應(yīng)背景更新模型。公式描 述如下:
其中,Bt+1(x,y)和 Bt(x,y)分別為輸入第 t+1幀、第t幀圖像后得到的背景,It+1(x,y)為輸入的第t+1幀圖像,TBt(x,y)=1 表示點(diǎn)(x,y)被判定為運(yùn)動(dòng)點(diǎn),背景像素不變,TBt(x,y)=0 表示點(diǎn)(x,y)被判定為背景點(diǎn),利用當(dāng)前幀進(jìn)行背景更新。α為背景模型學(xué)習(xí)速率。α值太小,則背景更新很慢,不能很好地體現(xiàn)出視頻圖像的變化,會(huì)降低對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的正確率;而α值太大,則背景更新很快,容易產(chǎn)生虛假檢測(cè)。因此,α的取值不能太大或者太小,經(jīng)驗(yàn)值在0.05 到0.1 之間,取 α =0.05。
將三幀差法和背景減法閾值化后得到的二值圖像進(jìn)行或運(yùn)算,得到初步的運(yùn)動(dòng)區(qū)域,由于檢測(cè)圖像中會(huì)存在一些散點(diǎn)和噪聲,因此對(duì)結(jié)果圖像進(jìn)行形態(tài)學(xué)處理來消除這些影響,一般的形態(tài)學(xué)處理有腐蝕、膨脹、開運(yùn)算和閉運(yùn)算。
2001年,Viola和 Jones[7]提出了積分圖像的概念和基于Adaboost方法訓(xùn)練人臉檢測(cè)分類器的方法,建立了第一個(gè)真正實(shí)時(shí)的人臉檢測(cè)系統(tǒng)。其基本思想是在給定的訓(xùn)練集上反復(fù)訓(xùn)練,挑選出關(guān)鍵的分類特征(弱分類器),然后把這些在訓(xùn)練集上得到的弱分類器線性組合起來構(gòu)成一個(gè)最終的強(qiáng)分類器。
此次的人臉檢測(cè)方法主要是基于類Haar特征的積分圖運(yùn)算、Adaboost算法和級(jí)聯(lián)分類器相結(jié)合的方法。人臉檢測(cè)原理框圖如圖3所示。
圖3 人臉檢測(cè)流程圖
類Haar特征是一種矩形特征,主要分為三類:邊緣特征、線性特征和對(duì)角線特征。這些特征模板都是由兩個(gè)及以上的全等矩形相鄰組合而成,特征模板內(nèi)有黑白兩種矩形,并定義模板的特征值為白色矩形內(nèi)的像素和減去黑色矩形內(nèi)的像素和。為提高訓(xùn)練與檢測(cè)的速度,選擇了圖4中3種類型5種形式的矩形特征。
圖4 3種類型的5種矩形特征
利用所得的積分圖矩陣可以快速計(jì)算矩形特征。矩形特征的特征值計(jì)算,只與此特征端點(diǎn)的積分圖有關(guān),而與圖像坐標(biāo)值無關(guān)。因此,不管矩形特征的尺度如何,特征值的計(jì)算所耗費(fèi)時(shí)間均為常量,而且只是簡(jiǎn)單的加減運(yùn)算。
Adaboost算法是一種迭代算法,它能自適應(yīng)的調(diào)節(jié)訓(xùn)練樣本權(quán)重的大小。起初每一個(gè)訓(xùn)練樣本都被賦予一個(gè)權(quán)重,表明它被某個(gè)分類器選入訓(xùn)練集的概率。如果某個(gè)樣本點(diǎn)被準(zhǔn)確分類,則在構(gòu)造下一個(gè)訓(xùn)練集中,它被選中的概率降低,反之,則它的權(quán)重提高。在每一次迭代訓(xùn)練后,挑選出當(dāng)前樣本權(quán)重分布下分類錯(cuò)誤率最小的弱分類器作為最佳弱分類器,并通過線性組合將這些最佳弱分類器組成一個(gè)強(qiáng)分類器。Adaboost算法具體步驟如下[8]:
(1)給定一系列訓(xùn)練樣本 (x1,y1),(x2,y2),...,(xn,yn),其中 yi=1 表示人臉,yi=0 表示非人臉。
(3)迭代T次求取最佳弱分類器,即最佳特征。For t=1,2,...,T
b.對(duì)每個(gè)特征 f,訓(xùn)練一個(gè)弱分類器 h(x,f,p,θ),計(jì)算對(duì)應(yīng)所有特征的弱分類器的加權(quán)qt的錯(cuò)誤率 εf:εf= ∑iqi|h(xi,f,p,θ)- yi|
c.選取最佳弱分類器hi(x),即擁有最小錯(cuò)誤率εt:
ht(x)=h(x,ft,pt,θt)
其中ei=0表示xi被正確分類,ei=1表示xi被錯(cuò)誤分類
(4)最后的強(qiáng)分類器:
多層級(jí)聯(lián)分類器結(jié)構(gòu)的每一層都是由Adaboost算法訓(xùn)練得到的強(qiáng)分類器。級(jí)聯(lián)結(jié)構(gòu)可以快速有效地對(duì)輸入圖像中的非人臉部分進(jìn)行排除,從而提高人臉檢測(cè)的速度。在圖像檢測(cè)中,待檢測(cè)子窗口依次通過每一層分類器,位于前端的強(qiáng)分類器所包含的特征較少,分類速度很快,可以將大部分的非人臉子窗口排除,通過每一層分類器的檢測(cè)子窗口即為候選的人臉窗口。位于后面幾層的強(qiáng)分類器包含的特征數(shù)目增多,用來區(qū)分那些與人臉類似的負(fù)樣本。雖然特征數(shù)量變多了,但是能夠達(dá)到這些層的子窗口數(shù)已經(jīng)很少,因此在實(shí)際檢測(cè)時(shí),后面幾層的檢測(cè)也不耗時(shí)。這些通過訓(xùn)練得到的每一層分類器,都要滿足一定的性能要求,即檢測(cè)率和虛警率。每一層的檢測(cè)率和虛警率可以依據(jù)整個(gè)系統(tǒng)的檢測(cè)率與虛警率得到,系統(tǒng)的檢測(cè)率和虛警率分別等于各層的檢測(cè)率與虛警率的乘積。
為了驗(yàn)證算法的有效性,使用監(jiān)控?cái)z像機(jī)在實(shí)驗(yàn)室中拍攝的視頻進(jìn)行實(shí)驗(yàn),視頻單幀圖像大小設(shè)定為320×240進(jìn)行算法測(cè)試。圖5與圖6為這次算法對(duì)視頻中的人臉進(jìn)行檢測(cè)的實(shí)驗(yàn)結(jié)果圖。實(shí)驗(yàn)結(jié)果表明,這種算法在視頻圖像中基本能夠準(zhǔn)確、實(shí)時(shí)的進(jìn)行人臉檢測(cè)。
圖5 算法的實(shí)驗(yàn)過程結(jié)果圖
圖6 視頻圖像的檢測(cè)結(jié)果
由于高原地區(qū)霧天較多,同時(shí)由于霧霾天氣增加,霧景圖像增強(qiáng)技術(shù)需求不斷增強(qiáng),因此科研領(lǐng)域產(chǎn)生了很多霧景圖像增強(qiáng)新算法,它們各有其優(yōu)缺點(diǎn)。由于自然圖像的復(fù)雜性,現(xiàn)存的很多算法不能完全滿足需要。因而,霧景圖像增強(qiáng)領(lǐng)域必須解決以下幾個(gè)問題:在圖像增強(qiáng)的時(shí)候,會(huì)出現(xiàn)噪聲擴(kuò)大,細(xì)節(jié)丟失的現(xiàn)象,這仍是今后需要改進(jìn)的地方。找到一個(gè)算法可以增強(qiáng)霧霾條件下圖像是今后研究的重點(diǎn)和難點(diǎn),也是今后圖像去霧研究的發(fā)展方向。盡量減少人工干預(yù)的成分,使參數(shù)獲得智能化、自動(dòng)化。將一些性能好的智能算法、優(yōu)化算法應(yīng)用到霧景圖像增強(qiáng)方面,以提高霧景圖像增強(qiáng)的效率。
[1]劉治群,汪榮貴,楊萬挺.一種改進(jìn)的處理霧天降質(zhì)圖像的增強(qiáng)算法[J].淮北煤炭師范學(xué)院學(xué)報(bào),2008,4(29):52-56.
[2]周衛(wèi)星,廖歡.基于高頻強(qiáng)調(diào)濾波和CLAHE的霧天圖像增強(qiáng)方法[J].數(shù)字視頻,2010(7):38-40.
[3]胡大南,何濤.基于霧天環(huán)境下圖像增強(qiáng)方法研究[J].科技論壇,2011(2):14 -15.
[4]衛(wèi)婷婷,紀(jì)峰,龐勝軍.圖像增強(qiáng)算法新進(jìn)展[J].寧夏師范學(xué)院學(xué)報(bào)(自然科學(xué)),2012(12):6-33.
[5]黃黎洪.一種基于單尺度Retinex的霧天降質(zhì)圖像增強(qiáng)新算法[J].應(yīng)用光學(xué),2010,31(5):728 -733.
[6]ROSENMAN J,ROE C A,CROMATRIE R.Portal film enhancement:technique and clinical utility[J].International Journal of Radiation Oncology,Biology,Physics,1993,25(2):333 -338.
[7]John P.Oakley,Brenda L.Satherley.Improving Image Quality in Poor Visibility Conditions Using a Physical Model for Contrast Degradation[J].IEEE TRANSACTIONSONIMAGEPROCESSING,1998,7(2):167-179.
[8]錢徽,朱淼良.大氣退化的自然山體圖像復(fù)原研究[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2002,14(6):526-529.
[9]劉錦鋒,黃峰.天氣影響的場(chǎng)景影像復(fù)原方法[J].光電工程,2005,32(1):71 -73.
[10]葛君偉,謝祥華,方義秋.霧天圖像清晰化方法及應(yīng)用[J].重慶郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2010,22(2):223-226.
[11]汪榮貴,楊萬挺,方帥.基于小波域信息融合的MSR改進(jìn)算法[J].中國圖象圖形學(xué)報(bào),2010,15(7):1901-1908.
[12]董慧穎,方帥,王欣威.基于物理模型的惡化天氣下的圖像復(fù)原方法及應(yīng)用[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2005,26(3):217 -219.
[13]許志遠(yuǎn).霧天降質(zhì)圖像增強(qiáng)方法研究及DSP實(shí)現(xiàn)[D].大連:大連海事大學(xué)博士論文,2010.
[13]胡學(xué)友.霧天降質(zhì)圖像的增強(qiáng)復(fù)原算法研究[D].合肥:安徽大學(xué)碩士論文,2011.