王吉林,葉建隆,趙 力,鄒采榮(1.鹽城工學(xué)院,信息工程學(xué)院,江蘇鹽城4051;).東南大學(xué)信息科學(xué)與工程學(xué)院,南京10096
人臉檢測(cè)[1]是指對(duì)圖像和視頻中的人臉做出正確的定位,在自動(dòng)人臉識(shí)別系統(tǒng)中,人臉檢測(cè)是其第一個(gè)關(guān)鍵的步驟,因?yàn)槿四樧R(shí)別的精度與人臉檢測(cè)的精度息息相關(guān)。近些年來(lái),人臉檢測(cè)技術(shù)已經(jīng)成為人們研究的熱點(diǎn)之一,是廣大研究人員公認(rèn)的難題。這一問(wèn)題的難度主要表現(xiàn)在三個(gè)方面[2]:①雖然每張人臉都有眼睛、鼻子和嘴,且都按照一定的空間結(jié)構(gòu)分布,但人與人之間的五官差異較大,導(dǎo)致反映在圖像中紋理的不同;②人臉的一些非固定特征,如眼鏡、胡子等,也使人臉檢測(cè)變得復(fù)雜;③由于人臉是一個(gè)三維非剛性物體,所以光照條件的不同,也使得人臉圖像千變?nèi)f化??傊四樀那ё税賾B(tài),使得人臉檢測(cè)變得十分困難。
盡管如此,人們還是提出了許多有效的人臉檢測(cè)方法[3-6],Rowley等提出了基于多個(gè)神經(jīng)網(wǎng)絡(luò)綜合決策的人臉檢測(cè)方法[7],該方法在理論上可以通過(guò)大量樣本的訓(xùn)練來(lái)檢測(cè)不同角度、不同遮擋、不同臉型的人臉,但其訓(xùn)練樣本,尤其是非人臉樣本的選擇和神經(jīng)網(wǎng)絡(luò)的收斂都是非常困難的問(wèn)題;Viola等提出了一種基于Adaboost的人臉檢測(cè)算法[8],有效地解決了檢測(cè)速度問(wèn)題,且具有較好的檢測(cè)效果,但是存在著訓(xùn)練速度緩慢、檢測(cè)結(jié)果過(guò)分依賴訓(xùn)練樣本的現(xiàn)象;劉偉等提出了基于Gabor小波和神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)方法[9],一定程度上改善了檢測(cè)效果,但由于Gabor小波的有限方向性及神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜性,并不適合實(shí)時(shí)處理;曹剛等提出了用小波變換域中的小波系數(shù)作為隱馬爾克夫模型人臉檢測(cè)的觀察特征向量[10],取得較好的實(shí)際效果,但是小波只能捕捉具有點(diǎn)奇異的函數(shù),并不能很好地描述人臉面部及五官的邊緣特征,即不是圖像的“最稀疏”表示,對(duì)人臉檢測(cè)結(jié)果產(chǎn)生了較大影響。
本文在曹剛等人的基礎(chǔ)上,將人臉圖像的曲線波變換系數(shù)作為觀察特征向量,然后根據(jù)隱馬爾可夫模型對(duì)人臉拓?fù)浣Y(jié)構(gòu)的約束以及曲線波變換的多尺度性和良好的方向性,采用曲線波隱馬爾可夫模型(Curvelet Hidden Markov Model,CHMM)從粗尺度到細(xì)尺度的人臉檢測(cè),大大地提高了人臉檢測(cè)的效果。實(shí)驗(yàn)結(jié)果表明,該方法相對(duì)于基于小波隱馬爾可夫模型人臉檢測(cè),具有更高的檢測(cè)速度、正確率和魯棒性。
小波是一個(gè)很好的函數(shù)分析工具,在二維或多維情況下,因?yàn)槠溆邢薜姆较蛐?即個(gè)向同性),由一維小波張成的可分離小波并不能“最優(yōu)逼近”具有線或者面奇異的函數(shù)。對(duì)于一般的目標(biāo)函數(shù)(如人臉圖像),邊緣是面部輪廓及五官的不連續(xù)所在,通常情況下,邊緣并不是點(diǎn)狀和直線型的。對(duì)于一個(gè)具有曲線奇異性的目標(biāo)函數(shù)來(lái)說(shuō),小波并不是最稀疏的表示方法。
Curvelet變換[11]正是為了克服小波的這一局限性而產(chǎn)生的。與小波變換不同,除了尺度和位移參數(shù)外,Curvelet還增加了一個(gè)方向參數(shù),使之具有更好的方向辨識(shí)能力。因此,Curvelet對(duì)圖像的邊緣,如曲線、直線等幾何特征的表達(dá)更加優(yōu)于小波,使用Curvelet變換提取人臉特征是一條更有效的途徑。2005年Candes等對(duì)第一代Curvelet算法進(jìn)行改進(jìn),提出了更簡(jiǎn)單、更便于理解的快速Curvelet變換算法,即第二代Curvelet變換,大大降低了數(shù)據(jù)的冗余度。
第二代Curvelet變換有兩種離散的實(shí)現(xiàn)方法,分別是基于非均勻采樣的快速傅里葉變換(Unequally-Spaced Fast Fourier Transform,USFFT)以及基于特殊選擇的傅里葉采樣的卷繞(Wrapping of specially selected Fourier samples,Wrapping)。USFFT和Wrapping這兩種方法的主要區(qū)別是每個(gè)尺度和每個(gè)方向上的網(wǎng)格選擇方法的不同。
對(duì)?f[m1,n1]∈R2,0m1,n1N,基于 USFFT的Curvelet算法描述如下
(1)將f(m1,n1)進(jìn)行二維傅里葉變換,得到F(m2,n2),- N/2≤m2,n2N/2;
最后,成本管控采用方法落后、工作人員綜合素質(zhì)不足。受到傳統(tǒng)思維觀念的影響,現(xiàn)如今很多建筑施工企業(yè)在成本管控工作中采用的仍舊是傳統(tǒng)的方法措施,很多企業(yè)甚至未設(shè)置專門(mén)的成本管控組織,而是用財(cái)務(wù)人員承擔(dān)成本管控工作,須知成本管控和財(cái)務(wù)工作是兩個(gè)不同的體系,財(cái)務(wù)人員對(duì)成本管控的了解必然存在不足。一部分企業(yè)及時(shí)建立了專門(mén)的成本管控隊(duì)伍,但是隊(duì)伍在專業(yè)素質(zhì)上卻存在問(wèn)題,根本無(wú)法勝任新時(shí)期的成本管控工作。
(2)在 F(m2,n2)中對(duì)每一個(gè)尺度和角度(j,l)組合再取樣(或插值),得到新的取樣函數(shù) F(m2,n2- m2tanθl),(m2,n2)∈Pj;
(3)用窗口函數(shù) Uj(m2,n2)乘以新的 F(m2,n2-m2tanθl)可得
隱馬爾可夫模型(Hidden Markov Model,HMM)是指用概率統(tǒng)計(jì)的方法來(lái)描述時(shí)變信號(hào)過(guò)程,最初在語(yǔ)音信號(hào)識(shí)別中得到了廣泛的應(yīng)用,通常記HMM模型為λ={A,B,π},其中A為狀態(tài)轉(zhuǎn)移概率矩陣,B為觀察概率矩陣,π為初始狀態(tài)分布。
HMM是由兩種機(jī)理構(gòu)成的隨機(jī)過(guò)程[12],一個(gè)是內(nèi)在有限狀態(tài)的馬爾可夫鏈,馬爾可夫鏈按照狀態(tài)轉(zhuǎn)移概率矩陣改變狀態(tài)。另一個(gè)是序列觀察值的集合(或訓(xùn)練集),其中每個(gè)觀察值都與馬爾可夫鏈中的一個(gè)狀態(tài)相對(duì)應(yīng)。在實(shí)際應(yīng)用中,由于馬爾可夫鏈中的狀態(tài)不能直接觀察到,只能通過(guò)觀察序列來(lái)推斷狀態(tài)的存在及轉(zhuǎn)移特征,即模型的狀態(tài)掩蓋在觀察序列中,所以稱之為隱馬爾可夫模型[13]。HMM在模式識(shí)別應(yīng)用中的原理是通過(guò)從各個(gè)類別的樣本模板中提取的觀察值序列訓(xùn)練其各自的參數(shù)λc,c=1,2,…,C,C 是待識(shí)別的類別個(gè)數(shù),對(duì)于輸入未知的觀察值序列 O={O1,O2,…,OT},T是觀察值序列的向量個(gè)數(shù),則該觀察值序列的類別c*為:
觀察值序列O由模式識(shí)別中提取的特征值組成,Pr(O|λc)是觀察序列O與HMM參數(shù)λc的匹配值。
如果是曲線波變換域中提取的特征(如Curvelet系數(shù))組成的觀察值序列來(lái)構(gòu)造的HMM就稱為曲線波隱馬爾可夫模型。
其中,m、n分別為行數(shù)和列數(shù),s為Curvelet分解尺度的大小。與小波變換相類似,Curvelet分解層數(shù)的大小將直接影響圖像特征提取的效果。若分解層數(shù)太小,則圖像數(shù)據(jù)量沒(méi)有很好地壓縮,含有較多的冗余信息;若分解層數(shù)太大,則丟失了一些圖像的基本特征。設(shè)原始人臉圖像大小為M×N,一般定義Curvelet最大分解層數(shù)S為
通過(guò)實(shí)驗(yàn)可知,公式(4)得到的Curvelet分解層數(shù)大小能較好地滿足特征提取的需要。對(duì)于大小為112×92的人臉圖像,通過(guò)式(4)計(jì)算得到Curvelet分解層數(shù)值為4,由式(2)、(3)得到低頻系數(shù)大小為19×15,由此可知壓縮比超過(guò)36:1,有效地減少了特征空間的維數(shù)和運(yùn)算量。分解后的高頻系數(shù)反映圖像各個(gè)方向的細(xì)節(jié)、紋理等重要信息。為了計(jì)算方便和實(shí)際需要,設(shè)定每層方向數(shù)為8的倍數(shù),第一層8個(gè)方向,第二層16個(gè)方向。圖1所示為人臉圖像Curvelet分解過(guò)程示意圖,圖1(a)為原始人臉圖像,圖1(b)為分解后的低頻子帶系數(shù),圖1(c)為第二層16個(gè)方向的高頻子帶系數(shù)。
圖1 人臉圖像Curvelet分解示意圖
HMM是一種刻畫(huà)信號(hào)統(tǒng)計(jì)屬性的建模方法,對(duì)于人臉這種二維圖像而言如果建立二維HMM其計(jì)算量會(huì)太大[14]??紤]到計(jì)算的實(shí)時(shí)性,我們?nèi)圆捎脗鹘y(tǒng)的一維HMM。人臉HMM的觀察值就是從人臉圖像的Curvelet變換域中提出的Curvelet系數(shù)。人臉圖像可以進(jìn)行不同尺度的Curvelet變換,分解為低頻,第1,2…層高頻系數(shù),這里我們采用其中的低頻系數(shù)作為觀察值,則OjL={O1,…,Oi,Oi+1,…OT}構(gòu)成了尺度j=1的低頻觀察值序列(其中Oi為低頻向量)。
aij表示t時(shí)刻從狀態(tài)si轉(zhuǎn)移到t+1時(shí)刻狀態(tài)sj的概率,即為一階HMM的狀態(tài)數(shù)。一般來(lái)說(shuō),N越大HMM描述越精確,但其復(fù)雜度越高??紤]到人臉中的眼睛、鼻子和嘴的區(qū)域的特征較為穩(wěn)定,并且為了提高檢測(cè)速度,我們選取的人臉的N為3,即狀態(tài)集合S={s1,s2,s3}={眼睛、鼻子、嘴},如圖2所示。
圖2 HMM狀態(tài)示意圖
(2)觀察值概率矩陣B={bj(k)},設(shè)t時(shí)刻狀態(tài)sj的觀察值為 vk,即 bj(k)=Pr(ot=vk/qt=sj),1≤k≤M,1≤j≤N,M和N分別觀察數(shù)和狀態(tài)數(shù)。bj(k)與時(shí)刻t無(wú)關(guān),而只與當(dāng)前的狀態(tài)j有關(guān),所有的bj(k)組成了大小為N×M的觀察矩陣B。
(3)初始狀態(tài)概率矩陣π,設(shè)HMM的起始時(shí)刻t=1,π1=Pr(q1=s1)表示t=1起始狀態(tài)為s1的概率,則 π =(π1,π2,…,πN)表示起始時(shí)刻為各種可能狀態(tài)S=(s1,s2,…,sN)的概率。由上述分析可知,,即初始狀態(tài)只可能是所有狀態(tài)的一種且所有可能的初始狀態(tài)概率之和為1。
人臉檢測(cè)是指在輸入圖像中確定是否有人臉存在,如果有則確定其位置、大小的過(guò)程。本文提出的檢測(cè)方法需要用人臉的標(biāo)準(zhǔn)模板CHMM參數(shù)進(jìn)行檢測(cè),由于各個(gè)人臉樣本的尺度和灰度分布各不相同,需先對(duì)他們進(jìn)行尺度和灰度分布標(biāo)準(zhǔn)化,然后將所有樣本取灰度平均并壓縮到需要尺度作為標(biāo)準(zhǔn)模板。根據(jù)Curvelet變換的多尺度性,我們采用尺度從粗到細(xì)的搜索策略,在此先介紹基于單尺度的CHMM的人臉檢測(cè)。
基于單尺度的CHMM的人臉檢測(cè)是用標(biāo)準(zhǔn)模板某個(gè)尺度為j的CHMM參數(shù)λjL分別在輸入圖像的Curvelet變換域?qū)?yīng)尺度下的系數(shù)矩陣中進(jìn)行匹配搜索。首先在每個(gè)檢測(cè)點(diǎn)上取得以該點(diǎn)為左上角的矩形框,使該矩形框的大小與標(biāo)準(zhǔn)模板的Curvelet變換域中對(duì)應(yīng)尺度的低頻系數(shù)矩陣大小一致,再在矩形框中提取觀察序列值},然后用Viterbi算法計(jì)算該檢測(cè)點(diǎn),計(jì)算完該點(diǎn)對(duì)應(yīng)的后,然后再將檢測(cè)范圍中再?gòu)纳系较?、從左到右以此逐點(diǎn)計(jì)算各個(gè)檢測(cè)點(diǎn)對(duì)應(yīng)的Pr。設(shè)在檢測(cè)范圍中檢測(cè)的點(diǎn)數(shù)為M,則搜索完畢可得M個(gè)Pr(OjL[k]|λjw),1≤k≤M。
若已知輸入圖像含有單個(gè)人臉,可以根據(jù)
式中k*為所有監(jiān)測(cè)點(diǎn)中為最大的檢測(cè)點(diǎn),即單個(gè)人臉對(duì)應(yīng)的位置。若輸入圖像含有多個(gè)人臉,可以根據(jù)下式判定:
為了進(jìn)一步提高檢測(cè)精度,根據(jù)Curvelet變換的多尺度特性,我們采取尺度從粗到細(xì)的搜索策略,即先用標(biāo)準(zhǔn)模板粗尺度Curvelet系數(shù)的CHMM參數(shù)在輸入圖像粗尺度的Curvelet域按3.1中的方法進(jìn)行全局范圍檢測(cè),取得人臉的大致位置,再根據(jù)人臉的大致位置,用CHMM標(biāo)準(zhǔn)模板作為細(xì)尺度上的Curvelet系數(shù),將輸入圖像的細(xì)尺度系數(shù)在Curvelet域中用同樣的方法進(jìn)行局部檢測(cè),取得人臉的精確位置。
為了驗(yàn)證算法的有效性,本文實(shí)驗(yàn)采用的是一套BioID樣本訓(xùn)練人臉庫(kù),該人臉庫(kù)共有23個(gè)人共計(jì)1 521幅人臉圖像,每幅圖像為384×286的灰度像素,具備不同的光照條件、背景、表情、發(fā)型和有無(wú)眼鏡等,并且人臉有一定的側(cè)轉(zhuǎn)角度。評(píng)價(jià)檢測(cè)結(jié)果的有效性包括兩個(gè)方面,檢測(cè)率和檢測(cè)速度。人臉檢測(cè)率為給定圖像中檢測(cè)出來(lái)的人臉和人臉總數(shù)的比率,檢測(cè)速度是檢測(cè)人臉?biāo)璧臅r(shí)間。
實(shí)驗(yàn)采用Pentium 4 3.0 GHz,2 GB內(nèi)存的計(jì)算機(jī)。為了驗(yàn)證算法的快速性以及對(duì)樣本隨機(jī)選取的魯棒性,先在BioID人臉庫(kù)中隨機(jī)選擇1 000幅人臉圖像,像素統(tǒng)一調(diào)整到112×92,再有代表性地選取1 500幅非人臉圖像,大小也為112×92,這2 500個(gè)圖像樣本形成初始的訓(xùn)練庫(kù)。最后對(duì)500幅人臉圖像進(jìn)行檢測(cè),部分復(fù)雜檢測(cè)圖像的檢測(cè)結(jié)果如圖3所示,將本文的算法和基于小波隱馬爾可夫模型方法結(jié)果進(jìn)行比較,表1給出了兩種方法對(duì)待檢測(cè)人臉的檢測(cè)正確率及檢測(cè)速度。
圖3 部分復(fù)雜檢測(cè)圖像的檢測(cè)結(jié)果
表1 本文算法與小波隱馬爾可夫方法的檢測(cè)結(jié)果比較
表中WHMM為基于小波變換隱馬爾可夫模型檢測(cè)方法,CHMM為本文所提出的方法。由表1可以看出,本文算法在BioID人臉數(shù)據(jù)庫(kù)上,檢測(cè)的正確率達(dá)到95.42%。相比小波方法,本文算法具有較高的檢測(cè)率,且特征維數(shù)少,檢測(cè)速度快。無(wú)論是簡(jiǎn)單特征簡(jiǎn)單背景的人臉圖像還是復(fù)雜表情復(fù)雜背景的人臉圖像,本文提出的檢測(cè)方法都有比較好的檢測(cè)結(jié)果,且受光照和背景影響較小,證明了該方法的魯棒性。但是本文所訓(xùn)練的參數(shù)集是基于Curvelet低頻系數(shù),會(huì)損失一部分細(xì)節(jié)和紋理信息,如果將低頻子帶系數(shù)和選擇性加上高頻子帶系數(shù),會(huì)帶來(lái)更好的檢測(cè)效果。
Curvelet變換由于能充分描述二維圖像中的曲線或直線狀邊緣特征,為圖像特征提取提供了一條新途徑。該算法通過(guò)對(duì)人臉圖像進(jìn)行Curvelet變換得到對(duì)應(yīng)的低頻和高頻分量,并根據(jù)各自分量的特點(diǎn)進(jìn)行人臉特征提取,然后根據(jù)隱馬爾可夫模型對(duì)人臉拓?fù)浣Y(jié)構(gòu)的約束,采用3狀態(tài)的隱馬爾可夫模型進(jìn)行從粗到細(xì)的人臉檢測(cè)。以BioID人臉庫(kù)為實(shí)驗(yàn)數(shù)據(jù),結(jié)果表明,本文方法特征提取合理,檢測(cè)率較高,對(duì)于人臉光照、姿態(tài)以及表情變化具有良好的魯棒性。下一步工作是將訓(xùn)練集由低頻子帶系數(shù)有選擇性加一些高頻子帶系數(shù),并考慮二維隱馬爾可夫模型來(lái)進(jìn)行參數(shù)集訓(xùn)練,以進(jìn)一步提高檢測(cè)率。
[1] 吳暾華,周昌樂(lè).平面旋轉(zhuǎn)人臉檢測(cè)與特征定位方法研究[J].電子學(xué)報(bào),2007,35(9):1715 -1718.
[2] Sung Kah-Kay.Learning and Example Selection for Object and Pattern Detection.Ph.D.thesis,MIT AI Lab,January,1996.
[3] 吳證,周越,杜春華,等.彩色圖像人臉特征點(diǎn)定位算法研究[J].電子學(xué)報(bào),2006,36(2):309 -311.
[4] Yang Mingshuan,Driegman David J.Detecting Faces in Images:A Survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(1):34 -58.
[5] Goldmann L,Monich U J,Sikora T.Components and Their Topology for Robust Face Detection in the Presence of Partial Occlusions[J].IEEE Transactions on Information Forensics and Security,2007,3(2):559 -569.
[6] Sznitman R,Jedynak.Active Testing for Face Detection and Localization[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(10):1914 -1920.
[7] Rowley H A,Baluja S,Kanade T.Neural Network Based Face Detection[J].IEEE Trans Pattern Analysis and Machine Intelligence,1998,20(1):23 -38.
[8] Viola P,Jones M.Robust Real-Time Face Detection[J].International Journal of Computer Vision,2004,57(2):137 -154.
[9] 劉偉,朱浩,劉吉邦,等.基于Gabor小波和神經(jīng)網(wǎng)的人臉檢測(cè)[J].通信技術(shù),2009,42(2):191 -193.
[10]曹剛,游志勝,劉直芳.基于小波隱性馬爾可夫模型的人臉檢測(cè)[J].信號(hào)處理,2004,20(1):26 -29.
[11] Candès E J,Donoho D L.Curvelets[D].PaloAltoDepart-ment of Statics,Stanford University,1999.
[12]陳茂林,陳飛虎.自組織隱馬爾可夫模型的人臉檢測(cè)研究[J].計(jì)算機(jī)學(xué)報(bào),2002,25(11):1165 -1169.
[13]朱明,郭春生.隱馬爾可夫模型及其最新應(yīng)用與發(fā)展[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2010,19(7):255 -257.
[14]周順先,林亞平,王耀南,等.基于二階隱馬爾可夫模型的文本信息抽取[J],電子學(xué)報(bào),2007,35(11):2226 -2231.