李科，劉允才

0 引言

目前，單攝像頭的監(jiān)控廣泛應(yīng)用于工業(yè)控制、安全保障、交通監(jiān)控、門禁系統(tǒng)等領(lǐng)域。在很多領(lǐng)域（如：安保系統(tǒng)，門禁系統(tǒng)）需要自動(dòng)的將人臉的圖像，從視頻中檢測(cè)出并記錄。由于視頻記錄的是連續(xù)的圖像，同一個(gè)人根據(jù)其停留時(shí)間的長(zhǎng)短，可以產(chǎn)生幾千至幾萬幅圖像，如果將其全部記錄是一種對(duì)空間的浪費(fèi)，也為后期的查找工作帶來很大的麻煩，選擇其中清晰度高的記錄，是一種直觀的可行辦法。由于光線、視角、遮擋等因素，視頻中檢測(cè)到的人臉并不總是正面清晰的，很可能是模糊的，從大量的連續(xù)圖像中，自動(dòng)選取一個(gè)清晰人臉成為一個(gè)難題。本文提出了利用頻域變換的方法在大量人臉序列圖像中得到高清晰度圖像的方法。

1 人臉圖像清晰度的分析

圖像是否清晰，在頻域是由其高頻分量決定的，而高頻分量越豐富，經(jīng)過頻域變換后其值越大，通過一定的預(yù)處理，可以使頻域變換值與清晰度成正比關(guān)系，以此來選擇圖像，主要包含以下處理過程：

1）圖像預(yù)處理與人臉的檢測(cè)

根據(jù)監(jiān)控區(qū)域的特點(diǎn)來決定采用的圖像預(yù)處理的方法。如果監(jiān)控區(qū)域整體亮度太高，將首先降低亮度值；如果監(jiān)控區(qū)域整體亮度太低，將首先升高亮度值。然后將彩色圖像轉(zhuǎn)化為黑白圖像，這樣一方面可以提高處理速度，一方面方便下一步的處理。然后對(duì)圖像進(jìn)行直方圖均衡化，使整個(gè)圖像的灰度平衡。最后對(duì)圖像進(jìn)行形態(tài)學(xué)處理，得到一個(gè)相對(duì)理想的圖像。

使用參考文獻(xiàn)[1]中的方法檢測(cè)人臉。盡管這個(gè)方法可以給我們提供非常高的檢測(cè)率和很低的錯(cuò)檢率，但仍然會(huì)有一些錯(cuò)誤的區(qū)域被當(dāng)做人臉，如不是皮膚顏色的區(qū)域和相互包含的區(qū)域。可以用兩個(gè)步驟來處理這個(gè)問題。首先檢查各個(gè)被認(rèn)為是人臉的區(qū)域的坐標(biāo)和大小，如果發(fā)現(xiàn)有一個(gè)大區(qū)域包含了一個(gè)小區(qū)域，去除那個(gè)較大的。然后檢測(cè)各個(gè)區(qū)域的顏色，大量的統(tǒng)計(jì)表明，在YCbCr顏色空間中，只有那些值在0

2）人臉的跟蹤

如圖1所示，本步驟如下所述：為便于描述，我們先定義幾個(gè)變量。數(shù)組變量PRE[]用來記錄前一幀捕獲的人臉信息，數(shù)組變量CUR[]用來記錄本幀捕獲的人臉信息。數(shù)組變量有以下兩種主要狀態(tài)：有用，無用。有用表示這個(gè)變量正被用于記錄信息，無用表示這個(gè)變量沒有被使用或者已經(jīng)被廢棄。有用狀態(tài)又有三個(gè)分支狀態(tài)：新的，正常的，消失的。新的表示這個(gè)變量存儲(chǔ)的是一個(gè)新檢測(cè)到的人臉信息，并且其置信值小于置信閾值下限，我們還不信任這是一個(gè)人臉。正常的表示這個(gè)人臉連續(xù)多次被檢測(cè)到。消失的表示這個(gè)人臉以前是正常的，但在最近幾幀中消失了，并且消失時(shí)間小于消失時(shí)間閾值。

對(duì)每個(gè)變量CUR，我們查詢哪個(gè)PRE能夠和它匹配，如果有匹配的，我們記錄是數(shù)組的第幾個(gè)變量匹配。如果沒有匹配的，我們認(rèn)為這個(gè)是新出現(xiàn)的人臉，將其信息保存在一個(gè)無用的PRE中。

對(duì)于每一個(gè)匹配的PRE，考慮它的狀態(tài)。如果它是新的，增加它的置信值，保存人臉信息。如果它是正常的，只需要保存人臉信息。如果是消失的，這說明我們?cè)俅握业搅诉@個(gè)人，將其狀態(tài)變更為正常的，保存人臉信息。

對(duì)于數(shù)組CUR[]中每一個(gè)CUR執(zhí)行以上步驟，然后處理那些數(shù)組PRE[]中未被匹配的。如果狀態(tài)是新的并且置信值小于閾值，認(rèn)為它是噪聲，直接刪除。如果狀態(tài)是新的但是置信值大于閾值，減小置信值。如果是正常的并且在圖像邊界附近，認(rèn)為它是走出了監(jiān)控區(qū)域，輸出現(xiàn)有信息。如果是正常的但是沒有在圖像邊界附近，將其標(biāo)記為消失。如果狀態(tài)是消失但是消失時(shí)間小于閾值，增加消失時(shí)間。如果狀態(tài)是消失的并且消失時(shí)間大于閾值，認(rèn)為其消失了，輸出現(xiàn)有信息。

3）人臉的捕捉

人臉選擇部分主要通過頻域方法實(shí)現(xiàn)。首先將所有候選圖像歸一化為同一大小，然后截取正中間的20乘以20像素的圖像進(jìn)行處理。根據(jù)人臉檢測(cè)的特點(diǎn)，人臉的主要部分主要集中在圖像中央，這樣做既可以減小計(jì)算量，又可以盡量減小背景的干擾。

圖1

可以選擇的頻域方法有快速離散傅里葉變換和小波變換，小波變換也可以選擇不同的基?；趯?shí)時(shí)監(jiān)控的特點(diǎn)，要求算法具有實(shí)時(shí)性，并且具有優(yōu)秀的效果，因此我們對(duì)比了FFT和基于haar基和bior基的小波變換。

i.快速離散傅里葉變換

二維離散傅里葉變換具有可分離性，即它可由兩次一維離散傅立葉變換計(jì)算得到，因此，僅研究一維離散傅立葉變換的快速算法即可。一維FFT的公式如下：

定義

于是

由此，可將一個(gè)N點(diǎn)的離散傅立葉變換分解成兩個(gè)N／2短序列的離散傅立葉變換，即分解為偶數(shù)和奇數(shù)序列的離散傅立葉變換Fe(u)和Fo(u)。

利用 FFT對(duì)候選圖像進(jìn)行處理，然后將變換中心移到圖像中心，這時(shí)遠(yuǎn)離中心的點(diǎn)代表高頻分量，計(jì)算高頻分量的強(qiáng)度，綜合此值以及原始圖像的大小來決定選取哪副圖像。

ii.小波的變換

二維小波具有可分離性、尺度不變性和平移性。核可以用3個(gè)可分的二維小波來表示：

其中，ψH(x,y), ψV(x,y)和ψD(x,y)分別稱為水平、垂直和對(duì)焦小波，并且一個(gè)二維可分的尺度函數(shù)是

對(duì)候選圖像進(jìn)行二維小波分解，并且計(jì)算水平分量和垂直分量的大小，選取值較大的。由于人臉的運(yùn)動(dòng)模糊主要來至于頭的水平轉(zhuǎn)動(dòng)和垂直轉(zhuǎn)動(dòng)，對(duì)角分量顯得不是那么重要，在不降低質(zhì)量的情況下，可以減少計(jì)算量，提高計(jì)算速度。

2 實(shí)驗(yàn)分析

利用 matlab的小波包，對(duì)得到的圖像進(jìn)行離散傅里葉變換和小波變換，記錄變換的時(shí)間以及選擇的圖片，比較時(shí)間的長(zhǎng)短和圖像的質(zhì)量。在本實(shí)驗(yàn)中，由視頻監(jiān)控程序捕捉到得候選圖像和結(jié)果如下：

圖2

在matlab中分別用 FFT、Haar、bior3.1、bior3.3、bior3.5對(duì)以上圖像進(jìn)行變換，比較高頻分量的值，選擇最大的一個(gè)。左邊的圖像為候選人臉，右邊第一列是用FFT得到的結(jié)果，右邊第二列是用Bior3.1小波得到的結(jié)果（其他小波基的結(jié)果同此）。得到的結(jié)果顯示，快速離散傅里葉變換和各種小波變換的選擇，在質(zhì)量上都是可以接受的。

對(duì)于第一行的人臉（其他人臉類似），各種方法的速度見下表，從圖表中可以看出，bior3.1具有最快的速度，這對(duì)實(shí)時(shí)系統(tǒng)非常重要，因此可以選擇基于bior3.1基的小波變換來處理圖像。

表1

3 結(jié)論

本文提出了一種實(shí)時(shí)提取監(jiān)控視頻中最清晰人臉的方法，利用圖像預(yù)處理、人臉檢測(cè)、人臉跟蹤得到大量候選圖像，然后通過頻域方法選擇最清晰的人臉。本文比較了快速離散傅里葉變換和幾種不同基的小波變換，可以看出各種頻域方法都有可以接受的質(zhì)量，但是基于bior3.1基的小波具有最快的速度，最適合實(shí)時(shí)監(jiān)控的特點(diǎn)。實(shí)驗(yàn)結(jié)果顯示了本文所提出的方法是有效的。

[1]Paul Viola and Michael Jones: Rapid Object Detection using a Boosted Cascade of Simple Features. IEEE Conference on Computer Vision and Pattern Recognition 2001.

[2]Rainer Lienhart and Jochen Maydt: An Extended Set of Haar-like Features for Rapid Object Detection.Internationl Conference on Image Processing 2002.

[3]Omar Javed and Mubarak Shah:Tracking And Object Classification For Automated Surveillance.Europeon Conference on Computer Vision 2002.

[4]Bo Wu and Ram Nevatia:Cluster Boosted Tree Classi fi er for Multi-View,Multi-Pose Object Detection.IEEE International Conference on Computer Vision 2007.

[5]孫延祿:關(guān)于銀幕畫面清晰度的評(píng)價(jià)與表征方法.MOTION P ICTURE &VIDEO TECHNOLOGY 2002,No.8 22-30.

[6]劉興寶,袁道成:基于紋理分析的小波變換圖像清晰度評(píng)價(jià)方法研究.儀器儀表學(xué)報(bào)2007,No.8 .

[7]江澤民,徐德,楊月全,譚民:基于小波包分解的圖像清晰度判定.中國(guó)圖像圖形學(xué)報(bào)2004,No.6.