潘 越，方向忠，王 慈

(上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240)

?

人臉圖像信息可用性影響因素的研究分析

潘 越，方向忠，王 慈

(上海交通大學(xué) 電子信息與電氣工程學(xué)院，上海 200240)

傳統(tǒng)的圖像質(zhì)量評估技術(shù)通常用于判斷圖像的整體質(zhì)量，而不能有效地判斷人臉圖像信息的可用性。而人臉圖像信息可用性評估在安防監(jiān)控中具有很強的應(yīng)用價值。提出了人臉圖像信息可用性的概念，并提出了通過人臉識別算法來評估該可用性的度量方法。通過采用PCA人臉識別算法模擬仿真，定量地從原理上研究了影響人臉圖像信息有用性的關(guān)鍵因素，并通過實驗進(jìn)行了驗證。

人臉圖像；PCA識別；質(zhì)量評估

當(dāng)代是一個視覺內(nèi)容越發(fā)豐富的時代，圖像和視頻信息已經(jīng)變得無處不在，發(fā)達(dá)的科技讓人們可以輕松高效地完成圖像或者視頻信息的獲取、傳輸、存儲以及瀏覽。在這樣的過程中，一直被關(guān)注的一個問題就是：圖像所傳遞的信息對人是否有效，是否可用？

圖像質(zhì)量評估技術(shù)[1]的研究一般被應(yīng)用于對上述問題的回答當(dāng)中。如今的圖像質(zhì)量評估技術(shù)對圖像質(zhì)量的評價標(biāo)準(zhǔn)通常是圖像是否清晰、是否美觀[2]。當(dāng)前比較熱門的圖像質(zhì)量評估方法有空間域處理技術(shù)[3-4]、視覺碼本技術(shù)[5]、曲波小波混合變換技術(shù)[6]等。然而，不同的應(yīng)用場景對于圖像信息是否有用的標(biāo)準(zhǔn)是不一樣的。例如，對于安防監(jiān)控信息來說，公安能否從監(jiān)控中識別人臉才是圖像可用性的判斷標(biāo)準(zhǔn)。

圖像質(zhì)量評估技術(shù)判斷圖像是基于 “主觀平均打分”的標(biāo)準(zhǔn)(DMOS/MOS)[7]。而如果想要判斷一個監(jiān)控視頻的人臉部分的信息是否“可用”，DMOS標(biāo)準(zhǔn)將不具有參考價值。人們需要建立一個新的監(jiān)控圖像中的人臉數(shù)據(jù)庫，并將特定的受眾對數(shù)據(jù)庫中每張人臉的“可用性”高低的打分作為評判的基礎(chǔ)。

在圖像質(zhì)量評估技術(shù)的算法中，加性和乘性噪聲等因素通常是算法的入手點，這些因素也被認(rèn)為是影響圖像質(zhì)量“好壞”的關(guān)鍵因素。而在此之前尚未有研究者單獨對“人臉信息的可用性”進(jìn)行過相關(guān)研究，而人臉的可用性卻在安防視頻可用性有著很大的應(yīng)用前景。所以本文將從模糊和白噪聲的角度來研究影響人臉圖像信息可用性的因素，以及影響的具體原因和程度。

本文將計算機視覺的人臉識別技術(shù)識別率的高低作為人臉圖像“可用性高低”的評判標(biāo)準(zhǔn)。因為計算機人臉識別算法是對人主觀地進(jìn)行人臉識別的一種模擬，并且還可以從人臉識別算法的識別率變化，以及其變化的原因進(jìn)一步定量地探討影響人臉圖像可用性因素的影響原因和影響程度。

主成分分析(Principal Component Analysis, PCA)人臉識別算法[8]是使用最廣泛的人臉識別算法。本文將通過探索加性噪聲與乘性噪聲對PCA識別算法識別率的影響來認(rèn)識這些因素對人臉可用性的影響。

1 PCA人臉識別算法

PCA人臉識別方法，也叫做特征臉識別(eigenfaces)，是通過降維進(jìn)行人臉識別的算法。PCA的主要思想就是找到能夠最好地說明圖片在圖片空間中分布情況的向量。對于一幅M×N的人臉圖像，將其每列相連構(gòu)成一個大小為D=M×N維的列向量。D就是人臉圖像的維數(shù)。設(shè)n是訓(xùn)練樣本數(shù)，xj表示第j幅人臉圖像形成的人臉向量，則所需樣本的協(xié)方差矩陣為

(1)

式中：u為訓(xùn)練樣本的平均圖像向量，即

(2)

設(shè)A=[x1-u，x2-u，…，xn-u]，則有Sr=AAT，其維數(shù)為D×D。

根據(jù)SVD定理，令li(i=1,2,…,r)為矩陣ATA的r個非零特征值，vi為ATA對應(yīng)于li的特征向量，則AAT的正交歸一特征向量ui為

(3)

則特征臉空間為w=(u1,u2,…,ur)。

將訓(xùn)練樣本投影到“特征臉”空間，得到一組投影向量Ω=wTu，構(gòu)成人臉識別的數(shù)據(jù)庫。在識別時，先將每一幅待識別的人臉圖像投影到“特征臉”空間，再利用最近鄰分類器比較其與庫中人臉的位置，從而識別出該圖像是否為庫中的人臉，如果是，屬于哪一個人臉。

2 乘性噪聲對PCA人臉識別的影響：以鈍化噪聲為例

在各種圖像降質(zhì)因素[9]的影響中，“模糊”是圖像質(zhì)量降低的最為常見表現(xiàn)，也可以稱之為“鈍化噪聲”。鈍化噪聲相當(dāng)于給原圖中相近的像素點加上了一定的相關(guān)性。在數(shù)字圖像處理技術(shù)中，鈍化噪聲相當(dāng)于在原圖上用平滑濾波器進(jìn)行平滑處理的效果。平滑濾波器的不同也可以產(chǎn)生如均值平滑、高斯平滑等不同的效果。本文將從原理上推導(dǎo)通常的鈍化噪聲對PCA人臉識別造成的影響，以及影響的方式。

2.1 鈍化噪聲對協(xié)方差矩陣的影響

在現(xiàn)實場景中，訓(xùn)練集的圖像和預(yù)測集的圖像都應(yīng)來自相同的圖像獲取系統(tǒng)，所以應(yīng)當(dāng)有著相似的鈍化方式和鈍化程度。對于一幅M×N的人臉圖像，將其每列相連構(gòu)成一個大小為D=M×N維的列向量。D就是人臉圖像的維數(shù)，也即是圖像空間的維數(shù)。設(shè)n是訓(xùn)練樣本的數(shù)目；xj表示第j幅人臉圖像形成的人臉向量，這里用xj′來表示鈍化處理過的圖像。因為鈍化是屬于乘性噪聲，所以xj與xj′的關(guān)系表示如下：

xj′=B[xj]

(4)

式中：操作B[]表示對圖像xj進(jìn)行了鈍化處理，即用某平滑濾波器對xj代表的源圖像進(jìn)行了二維卷積操作，再將結(jié)果圖像表示為D=M×N維的列向量，即xj′。 則對應(yīng)于式(1)，訓(xùn)練所需樣本的協(xié)方差矩陣為

(5)

式中：u′為訓(xùn)練樣本的平均圖像向量，因為通常的平滑濾波器并不會改變圖像像素的均值，所以u′和式(2)中的u取相同的值，即

(6)

為了便于理解，根據(jù)式(4)，這里不妨近似地認(rèn)為

(7)

于是這里需要進(jìn)一步探索平滑操作對協(xié)方差矩陣Sr會造成何影響，協(xié)方差矩陣可以簡單地展開寫成

(8)

式中：對角線上的元素代表著每個人臉圖像向量的方差σ2，而非對角元素σij則代表人臉圖像向量xi和人臉圖像向量xj的互相關(guān)系數(shù)。

對于PCA人臉識別方法，關(guān)鍵的要素是從D=M×N維的列向量中提取信息量最大的主元,舍棄信息量較少的維，即一個降維的過程。從數(shù)學(xué)上講，就是選擇的維度需要使原始數(shù)據(jù)投射在這些維度上之后，字段之間的相關(guān)性盡量小，即協(xié)方差要盡量小，而字段自身的信息量要盡量大，即方差盡量大。于是不難發(fā)現(xiàn)，這就是將協(xié)方差矩陣Sr對角化的過程。PCA方法所求的“主元”實際上就是讓協(xié)方差矩陣對角化的維度。

從前面的分析可以初步發(fā)現(xiàn)，平滑處理讓協(xié)方差矩陣的元素值變小了，雖然這讓不同人臉間的互相關(guān)性下降了，但平滑也讓對角元素變小，本質(zhì)上這是一種信息量的丟失，這樣也就在一定程度上理解了為何鈍化噪聲會影響PCA人臉識別的效果了。

2.2 鈍化噪聲對主元的影響

通過進(jìn)一步探索平滑對主元的影響，可以對信息量的丟失有更直接的理解。在數(shù)學(xué)中，協(xié)方差矩陣對角化后得出該矩陣的特征值為

(9)

N張圖片訓(xùn)練集的協(xié)方差矩陣將有n個特征值。PCA人臉識別方法中，在求得特征值后，將特征值從大到小排序，選出數(shù)值大的特征值(如前10大)，其對應(yīng)的正交特征向量就是算法所求的主元特征空間。越大的特征值意味著其特征向量對應(yīng)的維度具有越高的信息量。對于特征值為λj的主成分，λj也是該主成分的方差，該值表示樣本點方向的離散程度，主成分λj的貢獻(xiàn)率為

(10)

根據(jù)之前的分析，鈍化噪聲導(dǎo)致協(xié)方差矩陣信息的流失。于是在進(jìn)行協(xié)方差矩陣對角化之后，所得到的特征值對應(yīng)的維度將不再足夠離散，即不再像平滑之前那樣具有足夠的信息量。所以，平滑導(dǎo)致了主要特征值的減小，以及n個人臉圖像訓(xùn)練集中的n個特征值的均值和方差的減小。如圖1，通過實驗，筆者也驗證了在平滑之后特征值的變化結(jié)果(實驗所用數(shù)據(jù)庫，具體條件、參數(shù)等詳細(xì)信息見第4節(jié))。

通俗地講，正是特征值這樣的變化，導(dǎo)致了PCA算法選擇出來的所謂“主元”不再如平滑之前那樣具有足夠的信息量，相對地不能夠反映人臉的關(guān)鍵特征，從而最終導(dǎo)致了PCA算法識別效果的變差。通過PCA人臉識別算法的分析，可以看到鈍化噪聲對人臉圖像信息可用性造成的影響。

3 加性噪聲對PCA人臉識別的影響：以白噪聲為例

在圖像降質(zhì)的因素中，除了乘性的鈍化噪聲之外，另一類降質(zhì)因素就是加性噪聲。圖像降質(zhì)中常見的白噪聲根據(jù)分布特性的不同，有高斯噪聲、椒鹽噪聲等。與前一節(jié)類似，這一節(jié)將從原理上推導(dǎo)通常的白噪聲對PCA人臉識別造成的影響，以及影響的方式。

因為白噪聲是屬于加性噪聲，所以xj與xj′的關(guān)系表示為

圖1 鈍化噪聲對特征值的影響

xj′=xj+Nj

(11)

其中Nj表示圖像xj上的白噪聲，Nj與xj一樣，也是D=M×N維的列向量。為了方便推導(dǎo)，下文都將以均值為0、方差為σ2的高斯白噪聲為例。所以Nj可以表示為

Nj=p(x)

(12)

(13)

于是這里需要進(jìn)一步探索平滑操作對協(xié)方差矩陣Sr會造成如何的影響，協(xié)方差矩陣可以簡單地展開寫成與式(8)相同的形式。

再進(jìn)一步從特征值λj的角度來考慮。上述Sr在受到噪聲影響后，元素相應(yīng)地增大。在協(xié)方差矩陣對角化得到特征值λj對角陣時，特征值同樣也會總體地增大，使得原來信息量小的特征值λ反而會變得較大。

從實驗(實驗所用數(shù)據(jù)庫、具體條件、參數(shù)等詳細(xì)信息見第4節(jié))中筆者的觀點也得到了驗證。如圖2a所示，其中特征值的增大印證了筆者的分析，而方差的減小則也說明了噪聲使本來方差較大、“好壞分明”的特征值被噪聲加上了干擾因素后更趨于均值。如圖2b所示，隨著噪聲方差的增大，PCA識別算法選出的“主元”將失去其能量占比高的特點，結(jié)合式(10)，就能夠理解噪聲最終導(dǎo)致了信息的流失。其中，特征值λj以及其對應(yīng)特征空間的物理意義在上一節(jié)已經(jīng)闡明，這里不再贅述。這里不難發(fā)現(xiàn)，與上一節(jié)鈍化噪聲相比，白噪聲對協(xié)方差矩陣、特征值的影響方式恰恰是相反的，不過都是導(dǎo)致了有效信息的丟失，并最終導(dǎo)致識別率的降低。

圖2 高斯白噪聲對特征值的影響

4 實驗結(jié)果及分析

4.1 人臉數(shù)據(jù)庫

實驗使用的數(shù)據(jù)庫是ORL人臉數(shù)據(jù)庫[10]。該人臉數(shù)據(jù)庫包含40個人臉圖像，每個人臉有10張不同的圖像。每個人臉的圖像有不同的拍攝時間、不同的亮度、不同的面部表情(睜眼閉眼、微笑或不笑)或者是面部特征(戴眼鏡或不戴眼鏡)。所有的圖像都是在黑色的背景下拍攝的，圖像的分辨率均為112×92。

4.2 PCA識別率實驗

本文采用PCA識別方法進(jìn)行實驗，實驗分為兩個步驟：訓(xùn)練和預(yù)測。在實驗的過程中，筆者將ORL人臉數(shù)據(jù)庫分為兩個部分：訓(xùn)練集和預(yù)測集，且兩個集沒有交集。此外，實驗按照訓(xùn)練樣本占比分為兩類。一類為訓(xùn)練樣本占比30%，即每個人的10張臉部圖像中3張歸入訓(xùn)練集，剩余的7張歸入預(yù)測集。另一類為訓(xùn)練樣本集占比70%，即每個人的10張臉部圖像中7張歸入訓(xùn)練集，剩余的3張歸入預(yù)測集。為了保證實驗的精確性，實驗遍歷了所有訓(xùn)練集和預(yù)測集的可能性。例如在30%訓(xùn)練集的情況下，10張人臉選出3張加入訓(xùn)練集共有120種可能，所以筆者一共進(jìn)行了120次ORL人臉數(shù)據(jù)庫的訓(xùn)練和預(yù)測的實驗，每次取400張人臉中的120張圖片作為訓(xùn)練集，剩余的280張作為預(yù)測集，最終將120次實驗結(jié)果匯總記為最終的識別率，即預(yù)測正確的次數(shù)/預(yù)測總次數(shù)。

驗證鈍化噪聲對識別率的影響的試驗中，筆者使用高斯鈍化來給ORL人臉數(shù)據(jù)庫進(jìn)行預(yù)處理，并通過實驗驗證PCA識別率的變化。實驗結(jié)果如圖3所示，橫軸表示高斯鈍化窗的邊長變化(邊長為0表示沒有進(jìn)行鈍化處理)，其中高斯鈍化窗都為正方形。高斯鈍化采用0均值的模型，σ則設(shè)為邊長的函數(shù)，滿足

σ=0.3×([平滑窗邊長-1)×0.5-1]+0.8

(14)

圖3 高斯平滑對識別率的影響

驗證白噪聲對識別率的影響的試驗中，筆者使用高斯白噪聲來給ORL人臉數(shù)據(jù)庫進(jìn)行預(yù)處理，并通過實驗驗證PCA識別率的變化。實驗結(jié)果如圖4所示，實驗采用均值為0的高斯模型，橫軸表示高斯白噪聲的方差系數(shù)Var，其中Var=噪聲的灰度值方差/2552。

圖4 高斯白噪聲對識別率的影響

此外，在前兩節(jié)進(jìn)行的特征值實驗中，采用的均為和本節(jié)相同的鈍化或噪聲模型。由于只對特征值進(jìn)行實驗，所以這些實驗把ORL人臉數(shù)據(jù)庫的400張圖片都設(shè)置為訓(xùn)練集進(jìn)行訓(xùn)練所得到的特征值的特點。

4.3 實驗結(jié)果分析

實驗得出了與第2節(jié)、第3節(jié)分析一致的結(jié)論，即鈍化噪聲和白噪聲都一定程度地導(dǎo)致了識別率的下降，而第2節(jié)、第3節(jié)也從根源上解釋了識別率下降的原因，即圖像有效信息的丟失。

此外，從實驗結(jié)果也可以發(fā)現(xiàn)隨著噪聲的加強，識別率會越來越低。不過，實驗結(jié)果還顯示，不論是鈍化噪聲還是白噪聲，噪聲強度和識別率的變化關(guān)系并非是線性的。在噪聲強度未達(dá)到一定程度的時候，對識別率的影響并不是很顯著，而超過了某一強度后，識別率才開始顯著下降。從這樣的結(jié)論還可以進(jìn)一步發(fā)現(xiàn)，當(dāng)噪聲發(fā)生時，雖然都包含了信息的丟失，但是當(dāng)噪聲沒有達(dá)到很大強度時，PCA的人臉識別率其實并沒有受到影響，即并不強烈的噪聲對人臉圖像信息可用性的影響是可以忽略的。

以上的實驗結(jié)果也能夠說明，通過人臉識別技術(shù)可以一定程度上描述人臉部分圖像受到各種噪聲的影響，而人臉識別率也一定程度上反映了人臉圖像信息的可用性。

5 小結(jié)

本文提出了人臉圖像信息可用性這個研究課題，并說明了其重要性。隨后，通過PCA來模擬人對人臉圖像的識別，分析發(fā)現(xiàn)鈍化噪聲，以及白噪聲導(dǎo)致人臉圖像有效信息的流失，從而進(jìn)一步導(dǎo)致PCA人臉識別率的下降。基于本文得出的結(jié)論，未來將可以進(jìn)一步展開人臉圖像信息可用性評估技術(shù)的研究，從而解決安防監(jiān)控中對該技術(shù)的需要。

[1]楊慕星,孟放,姜秀華.不同分辨力視頻之間的圖像質(zhì)量客觀評價研究[J].電視技術(shù),2009,33(5):103-105.

[2]高立發(fā)，徐靜濤.基于自然場景統(tǒng)計的無參考圖像質(zhì)量評價算法[J]．電視技術(shù)，2014，38(1):11-16.

[3]MITTAL A, MOORTHY A K, BOVIK A C.No-reference image quality assessment in the spatial domain[J].IEEE Trans.Image Processing，2012，21(12)：4695-4708.

[4]TANG H, JOSHI N, KAPOOR A.Learning a blind measure of perceptual image quality[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI：IEEE Press，2011：305-312.

[5]YE P，DOERMANN D.No-reference image quality assessment using visual codebooks[C]//Proc.IEEE International Conference on Image Processing.[S.l.]：IEEE Press，2011：3129-3138.

[6]SHEN J, LI Q, ERLEBACHER G.Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images[J].IEEE Trans.Image Processing, 2011，20(8)：2089-2098.

[7]ITU-R，ITU-R Recommendation 500-5 method for the subjective assessment of the quality of television pictures[S].1992.

[8]閆娟,程武山,孫鑫.人臉識別的技術(shù)研究與發(fā)展概況[J].電視技術(shù),2006,30(12):81-84.

[9]王文文，錢振興，趙麗麗.基于平滑特性的壓縮圖像質(zhì)量盲評估[J].電視技術(shù).2013，37(2):91-94.

[10]AT&T Laboratories Cambridge.Face database[S].2002.

潘 越(1990— )，碩士生，主研數(shù)字圖像處理；

方向忠(1968— )，教授，博士生導(dǎo)師，主研圖像通信與多媒體技術(shù)、數(shù)字電視、圖像壓縮編碼機器國際標(biāo)準(zhǔn)、圖像處理等；

王 慈(1976— )，副教授，主研圖像處理和視頻處理等。

責(zé)任編輯：薛 京

Image Validity Analysis for Face Recognition

PAN Yue, FANG Xiangzhong, WANG Ci

(SchoolofElectronicInformationandElectricalEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,China)

Traditional IQA (Image Quality Assessment) is used to do assessment on a general level, but can′t be used for face image quality assessment.However, assessment of face quality is needed in many applications such as surveillance video.The validity of face image is defined, and a method to assess face image using face recognition algorithm is proposed.And the key factors that affecting validity of face image are analyzed through experiment of PCA recognition algorithm in this paper.

face image; PCA recognition; quality assessment

上海市2014年度“科技創(chuàng)新行動計劃”高新技術(shù)領(lǐng)域項目

TN949.6

A

10.16280/j.videoe.2015.07.020

2014-10-08

【本文獻(xiàn)信息】潘越，方向忠，王慈.人臉圖像信息可用性影響因素的研究分析[J].電視技術(shù),2015，39(7).