黃麗雯，楊歡歡，王 勃

(重慶理工大學(xué) 電氣與電子工程學(xué)院， 重慶 400054)

多方法結(jié)合人臉圖像光照補(bǔ)償算法研究及改進(jìn)

黃麗雯，楊歡歡，王 勃

(重慶理工大學(xué) 電氣與電子工程學(xué)院， 重慶 400054)

光照問題一直是人臉識別領(lǐng)域亟待解決的熱點(diǎn)話題。在此背景下，首先詳細(xì)介紹了近幾年在人臉圖像識別中常用的兩種結(jié)合光照補(bǔ)償算法，對其特點(diǎn)進(jìn)行了研究，并提出了一種改進(jìn)的多方法結(jié)合算法，即采用直方圖均衡化和Retinex算法，然后對光照估計(jì)和反射圖像去噪部分使用雙邊濾波器進(jìn)行處理。選擇人臉數(shù)據(jù)庫YaleB07做仿真測試，發(fā)現(xiàn)改進(jìn)算法的實(shí)時(shí)性雖相對常用結(jié)合算法有所下降，但光照補(bǔ)償效果好。最后對SIFT特征進(jìn)行對比實(shí)驗(yàn)，結(jié)果表明：改進(jìn)算法的特征提取速度快且特征點(diǎn)有效率顯著提高。

人臉識別；光照補(bǔ)償；直方圖均衡化；雙邊濾波器；Retinex；SIFT

人臉識別技術(shù)是基于生物特征識別技術(shù)的身份認(rèn)證中最主要的方法之一[1]。由于其具有采集簡單、成本低、操作隱蔽性強(qiáng)、無侵犯性、易于接受等優(yōu)勢，近年來已在政府、軍隊(duì)、銀行、社會福利保障、電子商務(wù)、安全防務(wù)等領(lǐng)域得到了廣泛應(yīng)用。對于人眼來說，若用肉眼直接識別對方的身份或表情變化信息會是一件非常容易的事，但計(jì)算機(jī)實(shí)現(xiàn)這一功能就要復(fù)雜很多，這其中涉及計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、模式識別、機(jī)器學(xué)習(xí)、感知科學(xué)、人工智能、計(jì)算機(jī)智能等相關(guān)技術(shù)的研究。

人臉識別系統(tǒng)雖然已取得了較好的效果，但都是在特定的理想環(huán)境下實(shí)現(xiàn)的，若把姿態(tài)、表情、遮擋、光照等因素都考慮在內(nèi)，結(jié)果未必會達(dá)到期望值。而在這些影響識別效果的因素中，光照問題的影響最為顯著[2]。人眼之所以能看到物體，最主要的原因是光的存在，若沒有光，人眼無法看到物體，而光照條件的好壞直接影響最終識別的效果，且光線強(qiáng)弱不同時(shí)圖像識別的結(jié)果也存在較大的差別。相關(guān)研究也表明：對于不同的人，在相同的光照情況下，對于不同姿態(tài)或表情的識別率遠(yuǎn)大于同一人在不同光照情況下做出相同表情或姿態(tài)的識別率。因此，如何有效去除光照變化等噪聲，以減少光照對后續(xù)算法的影響，提高人臉的識別率與魯棒性，這是目前迫切需要解決的問題。

近年來解決光照問題的方法大致有3種：提取不變特征法、人臉建模法和光照補(bǔ)償法[3]，而使用更多的是光照補(bǔ)償結(jié)合算法。下面介紹常用的兩種結(jié)合算法及本文提出的改進(jìn)算法和仿真測試結(jié)果。

1 Retinex

Retinex理論由Edwin.H.Land于1963年提出。它由retina和cortex這兩個(gè)單詞合成。Retinex以顏色恒常性為基礎(chǔ)，不同于傳統(tǒng)的線性或非線性只能增強(qiáng)圖像某一類特征的方法，它能在動(dòng)態(tài)范圍、邊緣增強(qiáng)和顏色恒常三方面實(shí)現(xiàn)平衡效果。其基本思想為：在原始圖像上運(yùn)用某種方法去除或消弱入射圖像的影響，只保留物體本質(zhì)反射屬性的圖像。最基礎(chǔ)的方法是單尺度Retinex算法[4]，可表示為：

S(x,y)=R(x,y)·L(x,y)

(1)

其中：L(x,y)表示入射圖像，它決定圖像的亮度及像素的變化空間；R(x,y)為處于輸入圖像高頻部分的反射圖像；S(x,y)為最后看到的圖像。若把L的變化看作是理想的，式(1)可變?yōu)椋?/p>

r(x,y)=LogR(x,y)=LogS(x,y)-

LogL(x,y)=LogS(x,y)-

Log[F(x,y)*S(x,y)]

(2)

其中：r(x,y)為經(jīng)過高斯光照估計(jì)后的輸出圖像；*代表卷積；F(x,y)指高斯中心環(huán)繞函數(shù)。卷積可看作是對空間入射圖像的計(jì)算，然后將其去除，最后只保留物體的反射屬性。

實(shí)驗(yàn)中所用的人臉圖像來自Yale B人臉數(shù)據(jù)庫yaleB07中隨機(jī)挑選的一幅受右側(cè)光影響較嚴(yán)重的人臉正面照，統(tǒng)一大小為80×91。圖1(a)(b)分別為原圖和Retinex算法，其仿真處理后效果見圖1。

圖1 Retinex處理結(jié)果

從處理后的圖像可以看出：在側(cè)光較嚴(yán)重的情況下，該算法難以消除陰影[5]。為了得到更好的補(bǔ)償效果，Retinex算法常與其他方法相結(jié)合。

1.1 Retinex與直方圖均衡化相結(jié)合

直方圖均衡化一般用于圖像局部對比度的增強(qiáng)。它通過改變輸出圖像的直方圖，使其變得比較均勻，使圖像看起來更清晰，這在一定程度上對光照的影響起到消弱作用[6]。

簡單地說，灰度直方圖等同于概率論里的概率密度函數(shù)。直方圖的累加和等同于概率分布函數(shù)[7]，其計(jì)算過程如下：

1) 列出原圖像的灰度級fj，j=0,1,…,k,…,L-1，其中L為灰度級的個(gè)數(shù)。

2) 統(tǒng)計(jì)各灰度級的像素?cái)?shù)目nj，j=0,1,…,k,…,L-1。

5) 計(jì)算映射后的輸出圖像的灰度級gi，i=0,1,…,k,…,P-1，P為輸出圖像灰度級的個(gè)數(shù)：

gi=INT[(gmax-gmin)C(f)+gmin+0.5]

6) 統(tǒng)計(jì)映射后各級灰度級的像素?cái)?shù)目nj。i=0,1,…,k,…,P-1。

8) 用fj和gi的映射關(guān)系改變原圖像的灰度級，進(jìn)而得到需要的結(jié)果。

經(jīng)過上面8個(gè)步驟實(shí)現(xiàn)圖像的直方圖均衡化。而常用的結(jié)合算法1是先對人臉圖像進(jìn)行直方圖均衡化處理，再用Retinex算法處理，其結(jié)果如圖2所示，其中(a)～(c)依次為原圖、均衡化結(jié)果、結(jié)合算法1結(jié)果。由于通過均衡化對灰度的均衡作用可削弱濾波中引起的光暈，對陰影有一定的消除作用，因此在處理光照影響問題時(shí)，基于Retinex的光照補(bǔ)償算法常與其結(jié)合使用，即先進(jìn)行直方圖均衡化處理再進(jìn)行Retinex算法處理[7]，其結(jié)合算法1處理后的結(jié)果見圖2(c)。

圖2 結(jié)合算法1結(jié)果對比

由圖2可知：結(jié)合算法1處理的效果比只使用Retinex算法要好很多，陰影部分有了一定的消除，但并未完全消除，圖像輪廓變得有些模糊。

1.2 Retinex與雙邊濾波器相結(jié)合

Retinex算法對光照部分選用高斯環(huán)繞函數(shù)進(jìn)行估計(jì)，把入射圖像理想化為空間光滑。事實(shí)上，人臉圖像的投影陰影是違背照明緩慢變化假設(shè)的，若圖像的邊緣處在光照劇烈變化的情況下，這時(shí)由于高斯函數(shù)的各向同向性，圖像易產(chǎn)生光暈現(xiàn)象，估計(jì)出的光照也一定是灰度不連續(xù)的[8]。因此，要消除光暈必然要處理光照變化不理想的情況，而雙邊濾波器(BF)是一種保護(hù)邊緣信息的各向異性濾波器，光照估計(jì)效果較好，故操作時(shí)可用BF替代高斯函數(shù)估計(jì)光照。在進(jìn)行研究時(shí)，Retinex算法常與BF結(jié)合使用[8]。

BF是一種保邊去噪濾波器[9-11]，它由兩個(gè)函數(shù)構(gòu)成，分別由空間距離和像素差來決定濾波器系數(shù)[12]。其定義如下：

(3)

其中k(x)表示為：

(4)

式(4)中：f(x)為輸入；h(x)為輸出；c(ξ,x)為x與ξ的幾何距離度量；s(f(ξ),f(x))為f(ξ)與f(x)之間的光度相似度?？梢钥闯觯築F不僅對幾何域加強(qiáng)了平滑性，對光度域也加強(qiáng)了平滑度，滿足要求。

r′通過S與L′對數(shù)運(yùn)算作差得到。運(yùn)用BF估計(jì)L′得到R′的表達(dá)式如下：

r′(x,y)=LogR′(x,y)=Log(S(x,y)+1)-

Log(L′(x,y)+1)

(5)

其中L′(x,y)=h(x,y)*S(x,y)。

圖3為結(jié)合算法2的結(jié)果對比。其中(a)～(c)依次為原圖、BF處理結(jié)果、結(jié)合算法2結(jié)果。

圖3 結(jié)合算法二結(jié)果對比

從圖3可看出：經(jīng)過結(jié)合算法2處理后的圖像基本消除了陰影，輪廓較之前更清晰，但人臉左邊鼻子部分有重影，左右整體不再對稱。

2 改進(jìn)的多方法結(jié)合算法

在上述兩種常用結(jié)合光照補(bǔ)償算法的基礎(chǔ)上，本文提出改進(jìn)的多方法結(jié)合光照補(bǔ)償算法，首先對原圖像進(jìn)行均衡化運(yùn)算，再轉(zhuǎn)換到對數(shù)域(Log)用BF對入射圖像進(jìn)行光照估計(jì)[13]和反射圖像去噪[14]，然后做反對數(shù)運(yùn)算(exp)，得到S″用于后面的識別。改進(jìn)算法流程見圖4。

圖4 改進(jìn)算法流程

在這里，對反射圖像R選用BF去噪的原因是：根據(jù)Retinex算法，原圖像可以被看作R和L兩部分，其中L為原圖的低頻，相對來說更光滑，而噪聲常常為高頻，所以在運(yùn)算時(shí)噪聲幾乎全部被轉(zhuǎn)移到R。經(jīng)Retinex算法處理后的較暗區(qū)域細(xì)節(jié)被顯著增強(qiáng)，但噪聲也被同比放大，而噪聲放大將直接影響后續(xù)的特征提取和圖像識別，所以去噪是必需的。在圖像的細(xì)節(jié)保留上，由于BF比一般常用的去噪濾波器要好，且非迭代運(yùn)算速度快，所以本文選擇BF對反射圖像較暗區(qū)域進(jìn)行去噪[15]。

圖5為改進(jìn)算法結(jié)果對比，其中(a)、(b)分別為原圖、改進(jìn)算法結(jié)果。

圖5 改進(jìn)算法結(jié)果對比

從圖5可知：對圖像采用改進(jìn)算法處理的效果相比單種結(jié)合算法要好很多，陰影部分已被完全消除，邊緣細(xì)節(jié)更加清晰，人的五官輪廓和諧自然。

3 結(jié)果分析

人眼觀察是圖像質(zhì)量評價(jià)的一種標(biāo)準(zhǔn)，但這只是一種主觀評價(jià)，由于個(gè)人色彩的存在，造成的視覺效果也可能會不一樣。而在客觀評價(jià)方面，大家給出的標(biāo)準(zhǔn)各有不同。本文最初設(shè)想通過計(jì)算光照補(bǔ)償前后面部陰影面積的變化來檢測陰影的消除情況，但由于陰影面積計(jì)算涉及的內(nèi)容較多且繁瑣，故在此不再累述。本文從各算法的執(zhí)行時(shí)間、特征點(diǎn)數(shù)量及運(yùn)行時(shí)間、特征點(diǎn)有效率3個(gè)方面來進(jìn)行客觀評價(jià)。各種算法的執(zhí)行時(shí)間見表1。

表1 各算法的執(zhí)行時(shí)間

由表1可知：Retinex算法的執(zhí)行時(shí)間最短，改進(jìn)算法的執(zhí)行時(shí)間最長，這是由于它兩次用到BF的緣故，但0.686 s的時(shí)間是可接受的，說明其實(shí)時(shí)性雖降低但效果還是較好的。

下面對算法處理后的圖像進(jìn)行SIFT特征檢測及定位，統(tǒng)計(jì)特征點(diǎn)數(shù)量。這里的特征點(diǎn)分有效和干擾兩類，其中有效特征點(diǎn)是指能表征面部特征的眉毛、眼睛、鼻子、嘴巴處的特征點(diǎn)，并除去重疊部分，剩下的是干擾特征點(diǎn)，其中特征點(diǎn)的有效率為有效特征點(diǎn)數(shù)與特征點(diǎn)總數(shù)的比值。由于SIFT特征提取通常是提取圖像的局部信息，故在此被采用。SIFT特征檢測及定位結(jié)果如圖6所示。

其中(a)～(e)依次為原圖、Retinex算法結(jié)果、結(jié)合算法1結(jié)果、結(jié)合算法2結(jié)果、改進(jìn)算法結(jié)果。特征點(diǎn)數(shù)量及運(yùn)行時(shí)間見表2。

圖6 SIFT特征檢測及定位

特征點(diǎn)總數(shù)有效特征點(diǎn)干擾特征點(diǎn)有效率運(yùn)行時(shí)間/s原圖5319340．360．60Retinex算法8741460．470．61結(jié)合算法19344490．480．63結(jié)合算法2322570．780．62改進(jìn)算法585080．860．57

由表2可知：結(jié)合算法1只在Retinex算法的基礎(chǔ)上增加了均衡化處理，效果依舊不理想。結(jié)合算法2采用BF進(jìn)行光照估計(jì)，與原圖像相比特征點(diǎn)有效率提高到了78%，但并未對R去噪。本文改進(jìn)算法不僅對光照部分進(jìn)行了估計(jì)，對反射圖像較暗處的噪聲也進(jìn)行了處理，所以特征點(diǎn)有效率最高，達(dá)86%，且在提取特征點(diǎn)時(shí)速度最快，僅0.57 s。

仿真實(shí)驗(yàn)采用的是Yale B人臉數(shù)據(jù)庫yaleB07中的人臉圖像。這里隨機(jī)挑選5張受右側(cè)光影響較大的圖像和5張受左側(cè)光影響較大的圖像，重復(fù)表2各算法的仿真過程獲得10組實(shí)驗(yàn)數(shù)據(jù)，特征點(diǎn)有效率的仿真結(jié)果見圖7。

圖7 各算法特征點(diǎn)有效率

由圖7的10組實(shí)驗(yàn)數(shù)據(jù)結(jié)果可知：無論是受左側(cè)光影響大的圖像還是受右側(cè)光影響大的圖像，改進(jìn)算法對于絕大部分樣本的特征點(diǎn)有效率都高于原圖和已有的光照補(bǔ)償算法(除樣本3)。其中，原圖、Retinex、結(jié)合算法1的特征點(diǎn)有效率明顯較低，與效果較好的結(jié)合算法2相比，改進(jìn)算法的特征點(diǎn)有效率平均提高了11.79%，最高可達(dá)93.4%。

4 結(jié)束語

為了解決人臉圖像識別中的光照問題，只采用一種算法已遠(yuǎn)不能達(dá)到期待的結(jié)果。本文首先研究了近年來常用的兩種結(jié)合算法，然后基于此提出改進(jìn)算法，使其兼顧兩者的優(yōu)點(diǎn)，并用BF對反射圖像較暗的區(qū)域進(jìn)行去噪，使其保留更多的細(xì)節(jié)信息。在對每種算法進(jìn)行仿真測試時(shí)，先進(jìn)行主觀分析，之后給出客觀評價(jià)標(biāo)準(zhǔn)，并對改進(jìn)后的效果進(jìn)行全面分析。通過分析發(fā)現(xiàn)：改進(jìn)算法在光照補(bǔ)償處理方面雖實(shí)時(shí)性有所下降，但特征點(diǎn)提取時(shí)間最短，且特征點(diǎn)有效率最高。本文在實(shí)驗(yàn)的最后對受左右側(cè)光影響較大的10幅圖像進(jìn)行仿真，證實(shí)了改進(jìn)算法的效果，說明其特征點(diǎn)有效率得到了顯著的提高，與效果較好的結(jié)合算法2相比平均提高了11.79%，最高可達(dá)93.4%。接下來的研究將把改進(jìn)算法使用到最后的識別過程，并對識別的情況給出分析。

[1] 白小葉.光照變化下的人臉識別算法研究[D].南京：南京郵電大學(xué),2016.

[2] 梁 琳,何衛(wèi)平,雷蕾,等.光照不均圖像增強(qiáng)方法綜述[J].計(jì)算機(jī)應(yīng)用研究,2010(5):1625-1628.

[3] HAN H,SHAN S G,CHEN X L,et al.A comparative study on illumination preprocessing in face recognition[J].Pattern Recognition,2013,46(6):1691-1699.

[4] OBSON D J,RAHMAN Z,WOODELL G A.Properties and performance of a center/surround Retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[5] 陳超.改進(jìn)單尺度Retinex算法在圖像增強(qiáng)中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件,2013,30(4):55-57.

[6] AHMADI A H,JAMZAD M,Face recognition under varying illumination based on histogram equalized processed images[J].2011 7th International Symposium on Image and Signal Processing and Analysis (ISPA),Dubrovnik,2011:349-354.

[7] 鄭 苑.多方法結(jié)合的人臉圖像光照補(bǔ)償算法[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2012(2):207-209.

[8] 黃勇,孫興波,袁文林,等.多方向雙邊濾波單尺度Retinex 圖像增強(qiáng)研究[J].軟件導(dǎo)刊,2015(6):183-186.

[9] LI D,ZHANG Y,WEN P,et al.A Retinex Algorithm for Image Enhancement Based on Recursive Bilateral Filtering[C]//2015 11th International Conference on Computational Intelligence and Security (CIS).Shenzhen:[s.n.],2015:154-157.

[10] 肖曉,張健.改進(jìn)的Retinex低照度圖像光照補(bǔ)償算法[J].電子設(shè)計(jì)工程,2017(4):110-114.

[11] 寇興元.基于Retinex理論的圖像增強(qiáng)算法研究[D].沈陽：沈陽航空航天大學(xué),2015.

[12] 李德軍,趙文杰,譚海峰,等.一種基于雙邊濾波器的圖像邊緣檢測方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2007,17(4):161-163.

[13] 楊大為,王 琰.一種人臉識別中的光照補(bǔ)償方法[J].計(jì)算機(jī)應(yīng)用,2012,32(a01) :123-125.

[14] 胡韋韋,汪榮貴,方帥,等.基于雙邊濾波的Retinex圖像增強(qiáng)算法[J].工程圖學(xué)學(xué)報(bào),2010(2):104-109.

[15] 沈豐,趙宇明.基于實(shí)時(shí)Retinex與雙邊濾波的圖像增強(qiáng)算法[J].計(jì)算機(jī)應(yīng)用與軟件,2009(11):234-238.

(責(zé)任編輯楊黎麗)

ResearchandImprovementofMulti-MethodsCombiningFaceImageIlluminationCompensationAlgorithm

HUANG Liwen, YANG Huanhuan, WANG Bo

(College of Electrical and Electronic Engineering, Chongqing University of Technology, Chongqing 400054, China)

The problem of illumination has always been a hot topic in the face recognition. In order to solve this problem, firstly, two kinds of combined illumination compensation algorithms commonly used in face recognition in recent years were introduced in detail, and then it studied their characteristics. An improved multi-method combing algorithm was proposed, which used histogram equalization and Retinex algorithm, and both the illumination estimation and the denoising part of the reflected image were processed by the bilateral filter. The simulation test was processed in the face database YaleB07, and it was found that the real-time performance of the improved algorithm is lower than that of the usual combination algorithm, but the illumination compensation was best. At the last, the SIFT features are compared experimentally. The results show that the improved is the fastest in feature extraction, and the efficiency of the feature points is also significantly improved.

face recognition; illumination compensation; histogram equalization; bilateral filter; Retinex; SIFT

2017-06-22

重慶市重大專項(xiàng)子項(xiàng)目(CSTC2016SHMS-ZTZX4001)重慶理工大學(xué)研究生創(chuàng)新基金資助項(xiàng)目(YCX2016221)

黃麗雯(1967—),女,重慶人,碩士,教授,主要從事信號獲取和信息處理、醫(yī)學(xué)圖像處理等研究,E-mail:cqhlw@cqut.edu.cn; 楊歡歡(1989—)，女，河南汝州人，碩士研究生，主要從事圖像處理、智能信息處理研究。

黃麗雯,楊歡歡,王勃.多方法結(jié)合人臉圖像光照補(bǔ)償算法研究及改進(jìn)[J].重慶理工大學(xué)學(xué)報(bào)(自然科學(xué))，2017(11):179-184.

formatHUANG Liwen, YANG Huanhuan, WANG Bo.Research and Improvement of Multi-Methods Combining Face Image Illumination Compensation Algorithm[J].Journal of Chongqing University of Technology(Natural Science)，2017(11):179-184.

10.3969/j.issn.1674-8425(z).2017.11.027

TP301

A

1674-8425(2017)11-0179-06