劉靖丹,逯 洋,王 淳

(吉林師范大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院,吉林 四平 136000)

圖像處理技術(shù)是利用計(jì)算機(jī)處理圖像來(lái)進(jìn)行科學(xué)研究的一門(mén)新興科學(xué)。圖像處理技術(shù)[1]的研究?jī)?nèi)容十分廣泛,包括圖像處理的基礎(chǔ),圖像處理的研究方法等。圖像處理技術(shù)的主要內(nèi)容之一是圖像識(shí)別。圖像識(shí)別在圖像采集過(guò)程中容易受到干擾(如尺度[2]、光照[3]或噪聲[4]等),使得這項(xiàng)工作具有極大的挑戰(zhàn)性,在其領(lǐng)域中一個(gè)較少被研究的性質(zhì)是模糊[5-6]。環(huán)境中運(yùn)動(dòng)和大氣湍流、低質(zhì)量的圖像系統(tǒng)很可能會(huì)產(chǎn)生圖像的模糊不清。模糊圖像會(huì)使圖像效果惡化,對(duì)圖像數(shù)據(jù)的收集造成障礙。所以,模糊圖像特征辨識(shí)的方法有著重大研究?jī)r(jià)值,已成為有關(guān)學(xué)者探討的焦點(diǎn)問(wèn)題而受到了普遍重視。對(duì)此,2008年Ville Ojansivu[7]提出了一種用于紋理描述的模糊不敏感紋理分類(lèi)方法,稱(chēng)為局部相位量化(LPQ)。該方法已經(jīng)被證明比LBP算子[8-10]對(duì)模糊的容忍度更高。之后Timo Ahonen[11]將此方法引用到模糊人臉識(shí)別領(lǐng)域,大大提高了人臉識(shí)別效率,同時(shí)提高了圖像處理的效率。后來(lái)LPQ算法在人臉識(shí)別領(lǐng)域中被不斷改進(jìn),在局部特征提取方面取得了很好的效果,獲得了很大的成功。LPQ算法也被應(yīng)用于其他領(lǐng)域,如手勢(shì)識(shí)別、面部識(shí)別和掌紋識(shí)別等。因此,有必要對(duì)該方法的相關(guān)研究成果進(jìn)行全面的綜述和討論。

本文系統(tǒng)綜述了局部相位量化方法在處理模糊圖像上的研究進(jìn)展,進(jìn)一步深入研究局部相位量化并以求為拓展其應(yīng)用領(lǐng)域奠定基礎(chǔ)。本文從介紹LPQ算子的起源開(kāi)始,闡述了不同實(shí)驗(yàn)研究的動(dòng)機(jī)、原理、優(yōu)缺點(diǎn),揭示了各種方法之間的差異和聯(lián)系,最后思考了該方法的發(fā)展方向。

1 模糊不變的局部相位量化方法

模糊不變的局部相位量化方法的優(yōu)勢(shì)有以下五點(diǎn):(1)在處理圖像時(shí)不需要加入特征點(diǎn);(2)不需要對(duì)圖像進(jìn)行分類(lèi);(3)不需要新建模型,對(duì)已有的舊模型進(jìn)行訓(xùn)練,計(jì)算結(jié)果與模型的性能指標(biāo)保持一致;(4)可以作為快速處理的對(duì)象和模型;(5)在處理過(guò)程中具有可擴(kuò)展性。在LPQ方法中,可以直接在計(jì)算機(jī)上用LPQ方法對(duì)圖像進(jìn)行分類(lèi)。

基于二維離散傅里葉變換[12](DFT)的LPQ算子,使用短期傅里葉變換(Short-Term Fourier Transform,STFT)計(jì)算像素點(diǎn)局部鄰域內(nèi)的相位信息。

1.1 離散傅里葉變換(DFT)

在數(shù)字圖像處理中,模糊圖像g(x)可以通過(guò)原始圖像f(x)和點(diǎn)擴(kuò)散函數(shù)(PSF)卷積構(gòu)成,其表達(dá)式如下:

g(x)=(f*h)(x)

(1)

將其進(jìn)行傅里葉變換轉(zhuǎn)變到頻域,則式(1)轉(zhuǎn)化為:

G(u)=F(u)·H(u)

(2)

其中G(u),F(u)和H(u)分別是g(x)、f(x)和h(x)進(jìn)行離散傅里葉變換(DFT)后的結(jié)果?？梢詫?2)式的幅值和相部分開(kāi),得到如下相位關(guān)系表達(dá)式:

|G(u)|=|F(u)|·|H(u)|和

∠G(u)=∠F(u)+∠H(u)

(3)

假設(shè)模糊點(diǎn)擴(kuò)散函數(shù)h(x)是中心對(duì)稱(chēng)的,即h(x)=h(-x),如果傅里葉變換總是得到實(shí)值,那么它的相位只是一個(gè)二值函數(shù),如式(4)所示:

對(duì)于規(guī)則的點(diǎn)擴(kuò)散函數(shù),使得當(dāng)所有H(u)≥0時(shí)都有:

∠G(u)=∠F(u)

(5)

這一關(guān)系就為模糊不變特征提取奠定了理論基礎(chǔ)。

1.2 短期傅里葉變換(STFT)

STFT是由(6)式定義的f(x)的每個(gè)像素位置x處的M·M鄰域Nx上計(jì)算的,其中Wu是頻率u的二維DFT的基向量,fx是另一個(gè)包含來(lái)自Nx的所有M2圖像樣本的向量。

可以看出,實(shí)現(xiàn)STFT的一種有效方法是對(duì)所有u使用二維卷積。

4個(gè)頻點(diǎn)u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T通過(guò)局部傅立葉系數(shù)計(jì)算,a表示范圍很小,a=1/M。每個(gè)像素位置通過(guò)向量表示,如式(7)所示:

Fx=[F(u1,x),F(u2,x),F(u3,x),F(u4,x)]

(7)

傅里葉相位系數(shù)可使用各部分的實(shí)數(shù)和虛數(shù)的符號(hào)來(lái)表達(dá),如式(8)所示。

gj是向量G(x)=[Re(Fx),Im(Fx)]的第j個(gè)部分。然后qj對(duì)其進(jìn)行二進(jìn)制編碼,如式(9)所示。

LPQ(x)表示窗口尺寸為M×M的算法,圖1中是窗口為5×5的LPQ算法實(shí)例。

圖1 LPQ算法

2 LPQ算子的研究概況

2.1 針對(duì)灰度圖像的LPQ算子及變體

LPQ算法大多針對(duì)灰度圖像,研究?jī)?nèi)容大多是以人臉和紋理圖像為研究對(duì)象來(lái)進(jìn)行歸納。不同的實(shí)驗(yàn)研究使用了不同的數(shù)據(jù)集,包括Outex、YALE、AR和ORL等。

2.2 對(duì)單一圖像模糊不敏感紋理分類(lèi)方面的研究

Ville Ojansivu等人[7]提出了一種用于紋理描述的模糊不敏感紋理分類(lèi)方法,稱(chēng)為局部相位量化。其研究重點(diǎn)是模糊不敏感的紋理分類(lèi),相比之下,LPQ比LBP對(duì)模糊的容忍度更高。Timo Ahonen等人[11]將LPQ算子用于模糊人臉的識(shí)別,通過(guò)向LPQ添加一個(gè)去相關(guān)來(lái)達(dá)到要求。通過(guò)對(duì)不同區(qū)域直方圖的連接,完成人臉的全局描述,提高了算法識(shí)別率。朱長(zhǎng)水等人[13]提出將局部二值模式和LPQ進(jìn)行融合的人臉識(shí)別方法,具體算法如圖2所示。該方法比較直方圖的相似性,根據(jù)最近鄰原則進(jìn)行識(shí)別,提高了算法的魯棒性。

圖2 LBP/LPQ算法

Xiao等人[14]提出局部相位量化加(LPQ+),將LPQ嵌入到Fisher向量(FV)中,利用FV增強(qiáng)模糊圖像識(shí)別性能,并且LPQ+直接量化STFT的局部相位。該方法有更強(qiáng)的局部模式表征能力,可以提高模糊圖像的識(shí)別性能。Zhu等人[15]對(duì)LPQ+進(jìn)行改進(jìn),提出一種判別模糊不敏感的紋理描述符,稱(chēng)為局部相位量化加加(LPQ++)。該方法是在STFT產(chǎn)生的歸一化模糊不敏感特征映射之間,建立空間信道相互作用以增強(qiáng)描述能力,同時(shí)保持對(duì)模糊的不敏感。

陳曉文等人[16]提出用高斯拉普拉斯邊緣檢測(cè)和局部相位量化增強(qiáng)結(jié)合的模糊圖像識(shí)別算法MrELPQ和MsLoG(Multi-resolution ELPQ and Multi-scale LoG)。通過(guò)正負(fù)量化和幅值量化的操作,得到具有互補(bǔ)符號(hào)特征的ELPQ_S和幅值特征的ELPQ_M,將特征直方圖進(jìn)行串聯(lián),得到增強(qiáng)的局部相位量化模式,該算法增強(qiáng)了模糊的魯棒性,并且具有更好的識(shí)別性能。

Ojansivu等人是最早專(zhuān)門(mén)針對(duì)模糊圖像進(jìn)行研究的,后來(lái)的研究者都是以他們的研究為依據(jù)不斷改進(jìn),以達(dá)到更好的效果。這是當(dāng)時(shí)最具代表性和最具影響力的研究成果,也為識(shí)別模糊圖像打開(kāi)了新篇章。Ahonen是首個(gè)將LPQ方法應(yīng)用于人臉識(shí)別領(lǐng)域的,研究成果是LPQ算法應(yīng)用人臉識(shí)別領(lǐng)域的開(kāi)端。他的實(shí)驗(yàn)巧妙地在LPQ上使用去相關(guān)來(lái)進(jìn)行改進(jìn)算法,最后發(fā)現(xiàn)LPQ不僅可以很好地處理模糊,而且可以很好地處理現(xiàn)實(shí)圖像中的其他干擾,實(shí)驗(yàn)更加驗(yàn)證了LPQ在識(shí)別模糊圖像上的優(yōu)越性。朱長(zhǎng)水基于Ahonen的實(shí)驗(yàn)進(jìn)行畫(huà)面分塊,發(fā)現(xiàn)這個(gè)技術(shù)還存在著一定的局限,需要重復(fù)試驗(yàn)計(jì)算以確定最合適的大小來(lái)達(dá)到較好的識(shí)別率。以上實(shí)驗(yàn)都是針對(duì)簡(jiǎn)單的模糊圖像,遇到復(fù)雜的圖像時(shí),只通過(guò)LPQ單一方法不容易得出好的結(jié)果。Xiao等人創(chuàng)新了人臉識(shí)別方法,借助FV在BoW模型中獲得新的模糊圖像,改變LPQ對(duì)STFT操作過(guò)程,從而獲得更強(qiáng)的局部表征能力。同時(shí)針對(duì)多種不同數(shù)據(jù)集進(jìn)行試驗(yàn),做了大量改進(jìn)工作,實(shí)驗(yàn)結(jié)果很好,但主要問(wèn)題是對(duì)不同紋理的辨別能力沒(méi)有得到充分利用。Zhu等人發(fā)現(xiàn)LPQ+忽略了STFT特征圖中不同頻率點(diǎn)之間的空間和通道相關(guān)性,可能導(dǎo)致某些具有內(nèi)在價(jià)值的紋理線索被忽略,所以進(jìn)行再次改進(jìn),過(guò)程中發(fā)現(xiàn)歸一化STFT系數(shù)特征圖之間的通道梯度可以從本質(zhì)上幫助區(qū)分特定圖像中的邊緣和平坦區(qū)域,這對(duì)于模糊紋理的識(shí)別是至關(guān)重要的。

2.3 結(jié)合旋轉(zhuǎn)變化和圖像模糊不敏感紋理分類(lèi)方面的研究

圖像去模糊工作復(fù)雜且困難,為預(yù)防圖像處理工作受到其他外部因素的影響,Ville Ojansivu等人[17]提出一種新的模糊和旋轉(zhuǎn)不敏感紋理描述子,稱(chēng)為旋轉(zhuǎn)不變局部相位量化(RILPQ)方法,是對(duì)模糊不敏感的LPQ紋理描述子進(jìn)行旋轉(zhuǎn)不變的擴(kuò)展。通過(guò)估計(jì)局部特征方向并計(jì)算有向二值描述子,使其在旋轉(zhuǎn)模式下表現(xiàn)更好。

2.4 結(jié)合尺度變化和圖像模糊不敏感紋理分類(lèi)方面的研究

圖像處理過(guò)程容易受到尺度變化的影響,朱長(zhǎng)水等人[18]提出尺度不變特征轉(zhuǎn)換(SIFT)和LPQ結(jié)合的人臉圖像識(shí)別方法。SIFT算法檢測(cè)并獲取所有人臉圖像特征點(diǎn),統(tǒng)計(jì)所有特征點(diǎn)鄰域的LPQ數(shù)據(jù)并顯示成直方圖序列,該方法是計(jì)算特征點(diǎn)鄰域距離比得到的,在尺度、旋轉(zhuǎn)、明暗等方面存在著一定的魯棒優(yōu)勢(shì),具有較好的識(shí)別效果,能有效降低面部信息的維度。提取的特征點(diǎn)主要集中在眼睛、鼻子和嘴巴上,這些點(diǎn)與面部特征相匹配,可以實(shí)現(xiàn)快速識(shí)別。以上基于LPQ方法的優(yōu)缺點(diǎn)及其工作原理,如表1所示。

表1 基于LPQ方法的優(yōu)缺點(diǎn)及其工作原理

2.5 針對(duì)彩色圖像的LPQ算子

上述實(shí)驗(yàn)數(shù)據(jù)集大多是對(duì)灰度圖像進(jìn)行識(shí)別,而現(xiàn)如今獲取到的人臉圖像多為彩色圖像,一些研究者會(huì)將彩色圖像轉(zhuǎn)化為灰度圖像,這也將大大增加工作量,更加費(fèi)時(shí)費(fèi)力。想要實(shí)現(xiàn)符合現(xiàn)代的人臉識(shí)別技術(shù),Matteo Pedone等人[19]提出針對(duì)處理彩色圖像的LPQ描述符的擴(kuò)展方法,該方法是利用顏色值的多向量表示得到的,是一種基于克利福德代數(shù)的LPQ描述子顏色擴(kuò)展方法,該方法在模糊和非模糊紋理分類(lèi)中具有較好的魯棒性。LPQ描述符僅限于灰度圖像,該描述子比灰度描述子和其他顏色紋理描述子具有更高的精度。此外,它的光照不變特性保證了在具有挑戰(zhàn)性場(chǎng)景中的卓越性能,而無(wú)需用顏色不變算法預(yù)處理紋理。該算法也解決了分類(lèi)的圖像可能會(huì)經(jīng)歷的輻射失真、噪聲和模糊等原因?qū)е碌耐嘶?/p>

3 拓展LPQ方法應(yīng)用領(lǐng)域

上述內(nèi)容研究領(lǐng)域單一,依據(jù)本身對(duì)模糊不敏感的獨(dú)特特征,一些學(xué)者將此算子拓展到其他領(lǐng)域,擴(kuò)大了算法的通用性,以下內(nèi)容對(duì)此進(jìn)行了列舉。

3.1 在掌脈識(shí)別中的應(yīng)用

在手掌靜脈識(shí)別系統(tǒng)中,因?yàn)槿祟?lèi)手掌生理構(gòu)造特點(diǎn)易產(chǎn)生影像模糊,使得識(shí)別精度降低。林森等人[20]提出了基于子區(qū)域LPQ魯棒識(shí)別問(wèn)題的方法。通過(guò)建立一個(gè)LPQ特征提取模型,將掌脈圖像分為幾個(gè)子段,提取并集成每個(gè)分區(qū)的LPQ特征,最后利用卡方距離匹配識(shí)別。該方法具有良好的手掌圖像模糊強(qiáng)度,有效提升了手掌靜脈識(shí)別系統(tǒng)的性能。

3.2 在人耳識(shí)別中的應(yīng)用

現(xiàn)實(shí)中獲得的人耳圖像數(shù)據(jù)往往具有不同程度的信號(hào)退化,最典型的信號(hào)衰減類(lèi)型是模糊和熱噪聲。為改善這一問(wèn)題,黃冠等人[21]比較人耳圖像識(shí)別過(guò)程中三種不同的圖像識(shí)別算法的影響,分別用到方向梯度直方圖(HOG)、LPQ和 LBP方法進(jìn)行實(shí)驗(yàn),經(jīng)過(guò)對(duì)比LPQ算法對(duì)模糊性有很好的識(shí)別能力,LBP算法如圖3所示。

圖3 LBP算法

3.3 在車(chē)標(biāo)識(shí)別中的應(yīng)用

賀敏雪等人[22]提出基于抗模糊特征的車(chē)標(biāo)識(shí)別方法,以解決標(biāo)識(shí)圖像上的圖像模糊問(wèn)題。通過(guò)構(gòu)建標(biāo)志圖像金字塔模型,利用LPQ算法提取車(chē)標(biāo)圖像的抗紋理和抗邊緣模糊特征,并且使用典型相關(guān)分析(CCA)以促進(jìn)后續(xù)的降維和分類(lèi)。該方法結(jié)合兩種抗模糊特征,具有較好的識(shí)別效果和較強(qiáng)的魯棒性和抗模糊性。

3.4 在森林火災(zāi)圖像識(shí)別中的應(yīng)用

為減少森林大火的誤報(bào)概率和提升火災(zāi)報(bào)警效率,李巨虎等人[23]提出火焰獨(dú)特色彩和紋理特征的火焰識(shí)別算法,將LBP和LPQ直方圖特征融合到了分塊中。算法將圖像變換到Y(jié)CbCr顏色空間,根據(jù)LBP與LPQ算法提煉所有疑似火災(zāi)區(qū)的圖像與數(shù)據(jù),并且利用支持向量機(jī)(SVM)識(shí)別火焰紋理。該算法提高了識(shí)別率,能成功區(qū)分紅葉林與火焰,可以快速預(yù)測(cè)火災(zāi)。

3.5 在維吾爾文離線手寫(xiě)簽名中的應(yīng)用

為了提高離線手寫(xiě)簽名識(shí)別的精確性,張淑婧等人[24]提出基于紋理特征的維吾爾文離線簽名識(shí)別方法。提取多尺度塊LBP和LPQ紋理特征,通過(guò)隨機(jī)森林(RF)對(duì)圖像進(jìn)行分類(lèi)識(shí)別。該方法對(duì)簽名識(shí)別具有較好的準(zhǔn)確性。針對(duì)不同實(shí)驗(yàn)基于LPQ方法的圖像識(shí)別效果如表2所示。

表2 不同實(shí)驗(yàn)基于LPQ方法的圖像識(shí)別效果

4 結(jié)語(yǔ)

通過(guò)介紹模糊圖像基于LPQ方法的研究進(jìn)展情況,可以看出基于LPQ方法的圖像處理是一種有效的方法?？梢?jiàn)LPQ算法及其變體在圖像處理、計(jì)算機(jī)視覺(jué)領(lǐng)域提供了一類(lèi)重要的特征提取方法,并且LPQ算法通用性強(qiáng),不局限于灰度圖像,甚至在多個(gè)領(lǐng)域圖像識(shí)別結(jié)果中都有著極高識(shí)別率。

LPQ方法具有強(qiáng)大的應(yīng)用價(jià)值與廣泛的應(yīng)用前景,對(duì)紋理特征提取過(guò)程中解決模糊因素影響的研究方法越來(lái)越豐富。因此,在實(shí)際操作中研究者應(yīng)該對(duì)基于LPQ的圖像處理方法進(jìn)行不斷的改進(jìn)與完善。一方面,可以結(jié)合多種影響因素進(jìn)行紋理特征提取,以獲取更全面、準(zhǔn)確的特征信息;另一方面,也可以改進(jìn)現(xiàn)有的相關(guān)方法或者尋找更加合適的模糊度量方法,從而提高算法的精度和魯棒性。這些改進(jìn)措施可以大幅提升算法的性能,使其在實(shí)際應(yīng)用中表現(xiàn)更加優(yōu)越。

在研究LPQ這類(lèi)問(wèn)題過(guò)程中發(fā)現(xiàn),處理模糊圖像也能夠通過(guò)深度學(xué)習(xí)的方法得到解決。關(guān)于深度學(xué)習(xí)方法來(lái)解決圖像模糊的問(wèn)題,后續(xù)會(huì)進(jìn)行深入研究并繼續(xù)擴(kuò)展LPQ的應(yīng)用領(lǐng)域,嘗試對(duì)圖像進(jìn)行分割處理來(lái)有效地提取圖像信息,從而能夠更好地解決模糊圖像處理中復(fù)雜系統(tǒng)的不確定性的難題。