亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于2D-PCA特征描述的非負(fù)權(quán)重鄰域嵌入人臉超分辨率重建算法

        2015-07-12 13:57:33曹明明干宗良崔子冠朱秀昌
        電子與信息學(xué)報(bào) 2015年4期
        關(guān)鍵詞:特征描述子塊鄰域

        曹明明 干宗良 崔子冠 李 然 朱秀昌

        (南京郵電大學(xué)江蘇省圖像處理與圖像通信實(shí)驗(yàn)室 南京 210003)

        基于2D-PCA特征描述的非負(fù)權(quán)重鄰域嵌入人臉超分辨率重建算法

        曹明明 干宗良 崔子冠 李 然 朱秀昌*

        (南京郵電大學(xué)江蘇省圖像處理與圖像通信實(shí)驗(yàn)室 南京 210003)

        在基于鄰域嵌入人臉圖像的超分辨率重建算法中,訓(xùn)練和重建均在特征空間進(jìn)行,因此,特征選擇對(duì)算法性能具有較大影響。另外,算法模型對(duì)重建權(quán)重未加限定,導(dǎo)致負(fù)數(shù)權(quán)重出現(xiàn)而產(chǎn)生過擬合效應(yīng),使得重建人臉圖像質(zhì)量衰退??紤]到人臉圖像的特征選擇以及權(quán)重符號(hào)限定的重要作用,該文提出一種基于2維主成分分析(2DPCA)特征描述的非負(fù)權(quán)重鄰域嵌入人臉超分辨率重建算法。首先將人臉圖像分成若干子塊,利用K均值聚類獲得圖像子塊的局部視覺基元,并利用得到的局部視覺基元對(duì)圖像子塊分類。然后,利用2D-PCA對(duì)每一類人臉圖像子塊提取特征,并建立高、低分辨率樣本庫。最后,在重建過程中使用新的非負(fù)權(quán)重求解方法求取權(quán)重。仿真實(shí)驗(yàn)結(jié)果表明,相比其他基于鄰域嵌入人臉超分辨率重建方法,所提算法可有效提高權(quán)重的穩(wěn)定性,減少過擬合效應(yīng),其重建人臉圖像具有較好的主客觀質(zhì)量。

        圖像處理;人臉超分辨率重建;鄰域嵌入;局部視覺基元;2維主成分分析

        1 引言

        近年來,一種專門針對(duì)人臉圖像的超分辨重建技術(shù)成為研究的熱點(diǎn),通常稱該技術(shù)為“幻覺臉”(face hallucination)[1]。由于人臉圖像的特殊性,基于學(xué)習(xí)的人臉超分辨率重建算法成為研究的主流方向,這類方法主要分為3種:全局臉?biāo)惴╗1,2]、局部臉?biāo)惴╗3?5]、全局臉與局部臉相結(jié)合的算法[6,7]。

        由于人臉可被看作是一種流形結(jié)構(gòu),因此基于流形學(xué)習(xí)的人臉超分辨率重建算法引起了普遍關(guān)注。文獻(xiàn)[8]首次將流形學(xué)習(xí)算法引入到圖像的超分辨率重建中,提出了鄰域嵌入超分辨率(Super Resolution through Neighbor Embedding, SRNE)重建算法,該算法不需要大量的訓(xùn)練樣本、復(fù)雜度低而得到了廣泛的研究[9?14]。考慮到人臉圖像的結(jié)構(gòu)相似性,以及位置在重建過程中的作用,文獻(xiàn)[15]提出了基于位置的人臉超分辨率重建算法,然而該算法在訓(xùn)練樣本數(shù)目大于圖像子塊維數(shù)時(shí)解不再唯一,一些學(xué)者對(duì)此做了改進(jìn)[16,17]。隨著壓縮感知理論的發(fā)展,稀疏描述作為一種新懲罰函數(shù)應(yīng)用到基于流形學(xué)習(xí)的超分辨率重建算法中[3?5]。文獻(xiàn)[4]指出用固定的l1范數(shù)作為懲罰函數(shù)來提取人臉圖像的稀疏特征不能夠適應(yīng)圖像內(nèi)在的統(tǒng)計(jì)特性,并提出了一種自適應(yīng)稀疏權(quán)重的算法。基于稀疏描述的算法可以重建出高質(zhì)量的圖像,然而算法復(fù)雜度較高,對(duì)于大尺寸字典需要訓(xùn)練很長的時(shí)間。

        本文著重研究基于鄰域嵌入算法的人臉圖像的超分辨率重建。SRNE算法的訓(xùn)練和重建均在特征空間進(jìn)行,如何選擇圖像子塊的特征對(duì)算法性能具有較大影響。文獻(xiàn)[8]選取一階二階梯度作為圖像子塊的特征描述,文獻(xiàn)[18]指出二階梯度受噪聲和邊緣的影響較大,影響了重建的質(zhì)量,并提出采用一階梯度和標(biāo)準(zhǔn)亮度(norm luminance)的結(jié)合作為圖像子塊的特征。考慮到人臉圖像的結(jié)構(gòu)特性,采用上述特征并不能較好地保護(hù)圖像子塊的局部幾何結(jié)構(gòu)信息。權(quán)重用于描述圖像子塊與其鄰近子塊在特征空間中的局部線性幾何結(jié)構(gòu)關(guān)系,直接影響到重建圖像的質(zhì)量,然而,在SRNE算法中,對(duì)于權(quán)重僅作了和等于1的約束,而對(duì)其符號(hào)未加約束,導(dǎo)致負(fù)數(shù)權(quán)重出現(xiàn)[13],使得重建高分辨率圖像子塊的亮度產(chǎn)生負(fù)值,這有悖于亮度值非負(fù)的事實(shí),并且過度追求重建誤差最小而產(chǎn)生的負(fù)數(shù)權(quán)重也可能使重建的高分辨率重建圖像子塊與其真實(shí)值偏差變大,這種過擬合現(xiàn)象導(dǎo)致重建高分辨率人臉圖像質(zhì)量退化。

        考慮到人臉圖像的特征選擇以及權(quán)重符號(hào)限定的重要作用,本文提出了一種基于2維主成分分析(2D Principal Component Analysis, 2D-PCA)特征描述的非負(fù)權(quán)重鄰域嵌入人臉超分辨率重建算法。該算法主要包括以下3個(gè)方面:(1)采用局部視覺基元[19](Local Visual Primitive, LVP)對(duì)人臉圖像子塊分類,通過分類可將人臉圖像中的相似子塊分到同一類別,確保了鄰域選擇的快速準(zhǔn)確;(2)采用2維主成分分析[20]提取人臉圖像子塊特征,該方法可有效保護(hù)局部結(jié)構(gòu)信息;(3)提出了一種可確保權(quán)重值非負(fù)的求解方法,從而避免負(fù)數(shù)權(quán)重對(duì)重建圖像的影響。仿真實(shí)驗(yàn)表明,通過局部視覺基元對(duì)人臉圖像子塊進(jìn)行分類,可在較短時(shí)間內(nèi)找到目標(biāo)圖像子塊的鄰近子塊,并且對(duì)重建質(zhì)量影響不大。利用2D-PCA提取特征獲得的高分辨率人臉圖像有效保護(hù)了高頻細(xì)節(jié)信息和幾何結(jié)構(gòu)信息,并且提出的權(quán)重求解算法避免了負(fù)數(shù)權(quán)重導(dǎo)致的過擬合現(xiàn)象,獲得較好地圖像重建質(zhì)量。

        2 2D-PCA特征描述的非負(fù)權(quán)重鄰域嵌入人臉超分辨率重建算法

        本文提出了一種新的基于鄰域嵌入人臉超分辨率重建算法,圖1給出了本文算法的框架。在鄰域嵌入算法中,鄰近子塊的選取需要遍歷整個(gè)低分辨率樣本庫,然而,對(duì)于每一個(gè)輸入圖像子塊都需要對(duì)整個(gè)樣本庫遍歷一次會(huì)耗費(fèi)大量的時(shí)間。為了減少遍歷時(shí)間,第2.1節(jié)提出了一種分類方法:采用局部視覺基元對(duì)訓(xùn)練樣本進(jìn)行分類,選取鄰近子塊時(shí)只需在其所屬類別遍歷,可以節(jié)省遍歷時(shí)間;鄰域嵌入算法的訓(xùn)練過程和重建過程均在特征空間進(jìn)行,如何選擇圖像子塊的特征對(duì)算法性能具有較大影響。考慮到人臉圖像的結(jié)構(gòu)特性,第2.2節(jié)提出了一種新的特征提取方法:利用2D-PCA提取圖像子塊特征。該方法能夠較好地保護(hù)圖像子塊的局部幾何結(jié)構(gòu)信息;最后,為了避免負(fù)數(shù)權(quán)重對(duì)重建人臉圖像質(zhì)量的影響,第2.3節(jié)提出了一種新的非負(fù)權(quán)重的求解方法。

        2.1 局部視覺基元分類

        在SRNE中,每一個(gè)輸入圖像子塊選取鄰域時(shí)都需要遍歷整個(gè)樣本庫,這樣耗費(fèi)很多的時(shí)間。本文利用局部視覺基元(LVP)對(duì)訓(xùn)練樣本進(jìn)行分類,將相似的人臉塊分到同一個(gè)類別里,選取鄰域時(shí)只需要遍歷圖像子塊所屬類別,這樣可以節(jié)省很多時(shí)間。首先將人臉圖像分塊{}去直流分量,然后對(duì)去直流分量的圖像子塊k均值聚類xq={}, q表示類別,n表示此類別人臉圖像子塊的數(shù)目,每一類的中心作為LVP值。局部視覺基元是一些結(jié)構(gòu)塊,利用LVP將人臉圖像子塊分類,相當(dāng)于將結(jié)構(gòu)相似的人臉圖像子塊分到同一類別,既不影響鄰域選取的準(zhǔn)確性又可以減少鄰域選取的時(shí)間。

        2.2 2D-PCA特征描述

        在人臉超分辨率重建算法中,如何選擇圖像子塊的特征對(duì)算法性能具有較大影響。特征的選擇主要有兩方面標(biāo)準(zhǔn):一是低分辨率圖像子塊的特征盡可能多地包含與其相關(guān)的信息,這種先驗(yàn)信息可以使鄰近塊的選取更加準(zhǔn)確;二是盡可能地保持高、低分辨率圖像子塊結(jié)構(gòu)的一致性??紤]到人臉圖像結(jié)構(gòu)的特殊性,本文提出一種新的圖像子塊的特征描述方法:2D-PCA投影法。2D-PCA方法是對(duì)傳統(tǒng)PCA方法的一種改進(jìn),可以直接在2維圖像數(shù)據(jù)矩陣上進(jìn)行處理,利用2維圖像數(shù)據(jù)矩陣構(gòu)造圖像的協(xié)方差矩陣,進(jìn)而求出協(xié)方差矩陣的主元特征向量,然后將2維圖像直接投影到主元特征向量上,從而獲得圖像的特征表示,而不需要將圖像數(shù)據(jù)矩陣轉(zhuǎn)換為1維向量,這樣既可以避免龐大的數(shù)據(jù)計(jì)算,又可以更好地保護(hù)圖像的局部幾何結(jié)構(gòu)。因此,本文利用2D-PCA對(duì)同一LVP類別的人臉圖像子塊提取特征,既能保護(hù)人臉圖像子塊的局部幾何結(jié)構(gòu)信息,又可以避免噪聲以及邊緣部分的影響。具體方法如下:

        圖1 本文算法框架

        (1)對(duì)于同一類圖像子塊xq={},利用式(1)求均值:

        (2)計(jì)算相關(guān)矩陣Gq:

        (3)求相關(guān)矩陣的特征值Uq和特征向量Vq。

        2.3 非負(fù)權(quán)重求解

        在超分辨率重建算法中數(shù)據(jù)取負(fù)值是沒有任何物理意義的,并且數(shù)據(jù)的混合也只有加性混合。在SRNE中,權(quán)重是描述目標(biāo)圖像子塊與其鄰近塊在特征空間中的局部幾何關(guān)系,直接影響到重建高分辨率圖像子塊的質(zhì)量。然而,文獻(xiàn)[8]只對(duì)權(quán)重作了和等于1的約束,對(duì)其符號(hào)沒有限定,在權(quán)重的求解過程中會(huì)出現(xiàn)權(quán)重為負(fù)數(shù)值的情況。負(fù)數(shù)權(quán)重使得圖像子塊組合的過程中出現(xiàn)相減的行為有可能產(chǎn)生負(fù)的亮度值,這有悖于亮度值非負(fù)的事實(shí),并且負(fù)數(shù)權(quán)重也有可能導(dǎo)致過擬合現(xiàn)象,使得重建高分辨率圖像質(zhì)量衰退。文獻(xiàn)[13]提出了一種半非負(fù)矩陣分解的方法來求取權(quán)重,非負(fù)矩陣分解的心理學(xué)和生理學(xué)構(gòu)造依據(jù)是對(duì)整體的感知由對(duì)組成整體的部分的感知構(gòu)成的(純加性的),更直觀地講就是“將部分組合成一個(gè)整體”。因此,為了確保求解的權(quán)重不出現(xiàn)負(fù)數(shù)值本文對(duì)其加入非負(fù)約束:

        其中

        k表示鄰近塊的數(shù)目。

        由文獻(xiàn)[13]知對(duì)于式(5)的非負(fù)權(quán)重求解問題可以利用半非負(fù)矩陣分解算法求解,并且在文獻(xiàn)[21]中已經(jīng)證明了半非負(fù)矩陣分解算法在歐式距離目標(biāo)函數(shù)時(shí)收斂到局部最優(yōu)值。然而,在本文算法中,b是已知待重建的低分辨率圖像子塊的特征形成的矩陣,A是重建子塊對(duì)應(yīng)的鄰近子塊的特征組成矩陣,均為已知量,在迭代求解過程中保持不變,只需要對(duì)權(quán)重迭代求解,由此可以看出本文算法是非負(fù)矩陣分解的一種特例,因此算法求取的非負(fù)權(quán)重具有局部最優(yōu)值,并且算法的每一步迭代求解都是在提高(或保持不變)目標(biāo)圖像子塊與低分辨率圖像樣本子塊的擬合程度,因此,算法收斂到局部最優(yōu)值,即求解式(5)的算法可在有限的迭代次數(shù)得到最優(yōu)的非負(fù)權(quán)重。

        3 實(shí)驗(yàn)結(jié)果與分析

        為了驗(yàn)證本文算法對(duì)人臉圖像的重建效果,本文從人臉圖像庫中選取了幾幅人臉圖像進(jìn)行重建,并與SR[3], ACM[10], LCR[16]的算法以及雙立方內(nèi)插算法進(jìn)行比較。對(duì)于基于鄰域嵌入算法人臉圖像的超分辨率重建,樣本的選擇對(duì)圖像重建的效果有較大的影響,因此,本文從FERET[22]人臉圖像數(shù)據(jù)庫里挑選實(shí)驗(yàn)圖像。

        在本文實(shí)驗(yàn)過程中,高分辨率人臉圖像的尺寸是126×126,并且以兩眼連線中心為中心進(jìn)行圖像配準(zhǔn)。為了模擬低分辨率圖像的獲取過程,本文所用到的低分辨率圖像通過對(duì)高分辨率圖像經(jīng)高斯模糊、雙立方插值3倍下采樣得到。低分辨率圖像的尺寸為42×42。由于與低頻信息相比較,中頻信息與高頻信息更具有相關(guān)性,因此,本文先將低分辨率圖像采用雙立方內(nèi)插的方法放大3倍,然后再采用本文提出的鄰域嵌入超分辨率重建算法進(jìn)行重建。為了保持子塊與子塊之間的一致性,相鄰兩個(gè)子塊之間重疊幾個(gè)像素。

        3.1 參數(shù)設(shè)置

        很明顯,LVP數(shù)目不同,得到的類就會(huì)不同,每一類所包含的圖像子塊也會(huì)不同。為了了解不同的LVP數(shù)目對(duì)重建質(zhì)量的影響,本文設(shè)計(jì)了仿真實(shí)驗(yàn):在固定其他變量的情況下,LVP數(shù)目分別設(shè)定為128, 256, 512。表1給出了測試圖像在不同LVP取值情況下得到的PSNR和SSIM值的平均值,從數(shù)值上可以看出:在LVP數(shù)目不同時(shí),重建圖像的PSNR和SSIM數(shù)值相差不大。從這里可以看出本文提出的局部視覺基元分類對(duì)圖像重建質(zhì)量影響不大。在LVP數(shù)目增大時(shí),離聚類中心近的塊即相似度大的圖像子塊仍屬于同一類別,而僅僅是將距離較遠(yuǎn)即相似度比較小的圖像子塊重新劃分到別的類別里,屬于同一LVP類的圖像子塊數(shù)目減少。這樣在選取鄰近子塊時(shí),不同的LVP數(shù)目對(duì)鄰域的選取影響不大。這恰好證明了本文所提出的局部視覺基元分類的有效性。因?yàn)楸疚乃惴ǚ诸惖哪康木褪窃诓挥绊懼亟▓D像質(zhì)量的情況下將訓(xùn)練樣本分成若干子樣本,在選取鄰近塊時(shí)不必再對(duì)整個(gè)樣本遍歷,只需對(duì)輸入圖像子塊所屬類別的樣本庫遍歷,從而縮短了鄰近子塊的選取時(shí)間。

        表1 測試圖像在不同LVP取值下的PSNR和SSIM值的平均值

        不同的特征描述對(duì)于重建圖像的質(zhì)量也有較大的影響。為了驗(yàn)證本文提出的圖像子塊的特征描述的性能,本文設(shè)計(jì)了如下對(duì)比仿真實(shí)驗(yàn): LVP為256,鄰近塊數(shù)目為5,圖像子塊的特征分別為一階二階梯度和2D-PCA。表2給出了在這兩種特征下的重建圖像的PSNR和SSIM值的平均值,可以看出采用2D-PCA為特征的重建人臉圖像質(zhì)量要高于一階二階階梯度。圖2給出了測試圖像的重建人臉圖像,從圖中可以看出采用2D-PCA和一階二階梯度為特征都得到了較好的重建人臉圖像,但是在眼角和嘴唇部分采用2D-PCA特征的重建效果明顯優(yōu)于一階二階梯度特征,這表明2D-PCA能更好地保存圖像子塊的局部結(jié)構(gòu)信息。

        為了確保在超分辨率重建過程中的權(quán)重為非負(fù)值,2.3節(jié)介紹了一種新的非負(fù)權(quán)重的求解方法,根據(jù)非負(fù)矩陣分解的相關(guān)理論可以確定此種方法不但可以確保重建權(quán)重非負(fù),減少過擬合現(xiàn)象導(dǎo)致的重建人臉圖像質(zhì)量劣化,而且能夠保證算法收斂到局部最優(yōu)值。為了驗(yàn)證提出的非負(fù)約束對(duì)算法的影響,本文設(shè)計(jì)了比對(duì)試驗(yàn)。圖3給出了測試圖像在兩種不同求解方法(非負(fù)權(quán)重解和最小二乘解[8])的情況下所得到的重建圖像的PSNR, SSIM以及MSE值的比較(此時(shí),LVP=256,采用2D-PCA特征描述),從圖3中可以看出:利用非負(fù)權(quán)重解算法得到的重建圖像的質(zhì)量要明顯優(yōu)于最小二乘解算法,并且隨著鄰近塊數(shù)目的增大非負(fù)權(quán)重解算法得到的重建圖像質(zhì)量變化相對(duì)穩(wěn)定;同時(shí)隨著鄰近塊數(shù)目的增加,兩種方法都在鄰近塊數(shù)目為5時(shí)達(dá)到最優(yōu)值。然而,最小二乘解求解方法得到的重建圖像質(zhì)量在達(dá)到最優(yōu)值后隨著鄰近塊數(shù)目的增加下降趨勢明顯,雖然在鄰近塊數(shù)目為20時(shí)PSNR值有所回升,但對(duì)應(yīng)的SSIM值始終減少,利用本文提出的非負(fù)權(quán)重解求解方法得到的重建圖像質(zhì)量達(dá)到最大值后雖有一定程度的下降,但下降趨勢較緩且逐漸趨于平穩(wěn),這表明非負(fù)權(quán)重解得到的權(quán)重的性能更加穩(wěn)定,同時(shí)也證明了非負(fù)約束的合理性和有效性。

        表2 不同特征重建圖像的PSNR和SSIM值的平均值

        圖2 測試圖像在不同特征時(shí)的重建圖像

        3.2 實(shí)驗(yàn)結(jié)果

        為了驗(yàn)證本文算法的有效性,本節(jié)將提出的算法與其他算法作比較,所有算法使用相同的訓(xùn)練樣本(從FERET[22]人臉圖像數(shù)據(jù)庫里挑選),塊的大小為3×3。實(shí)驗(yàn)得知,圖像子塊重疊越多,重建質(zhì)量越好,但重建時(shí)間越長。因此,實(shí)驗(yàn)過程中所有算法統(tǒng)一重疊1個(gè)像素。對(duì)于ACM算法[10]本文實(shí)驗(yàn)采用一階二階梯度特征。表3給出了測試圖像在不同算法放大3倍時(shí)重建人臉圖像的PSNR和SSIM值的比較,從數(shù)值上可以看出本文算法要優(yōu)于其他算法。圖4給出了部分重建人臉圖,從圖中可以看出本文算法的重建人臉圖像具有更多的高頻細(xì)節(jié)信息和更合理的局部幾何結(jié)構(gòu)。圖5給出了不同算法對(duì)實(shí)際低分辨率人臉圖像的重建人臉圖,從圖中可以看出本文算法在眼睛、嘴角、鼻尖的重建效果要優(yōu)于其他算法。并且從圖中可以看出實(shí)測圖像中LCR算法的重建效果比較差,是因?yàn)長CR算法是基于圖像子塊位置進(jìn)行重建,由于本文實(shí)驗(yàn)實(shí)測圖像的配準(zhǔn)與FERET人臉圖像數(shù)據(jù)庫中人臉圖像的配準(zhǔn)存在偏差,導(dǎo)致LCR算法在重建過程中,輸入圖像子塊與樣本人臉子塊的位置存在偏差,導(dǎo)致重建人臉圖像質(zhì)量下降,這也進(jìn)一步說明本文算法受圖像配準(zhǔn)的影響比較小。

        3.3 算法復(fù)雜度分析

        圖3 非負(fù)權(quán)重解和最小二乘解重建圖像質(zhì)量比較

        表3 不同算法重構(gòu)圖像PSNR和SSIM比較

        圖4 不同算法下的人臉圖像重建效果圖

        圖5 不同算法對(duì)實(shí)際低分辨率人臉圖像重建效果圖

        本文算法分成訓(xùn)練過程和重建過程,雖然訓(xùn)練過程花費(fèi)很多時(shí)間,但可以預(yù)先對(duì)樣本進(jìn)行訓(xùn)練,而在重建過程只需找到輸入人臉子塊對(duì)應(yīng)的局部視覺基元類,并在此類中求取鄰近子塊后重建出高分辨率人臉子塊,減少了遍歷時(shí)間,降低了算法復(fù)雜度。設(shè)實(shí)驗(yàn)中樣本數(shù)目為N,測試人臉圖像分成M個(gè)大小為p×p的子塊。那么在SRNE中重建過程需要計(jì)算(p×p×4)×1維特征向量間的歐式距離O(M·N)次。本文算法重建過程的特征向量為(p×p)×1維,首先需要計(jì)算O(KLVP)次(KLVP表示LVP數(shù)目)找到輸入圖像子塊所屬類別,然后在此類里找對(duì)應(yīng)的鄰近子塊,需計(jì)算O(NLVP)次(NLVP表示LVP類樣本數(shù)),因此共需要計(jì)算O(M·NLVP)次。實(shí)驗(yàn)中本文訓(xùn)練樣本為1×105,以測試圖像5為例:尋找輸入塊LVP類別計(jì)算了1.2×105次歐式距離,求取鄰近子塊為4.02×105次,總共5.22×105次,而SRNE需計(jì)算4.84×107次歐式距離,本文算法計(jì)算次數(shù)只占SRNE的10.9%,節(jié)省了約9倍的重建時(shí)間。

        4 結(jié)論

        本文提出了一種基于2D-PCA特征描述的非負(fù)權(quán)重鄰域嵌入人臉超分辨率重建算法。為了減少鄰近子塊選取過程的遍歷時(shí)間,本文算法將人臉圖像分成若干子塊,利用K均值聚類獲得圖像子塊的局部視覺基元,并利用得到的局部視覺基元對(duì)圖像子塊分類。考慮到不同LVP數(shù)目對(duì)圖像子塊分類的影響,本文討論了3種不同的LVP數(shù)目對(duì)重建人臉圖像質(zhì)量的影響。同時(shí),驗(yàn)證了利用2D-PCA對(duì)每一類人臉圖像子塊提取特征要優(yōu)于一階二階梯度特征。最后,為了避免負(fù)數(shù)權(quán)重對(duì)重建人臉圖像質(zhì)量的影響,本文算法在重建過程中使用新的非負(fù)權(quán)重求解方法求取權(quán)重。實(shí)驗(yàn)結(jié)果表明本文算法可有效提高權(quán)重的穩(wěn)定性,減少過擬合效應(yīng),并且重建人臉圖像具有較好的主客觀質(zhì)量。

        [1] Baker S and Kanade T. Limits on super resolution and how to break them[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9): 1167-1183.

        [2] Wang Xiao-gang and Tang Xiao-ou. Hallucinating face by eigentransformation[J]. IEEE Transactions on Systems, Man, and Cybernetics, 2005, 35(3): 425-434.

        [3] Yang Jian-chao, Wright J, Huang T S, et al.. Image super resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

        [4] Wang Zhong-yuan, Jiang Jun-jun, Xiong Zi-xiang, et al.. Facehallucination via weighted sparse representation[C]. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Vancouver, BC, 2013: 2198-2201.

        [5] Wang Zhong-yuan, Wang Shi-zheng, Xia Yang, et al.. Face hallucination based on stepwise sparse reconstruction [C]. IEEE International Conference on Multimedia and Expo (ICME), San Jose, CA, 2013, DOI: 10.1109/ICME. 2013. 6607470.

        [6] Naleer Haju Mohamed M, Yao Lu, and Feng Lü. Effective two-step method for face hallucination based on sparse compensation on over-complete patches[J]. IET Image Processing, 2013, 7(6): 624-632.

        [7] Liu Ce, Shum Heung-yeung, and Zhang Chang-shui. A two step approach to hallucinating faces: global parametric model and local nonparametric model[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Kauai, Hawaii, USA, 2001: 192-198.

        [8] Chang Hong, Yeung Dit-yan, and Xiong Yi-min. Super resolution through neighbor embedding[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington DC, USA, 2004: 275-282.

        [9] Jiang Jun-jun, Hu Rui-min, Han Zhen, et al.. Locality constraint iterative neighbor embedding for face hallucination[C]. IEEE International Conference on Multimedia and Expo (ICME), San Jose, CA, 2013, DOI: 10. 1109/ICME. 2013. 6607455.

        [10] Li Bo, Chang Hong, Shan Shi-guang, et al.. Aligning coupled manifolds for face hallucination[J]. IEEE Signal Processing Letters, 2009, 16(11): 957-960.

        [11] Chen Xiao-xuan and Qi Chun. Low rank neighbor embedding for single image super resolution[J]. IEEE Signal Processing Letters, 2014, 21(1): 79-82.

        [12] Jiang Jun-jun, Hu Rui-min, Chen Liang, et al.. Coupled layer neighbor embedding for surveillance face hallucination[C]. IEEE International Conference on Image Processing (ICIP), Melbourne, VIC, 2013: 2802-2806.

        [13] Bevilacqua M, Roumy A, Guillemot C, et al.. Neighbor embedding based single image super resolution using seminonnegative matrix factorization[C]. IEEE International conference on Acoustics, Speech and Signal Processing (ICASSP 2012), Kyoto, 2012: 1289-1292.

        [14] Hao Yuan-hong and Qi Chun. Face hallucination based on modified neighbor embedding and global smoothness constraint[J]. IEEE Signal Processing Letters, 2014, 21(10): 1187-1191.

        [15] Ma Xiang, Zhang Jun-ping, and Qi Chun. Hallucinating face by position-patch[J]. Pattern Recognition, 2010, 43(6): 2224-2236.

        [16] Jiang Jun-jun, Hu Rui-min, Han Zhen, et al.. Position patch based face hallucination via locality constrained representation[C]. IEEE International Conference on Multimedia and Expo (ICME), Melbourne, VIC, 2012: 212-217.

        [17] Shi Jin-gang and Qi Chun. Face hallucination based on PCA dictionary pairs [C]. IEEE International Conference on Image Processing (ICIP), Melbourne, VIC, 2013: 933-937.

        [18] Chan Tak-ming, Zhang Jun-ping, Pu Jian, et al.. Neighbor embedding based super resolution algorithm through edge detection and feature selection[J]. Pattern Recognition Letters, 2009, 30(5): 494-502.

        [19] Meng Xin, Shan Shi-guang, Chen Xi-lin, et al.. Local visual primitives (LVP) for face modeling and recognition[C]. 18th International Conference on Pattern Recognition, ICPR2006, Hong Kong, 2006(2): 536-539.

        [20] Yang Jian, Zhang D, Frangi A F, et al.. Two-dimensional PCA: a new approach to appearance based face representation and recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1): 131-137.

        [21] Ding C, Li Tao, and Jordan M I. Convex and seminonnegative matrix factorizations[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(1): 45-55.

        [22] Phillips P J, Hyeonjoon Moon, Rizvi S A, et al.. The FERET evaluation methodology for face-recognition algorithms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1090-1104.

        曹明明: 男,1983年生,博士生,研究方向?yàn)閳D像處理與多媒體通信.

        干宗良: 男,1979年生,副教授,研究方向?yàn)榉植际揭曨l編碼、圖像(視頻)信號(hào)處理.

        崔子冠: 男,1982年生,講師,研究方向?yàn)橐曨l編碼.

        李 然: 男,1988年生,博士生,研究方向?yàn)閳D像處理與多媒體通信.

        朱秀昌: 男,1947年生,教授,博士生導(dǎo)師,長期從事圖像通信方面的科研和教學(xué)工作.

        Novel Neighbor Embedding Face Hallucination Based on Non-negative Weights and 2D-PCA Feature

        Cao Ming-ming Gan Zong-liang Cui Zi-guan Li Ran Zhu Xiu-chang
        (Image Processing and Image Communication Key Laboratory, Nanjing University of Posts and Telecommunications, Nanjing 210003, China)

        In neighbor embedding based face hallucination, the training and reconstruction processes are performed in the feature space, thus the feature selection is important. In addition, there is no constraint specified for the signs of the weights generated in neighbor embedding algorithm, which leads to over-fitting and degradation of the recovered face images. Considering the importance of feature selection and the constraints of weights, a novel neighbor embedding face hallucination method is proposed based on non-negative weights and Two-Dimensional Principal Component Analysis (2D-PCA) features. First, the face images are partitioned into patches, and the local visual primitives are obtained by k-means clustering algorithm. The face image patches are classified with the local visual primitives generated before. Second, the feature of face image patches is captured with 2D-PCA, and the low and high dictionary is established. Finally, a novel non-negative weights solution method is used to obtain the weights. The experiment results show that the weights computed by the proposed method have more stable behavior and obviously less over-fitting phenomenon, furthermore, the recovery face images have better subjective and objective quality.

        Image processing; Face hallucination; Neighbor embedding; Local visual primitives; Two-Dimensional Principal Component Analysis (2D-PCA)

        TN911.73

        : A

        :1009-5896(2015)04-0777-07

        10.11999/JEIT140739

        2014-06-03 收到,2014-11-18改回

        國家自然科學(xué)基金(61071091, 61071166, 60802021),江蘇省研究生培養(yǎng)創(chuàng)新工程(CXZZ12_0470),江蘇省自然科學(xué)青年基金(BK20130867), 江蘇省高校自然科學(xué)研究項(xiàng)目(12KJB510019)和南京郵電大學(xué)??蒲谢?NY212015)資助課題

        *通信作者:朱秀昌 zhuxc@njupt.edu.cn

        猜你喜歡
        特征描述子塊鄰域
        In the Zoo
        基于八叉樹的地震數(shù)據(jù)多級(jí)緩存方法
        基于八叉樹的地震數(shù)據(jù)分布式存儲(chǔ)方法研究
        船舶尾流圖像的數(shù)字化處理和特征描述技術(shù)
        基于特征值算法的圖像Copy-Move篡改的被動(dòng)取證方案
        稀疏圖平方圖的染色數(shù)上界
        基于波浪式矩陣置換的稀疏度均衡分塊壓縮感知算法
        基于鄰域競賽的多目標(biāo)優(yōu)化算法
        目標(biāo)魯棒識(shí)別的抗旋轉(zhuǎn)HDO 局部特征描述
        關(guān)于-型鄰域空間
        欧美日韩精品乱国产538| 亚洲av无码成人精品国产| 久久精品国产亚洲av影院| 亚洲欧洲中文日韩久久av乱码| 日本精品一区二区三本中文| 一级二级三一片内射视频| 大奶白浆视频在线观看| 天天影视性色香欲综合网| 91精品啪在线观看国产18| 偷拍与自偷拍亚洲精品| 天堂网站一区二区三区| 999久久久国产精品| 亚洲欧美日韩一区二区在线观看| 美女射精视频在线观看| 亚洲综合天堂av网站在线观看| 毛片24种姿势无遮无拦 | 亚洲午夜无码视频在线播放| 99蜜桃在线观看免费视频| 老色鬼在线精品视频| 精品无码专区久久久水蜜桃| 亚洲中文字幕女同一区二区三区| 蜜桃网站免费在线观看视频| 九九久久99综合一区二区| 首页动漫亚洲欧美日韩 | 久久想要爱蜜臀av一区二区三区| 精品国产麻豆免费人成网站| 亚洲另类激情综合偷自拍图| 日韩精品一区二区三区四区视频| 青青草免费在线爽视频| 亚洲精品国偷拍自产在线麻豆| 亚洲精品国产国语| 精品黄色国产一区二区| 香港aa三级久久三级| 亚洲饱满人妻视频| 国内人妖一区二区在线播放| 国产成人无码精品久久久免费 | 婷婷丁香91| 亚洲国产综合久久精品 | 高潮迭起av乳颜射后入| 国产精品亚洲片夜色在线 | 国产一区二区三免费视频|