劉心宇，干宗良，劉 峰

(南京郵電大學(xué) 通信與信息工程學(xué)院,江蘇 南京 210003)

0 引 言

為了進(jìn)一步節(jié)約帶寬和設(shè)備的存儲(chǔ)空間，在視覺(jué)通信和計(jì)算機(jī)系統(tǒng)中通常采用有損的圖像壓縮方式，例如JPEG[1]和HEVC-MSP[2]。不可避免地，有損壓縮將引起塊效應(yīng)、振鈴效應(yīng)和模糊等壓縮失真。它們通常是由處理圖像塊時(shí)的不連續(xù)性，高頻分量的粗量化等原因?qū)е碌摹＿@些失真不僅會(huì)降低視覺(jué)的感知質(zhì)量，而且對(duì)很多將壓縮圖像作為輸入的圖像處理算法造成不利影響[3]。

早期的算法[4-5]使用濾波的方法來(lái)去除簡(jiǎn)單的失真。隨后，基于數(shù)據(jù)的方法被提出來(lái)以避免不準(zhǔn)確的壓縮降質(zhì)模型?；谙∈璧膱D像復(fù)原方法[6-11]可以產(chǎn)生銳化的圖像，但復(fù)原后的圖像往往存在模糊的邊緣和不自然的平滑區(qū)域。文獻(xiàn)[12]中， 楊航等在傅里葉

域得到圖像的初步估計(jì)，再利用結(jié)構(gòu)字典學(xué)習(xí)的方法得到復(fù)原圖像。最近，Dong等[3]通過(guò)對(duì)SRCNN模型的特殊應(yīng)用[13]，將深度學(xué)習(xí)方法[14]引入到這個(gè)問(wèn)題。雖然這些算法在PSNR上取得了很好的效果，但并沒(méi)有包含太多特定問(wèn)題的先驗(yàn)知識(shí)[15]。較深的網(wǎng)絡(luò)以及較小的步長(zhǎng)都會(huì)導(dǎo)致計(jì)算量大大增加[16]，這導(dǎo)致深度學(xué)習(xí)算法在低配置的硬件上往往難以實(shí)現(xiàn)。

A+[17]通過(guò)改進(jìn)ANR[18]的線(xiàn)性映射學(xué)習(xí)來(lái)進(jìn)一步提高性能。當(dāng)完成字典訓(xùn)練后，A+以相關(guān)性為準(zhǔn)則，在500萬(wàn)個(gè)候選圖像特征向量里挑選2 048個(gè)相關(guān)性最高的特征向量來(lái)訓(xùn)練駐點(diǎn)回歸模型，極大地改善了圖像質(zhì)量。

文中提出一種基于分級(jí)子空間回歸的壓縮圖像復(fù)原方法，應(yīng)用于Webp壓縮人臉圖像。在訓(xùn)練部分，首先根據(jù)壓縮人臉圖像的邊緣方向，將壓縮-未壓縮圖像塊對(duì)劃分到不同的淺層子空間中，其次對(duì)每個(gè)淺層子空間使用K均值聚類(lèi)進(jìn)一步劃分其深層子空間。最后，通過(guò)將A+回歸模型應(yīng)用到每個(gè)深層子空間中，可以獲得一組彼此獨(dú)立的子空間回歸映射矩陣。在復(fù)原階段，分析每個(gè)壓縮圖像塊的邊緣方向，判斷它所屬的淺層子空間，從而選擇合適的深層子空間線(xiàn)性映射來(lái)復(fù)原壓縮圖像塊。

通過(guò)提取壓縮人臉圖像最明顯的特征分布約束信息，該算法克服了特征選擇，多尺度特征域以及光照強(qiáng)度的影響，具有良好的魯棒性。

1 HOG特征提取

1.1 計(jì)算梯度大小和方向

分別計(jì)算壓縮人臉圖像像素點(diǎn)(x,y)的梯度幅值和梯度方向：

(1)

(2)

其中，GX(x,y)和GY(x,y)分別是像素點(diǎn)(x,y)水平和垂直方向上的梯度；G(x,y)表示該像素點(diǎn)的梯度幅值；α(x,y)表示梯度方向。

1.2 生成HOG特征描述

將梯度方向劃分為M個(gè)方向，即將角度劃分為M個(gè)bin。通過(guò)計(jì)算每個(gè)圖像塊內(nèi)像素點(diǎn)分布在不同bin區(qū)間的梯度幅值之和，生成M維特征向量。對(duì)M維的特征向量標(biāo)準(zhǔn)化，就得到該圖像塊的HOG特征描述。

2 基于邊緣方向的分級(jí)子空間回歸

2.1 邊緣方向分析

眾所周知，同一個(gè)類(lèi)別內(nèi)信號(hào)的差異性比一般的差異性要小。Yang等[19]將輸入的降質(zhì)空間劃分成足夠精確的子空間，并在不同的子空間中學(xué)習(xí)回歸。正如文獻(xiàn)[20-21]論述的那樣，如果將圖像恰當(dāng)?shù)貏澐殖筛D像塊，并根據(jù)特征將每個(gè)圖像塊適當(dāng)?shù)貏澐殖啥鄠€(gè)子空間，則每個(gè)圖像子空間都可以學(xué)習(xí)到壓縮圖像塊到未壓縮圖像塊的有效線(xiàn)性映射。

通過(guò)調(diào)研壓縮人臉圖像時(shí)發(fā)現(xiàn)，位于邊緣的像素點(diǎn)梯度分布遵循一定的規(guī)律，而且和在壓縮自然圖像中明顯不同。測(cè)試從VGGface2數(shù)據(jù)集[22]提取的人臉圖像和通用的自然圖像數(shù)據(jù)集set115來(lái)驗(yàn)證是否存在這一規(guī)律，結(jié)果如圖1所示。在圖1中發(fā)現(xiàn)，位于邊緣的像素點(diǎn)在壓縮人臉圖像中的分布要比自然圖像更加對(duì)稱(chēng)，而且在45度到135度的范圍內(nèi)，分布的數(shù)量明顯更多。

這一特征表明，可以通過(guò)邊緣方向來(lái)區(qū)分壓縮的人臉圖像和自然圖像，并進(jìn)一步利用這一特征來(lái)復(fù)原壓縮人臉圖像。

圖1 人臉圖像和自然圖像邊緣點(diǎn)梯度方向?qū)Ρ?/p>

因?yàn)槭噶糠较蚝退南喾捶较蚩梢员徽J(rèn)為是同一個(gè)方向，所以在1.2節(jié)，采用180度的角度區(qū)間。同時(shí)為了避免式2在計(jì)算角度時(shí)分母為零的情況，將水平方向設(shè)置成一個(gè)非常小的值，這樣導(dǎo)致90度附近的像素點(diǎn)數(shù)量會(huì)非常多，直接影響到復(fù)原結(jié)果。為了更準(zhǔn)確有效的計(jì)算，把90度作為角度計(jì)算的起始點(diǎn)，即把第一象限映射到第三象限來(lái)獲得閉區(qū)間的角度分布，同時(shí)基于像素點(diǎn)數(shù)目的分布將180度量化成M個(gè)區(qū)間。這樣，對(duì)每個(gè)位于邊緣的圖像塊，就以它HOG特征描述中的最大值為這個(gè)圖像塊的邊緣方向，并賦予相應(yīng)的索引。

2.2 基于邊緣方向的淺層子空間聚類(lèi)

當(dāng)壓縮圖像具有較大的噪聲時(shí)，將相似的壓縮圖像塊聚類(lèi)到不同的淺層子空間中，這并不能保證它們對(duì)應(yīng)的原始圖像塊也是相似的。為了進(jìn)一步提高子空間聚類(lèi)的準(zhǔn)確性和增強(qiáng)算法的抗噪能力，獲取一個(gè)與目標(biāo)塊ym相同位置中心但具有更大尺寸的圖像塊yn，以yn的邊緣方向作目標(biāo)塊ym淺層子空間劃分的標(biāo)準(zhǔn)。

為了進(jìn)一步加快算法的運(yùn)行速度并判斷目標(biāo)塊ym是否位于圖像邊緣上，采用Canny算子來(lái)提取壓縮圖像的邊緣點(diǎn)，如果yn包含任何邊緣點(diǎn)，則計(jì)算yn的邊緣方向并分配以ym相應(yīng)的子空間索引。如果未包含任何邊緣點(diǎn)，對(duì)該子空間分配索引0。

通過(guò)這種方式，利用邊緣方向信息將圖像塊聚類(lèi)到適當(dāng)?shù)臏\層子空間中，每個(gè)子空間都由一組具備相似邊緣方向的壓縮圖像塊和未壓縮圖像塊對(duì)組成。對(duì)每個(gè)基于邊緣方向聚類(lèi)的淺層子空間，都可以學(xué)習(xí)到一個(gè)壓縮圖像塊到未壓縮圖像塊的有效線(xiàn)性映射矩陣，方便在復(fù)原階段使用。圖2為文中算法總框架。

2.3 分級(jí)子空間回歸

文中壓縮圖像塊由它的特征表示，這些特征是對(duì)壓縮圖像在水平方向和垂直方向的一階梯度和二階梯度特征的級(jí)聯(lián)表示。此外，在訓(xùn)練階段，其目標(biāo)在于找到一個(gè)廣義的線(xiàn)性映射PC，它能將所屬于淺層子空間C的壓縮圖像塊映射到原始的未壓縮版本，如

XC=PCYC

(3)

其中，XC表示處于同一淺層子空間C的原始圖像塊xi,c的矢量化集合；YC表示對(duì)應(yīng)的壓縮塊yi,c的矢量化集合。

在每個(gè)淺層子空間中使用K均值聚類(lèi)算法獲得每個(gè)淺層子空間下的深層子空間，同時(shí)得到的K均值聚類(lèi)中心就作為深層子空間中心的代表。在這個(gè)過(guò)程中，應(yīng)用主成分分析(PCA)來(lái)減少計(jì)算量。雖然同一淺層子空間中的圖像塊都具備相近的邊緣方向，但仍舊存在偏差。這種偏差也反映在每個(gè)深層子空間的中心和其他深層子空間中的圖像塊差異很大，所以當(dāng)完成深層子空間的劃分時(shí)，每個(gè)深層子空間的中心就作為學(xué)習(xí)回歸時(shí)的線(xiàn)性映射核。

對(duì)于淺層子空間C中的每個(gè)深子空間，都可以看做是l2范數(shù)正則化的最小二乘回歸[18]。

(4)

可以得到它的最優(yōu)估計(jì)為：

(5)

其中，I是單位矩陣；λ是正則化參數(shù)。

根據(jù)A+[17]可知，駐點(diǎn)周?chē)牧餍魏婉v點(diǎn)的相關(guān)性很大，準(zhǔn)確度要優(yōu)于整個(gè)樣本集。在這里用深層子空間中心周?chē)牧餍蝸?lái)代表整個(gè)深層子空間。

(6)

其中，Pdc是對(duì)應(yīng)每個(gè)深層子空間中心dc的映射矩陣；Sy,dc是同一淺層子空間中與dc相關(guān)性最高的N個(gè)壓縮圖像塊；Sx,dC為Sy,dC對(duì)應(yīng)的原始圖像塊。

使用同一淺層子空間下的壓縮-未壓縮圖像塊對(duì)，可以通過(guò)式3～6學(xué)習(xí)到相應(yīng)淺層子空間的廣義線(xiàn)性映射模型PC。

在復(fù)原階段，為了復(fù)原壓縮人臉圖像，只需要預(yù)先訓(xùn)練完所有深層子空間下的線(xiàn)性映射。

一旦輸入壓縮人臉圖像，首先將其分成一組相同位置中心不同尺度大小的圖像塊，以分析確定目標(biāo)塊的邊緣方向，從而得到對(duì)應(yīng)的淺層子空間索引。其次，通過(guò)計(jì)算相關(guān)性，對(duì)每個(gè)目標(biāo)塊yj,c搜索同一淺層子空間中距離它最近的線(xiàn)性映射核dc。然后，通過(guò)將錨定到dc的線(xiàn)性映射PdC和yj,c相乘得到復(fù)原后的圖像塊xj,c，最后拼接得到完整的復(fù)原后的圖像。

xj,c=PdCyj,c

(7)

3 實(shí)驗(yàn)結(jié)果與分析

為了公平地比較，使用VGGFace2數(shù)據(jù)集中不重復(fù)的4 000幅圖像作為訓(xùn)練集，使用從網(wǎng)絡(luò)獲得的50幅中國(guó)明星人臉圖像和從VGGface2另外獲得的50幅外國(guó)人臉圖像作為測(cè)試的100幅圖像。由于人類(lèi)視覺(jué)系統(tǒng)對(duì)亮度分量的敏感度高于色度分量，因此將RGB圖像轉(zhuǎn)換為YCbCr圖像，并且僅在Y通道上進(jìn)行復(fù)原。使用圖像質(zhì)量因子Q=1對(duì)訓(xùn)練圖像執(zhí)行WebP編解碼，以生成相應(yīng)的壓縮圖像。然后將每個(gè)壓縮圖像劃分為7×7重疊的圖像塊ym，并由具有相同中心位置，大小為13×13的圖像塊yn的邊緣方向來(lái)進(jìn)行子空間劃分，根據(jù)經(jīng)驗(yàn)將邊緣方向量化為16個(gè)方向。

將文中算法與去噪算法BM3D[23]和稀疏算法A+進(jìn)行比較。為了測(cè)試算法性能，測(cè)試集的平均PNSR和SSIM如表1所示?？梢钥吹剑c對(duì)比算法相比，文中算法具有更高的平均PSNR和SSIM。由于空間限制，只列出了其中兩幅具有代表性的圖像，如圖3和圖4所示。

表1 三種復(fù)原算法平均PSNR，SSIM比較

圖3 三種復(fù)原算法結(jié)果對(duì)比(VGG14)

圖4 三種復(fù)原算法結(jié)果對(duì)比(CN10)

可以看出，BM3D可以降低圖3(c)中的模糊程度，但它也忽略了圖4(c)中的部分高頻信息，這是因?yàn)锽M3D使用一個(gè)統(tǒng)一的sigma參數(shù)來(lái)處理圖像。從圖3(d)可以看出，A+在邊緣存在鋸齒效應(yīng)，并且在圖4(d)中存在一些模糊，主要原因是A+學(xué)習(xí)的字典過(guò)于緊湊，無(wú)法從一些不常見(jiàn)的訓(xùn)練圖像塊中獲取細(xì)節(jié)。而文中算法產(chǎn)生了更清晰的邊緣，并且產(chǎn)生了更清晰的紋理，如圖3(e)和圖4(e)。

4 結(jié)束語(yǔ)

提出了一種基于分級(jí)子空間回歸的壓縮圖像復(fù)原算法。利用人臉圖像的先驗(yàn)知識(shí)和結(jié)構(gòu)特征，將人臉圖像塊分類(lèi)到淺層子空間中，再通過(guò)K均值聚類(lèi)算法分類(lèi)到合適的深層子空間中，確保鄰域選擇的快速準(zhǔn)確，從而獲得更有效的線(xiàn)性映射矩陣。實(shí)驗(yàn)結(jié)果表明，相對(duì)于傳統(tǒng)復(fù)原方法，該算法提高了圖像的峰值信噪比，銳化了圖像的紋理和邊緣，減少了模糊和鋸齒效應(yīng)，改善了圖像視覺(jué)效果。