汪韌 郭靜波 惠俊鵬 王澤 劉紅軍 許元男 劉韻佛

1) (中國運載火箭技術(shù)研究院研究發(fā)展部,北京 100076)

2) (清華大學(xué)電機工程與應(yīng)用電子技術(shù)系,北京 100084)

1 引 言

壓縮感知[1,2]實現(xiàn)了以遠(yuǎn)低于奈奎斯特的采樣頻率去采樣稀疏信號,并以高概率實現(xiàn)原信號的準(zhǔn)確恢復(fù).貝葉斯壓縮感知[3]從統(tǒng)計學(xué)的角度描述了信號的壓縮采樣與恢復(fù)過程.根據(jù)稀疏貝葉斯學(xué)習(xí)理論,需要對信號的先驗分布進行建模.高斯混合模型(Gaussian mixture models,GMM)因其具有強大且靈活的擬合能力被廣泛應(yīng)用于信號先驗分布的建模中[4?6].從主成分分析(principal components analysis,PCA)的角度來說,GMM模型中每一類高斯分布的協(xié)方差矩陣的PCA基張成了信號稀疏分解的子空間[7].壓縮感知自提出以后被廣泛應(yīng)用于物理成像領(lǐng)域,如光譜成像[8]、太赫茲成像[9]、圖像加密[10]、圖像重建[11,12]等.

盡管GMM具有簡單靈活的優(yōu)點,但由于圖像包含了豐富的信息,GMM對圖像(或視頻每一幀)的概率分布進行建模時先將整幅圖像分割成多個重疊或者不重疊的圖像塊(patches),對每一小塊的先驗分布函數(shù)進行建模,再獨立恢復(fù)圖像中的每一小塊,最后按其在圖像中對應(yīng)的位置組合成一整幅圖像,其中重疊區(qū)域的像素取平均,這樣做的缺點是容易產(chǎn)生圖像的分割效應(yīng).另外,在硬件實現(xiàn)時,壓縮感知是對整幅圖像直接進行壓縮測量[13].一種直觀的想法是能不能直接對整幅圖像的先驗分布進行建模,但該想法實現(xiàn)的困難體現(xiàn)在兩方面: 一是整幅圖像的信息量相比于圖像塊要豐富得多,擬合其先驗分布函數(shù)的難度會大大增加,簡單的GMM對于整幅圖像先驗分布函數(shù)的建模效果不佳; 二是整幅圖像的維數(shù)比圖像塊的維數(shù)大得多,若對整幅圖像的概率分布進行建模,計算量將大大增加.

針對上述問題,本文提出卷積高斯混合模型(convolutional Gaussian mixture models,convGMM)對整幅圖像的概率分布進行建模.本文的立意如下:

1) 將整幅圖像包含的復(fù)雜信息分為兩部分:背景信息(background information)和細(xì)節(jié)信息(detail information).由于背景信息的內(nèi)容相對較少,這里延續(xù)GMM的思想,將不同均值的線性加權(quán)求和來擬合背景信息.針對復(fù)雜的細(xì)節(jié)信息,本文從卷積稀疏編碼(convolutional sparse coding,CSC)[14]和解卷積網(wǎng)絡(luò)(deconvolutional networks,DN)[15?17]中得到啟發(fā),利用多個濾波器(filter)與特征圖(feature map)卷積的線性加權(quán)求和來擬合整幅圖像的細(xì)節(jié)信息.從圖像塊到整幅圖像建模的關(guān)鍵是使用了解卷積網(wǎng)絡(luò).從直觀的角度來說,解卷積神經(jīng)網(wǎng)絡(luò)中濾波器的作用類似于傳統(tǒng)壓縮感知中的稀疏基.同時,本文將GMM與解卷積網(wǎng)絡(luò)相結(jié)合,使得該模型兼具了多個解卷積網(wǎng)絡(luò)線性加權(quán)的靈活性.

2) 考慮到對整幅圖像的模型參數(shù)進行訓(xùn)練時,計算復(fù)雜度高,本文在信號模型和壓縮測量模型中都引入了循環(huán)卷積,根據(jù)循環(huán)卷積所對應(yīng)的含有循環(huán)塊的塊循環(huán)矩陣(block circulant matrix with circulant blocks,BCCB)的數(shù)學(xué)性質(zhì)[18],所有的訓(xùn)練和恢復(fù)過程都可以利用二維快速傅里葉變換(two-dimensional fast Fourier transforms,2DFFTs)實現(xiàn)快速運算.

本文的主要研究內(nèi)容如下: 1)首先提出convGMM對整幅圖像的先驗分布進行建模; 2)針對模型中未知參數(shù)的學(xué)習(xí),本文采用經(jīng)典的期望極大化(expectation maximization,EM)算法求解極大邊緣似然估計(maximizing the marginal loglikelihood estimation,MMLE); 3)針對信號的恢復(fù)過程,首先基于先驗分布函數(shù)和似然函數(shù)推導(dǎo)出信號的后驗分布函數(shù),并將后驗分布的數(shù)學(xué)期望作為原信號的估計,該估計是最小均方誤差意義下的估計; 4)最后在CIFAR-10數(shù)據(jù)集、Caltech 101數(shù)據(jù)集和CelebA數(shù)據(jù)集上驗證本文的MMLE-conv GMM算法相比于傳統(tǒng)壓縮感知算法的優(yōu)越性.

2 convGMM

令X表示任意的圖像,傳統(tǒng)的GMM為

其中,p(X|z) 服從高斯分布,p(z) 表示第z個高斯分布所占的權(quán)重.使用GMM時需要先將整幅圖像分割成多個圖像塊,再對每一圖像塊的概率分布函數(shù)進行建模.

本文在此基礎(chǔ)上提出convGMM對整幅圖像X的概率分布進行建模:

其中,

如果將圖像X向量化,x=vec(X) ,則它的分布為

需要特別指出的是,(3)式中的卷積是循環(huán)卷積,而不是線性卷積.使用循環(huán)卷積的目的是為了在整幅圖像上實現(xiàn)快速有效的運算.如果圖像的大小為對于灰度圖像Nc=1,對于彩色圖像Nc=3),每個濾波器的大小為(一般情況下則在循環(huán)卷積的框架下特征圖與圖像X有著相同的大小,即根據(jù)卷積濾波器與卷積矩陣之間的對應(yīng)關(guān)系,卷積矩陣是一個有著循環(huán)塊的塊循環(huán)矩陣:

其中,每一塊Fz,j,j=0,1,···,N2?1是1個N1×N1的循環(huán)矩陣,根據(jù)BCCB的性質(zhì),可得

其中,WN1表示N1×N1大小的離散傅里葉變換矩陣,?表示Kronecker積,是卷積矩陣的第一行.因此,循環(huán)卷積運算可以利用(8)式中的一次二維快速傅里葉逆變換(twodimensional inverse fast Fourier transforms,2DIFFTs)、兩次2D-FFTs和頻域上簡單的分量式運算實現(xiàn)快速運算.為了表示簡潔,這里令W2d=WN2?WN1表示相應(yīng)維度的2D-FFTs矩陣,則(8)式可以簡寫為

將循環(huán)卷積運算從時域轉(zhuǎn)化到頻域是算法能夠快速運算的關(guān)鍵.為了更好地理解提出的模型,需要指出的兩點是:

1)類似于傳統(tǒng)壓縮感知中多幅圖像被同一組稀疏基或稀疏字典表示,在這里N幅圖像共同被K組卷積濾波器與特征圖的循環(huán)卷積表示;

3 從訓(xùn)練集中學(xué)習(xí)convGMM

基于(9)式中Fz的頻域性質(zhì),可得

上述這些參數(shù)均可利用2D-FFTs和2D-IFFTs實現(xiàn)快速運算.由(11)式可得信號x的邊緣分布

和給定x時的(z,s)的后驗分布

其中,

本文將未知變量 {zi,si} 看作隱變量,基于MMLE從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)convGMM:

其中,聯(lián)合分布p(zi,si,xi|Θ) 由(10)式給出.通過EM算法[19]求解上述的目標(biāo)函數(shù),具體步驟如下.

從直觀上看,接下來可以直接推導(dǎo)(19)式最后一行的期望,從而完成整個期望的計算.但在卷積運算轉(zhuǎn)化為乘積運算的過程中大的卷積矩陣是由小的卷積濾波器按照循環(huán)卷積的對應(yīng)關(guān)系生成的,且Fz中大部分元素都是0.所以在接下來EM算法的M-step中,本文不能直接更新Fz,而應(yīng)更新濾波器在本步中需要將(19)式最后一行的Fz轉(zhuǎn)化為用(或fz,因為來表示.為了使后續(xù)的結(jié)論更加具有普適性,這里將協(xié)方差矩陣γI拓展為任意矩陣Γ的一般情形.(19)式最后一行可進一步化簡為

(20)式最后一行的第二項為

如果Γ=γI,則

將(22)和(24)式代入(19)和(20)式中,可得對數(shù)似然函數(shù)的期望為

在(12)—(14)式和(26),(27)式之間交替迭代組成了整個MMLE-convGMM算法的迭代過程.根據(jù)EM算法的性質(zhì)[19],邊緣似然函數(shù)將隨迭代次數(shù)逐漸增加直至收斂.

4 基于convGMM的壓縮測量

在壓縮測量過程中,本文考慮將原圖像與隨機核矩陣進行循環(huán)卷積,再依據(jù)采樣率對循環(huán)卷積的結(jié)果進行降采樣.該過程的模型為

其中,P?是降采樣算子P?對應(yīng)的降采樣矩陣,Φ是由卷積核生成的有著循環(huán)塊的塊循環(huán)矩陣,其結(jié)構(gòu)如(7)式所示,故Φ可表示為

基于convGMM的壓縮測量如圖1所示,本文的目標(biāo)是基于極大后驗估計,從壓縮測量結(jié)果y中恢復(fù)原信號x.

(z,s,x,y)的聯(lián)合分布為

根據(jù)貝葉斯理論,(z,s,x,y)的聯(lián)合分布還可寫為

其中的參數(shù)滿足

化簡可得

圖1 基于convGMM的壓縮測量Fig.1.Structure of convGMM with application to compressive sensing.

從(32)式的最后一行可得y的邊緣分布

以及給定y時,(z,s,x)的后驗分布

其中,

由(43)式可得信號x的后驗分布為

可以看出信號x的后驗分布也是一個GMM,各高斯分布的期望、協(xié)方差矩陣和權(quán)重都與壓縮測量結(jié)果以及未知參數(shù)有關(guān).

由此可得信號x后驗分布的期望恰好是最小均方誤差(minimum mean square error,MMSE)意義下的估計[20],即

5 計算復(fù)雜度分析

由于本文所提的convGMM對整幅圖像的概率分布進行建模,因而存在矩陣維數(shù)大,計算復(fù)雜的問題,為了提高MMLE-convGMM算法運算的效率,本文做了如下兩個重要的降低計算復(fù)雜度的工作.

1)在convGMM中采用循環(huán)卷積((2)和(3)式),因而循環(huán)卷積運算可以利用有著循環(huán)塊的塊循環(huán)矩陣的數(shù)學(xué)性質(zhì),基于(8)式中的一次2D-IFFTs、兩次2D-FFTs和頻域上簡單的分量式運算實現(xiàn)快速運算.計算復(fù)雜度從減小到

更重要的是,在第3節(jié)convGMM模型的訓(xùn)練中,(12)—(14)式中參數(shù)的計算,以及第4節(jié)從壓縮測量結(jié)果y中恢復(fù)原信號x,(48)式中參數(shù)的計算,均可利用(8)式中的2D-FFTs和2D-IFFTs實現(xiàn)快速運算.

2)在MMLE-convGMM算法的迭代過程中,(27)式中矩陣求逆的計算復(fù)雜度較大.令

其中,

為了降低矩陣A求逆的復(fù)雜度,本文考慮分塊矩陣求逆

其中,

再根據(jù)Woodbury矩陣恒等式,將矩陣M化簡為

6 仿真結(jié)果及分析

本節(jié)將在三個標(biāo)準(zhǔn)數(shù)據(jù)集上驗證MMLE-convGMM算法的有效性.此外,還與其他的壓縮感知算法相比較,包括基于GMM的MMLEGMM算法[6],貪婪算法中的正交匹配追蹤算法(orthogonal matching pursuit,OMP)[21],凸優(yōu)化算法中的YALL1算法[22]以及通過極小化l2,1范數(shù)求解群基追蹤(group basis pursuit)問題的廣義交替投影(generalized alternating projection,GAP)算法[23].每一種算法的恢復(fù)性能通過峰值信噪比(peak signal to noise ratio,PSNR)來評價.對于OMP,YALL1和GAP,這里選取離散余弦變換(discrete cosine transform,DCT)矩陣作為稀疏基,記為“DCT-OMP”,“DCT- YALL1”和“DCT-GAP”.此外,文獻[24]還提供了KSVDYALL1算法用于整幅圖像的恢復(fù),該算法首先利用KSVD算法在圖像塊上學(xué)習(xí)稀疏表示的字典,再將圖像塊上學(xué)習(xí)的稀疏字典構(gòu)建出整幅圖像的稀疏字典,因此本文也增加了KSVD-YALL1算法作為比較.

6.1 CIFAR-10數(shù)據(jù)集

首先在CIFAR-10數(shù)據(jù)集[25]上驗證MMLE-convGMM算法的有效性.CIFAR-10數(shù)據(jù)集是由10類 32×32 大小的自然圖像組成的數(shù)據(jù)集,每一類圖像有60000張,其中50000張訓(xùn)練圖像、10000張測試圖像.這里隨機從中選取了3000張圖像(每一類圖像約300張)并將其轉(zhuǎn)化為灰度圖像用于壓縮感知.基于第4節(jié)的壓縮測量方法,首先將每張圖像與高斯核矩陣做循環(huán)卷積,再對卷積的結(jié)果進行降采樣.采樣率(sampling rate)定義為壓縮采樣數(shù)m與圖像的像素n之比,這里設(shè)定采樣率從0.05增加到0.4,增加的步長為0.05,即m/n∈{0.05,0.1,0.15,0.2,0.25,0.3,0.35,0.4}.壓縮測量噪聲的標(biāo)準(zhǔn)差設(shè)為σ=10?4.

圖2給出了在CIFAR-10圖像中,不同壓縮感知算法恢復(fù)出圖像的PSNR隨采樣率的變化情況,可以看出MMLE-convGMM明顯優(yōu)于傳統(tǒng)的壓縮感知算法,MMLE-GMM算法的性能次之.DCTYALL1與DCT-GAP兩大類凸優(yōu)化算法的恢復(fù)性能相當(dāng).貪婪算法DCT-OMP的計算速度較快,但其恢復(fù)性能比凸優(yōu)化算法要差.

圖2 CIFAR-10圖像,不同算法下恢復(fù)圖像的PSNR隨采樣率的變化Fig.2.Averaged PSNR of reconstructed images from CIFAR-10 dataset as a function of sampling rate.

6.2 Caltech 101數(shù)據(jù)集

為了進一步在大一些的圖像數(shù)據(jù)集上測試MMLE-convGMM算法的有效性,本節(jié)選取Caltech 101數(shù)據(jù)集[26].Caltech 101數(shù)據(jù)集由101類自然圖像所組成,每一類圖像有40—800張,且每一張圖像的大小約為 300×200.這里選取其中“飛機”圖像,共800張.首先將它們轉(zhuǎn)化為灰度圖像,再將其統(tǒng)一成 128×128 的像素.所有其他的設(shè)置,包括采樣率、測量矩陣、噪聲水平同CIFAR-10數(shù)據(jù)集的仿真.圖3是不同壓縮感知算法的恢復(fù)PSNR隨著采樣率的變化情況.此外,在圖4中展示了隨機選取的12張Caltech 101“飛機”圖像在不同算法下的恢復(fù)情況,采樣率設(shè)定為0.4.

由圖3和圖4可以看出,類似于CIFAR-10的仿真結(jié)果,MMLE-convGMM算法明顯優(yōu)于其他的壓縮感知恢復(fù)算法,且在采樣率為0.4時,恢復(fù)圖像的PSNR達(dá)到了28 dB.

圖3 Caltech 101圖像,不同算法下恢復(fù)圖像的PSNR隨采樣率的變化Fig.3.Averaged PSNR of reconstructed images from Caltech 101 dataset as a function of sampling rate.

圖4 采樣率為0.4時,12張Caltech 101“飛機”圖像在不同算法下的恢復(fù)情況 (a)原圖像; (b) MMLE-convGMM下的恢復(fù)圖像; (c) MMLE-GMM下的恢復(fù)圖像; (d) KSVD-YALL1下的恢復(fù)圖像; (e) DCT-YALL1下的恢復(fù)圖像; (f) DCT-GAP下的恢復(fù)圖像; (g) DCT-OMP下的恢復(fù)圖像Fig.4.Reconstructed performance comparison of 12 randomly selected “airplane” images from Caltech 101: (a) Original images;(b) images reconstructed by MMLE-convGMM; (c) images reconstructed by MLE-GMM; (d) images reconstructed by KSVDYALL1; (e) images reconstructed by DCT-YALL1; (f) images reconstructed by DCT-GAP; (g) images reconstructed by DCT-OMP.All of the sampling rates are 0.4.

6.3 CelebA數(shù)據(jù)集

最后在含有更大圖像的CelebA (Large-scale CelebFaces Attributes)數(shù)據(jù)集[27]上驗證MMLE-convGMM算法的有效性.CelebA數(shù)據(jù)集含有超過200000張的名人圖像,每幅圖像有40個屬性注釋.該數(shù)據(jù)集中的圖像包含了各種人物的姿勢和背景.這里將圖像統(tǒng)一為 256×256 的像素.圖5是CelebA圖像的恢復(fù)PSNR隨著采樣率的變化情況.圖6展示了隨機選取的CelebA圖像的恢復(fù)情況,采樣率設(shè)定為0.4,可以看出MMLE-convGMM算法在大圖像數(shù)據(jù)集上有著很好的恢復(fù)效果.當(dāng)采樣率為0.4時,恢復(fù)圖像的PSNR為30 dB.

圖5 MMLE-convGMM算法恢復(fù)CelebA圖像的PSNR隨采樣率的變化Fig.5.Averaged PSNR of reconstructed images from CelebA dataset as a function of sampling rate by MMLE-convGMM.

圖6 隨機選取的CelebA圖像的恢復(fù)情形 (a)原圖像; (b) MMLE-convGMM算法恢復(fù)的圖像,采樣率為0.4Fig.6.Reconstructed performance of randomly selected CelebA face images: (a) Original images; (b) images reconstructed by MMLE-convGMM.The sampling rates are 0.4.

7 結(jié) 論

本文提出了convGMM對整幅圖像的概率分布進行建模,該模型不僅利用了解卷積神經(jīng)網(wǎng)絡(luò)的思想,對于整幅圖像先驗分布的建模具有非常好的效果,而且兼具GMM的靈活性.對于convGMM中未知參數(shù)的學(xué)習(xí),本文提出了通過EM算法求解MMLE.基于后驗分布的期望從壓縮測量結(jié)果中估計原信號,且該估計是最小均方誤差意義下的估計.為解決對整幅圖像直接進行計算時的維數(shù)較大、計算復(fù)雜度較高的問題,在convGMM和壓縮測量模型中都使用了循環(huán)卷積,所有的訓(xùn)練和恢復(fù)過程都可以利用2D-FFTs實現(xiàn)快速運算.仿真實驗表明,本文所提的MMLE-convGMM算法明顯優(yōu)于傳統(tǒng)的壓縮感知算法.