蘭明然，王友國，鄭丹青，翟其清

(1.南京郵電大學(xué) 理學(xué)院，江蘇 南京 210046；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

基于梯度下降法與QR分解的觀測矩陣優(yōu)化

蘭明然1，王友國1，鄭丹青1，翟其清2

(1.南京郵電大學(xué) 理學(xué)院，江蘇 南京 210046；2.南京郵電大學(xué) 通信與信息工程學(xué)院，江蘇 南京 210003)

觀測矩陣的設(shè)計是壓縮感知(CS)理論的核心問題?；趬嚎s感知理論,可通過降低觀測矩陣同稀疏變換基間的相關(guān)性和增大觀測矩陣獨立性的方式來優(yōu)化觀測矩陣。基于此提出一種新的優(yōu)化方法。用梯度下降法處理Gram矩陣，降低其非對角線元素;對得到的觀測矩陣進行QR分解。對所得到的觀測矩陣進行仿真實驗,以此來檢驗該算法的有效性。仿真實驗結(jié)果表明，該方法在提高峰值信噪比和重構(gòu)穩(wěn)定性方面較為理想，尤其當(dāng)壓縮比取0.30左右時，相對比未經(jīng)優(yōu)化的觀測矩陣，峰值信噪比有相當(dāng)顯著的提高，約提升67%。

壓縮感知；觀測矩陣；梯度下降法；QR分解

0 引 言

以Donoho為首的研究人員在前人研究基礎(chǔ)上，于2003年提出一種信號采樣與壓縮同時進行的理論—壓縮感知(Compressive Sensing,CS)[1-2]。該理論的信息處理方式將會大幅降低信息采集量、縮短信息采集時間和節(jié)約信息存儲空間。由于諸多優(yōu)點，該理論迅速引起了各科研和實用機構(gòu)的重視，并不斷發(fā)展。CS理論的重點是信號的準確采樣及其精確重構(gòu)。因此觀測矩陣的合理構(gòu)造就成為研究重點。

依據(jù)CS理論，觀測矩陣應(yīng)滿足以下兩方面性質(zhì)：

(1)列向量必須具備一定的獨立性，且獨立性越大越好[1]；

(2)約束等距性[3]，即觀測矩陣與稀疏變換基的非相關(guān)性[4]，這與信號能夠重構(gòu)的精確程度有很大關(guān)系。

有研究表明，當(dāng)觀測矩陣同稀疏矩陣相關(guān)性足夠小時，信號測量值數(shù)目逐漸逼近理論值，且同時滿足重構(gòu)原始信號的精確性要求[5]。故國內(nèi)外關(guān)于優(yōu)化觀測矩陣的研究重點是增大觀測矩陣列向量獨立性和降低觀測矩陣同稀疏矩陣間的相關(guān)性。

目前關(guān)于增大測量矩陣列向量獨立性的研究有QR分解法[6]和基于奇異值分解法[7-8]。文獻[9]引入相關(guān)系數(shù)μ這一概念，以此表示觀測矩陣列向量與稀疏字典列向量之間內(nèi)積的最大值(即兩矩陣的最大相關(guān)性)。

關(guān)于減小觀測矩陣同稀疏矩陣間相關(guān)性的主要方法有：特征值分解法減小相關(guān)系數(shù)或使Gram矩陣逼近單位矩陣[10-11]；有效投影法構(gòu)建觀測矩陣[12]；閾值縮放處理減小非對角線元素[13]；梯度下降迭代法處理Gram矩陣，使其逼近單位矩陣[14-15]等。

為獲得壓縮比較小且信號重構(gòu)更精確的觀測矩陣，文中將用于降低觀測矩陣與稀疏矩陣相關(guān)性的梯度下降法和用于增加觀測矩陣列獨立性的QR分解相結(jié)合，進一步優(yōu)化，并在實驗上對該方法可行性進行驗證。

1 壓縮感知理論簡介

壓縮感知，是給定一個可壓縮或稀疏的原始信號，通過某個特定矩陣將其投影到一個低維空間上，再利用一定的重建算法重構(gòu)出原始信號[1]。具體如下：

(1)

常見的稀疏變換有離散余弦變換、小波變換及傅里葉變換等。文中采取小波變換。

y=Φx

(2)

將式(1)代入到式(2)中，整理得：

y=Φx=ΦΨλ=Dλ

(3)

其中，矩陣Φ和D=ΦΨ均是M×N矩陣，分別稱為觀測矩陣和傳感矩陣。

2 觀測矩陣優(yōu)化設(shè)計

目前，現(xiàn)有的觀測矩陣均有一定缺陷，如隨機矩陣具有不確定性且不容易硬件實現(xiàn)，托普利茲矩陣和輪換矩陣列向量之間有很大相關(guān)性等等。觀測矩陣的研究熱點在于:尋求具有更小壓縮比且穩(wěn)定性較好的觀測矩陣。

為得到更加穩(wěn)定的重構(gòu)效果，文中為滿足觀測矩陣與稀疏基間相關(guān)性和觀測矩陣列向量獨立性的要求，提出一種基于梯度下降法與QR分解結(jié)合的優(yōu)化方法。

2.1 基于梯度下降法降低相關(guān)性

(4)

由于梯度下降法處理矩陣能得到更優(yōu)結(jié)果，故再繼續(xù)使用該方法來處理Gram矩陣，以此達到降低Gram矩陣非對角線的元素大小、使其逐漸逼近單位矩陣的目的。理想情況下，當(dāng)矩陣除對角線元素外所有元素全為零時，相干系數(shù)為0。采取以下方法優(yōu)化Gram矩陣，使其逼近單位矩陣。

(5)

(6)

由推導(dǎo)知，當(dāng)矩陣滿足式(6)時，μ最小。

定義誤差函數(shù)：

(7)

根據(jù)文獻[15]：

(8)

(9)

2.2 QR分解增大列獨立性

根據(jù)CS理論，信號重構(gòu)所需的測量數(shù)目與重構(gòu)矩陣的列獨立性有很大關(guān)聯(lián)—其列獨立性越大，所需測量數(shù)目越少。同時，觀測矩陣的列獨立性又與其最小奇異值也有很強的關(guān)聯(lián)性。具體關(guān)系為：矩陣的最小奇異值越大，矩陣的列獨立性越大，但同時最小奇異值必須滿足大于一個非負常數(shù)的條件[1,14]。因此，是否能在不改變測量矩陣其他性質(zhì)的條件下增大測量矩陣的最小奇異值就成了提高重構(gòu)矩陣性能的關(guān)鍵。

2.3 矩陣優(yōu)化

為得到一個與稀疏矩陣相關(guān)性較小且列獨立性較大的觀測矩陣，文中以高斯矩陣為原始矩陣，對其做優(yōu)化處理。具體過程如下：利用高斯矩陣構(gòu)造Gram矩陣，用梯度下降法對得到的Gram矩陣做進一步處理使其逼近單位矩陣，把通過迭代優(yōu)化后的矩陣進行反向求解，得到初始觀測矩陣，再用QR分解法處理該矩陣得到性能更優(yōu)的矩陣；以上述步驟得到的矩陣為初始矩陣重復(fù)上述過程，當(dāng)?shù)螖?shù)達到一個界值時，得到最終觀測矩陣，并輸出。具體的矩陣優(yōu)化步驟如下所示：

輸入：稀疏矩陣Ψ，迭代步長η，迭代次數(shù)K；

初始化：Φ為一個任意的隨機矩陣，D=ΦΨ；

循環(huán)：k=1∶K；

對Φ1進行近似QR分解優(yōu)化：即先對Φ1進行QR分解，得到Φ1=QR。其中，Q為正交陣，R為上三角矩陣。然后將R中的非對角線元素設(shè)置為零，得到R1；最后根據(jù)Φ2=QR1求得進一步更新的矩陣Φ2。再根據(jù)D=Φ2Ψ，依次循環(huán)

3 仿真結(jié)果與分析

為證實提出優(yōu)化方法的優(yōu)越性，采用Matlab標(biāo)準圖像庫中256*256Lena圖像進行仿真實驗。得到的實驗結(jié)果分別與未經(jīng)任何處理的原始高斯矩陣、僅進行梯度下降法處理的高斯矩陣[15]和僅進行QR分解處理的高斯矩陣[6]的仿真實驗結(jié)果進行對比。在文中所進行的壓縮感知算法中，取高斯矩陣為初始矩陣，選取小波變換為稀疏變換，以正交匹配追蹤(OrthogonalMatchingPursuit，OMP)算法作為重構(gòu)算法，文中壓縮比取0.30、0.35、0.40、0.45、0.50、0.55、0.60，經(jīng)仿真實驗后，得到不同壓縮比下的峰值信噪比，與前述三種算法所得峰值信噪比進行比較。仿真結(jié)果檢驗共分為兩個部分：(1)不同壓縮比下，4種觀測矩陣所得重構(gòu)結(jié)果的精度比較;(2)相同壓縮比下，4種觀測矩陣所得重構(gòu)結(jié)果的精度比較。

3.1 不同壓縮比的比較

由于重構(gòu)精度可以用峰值信噪比來表示，故通過比較在不同壓縮比下、經(jīng)不同優(yōu)化方法處理所得觀測矩陣的峰值信噪比來檢驗文中所提優(yōu)化方法的優(yōu)化效果。由于觀測矩陣的選取具有隨機性，故在相同壓縮比下同一種優(yōu)化方法所得峰值信噪比存在差異，所以文中取30次平均統(tǒng)計的結(jié)果為最后結(jié)果。4種觀測矩陣在不同壓縮比時的Lena圖像重構(gòu)峰值信噪比如表1所示。

表1 不同壓縮比下的PSNR

由表1可知，文中優(yōu)化相比于梯度下降法優(yōu)化的峰值信噪比有明顯提高，與QR優(yōu)化相比，平均每次提高約0.5 dB，尤其當(dāng)壓縮比為0.30、0.40、0.50、0.60時,Lena的PSNR比未優(yōu)化方法的PSNR提高情況分別約為10.5 dB、3.8 dB、3.8 dB和2.9 dB。通過比較可知，隨著壓縮比的增大，文中優(yōu)化方法優(yōu)勢越來越弱，即壓縮比越小,文中優(yōu)化方法優(yōu)勢越明顯。圖1為4種觀測矩陣在不同壓縮比下的峰值信噪比(Peak Signal Noise Ratio，PSNR)。

圖1 不同壓縮比下4種觀測矩陣的重構(gòu)信號信噪比

由圖1可知，將采取文中方法優(yōu)化后的觀測矩陣用于圖像重構(gòu)，所得PSNR值均大于只進行QR優(yōu)化處理和梯度下降優(yōu)化處理的觀測矩陣所得到的PSNR值，同時，相比于原始觀測矩陣，其提升效果更加明顯。這表明文中優(yōu)化方法可提高重構(gòu)精度，改善重構(gòu)質(zhì)量。

3.2 算法重構(gòu)穩(wěn)定性

因為文中所采取的優(yōu)化算法不僅降低了稀疏矩陣與觀測矩陣間的相關(guān)性，而且同時增大了觀測矩陣的列獨立性，所以相對于其他3種算法，該算法具有更好的穩(wěn)定性。如前文所述，相同壓縮比下同一種優(yōu)化方法所得峰值信噪比存在差異，故文中將同種壓縮比下重構(gòu)精度隨著觀測次數(shù)變化而變化的規(guī)律用折線圖形式呈現(xiàn)。圖2和圖3分別為壓縮比取0.30和0.60時對Lena圖像進行觀測重構(gòu)后，峰值信噪比隨觀測次數(shù)變化而變化的折線圖。

圖2 壓縮比為0.30的PSNR圖

圖3 壓縮比為0.60的PSNR圖

由圖2、圖3可看出，文中優(yōu)化方法PSNR始終大于其他3種方法，且其波動性相比其他3種方法的波動性較小，穩(wěn)定性較好。另外，隨著壓縮比的增大，其他方法的仿真穩(wěn)定性也會有所提高，比較接近于文中優(yōu)化方法的穩(wěn)定性。由上述分析可知：在壓縮比較小的情況下，相對于其他算法，文中提出的優(yōu)化處理方法不僅信號重構(gòu)具有更高精度，而且信號重構(gòu)更加穩(wěn)定。圖4展示了Lena在0.50壓縮比的情況下，不同算法的信號重構(gòu)效果。

圖4 4種不同優(yōu)化方法的重構(gòu)圖

從圖4可以看出，圖(b)和(c)比較模糊，圖(e)相對于圖(d)在嘴巴和鼻子細節(jié)上重構(gòu)效果較好，圖(e)的重構(gòu)效果最好。同時，再加上峰值信噪比的對比結(jié)果，文中所采用的優(yōu)化方法具有最高峰值信噪比。綜上所述，在相同壓縮比的情況下，所提優(yōu)化方法信號重構(gòu)質(zhì)量最好。

4 結(jié)束語

文中給出一種基于梯度下降法的QR分解優(yōu)化方法，得到較優(yōu)的觀測矩陣。該矩陣具有較大的列獨立性，同時與稀疏矩陣間相關(guān)性較低。通過仿真檢驗可知：當(dāng)壓縮比取0.50時相對于僅進行QR優(yōu)化和僅進行梯度下降優(yōu)化的觀測矩陣，采取所提優(yōu)化方法用于圖像重構(gòu)的峰值信噪比分別提高了1.5 dB和3.1 dB,而相對未優(yōu)化的觀測矩陣，其提升幅度更大；尤其當(dāng)壓縮比較小時，提出的優(yōu)化方法在信號重構(gòu)方面具有更加明顯的提升效果。另外，該方法在穩(wěn)定性方面也有較大優(yōu)勢。文中的研究工作還有許多待改進的地方，例如進一步減小觀測矩陣與稀疏矩陣間的相關(guān)性，采用更少的觀測數(shù)目以及減少重構(gòu)時間得到更精確的重構(gòu)效果等。

[1] Donoho D.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289-1306.

[2] Candes E.Compressive sampling[C]//Proceedings of the international congress of mathematicians.Madrid,Spin:[s.n.],2006:1433-1452.

[3] Candes E J,Tao T.Near optimal signal recovery form random projections:universal encoding strategies?[J].IEEE Transactions on Information Theory,2006,52(12):5406-5425.

[4] Baraniuk R G.A lecture on compressive sensing[J].IEEE Signal Processing Magazine,2007,24(4):118-121.

[5] 徐 靜,王彩云.壓縮感知測量矩陣優(yōu)化混合方法[J].深圳大學(xué)學(xué)報:理工版,2014,31(1):58-62.

[6] 傅迎華.可壓縮傳感重構(gòu)算法與近似QR分解[J].計算機應(yīng)用,2008,28(9):2300-2302.

[7] 彭玉樓,何怡剛,林 斌.基于奇異值分解的壓縮感知噪聲信號重構(gòu)算法[J].儀器儀表學(xué)報,2012,33(12):2655-2660.

[8] 鄭 曉,薄 華,孫 強.QR分解與特征值優(yōu)化觀測矩陣的算法研究[J].智能系統(tǒng)學(xué)報,2015,10(1):149-155.

[9] Donoho D L,Stark P B.Uncertainty principles and signal recovery[J].SIAM Journal on Mathematical Analysis,1989,49(3):906-931.

[10] 趙瑞珍,秦 周,胡紹海.一種特征值分解的測量矩陣優(yōu)化方法[J].信號處理,2012,28(5):653-658.

[11] Duarte-Cavajalino J M,Sapiro G.Learning to sense sparse signals:simultaneous sensing matrix and sparsifying dictionary optimization[J].IEEE Transactions on Image Processing,2009,18(7):1395-1408.

[12] Nhat V D M,Vo D,Challa S,et al.Efficient projection for compressed sensing[C]//Proceedings of the computer and information science.[s.l.]:IEEE,2008:322-327.

[13] Elad M.Optimized projections for compressed sensing[J].IEEE Transactions on Signal Processing,2008,55(12):5695-5702.

[14] Abolghasemin V,Ferdowsi S,Makkiabadi B,et al.A robust approach for optimization of the measurement matrix in compressed sensing[C]//International workshop on cognitive information processing.Elba Island:IEEE Press,2010:388-392.

[15] Abolghasemin V,Ferdowsi S,Makkiabadi B,et al.On optimization of the measurement matrix for compressive sensing[C]//Signal processing conference.[s.l.]:IEEE,2010:427-431.

Optimization of Measurement Matrix Based on Gradient Descent Method and QR Decomposition

LAN Ming-ran1,WANG You-guo1,ZHENG Dan-qing1,ZHAI Qi-qing2

(1.College of Science,Nanjing University of Posts and Telecommunications,Nanjing 210046,China; 2.College of Telecommunications & Information Engineering,Nanjing University of Posts and Telecommunications,Nanjing 210003,China)

The design of the measurement matrix is the core of the theory of Compressive Sensing (CS).Based on the CS,the performance of the measurement matrix is improved by the way which is that the correlation between the measurement matrix and sparse transformed matrix is reduced and that the column independence of the measured matrix is increased.Depending on this,a method to improve the performance of the observation matrix is proposed.The Gram matrix is processed by the gradient descent method to reduce non-diagonal elements and the matrix obtained from the last step is dealt by the QR decomposition.The simulation experiment is carried out on the measurement matrix to test the validity of the algorithm.The result shows that the measurement matrix dealt by this method has better performance in Peak Signal-Noise Ratio (PSNR) and stability of reconstruction especially when the compression ratio is 0.30,and the PSNR of this matrix is 67% higher than the matrix without any treatments.

compressive sensing;measurement matrix;gradient descent method;QR decomposition

2016-03-12

2016-06-15

時間：2017-01-04

國家自然科學(xué)基金資助項目(61179027)

蘭明然(1992-)，女，碩士研究生，研究方向為信號處理理論與應(yīng)用；王友國，教授，博士生導(dǎo)師，研究方向為信息理論及應(yīng)用、編碼理論與應(yīng)用、隨機共振理論與研究。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1028.058.html

TP301

A

1673-629X(2017)01-0190-05

10.3969/j.issn.1673-629X.2017.01.043