呂志強,陸 云,孔慶善,薛亞楠
(1.中國科學(xué)院信息工程研究所,北京 100093;2.中國科學(xué)院大學(xué) 網(wǎng)絡(luò)空間安全學(xué)院,北京 100049)
圖像采集與日常生活息息相關(guān)。從日常生活的拍照到電子監(jiān)控的錄像,再到不可見光領(lǐng)域的圖像采集,都離不開圖像采集與處理技術(shù)。傳統(tǒng)相機使用銀鹽感光材料(即膠卷)作為載體,拍攝后的膠卷要經(jīng)過沖洗才能得到照片,且拍攝過程中無法知道拍攝的效果,不能對拍攝的照片進行刪除。后來,數(shù)碼相機出現(xiàn)在人們的視野。數(shù)碼相機利用電子傳感器把光學(xué)影像轉(zhuǎn)換成電子數(shù)據(jù)。傳感器主要利用電荷耦合器件(CCD)或互補金屬氧化物半導(dǎo)體(CMOS),拍攝后能即時看到照片效果,也可以刪除不需要的照片。此種相機的拍攝質(zhì)量取決于傳感器陣列感光元件的尺寸和像素個數(shù),而這些感光元件都是用半導(dǎo)體硅材料制成的。隨著工藝技術(shù)的不斷提高和硅材料成本的不斷下降,高像素的數(shù)碼相機已經(jīng)走入千家萬戶,手機的照相功能也完全可以應(yīng)付日常的生活所需。
但是,在非可見光領(lǐng)域,硅材料無法感光。此時,CCD或CMOS將無法作為傳感器。例如,紅外光領(lǐng)域,它的感光材料是銦鎵砷,是傳統(tǒng)硅材料成本的數(shù)十倍。如果依靠增加感光元件的尺寸和個數(shù)來提高相機的分辨率,勢必會大大增加成本。因此,如何在較少像素的基礎(chǔ)上獲得較高分辨率值得探討。此外,傳統(tǒng)圖像數(shù)據(jù)采集過程帶來了大量冗余,如監(jiān)控設(shè)備對內(nèi)存的要求很高,但是存儲的有用的信息卻并不多。所以,通常一段時間后采集的數(shù)據(jù)會被覆蓋,造成信息的丟失?,F(xiàn)在的圖像視頻采集技術(shù)都存在采集、存儲資源浪費的情況。因此,如何能在保存足夠少的數(shù)據(jù)基礎(chǔ)上獲得足夠多的信息是另一個值得探討的問題。
本文在壓縮感知理論基礎(chǔ)上提出了一種單像素圖像采集技術(shù),大大減少了數(shù)據(jù)采集量,具有數(shù)據(jù)保護、分辨率可調(diào)、成本低的特點。本文首先介紹壓縮感知理論,然后在此基礎(chǔ)上提出基于壓縮感知的單像素圖像采集技術(shù)原理,搭建單像素圖像采集的硬件平臺,并利用相關(guān)算法進行圖像重構(gòu)。
壓縮感知理論的數(shù)學(xué)模型,如圖1所示。
圖1 壓縮感知數(shù)學(xué)模型
如果一個長度為N的信號X在某組正交基或緊框架Ψ上的變換系數(shù)是稀疏的(即圖中的θ是稀疏的,θ=ΨTX),如果用一個與變換基Ψ不相關(guān)的觀測基Φ:M×N(M<<N)對系數(shù)向量進行線性變換,并得到觀測集合Y:M×1,那么就可以利用優(yōu)化求解方法從觀測集合中精確或高概率地重構(gòu)原始信X[1]。
若信號是K,是稀疏的,那么一個與基向量ΨN×N不相干的測量矩陣ΦM×N對信號進行觀測,就可以對信號進行壓縮,即:
式中,ACS=Φψ稱為觀測算子,Y=(Y1,Y2,…,YM)是M個觀測向量,其中M<<N。這些觀測向量含有信號X中的大量信息。對于給定的觀測向量Y,若觀測矩陣Φ滿足有限等距性質(zhì)(Restricted Isometry Property,RIP)[2]理論,即滿足:
那么,當觀測次數(shù)滿足M≥K×lg(N/K)時,可以通過求解約束最優(yōu)化問題將N維信號穩(wěn)定地重構(gòu)出來。
得到信號的稀疏表示θ,進一步變換,
即:即可精確重構(gòu)原始信號。
目前,信號的稀疏表示方法包括傅里葉變換、小波變換、正交基字典下的變換、冗余字典下的稀疏分解等。Donoho在文獻[3]指出,大部分一致分布的隨機矩陣都可作為觀測矩陣,如部分Fourier集、部分Hadamard集、一致分布的隨機投影(Uniform Random Projection)集等。目前,常用的觀測矩陣有隨機高斯矩陣、以隨機±1元素構(gòu)成的Rademacher矩陣等。它們都具有高概率恢復(fù)原始信號的特性,也具有普適性。關(guān)于稀疏信號的重構(gòu),目前的信號重構(gòu)算法大致可以分為四類。第一類是基于求解最小l0范數(shù)的貪婪算法,包括匹配追蹤算法(MP)、正交匹配追蹤算法(OMP)、分級正交匹配追蹤算法(StOMP)和正則化正交匹配追蹤算法(ROMP)等;第二類是基于求解最小l1范數(shù)的凸松弛算法,如基追蹤算法、梯度投影系數(shù)重建方法(GPSR)和迭代閾值法(IT)等;第三類是統(tǒng)計優(yōu)化方法,類似于主成分或獨立成分分析,利用典型信號的訓(xùn)練集通過學(xué)習(xí)的方法找出最優(yōu)的線性投影集合,大致分為貝葉斯統(tǒng)計框架下的稀疏重建算法[4-6]和基于訓(xùn)練集合學(xué)習(xí)的統(tǒng)計優(yōu)化方法[7];第四類算法是組合算法,本質(zhì)思想是針對信號進行高度的結(jié)構(gòu)化采樣,主要包括稀疏傅里葉描述法[8]、鏈追蹤(Chaining Pursuit,CP)[9]以及HHSP追蹤(Heavy Hitters on Steroids Pursuit,HHSP)[10-11]等。
單像素圖像采集技術(shù)建立在壓縮感知理論基礎(chǔ)上,將原始圖像視為信號X,用觀測矩陣Φ對其進行觀測。觀測矩陣的每一行與原始圖像的內(nèi)積為一個觀測值,通過光電傳感器讀取該數(shù)值,將該數(shù)值傳到PC端進行圖像的恢復(fù)。它的核心元件是具有不同方向偏轉(zhuǎn)的空間光調(diào)制器數(shù)字微鏡陣列(Digital Micromirror Device,DMD)。該空間光調(diào)制器由許多小微鏡組成,每一個小微鏡的內(nèi)置結(jié)構(gòu)如圖2所示。每一個微鏡可以向±12°方向偏轉(zhuǎn),分別代表觀測矩陣中的“±1”元素或者“1和0”元素,用傳感器接收某一方向的光強得到觀測值。
圖2 DMD內(nèi)置微鏡結(jié)構(gòu)
該圖像采集系統(tǒng)原理如圖3所示。待采集圖像通過透鏡恰好照滿微鏡陣列,而微鏡的每一次變換相當于矩陣的每一行將圖像與微鏡圖案的內(nèi)積反射給單點傳感器,產(chǎn)生相加的效應(yīng)。DMD翻轉(zhuǎn)M次即完成M次測量,然后將M次測量值通過數(shù)據(jù)采集到PC端進行圖像的恢復(fù)。
圖3 單像素圖像采集原理
根據(jù)該原理圖,單像素圖像采集系統(tǒng)可以分為3個模塊,光路調(diào)制模塊、數(shù)據(jù)采集模塊和圖像重構(gòu)模塊。
光路調(diào)制模塊的功能是搭建圖像采集系統(tǒng)。首先需要確定圖像、透鏡以及DMD的相對位置,使得圖像通過透鏡所成的像清晰照射在DMD上;其次需要調(diào)整光電傳感器的接收角度,完整地接收DMD某一個方向偏轉(zhuǎn)的全部光強。由于該微鏡陣列只有3個方向的偏轉(zhuǎn),所以觀測矩陣應(yīng)選擇只含有“±1”或只含有“0,1”元素的矩陣。目前,滿足約束等距性質(zhì)(RIP)(式2)的矩陣有稀疏二進制隨機矩陣、二進制分塊對角矩陣和部分哈達瑪矩陣等。
數(shù)據(jù)采集模塊的功能是利用光電傳感器將光信號轉(zhuǎn)換為電信號,再通過采集裝置采集電信號。實驗中利用光電探測器將光強信號轉(zhuǎn)換為電壓信號,再利用模數(shù)轉(zhuǎn)換器將電壓信號轉(zhuǎn)化為數(shù)字信號傳送到PC端。
觀測值被PC端接收后利用圖像重構(gòu)模塊來完成最終圖像的恢復(fù)工作。在這個模塊中可以選擇不同的恢復(fù)算法以達到較好的圖像恢復(fù)效果。
依據(jù)單像素成像的實驗原理,搭建了硬件實驗平臺,如圖4所示。實驗光源為手電筒,為了保證光束的均勻性,在光源前加上了Thorlabs公司的散射片。為了調(diào)制光路并增加光線的匯聚性,本文選擇直徑50.8 mm、焦距150 mm的雙凸透鏡;數(shù)字微鏡陣列(DMD)選擇德州儀器(TI)生產(chǎn)的DMD DLPD4X00KIT套件,包括驅(qū)動器、控制器和存儲器,陣列大小為768×1 024(實際使用中選擇了768×768的陣列,將24×24的陣列看作一小塊,得到分辨率為32×32的圖像);數(shù)據(jù)采集模塊需要將光信號轉(zhuǎn)換為電信號,本實驗采用的是Thorlabs公司生產(chǎn)的型號為PDA10A-EC的光電探測器,具有靈敏度高、抗干擾能力強的優(yōu)點。因為實驗中只能通過觀測采集到的數(shù)據(jù)來判斷光路的正確性,并不斷調(diào)整光路,所以實驗數(shù)據(jù)選用能夠?qū)崟r展現(xiàn)的示波器進行數(shù)據(jù)采集。
圖4 單像素圖像采集系統(tǒng)硬件平臺
本實驗的軟件平臺主要包括控制DMD加載觀測矩陣的上位機程序和數(shù)據(jù)采集后的恢復(fù)平臺。圖5為控制觀測矩陣加載的軟件平臺,可以改變觀測矩陣,也可以控制DMD的翻轉(zhuǎn)速度。圖像重構(gòu)平臺可以選擇不同的恢復(fù)算法處理采集數(shù)據(jù),右端實時顯示恢復(fù)出來的圖像。
圖5 觀測矩陣加載平臺
實驗中采用只含有“±1”元素的哈達瑪矩陣作為觀測矩陣。哈達瑪(Hadamard)矩陣是由+1和-1元素構(gòu)成的且滿足H×HT=NI的N階方陣。哈達瑪矩陣具有正交性,任意兩行(列)均正交,因此滿足非相關(guān)性。
由于DMD只能識別“0”和“1”元素,需要將矩陣中的“-1”元素轉(zhuǎn)換為“0”元素。
構(gòu)造N×M階部分哈達瑪觀測矩陣的方法如下:
步驟1:首先生成一個N×M大小的哈達瑪矩陣;
步驟2:從N行矩陣中隨機抽取M行;
步驟3:將N×M階矩陣中的“-1”元素轉(zhuǎn)化為“0”元素。
實驗對匹配追蹤算法(Matching Pursuit,MP)、正交匹配追蹤算法(Orthogonal Matching Pursuit,OMP)以及基于增廣拉格朗日和交替方向的最小全變分算法(Total variation Augmented Lagrangian Alternating Direction Algorithm,TVAL3)進行模擬仿真后發(fā)現(xiàn),TVAL3算法具有較快的恢復(fù)速度、較高的重構(gòu)準確率和較強的魯棒性。因此,選取TVAL3算法作為圖像重構(gòu)算法。該算法的主要思想是在最小全變分算法思想下引入增強拉格朗日和交替方向變換。前者是將帶約束的模型轉(zhuǎn)化為不帶約束的目標函數(shù),后者用來求解目標函數(shù)。
該算法求解如下問題:
其中x是圖像信號,Dix表示每個像素橫向和縱向的梯度計算,A是感知矩陣,y是通過觀測矩陣得到的測量值。
將目標函數(shù)轉(zhuǎn)化為增廣的拉格朗日函數(shù),得:
其中λ是拉格朗日乘子,μ是障礙參數(shù)。通過求解x使得函數(shù)LA(x)達到最小值,這里λ和μ是隨著迭代而變化的,第K次迭代時記作λk、μk。通過:
來迭代更新λ的值。
引入凸松弛變量ω,模型變?yōu)椋?/p>
則式(7)變?yōu)椋?/p>
根據(jù)式(8),得到:
子問題轉(zhuǎn)化為如何最小化增廣拉格朗日函數(shù),也就是要求解以下問題:
顯然,式(13)并不是處處可微的,可以通過次微分方程求解。
當||ωi||表示1范式時,有:
當||ωi||表示2范式時,有:
求解次微分方程得到ωi,k+1后,通過計算得到xk+1:
這是一個關(guān)于x的二次函數(shù),導(dǎo)數(shù)為:
令fk(x)=0,就能得到函數(shù)取最小值時的x:
其中( )+代表偽逆矩陣。
根據(jù)以上討論,該算法的步驟如下:
實驗中采用只含有“±1”元素的哈達瑪矩陣作為觀測矩陣,分別對兩個簡單的圖像“T”和“N”字進行采集,基于在采樣率分別為20%、30%、40%、50%時的圖像恢復(fù)效果如圖6、圖7所示。
圖6 “T”字恢復(fù)效果
圖7 “N”字恢復(fù)效果
實驗結(jié)果表明,基于壓縮感知的單像素圖像采集系統(tǒng)是有效的。在采樣率只有傳統(tǒng)采樣像素數(shù)的30%時,就能較清晰采集到圖像。
圖像采集中速度是重要的因素。單像素圖像采集時間由觀測時間和圖像恢復(fù)時間兩部分組成,即:
其中n觀測表示觀測次數(shù),f觀測表示觀測頻率。觀測頻率受到DMD硬件的限制,也受數(shù)據(jù)傳輸速度的限制,由式(20)、式(21)得:
表1、表2分別表示“T”和“N”在不同采樣率下的圖像采集時間,比較文獻[12]圖像采集速度有了巨大提升,為單像素視頻采集技術(shù)奠定了基礎(chǔ)。
表1 “T”在不同采樣率下的圖像采集時間
表2 “N”在不同采樣率下的圖像采集時間
本文利用部分哈達瑪矩陣作為觀測矩陣,以TVAL3算法作為重構(gòu)算法,拍攝了兩種圖像。當測量次數(shù)在總像素20%~30%時即可恢復(fù)出圖形,比傳感器陣列節(jié)省元件,大大降低了成本,且采集數(shù)據(jù)量少,有利于存儲和壓縮。但是,該系統(tǒng)距離實用還有一段距離,需要在尺寸的微型化、拍攝的實施性以及彩色圖像的拍攝方面在后續(xù)的研究中進行分析。
參考文獻:
[1] 石光明,劉丹華,高大化等.壓縮感知理論及其研究進展[J].電子學(xué)報,2009,37(05):1070-1081.SHI Guang-ming,LIU Dan-hua,GAO Da-hua,et al.Compressed Sensing Theory and Its Research Progress[J].Acta Electronica Sinica,2009,37(05):1070-1081.
[2] Baraniuk R.A Simple Proof of the Restricted Isometry Property for Random Matrices[J].Constructive Approxim ation,2008,28(03):253-263.
[3] Donoho D L,Tsaig Y.Extensions of Compressed Sensing[J].Signal Processing,2006,86(03):533-548.
[4] Zayyani H,Babaie-Zadeh M,Jutten C.Bayesian Pursuit Algorithm for Sparse Representation[C].Proceedings of the IEEE International Conference on Acoustics,Speech and Signal Processing,2009:1549-1552.
[5] Baron S,Sarvoham R,Baraniuk R G.Bayesian Compressive Sensing Via Belief Propagation[J].IEEE Transactions on Signal Processing,2010,58(01):269-280.
[6] Seeger M W,Steinke F,Tsuda K.Bayesian Inference and Optimal Design in the Sparse Linear Model[J].Journal of Machine Learning Research-Proceedings Track,2007,2(06):444-451.
[7] Weiss Y,Chang H S,Freeman W T.Learning Compressed Sensing[C].Proceedings of the 45th Allerton Conference on Communications,Control and Computing Illinois,2007:1-7.
[8] Gilbert A C,Guha S,Indyk P,et al.Near-optimal Sparse Fourier Representations Via Sampling[C].Proceedings of the 34th Annual ACM Symposium on Theory of Computing,2000:152-161.
[9] Gilbert A,Strauss M,Tropp J,et al.Algorithmic Linear Dimension Reduction in the L1 Norm for Sparse Vectors[C].Proceedings of the 44th Annual Allerton Conference on Communication Control and Computing,2006:1-9.
[10] Gormode G,Muthukrishan S.Combinatorial Algorithms for Compressed Sensing[C].Proceedings of the 40th Annual Conference on Information Sciences and Systems,2006:280-294.
[11] Gilbert A,Strauss M,Tropp J,et al.One Sketch for All:Fast Algorithms for Compressed Sensing[C].Proceedings of the 39th Annual ACM Symposium on Theory of Computing,2007:237-246.
[12] 李正煒.基于壓縮傳感理論的單像素相機成像研究[D].長春:中國科學(xué)院研究生院(長春光學(xué)精密機械與物理研究所),2012.LI Zheng-wei.Single Pixel Camera Imaging System Based On Compressed Sensing Theory[D].Changchun:Chinese Academy of Sciences(Changchun Institute of Optics,Fin Mechanics and Physcis),2012.