李奇 董文德 徐之海 馮華君 陳躍庭

（浙江大學現(xiàn)代光學儀器國家重點實驗室，杭州 310027）

1 引言

光電成像是對地觀測、軍事偵察的最重要手段之一。高空間分辨率、高時間分辨率、高光譜分辨率的成像探測系統(tǒng)是各類光學成像載荷追求的目標。然而這類成像系統(tǒng)大多工作在顫振環(huán)境之中，載荷平臺振動所造成的光軸偏移、像面抖動嚴重地影響了高分辨率成像與高精度探測。

國內(nèi)外對空間相機像面去模糊（穩(wěn)定成像）的研究開始于20世紀80年代，運用平臺穩(wěn)像、光學穩(wěn)像對振動環(huán)境中的穩(wěn)定成像進行研究。進入90年代末期以后，隨著CCD/CMOS光電成像技術(shù)的日益成熟，光電穩(wěn)像、電子穩(wěn)像、顫振圖像的軟件恢復(fù)與重建技術(shù)得到了進一步深入研究和發(fā)展，并在航空航天成像系統(tǒng)中逐步得到應(yīng)用。

縱觀國內(nèi)外對空間相機像面去模糊的方法，大致分為兩種方案：一種引入探測支路和補償器件，探測支路獲得空間相機的顫振信息，實時驅(qū)動反饋裝置對補償像面運動；另一種方案只引入探測支路，根據(jù)探測獲得的顫振運動信息，對主成像相機上獲得的模糊圖像進行復(fù)原處理，得到像質(zhì)改善的遙感圖像。

國外有一些采用實時探測與實時補償相結(jié)合方案的去模糊穩(wěn)像系統(tǒng)。美國NASA的TRACE相機裝備了圖像運動補償子系統(tǒng)；德國普朗克超高層氣流物理學院、高度天文臺（HAO）、洛克-馬丁太陽和天體物理實驗室等研究單位聯(lián)合研制的SUNRISE項目[1]，采用了波前傳感器來探測光軸的偏移，然后調(diào)整主光路中的校正反射鏡來穩(wěn)定成像；美國、日本和英國共同研制的Solar-B衛(wèi)星上裝載了穩(wěn)像系統(tǒng)[2]，高速小面陣 CCD相機獲取亞像素位移，通過伺服和驅(qū)動電路控制兩維壓電偏轉(zhuǎn)鏡實現(xiàn)像面顫振抑制；德國Dresden工業(yè)大學的K. Janschek等人研究了一種高分辨相機焦平面穩(wěn)定技術(shù)的光學反饋方法[3]；德國宇航中心空間傳感技術(shù)研究所的Ingo Walter等人提出了一種采用微機械器件對空間CCD成像系統(tǒng)進行穩(wěn)像的方案；美國普林斯頓Electrim公司的Gaylord G Olson提出了在幀轉(zhuǎn)移面陣CCD上采用穩(wěn)定補償[4]，并進行了相關(guān)試驗研究。

近年來，國際上在顫振模糊圖像的高清晰軟件復(fù)原方面也開展了較多的研究工作。圖像復(fù)原這一去模糊的過程，往往需要先知道模糊核（即PSF）的數(shù)據(jù)，然后用這個已經(jīng)得到的準確的模糊核來解卷積而復(fù)原出清晰的圖像。目前對于采用實時探測、事后復(fù)原方案研究比較有代表性的包括：美國亞利桑那大學的L. M. Close和D. W. J. M cCarthy對太陽望遠鏡上的相關(guān)跟蹤器及動態(tài)補償系統(tǒng)進行了研究，用于探測及矯正大氣湍流對成像品質(zhì)的影響[5]；美國斯坦福大學的Suk Hwan Lim等人對高速CMOS圖像傳感器的視頻處理應(yīng)用作了相關(guān)研究[6]，他們利用高幀速率CMOS采樣得到的圖像序列，得到比基于普通幀速率（30幀/s）下更準確的Lucas-Kanade光流場估計，得到了更好的空間分辨率；美國哥倫比亞大學M. Ben-Ezra和S. K. Nayar利用高幀速率的輔助相機采集主成像相機一幅圖像曝光時間內(nèi)的多幀圖像，通過 Lucas-Kanade光流法計算幀間運動，得到相機的自身運動軌跡，以此構(gòu)建成像過程的點擴散函數(shù)PSF，最后使用Lucy-Richardson迭代反卷積算法復(fù)原圖像，取得了較好的效果[7-8]；德國德累斯頓工業(yè)大學的K laus Janschek等人提出了一種利用光學聯(lián)合變換相關(guān)器探測成像部件偏移的方法，并根據(jù)得到的偏移矢量重構(gòu)焦面的運動軌跡，通過圖像后處理的方法補償因平臺顫振引起的像面模糊[9]。

2 雙模式成像去模糊

圖像復(fù)原的效果與運動路徑的精細程度相關(guān)性非常大，實時探測時受限于探測器件的精度和帶寬，難免會引入誤差。為了進一步精確地描述運動路徑，可以采用雙模式成像的方法進行處理，即采用兩次曝光的方式獲得正常曝光的模糊圖像和短時間曝光的高噪聲圖像，近似認為模糊圖是增強后的短曝光圖與模糊核作用的結(jié)果，從而利用二者關(guān)系求取模糊核（即點擴散函數(shù)），進而實現(xiàn)運動模糊圖像的復(fù)原，本文對這種方法進行改進，引入聯(lián)合雙邊濾波器，取得更高品質(zhì)的復(fù)原效果。

基于雙模式成像的遙感圖像去模糊步驟為：首先對兩張不同亮度的圖像進行配準和亮度校正；然后根據(jù)模糊圖和非模糊的噪聲圖的關(guān)系計算模糊核（即點擴散函數(shù)）；最后進行圖像復(fù)原，即使用余量解卷積和帶有增益的余量解卷積RL方法，并用雙邊濾波器合成低邊緣振鈴的圖像。

2.1 圖像配準和預(yù)處理

圖像配準包括旋轉(zhuǎn)配準、位置配準和縮放配準，已經(jīng)有許多成熟方法，如基于像素點的方法和基于特征點的方法等。但是模糊圖和高噪聲圖的配準不同，兩幅圖存在很大的差異，即使特征點匹配也效果不佳。

根據(jù)模糊核具有一定的稀疏性和連續(xù)性的特點進行圖像配準，如果模糊圖和短曝光圖配準不精確，如旋轉(zhuǎn)角度不對等，將導(dǎo)致估計的模糊核有很多噪聲，且會分散碎裂。試驗中發(fā)現(xiàn)，當旋轉(zhuǎn)角度匹配正確時，所得的模糊核為最佳，而當旋轉(zhuǎn)配準角度匹配錯誤（即使只相差0.1°），模糊核都會擴散開，并會嚴重影響復(fù)原的結(jié)果。縮放比不同時，模糊核也會出現(xiàn)這樣的情況。因此可以根據(jù)此規(guī)律來得到正確的配準縮放比和配準角度。

2.2 模糊核估計

令I(lǐng)，K，B分別為清晰圖像、模糊核和模糊圖像的矢量表示式。實驗中清晰圖I是用增強和去噪后的短曝光圖像來代替[10]。用Tikhonov約束準則求解K，如下：

式中 λ為約束強度系數(shù)，其值越大，表示對K的平滑作用越強。用拉格朗日法解得

對于上式可以用各種迭代法求解K，如Landweber迭代、共軛梯度法等。在Landweber迭代過程中，由于縮放系數(shù)的值通常難以確定，只能靠人為調(diào)整，因此Landweber迭代算法的表現(xiàn)不夠穩(wěn)定，難以收斂到令人滿意的解。而共軛梯度法則不需要人為指定任何參數(shù)，且通常能收斂到較好的結(jié)果，故本文將Landweber算法中的迭代式替換為共軛梯度法迭代式，其它步驟保持不變?？紤]到模糊核的稀疏性和連續(xù)性，需在迭代的過程中加入對K的約束，即在每次迭代后用一個遲滯濾波器濾除可能為噪聲的小信號，這樣噪聲就不會被無限地放大而使結(jié)果不收斂。

如果圖像的模糊核比較復(fù)雜，比如有兩個斷開的區(qū)域等，這時直接用這樣的方法求模糊核可能會不夠精確，因此可以采用多尺度框架下引導(dǎo)求模糊核。即先在小尺度下進行模糊核和復(fù)原圖的求取，然后逐步放大尺度，并以上一步得到的模糊核和復(fù)原圖作為初始估計值繼續(xù)優(yōu)化，直到原始尺度最終得到準確模糊核和復(fù)原圖。

2.3 帶有增益控制的余量RL復(fù)原

直接對模糊圖用 RL反卷積，反差大的邊界會有較大的振鈴出現(xiàn)，而邊界反差小的邊界處，這種現(xiàn)象則相對較小。所以可以結(jié)合模糊圖用反卷積的方法求出短曝光的去噪圖與真實清晰圖之間的微小差量。對最簡單的圖像模糊模型進行推演，流程如圖1所示。

圖1 余量法求取清晰圖流程Fig.1 Iterative process of residual algorithm

2.4 聯(lián)合雙邊濾波增強

以上部分闡述了如何利用雙模式成像方法求取模糊核及實現(xiàn)反卷積的過程，但由于圖像復(fù)原問題固有的病態(tài)性，復(fù)原圖像通常將受到噪聲和振鈴等負面效應(yīng)的影響，雖然帶有增益控制的余量 RL算法能對這些負面效應(yīng)做有效控制，但所得的結(jié)果中細節(jié)同樣會被抑制，致使復(fù)原圖像顯得較為平滑。為了克服這一問題，本文將采用聯(lián)合雙邊濾波器實現(xiàn)對圖像細節(jié)的增強處理，以便得到更加符合人眼視覺感受的復(fù)原圖像。

雙邊濾波器的公式為

式中 Ip表示待濾波的圖像在p點的像素值；表示待濾波的圖像在q點的像素值；表示濾波后的圖像p點的像素值；p表示整幅圖中某像素點的坐標；q表示濾波窗口中某像素點的坐標；?表示濾波窗口像素坐標的集合；表示標準差為的高斯濾波函數(shù)；表示標準差為的高斯濾波函數(shù)；表示空間濾波窗中空間臨近權(quán)重的標準差；表示強度相似權(quán)重的標準差；W表示歸一化項；||·||表示求絕對值。

聯(lián)合雙邊濾波器相對于雙邊濾波器的改進之處在于，在用雙邊濾波器對用余量 RL方法得到的復(fù)原圖上濾波去振鈴和噪聲時，將雙邊濾波器中的強度相似度模板中的強度差改成兩幅圖對應(yīng)的強度差，這兩幅圖分別為余量RL方法和帶有增益的余量RL方法得到的圖，這種方法可以表示為：余量RL的高頻細節(jié)＋帶增益余量RL的低頻細節(jié)－它們共同得出的振鈴＝復(fù)原結(jié)果。

3 仿真復(fù)原結(jié)果

圖 2是以圖像復(fù)原領(lǐng)域非常流行的飛天石雕圖像的復(fù)原結(jié)果，原圖來自文獻[10]，其中(a)為短時間曝光圖像增強后的高噪聲圖，圖中噪聲非常明顯，且丟失了很多顏色信息；(b)為正常曝光的模糊圖，在曝光過程中相機有晃動，從而產(chǎn)生一個大的模糊量，圖右下角為求得的模糊核；(c)為用所求得的模糊核RL的復(fù)原結(jié)果；(d)為用本文方法的復(fù)原結(jié)果。

圖2 實拍模糊圖像的復(fù)原結(jié)果Fig.2 Restoration results of motion blur image

采用余量RL方法得到的圖復(fù)原效果較好，圖像邊界尖銳，但是也存在振鈴嚴重噪聲被放大等問題；而采用帶有增益的余量 RL方法復(fù)原得到的圖振鈴和噪聲抑制的較好，平坦區(qū)域能保持光滑，但是圖中真實存在的較弱的細節(jié)會被抹去。本文的方法采用聯(lián)合雙邊濾波綜合了這兩種方法的優(yōu)點，得到了更加清晰準確的結(jié)果，從圖像左上角的細節(jié)對比即可看出本文方法的振鈴抑制效果。

4 面向遙感應(yīng)用的模擬驗證

通過以上軟件處理驗證了雙模式成像去運動模糊的可行性，設(shè)計了面向遙感應(yīng)用的模擬試驗裝置。如圖3所示，裝置由光源、成像標板、平移微動臺、平行光管、反射鏡組成。環(huán)形照明光源發(fā)出的光將標板均勻照亮（作為目標景物的成像標板制成鑒別率或遙感圖像形式）。照明后的標板位于平行光管的焦點處，經(jīng)平行光管成像在無窮遠處。標板固定在平移微動臺上，平移微動臺可在計算機控制下實現(xiàn)各種平移顫振的精密模擬，并進行顫振形式和顫振參數(shù)的靈活調(diào)整。微動臺平移運動的幅度取決于計算機輸出波形中的電壓值，微動臺平移運動的頻率取決于計算機輸出波形的頻率，而輸出波形可根據(jù)需要用軟件編輯，由此完成空間運動環(huán)境中平移顫振的精密模擬。標板經(jīng)平行光管后的光線被反光鏡反射轉(zhuǎn)向進入成像系統(tǒng)和相機。

試驗時，開啟平移微動臺使標板處于顫振狀態(tài)，相機分別用極短的曝光時間和正常的曝光時間分別拍攝，獲得同一景物的雙模式圖像。實測的顫振模擬裝置實測的幅頻特性曲線如圖4所示，顫振頻率可以達到200 Hz，顫振幅度隨著頻率的升高而降低，在低頻部分為150 μrad以上，可實現(xiàn)文獻中報道的衛(wèi)星顫振幅頻特性[11]的模擬。

圖4 模擬裝置的幅頻特性曲線Fig.4 Amplitude-frequency characteristic curve of simulation apparatus

5 結(jié)束語

在運動模糊圖像的復(fù)原過程中，復(fù)原效果與運動路徑（模糊核）的精細程度相關(guān)性非常大，受限于探測器件的精度和帶寬，運動路徑實時探測時引入的誤差對復(fù)原結(jié)果有很大的影響。為了進一步精確地描述運動路徑，采用雙模式成像（短時間曝光的高噪聲圖像和正常曝光的模糊圖像）的方法進行處理，近似認為模糊圖是增強后的短曝光圖與模糊核作用的結(jié)果，從而利用二者關(guān)系求取模糊核。本文提出方法包含圖像配準及預(yù)處理、模糊核估計、圖像反卷積、聯(lián)合雙邊濾波增強等步驟，軟件處理的結(jié)果證實了這種方法的有效性，同時設(shè)計了面向遙感應(yīng)用的雙模式成像模擬裝置以進行下一步的實驗。這種方法既不需要補償器件，也不需要探測元件和探測支路，并在圖像迭代處理過程中不斷修正模糊核，在初始模糊核有一定誤差的情況下，同樣可望取得良好的像面去模糊效果，對于提高遙感圖像像質(zhì)具有潛在的應(yīng)用價值。

References)

[1]Solankia S K, Gandorfer A M, et al. Sunrise: A Balloon-borne Telescope for High Resolution Solar Observations in the Visible and UV[J]. SPIE, 2003, 4853: 129-139.

[2]Toshifumi Shimizu, Shin’ichi Nagata, et al. Image Stabilization System on SOLAR-B Solar Optical Telescope[J]. SPIE, 2004,5487: 1199-1206.

[3]Janschek K, Tchernykh V. Optical Correlator for Image Motion Compensation in the Focal Plane of Satellite Camera[J]. Space Technology, 2001, 21(4): 127-132.

[4]Olson G G. Image Motion Compensation w ith Frame Transfer CCDs[J]. SPIE, 2002, 4567: 153-160.

[5]Close L M, M cCarthy D W. High-resolution Imaging w ith a Tip-tilt Cassegrain Secondary[J]. Publications of the Astronomical Society of the Pacific, 1994, 106: 77-86.

[6]Lim S , Apostolopoulos J G , et al. Optical Flow Estimation Using Temporally Oversampled Video[J]. IEEE Transactions on Image Processing, 2005, 14(8):1074-1087.

[7]Ben-Ezra M, Nayar S K. Motion Deblurring Using Hybrid Imaging[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003.

[8]Ben-Ezra M, Nayar S K. Motion-based Motion Deblurring[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6): 689-698.

[9]Janschek K, Tchernykh V, et al. Integrated Camera Motion Compensation by Real-time Image Motion Tracking and Image Deconvolution[C]. IEEE/ASME International Conference on Advanced Intelligent Mechatronics, 2005: 1437-1444.

[10]Lu Yuan, Jian Sun, Long Quan,et al. Image Deblurring w ith Blurred / Noisy Image Pairs[J]. ACM Transactions on Graphics,2007, 26(3): 1-10.

[11]Wittig M, van Holtz L, et al. In-orbit Measurements of M icroaccelerations of ESA’s Communication Satellite OLYMPUS[J],SPIE, 1990, 1218: 205-214.