劉克儉，陳淼焱，馮琦

(中國人民公安大學(xué) 公安遙感應(yīng)用工程技術(shù)研究中心，北京 100038)

0 引言

超分辨率(super resolution，SR)重建是指通過對單幅或多幅低分辨率(low-resolution，LR)圖像進行處理，重建出一幅或多幅高分辨率(high-resolution，HR)圖像的技術(shù)[1]。將超分辨率重建技術(shù)應(yīng)用到衛(wèi)星光學(xué)遙感圖像處理中，利用衛(wèi)星遙感圖像進行超分辨率重建，提升遙感圖像的空間分辨率，是目前遙感圖像處理領(lǐng)域新的研究熱點之一。充分利用我國日益豐富的衛(wèi)星遙感圖像數(shù)據(jù)，通過超分辨率重建這一圖像處理技術(shù)，改善國產(chǎn)衛(wèi)星遙感圖像空間分辨率的質(zhì)量，提高其空間分辨率，增強影像的可判讀能力，擴大數(shù)據(jù)的使用范圍，該項研究成果將具有重要的理論意義和實用價值[2-3]。

目前，按超分辨率重建的對象來分，可以分為：單幅圖像的超分辨率重建與基于多幅圖像的超分辨率重建。對于遙感圖像自身的特殊性而言，因其拍攝的地表范圍較廣，所拍攝的地形起伏較大，配準(zhǔn)精度難以滿足多幅圖像超分辨率重建的需求，而且高精度、亞像元的大幅面遙感圖像配準(zhǔn)研究也已經(jīng)處于瓶頸期。因此，本文主要針對單幅遙感圖像的超分辨率重建方法進行研究。針對單幅的超分辨率重建技術(shù)，國內(nèi)外學(xué)者提出研究方法大致可以分為三類[4]：基于插值的超分辨率重建方法、基于重建的超分辨率重建方法、基于學(xué)習(xí)的超分辨率重建方法。

基于插值的超分辨率重建，經(jīng)典的插值方法主要包括：最近鄰插值、雙線性插值和雙三次插值[5]。這些方法主要通過圖像已有的信息對未知像素進行估計實現(xiàn)插值放大，并非真正意義上的超分辨率重建，因為這些傳統(tǒng)的插值方法在重建的過程中并未生成新的高頻信息，所以重建結(jié)果常常出現(xiàn)據(jù)齒、振鈴和模糊等視覺失真效應(yīng)，對于復(fù)雜地貌的遙感圖像而言，基于插值的重建方法很難從真正意義上提高遙感圖像空間分辨率的質(zhì)量。

基于重建的超分辨重建方法，此類重建方法是攝影測量與遙感領(lǐng)域研究的熱點，也是超分辨率重建的主流方法。此類超分辨率重建方法可建立較為全面的觀測模型，將復(fù)雜的全局和局部運動、光學(xué)模糊、運動模糊、空間可變點擴散函數(shù)、欠采樣等影響圖像質(zhì)量的因素并入其中，并且能夠充分利用空域先驗知識進行約束，形式更加靈活，重建性能更好?？沼蚍ㄖ兄饕╗6-12]：凸集投影、最大后驗概率、迭代反向投影算法等。迭代反投影算法作為基于空域的超分辨率重建的一種典型方法，最早由Irani[13]于1991年提出，該方法在提高圖像空間分辨率時，對重建圖像進行去噪處理，導(dǎo)致重建圖像部分的邊緣區(qū)域存在鋸齒現(xiàn)象。

基于學(xué)習(xí)的超分辨率重建，在圖像處理領(lǐng)域一些學(xué)者突破原有的研究思路，提出了基于學(xué)習(xí)的超分辨率重建方法[14-16]，其基本思想是：選取與輸入影像含同類信息的影像作為訓(xùn)練樣本數(shù)據(jù)，利用機器學(xué)習(xí)的方法獲得高分辨率與低分辨率影像之間的關(guān)系，即先驗知識，以指導(dǎo)其他低分辨率影像的超分辨率重建。近年來，隨著人工智能的興起，基于深度學(xué)習(xí)的超分辨率重建也得到了專家學(xué)者的廣泛關(guān)注?；谏疃葘W(xué)習(xí)的超分辨率重建需要大量的訓(xùn)練樣本，對大數(shù)據(jù)量的樣本進行訓(xùn)練，得到一系列的參數(shù)用于超分辨率重建，對于遙感領(lǐng)域而言，目前沒有合適的訓(xùn)練樣本庫，而且相較于遙感圖像的特殊性，此類重建方法在性能上還無法與基于重建的超分辨率方法相媲美，就目前而言還難以實現(xiàn)工程化。

綜上所述，本文針對遙感圖像的自身特點，權(quán)衡超分辨率重建的效果與性能，提出一種結(jié)合迭代反投影與限制對比度自適應(yīng)直方圖均衡化的遙感圖像超分辨率重建方法。實驗選取ZY-3全色影像作為原始數(shù)據(jù)，以降低重建算法復(fù)雜度，提高重建質(zhì)量與速度為前提，實現(xiàn)高清晰、多細節(jié)遙感圖像的超分辨率重建。

1 原理

本文基于衛(wèi)星遙感圖像數(shù)據(jù)的特點，篩選無云的遙感圖像作為實驗數(shù)據(jù)，結(jié)合迭代反投影方法與限制對比度自適應(yīng)直方圖均衡化[17]重建紋理細節(jié)豐富的高分辨率遙感影像，最后，通過灰度信息與梯度特征的優(yōu)化模型進一步改善重建圖像質(zhì)量。本文超分辨率重建的技術(shù)流程如圖1所示。

圖1 超分辨率重建流程圖

1.1 限制對比度自適應(yīng)直方圖原理

限制對比度自適應(yīng)直方圖是一種較好的細節(jié)增強方法，可以提升圖像的高頻細節(jié)信息。與普通的自適應(yīng)直方圖均衡算法不同，限制對比度直方圖均衡化算法通過計算圖像的局部直方圖，然后重新分布灰度信息改變重建圖像高頻細節(jié)信息，在計算轉(zhuǎn)換時通過裁剪直方圖限制了局部細節(jié)的過度提升。如圖2所示，在直方圖均衡的過程中，對像素的領(lǐng)域進行對比度限制，將超出的部分修剪掉，被裁剪的區(qū)域重新均勻的分布到直方圖中，從而生成新的直方圖，這樣可以防止細節(jié)信息被過度提升，同時可以有效降低重建過程中引入的噪聲，從而增加重建的高分辨率遙感圖像的局部紋理細節(jié)，達到提升高頻細節(jié)信息的目的。

圖2 CLAHE 裁剪再分配示意圖

1.2 結(jié)合IBP與CLAHE的超分辨率重建原理

迭代反投影方法的核心思想是，假設(shè)重建的超分辨率影像接近真實的高分辨率影像，對重建的超分辨率影像進行降質(zhì)，得到與輸入的低分辨率觀測影像大小一致的低分辨率影像，再將二者的誤差投影到高分辨率影像上，隨著誤差的收斂而得到相應(yīng)的重建的高分辨率影像。

(1)

圖3 結(jié)合IBP與CLAHE的超分辨率重建

1.3 基于灰度信息與梯度特征的能量優(yōu)化

有效的超分辨率重建算法除了改善影像分辨率與增加影像的細節(jié)信息之外，還必須使得重建后影像的灰度信息分布盡量接近參考影像，邊緣結(jié)構(gòu)更加清晰明顯。因此，基于馬爾科夫隨機場理論，提出一種基于灰度信息與梯度域的能量優(yōu)化模型。通過能量優(yōu)化的方法對重建結(jié)果進一步優(yōu)化，一方面，使得優(yōu)化影像擁有參考影像的灰度分布，另一方面使得重建影像盡量逼近參考影像的梯度分布。形式上，該能量優(yōu)化算法可以表示為：

(2)

式中：參數(shù)κ負責(zé)權(quán)衡這2個能量項，κ越大，高分辨率重建影像結(jié)果梯度分布越接近參考影像Iref的梯度分布；能量項Er代表參考影像Iref與重建影像Ih的灰度信息分布差異。全局的灰度分布能量優(yōu)化Er(Ih|Iref)定義為：

(3)

式中：s為下采樣因子；μ是一個調(diào)節(jié)因子，確保優(yōu)化后的高分辨率影像與參考影像的灰度分布盡可能相近。

(4)

梯度域的優(yōu)化則是為了使重建影像的梯度與參考影像的梯度差異盡可能的小，使圖像的邊緣結(jié)構(gòu)更加明顯清晰。

1.4 質(zhì)量評價方法

為了更好地評價本文所提出的遙感影像數(shù)據(jù)細節(jié)增強的超分辨率重建結(jié)果，本文通過主觀與客觀相結(jié)合的方式對重建結(jié)果進行定量分析。由于本文選取的實驗數(shù)據(jù)為真實的衛(wèi)星遙感影像，與其對應(yīng)的高分辨率影像并不真實存在，所以本文采用信息熵和平均梯度2個評價指標(biāo)對重建效果做出客觀評價[18]。

信息熵是用來表示任何一種能量在空間中均勻分布程度，能量分布越均勻，熵值越大，則影像中偏離影像直方圖高峰灰度區(qū)的大小越大，所有灰度值出現(xiàn)的幾率越趨于相等，則影像攜帶的信息量越大，信息越豐富。

平均梯度是指圖像的邊界或影線兩側(cè)附近灰度變化率大，其大小可用來表示圖像清晰度。它反映了圖像微小細節(jié)反差變化的速率，表征圖像的相對清晰程度，平均梯度越大，圖像層次越多，也就越清晰。

2 實驗結(jié)果與分析

為驗證本文提出的結(jié)合迭代反投影與限制對比度自適應(yīng)直方圖均衡化的遙感圖像超分辨率重建方法的可靠性，本文以資源三號01星獲取的正視2.1 m分辨率光學(xué)影像作為實驗數(shù)據(jù)，通過對不同地貌類型的遙感圖像進行超分辨率重建的實驗，利用主觀與客觀雙重評價對實驗結(jié)果進行討論與分析，通過對比實驗驗證本文方法的有效性。

本文選取3組實驗數(shù)據(jù)進行舉例說明，利用結(jié)合迭代反投影與限制對比度自適應(yīng)直方圖均衡化的遙感圖像超分辨率重建方法進行2倍的超分辨率重建實驗，并與雙三次插值、迭代反投影方法以及非全局反投影方法重建影像進行對比分析，實驗結(jié)果如圖4～圖6所示。

圖4 道路的超分辨率重建結(jié)果

圖5 鄉(xiāng)鎮(zhèn)的超分辨率重建結(jié)果

圖6 山區(qū)的超分辨率重建結(jié)果

本文給出了不同數(shù)據(jù)類型通過不同重建方法的實驗結(jié)果，圖4～圖6方框為對應(yīng)區(qū)域的局部放大顯示。從局部放大圖可以明顯看出，圖4(b)、圖6(b)為雙三次插值結(jié)果，重建結(jié)果整體不是特別清晰，邊緣結(jié)構(gòu)較為模糊。圖4(c)、圖6(c)為迭代反投影法重建結(jié)果，重建圖像細節(jié)信息不夠突出。圖4(d)、圖6(d)為非局部迭代反投影方法重建結(jié)果，是對經(jīng)典的迭代反投影方法的一個改進，重建影像效果要優(yōu)于經(jīng)典的迭代反投影方法，但重建圖像紋理細節(jié)豐富度的提升依然沒有改善。本文所提出的超分辨率重建方法，從圖4(e)中可以清晰地看到道路中間線，圖5(e)、圖6(e)中可以看到重建圖像地貌的紋理細節(jié)都比較清晰。為了客觀定量地給出重建圖像質(zhì)量效果的改善情況，利用信息熵與平均梯度對重建圖像進行質(zhì)量評價，如表1所示。

表1 超分辨率重建客觀評價結(jié)果 dB

通過客觀質(zhì)量評價結(jié)果可以看出，本文重建結(jié)果的客觀評價指標(biāo)都有明顯的提高，3組實驗影像的信息熵指標(biāo)，本文算法的信息熵值比雙三次插值高了0.85 dB，比迭代反投影法提升了0.67 dB，比非局部迭代反投影法提升了0.43 dB，同時評價梯度指標(biāo)也有明顯提升。為了對超分辨率重建算法的性能進一步分析，表2記錄了不同實驗數(shù)據(jù)通過迭代反投影法、非局部迭代反投影法以及本文重建方法的運行時間。

表2 不同重建算法的運行時間 像元

結(jié)合上述主、客觀評價結(jié)果，與記錄的重建時間可以看出，迭代反投影領(lǐng)域最新的非局部迭代反投影法方法與經(jīng)典的迭代反投影法方法相比，雖然在重建影像的效果上有一定改善，但是其重建時間也是成數(shù)量級增長。本文的重建方法，相較于經(jīng)典的迭代反投影法方法雖然耗時較多，但是相對于非局部迭代反投影法方法，確在提升重建質(zhì)量的同時，顯著提高了重建速率。由此可見，本文重建方法的復(fù)雜度相對較低，而且重建圖像的效果也得到了明顯提升。

3 結(jié)束語

本文提出結(jié)合迭代反投影與限制對比度自適應(yīng)直方圖均衡化的遙感圖像超分辨率重建方法，通過限制對比度直方圖彌補迭代反投影重建過程中缺乏的高頻紋理細節(jié)信息。實驗結(jié)果表明，相比于雙三次插值、迭代反投影方法以及非局部迭代反投影方法，本文重建方法提高了重建影像的清晰度，而且在重建影像質(zhì)量提高的同時，顯著地提升了重建速率，適合于對時間性能要求較高的超分辨率重建應(yīng)用。本文的不足之處在于只進行了2倍的超分辨率重建實驗，對于更大倍數(shù)的超分辨率重建實驗，如何更好地提供高頻信息，還有待于進一步的深入研究。