卜麗靜， 鄭新杰， 肖一鳴， 張正鵬

(1.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院,阜新 123000; 2.黑龍江地理信息工程院，哈爾濱 150081)

吉林一號(hào)衛(wèi)星視頻影像超分辨率重建

卜麗靜1， 鄭新杰2， 肖一鳴2， 張正鵬1

(1.遼寧工程技術(shù)大學(xué)測(cè)繪與地理科學(xué)學(xué)院,阜新 123000; 2.黑龍江地理信息工程院，哈爾濱 150081)

針對(duì)吉林一號(hào)(Jilin-1)衛(wèi)星視頻影像的超分辨率重建問題，在分析衛(wèi)星視頻與普通視頻及遙感影像不同特性的基礎(chǔ)上，研究了在成像場(chǎng)景內(nèi)含有運(yùn)動(dòng)物體情況下，Vandewalle方法和金字塔LK(Lucas-Kanade)光流法運(yùn)動(dòng)估計(jì)方法的適用性。同時(shí)，針對(duì)目前中值平移并添加(median shift and add, MSA)方法在視頻衛(wèi)星影像重建中因幀間缺少互補(bǔ)信息而引起的邊緣信息不清晰問題，提出了新的中值平移并添加(new median shift and add,NMSA)方法。首先，根據(jù)重建的倍數(shù)建立重建前、后的空間分辨率格網(wǎng)，并將2個(gè)格網(wǎng)統(tǒng)一到1個(gè)空間內(nèi)； 然后，以待確定的重建后影像格網(wǎng)像元為中心，確定參與估計(jì)的低空間分辨率像元值，利用容許誤差確定重建后的像元值。通過利用吉林一號(hào)(Jilin-1)衛(wèi)星數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，驗(yàn)證了NMSA方法的有效性。

衛(wèi)星視頻； 超分辨率重建； 全局運(yùn)動(dòng)估計(jì)； 中值平移并添加(MSA)

0 引言

衛(wèi)星視頻數(shù)據(jù)不僅包含豐富完整的地物信息，而且可獲取目標(biāo)的速度和方向等重要信息，比傳統(tǒng)的靜態(tài)影像更具優(yōu)勢(shì)。目前，國(guó)內(nèi)外對(duì)視頻衛(wèi)星的研制開發(fā)逐漸成為了遙感領(lǐng)域的又一熱點(diǎn)。其中，加拿大Skybox Imaging公司在2013年11月21成功發(fā)射的世界上第一顆商用高空間分辨率視頻衛(wèi)星SkySat-1引發(fā)了國(guó)內(nèi)外對(duì)視頻衛(wèi)星的研究熱潮[1]。2015年10月7日我國(guó)首顆商業(yè)遙感視頻成像體制星載一體化靈巧衛(wèi)星“吉林一號(hào)(Jilin-1)”成功發(fā)射升空。該衛(wèi)星組星包括1顆光學(xué)遙感衛(wèi)星、2顆視頻衛(wèi)星和1顆技術(shù)驗(yàn)證衛(wèi)星，工作軌道均為約650 km高的太陽同步軌道，影像的空間分辨率可達(dá)1.12 m。然而，由于星載遙感成像系統(tǒng)在成像過程中受到了多方面降質(zhì)因素的影響，使得最終獲得的衛(wèi)星視頻存在空間分辨率降低的現(xiàn)象，在一定程度上限制了衛(wèi)星視頻數(shù)據(jù)的應(yīng)用。因此，如何提高衛(wèi)星視頻數(shù)據(jù)的空間分辨率已成為研究熱點(diǎn)。目前，主要的解決辦法有改進(jìn)CCD或CMOS傳感器硬件設(shè)備和進(jìn)行后期影像處理2種途徑。前者成本高且有明顯的局限性； 而后者，即開發(fā)超分辨率重建(以下簡(jiǎn)稱超分重建)影像處理軟件的方法具有成本低且實(shí)用的優(yōu)點(diǎn)，故目前對(duì)超分重建的研究較多[2]。

超分重建主要包括運(yùn)動(dòng)估計(jì)、幾何形變、信息融合及去模糊和噪聲等方面的問題[3]，其中運(yùn)動(dòng)估計(jì)和超分重建算法占有重要的地位。對(duì)于衛(wèi)星視頻影像重建問題，由于視頻影像序列間因成像系統(tǒng)角度變化、場(chǎng)景移動(dòng)等原因?qū)е乱曨l幀間存在一定的位移，運(yùn)動(dòng)估計(jì)即為視頻幀間位移矢量的求解。根據(jù)袁小華等[3]的論證可知，只有當(dāng)影像序列存在亞像元位移時(shí)，低空間分辨率影像間才存在可用來提高空間分辨率的互補(bǔ)信息； 所以，亞像元級(jí)的運(yùn)動(dòng)估計(jì)結(jié)果是解決超分重建問題的關(guān)鍵之一。超分重建方法對(duì)重建結(jié)果的影響也非常大，目前超分重建方法較多，如頻率域方法、空間域方法、基于邊緣與區(qū)域的方法及基于學(xué)習(xí)與識(shí)別的方法等[3]?？臻g域的經(jīng)典方法較多，如迭代反投影(iterative back-projection,IBP)方法[5]、凸集投影方法[6]、最大后驗(yàn)概率估計(jì)法[7]、平移并添加(shift and add,SA)方法[8]和中值平移并添加(median shift and add,MSA)方法[9]等。上述方法都具有各自的優(yōu)缺點(diǎn)，根據(jù)不同的數(shù)據(jù)源需要選擇不同的處理方法。但是，目前大多數(shù)方法的適應(yīng)性都非常有限，特別是針對(duì)數(shù)據(jù)量龐大的衛(wèi)星視頻序列影像，需要計(jì)算復(fù)雜度低、效率高、效果好的重建方法。MSA方法具有計(jì)算速度快、魯棒性好等優(yōu)點(diǎn)，但要求低空間分辨率影像序列必須滿足一定的平移關(guān)系。當(dāng)?shù)涂臻g分辨率影像序列的幀間平移關(guān)系不能滿足理想條件(如運(yùn)動(dòng)方向固定)時(shí)，即使參與重建的低空間分辨率影像的幀數(shù)滿足充分條件，也會(huì)出現(xiàn)影像間互補(bǔ)信息缺失嚴(yán)重的情況，因而所得影像中只有少部分位置有像元值，其余都是0值，出現(xiàn)了“黑色格網(wǎng)”現(xiàn)象。所以，重建方法的選擇是超分重建的主要問題。

本文以Jilin-1衛(wèi)星視頻影像為數(shù)據(jù)源，對(duì)比分析了視頻衛(wèi)星影像、普通視頻影像和衛(wèi)星影像之間的不同，重點(diǎn)研究運(yùn)動(dòng)估計(jì)方法和重建方法； 通過詳細(xì)實(shí)驗(yàn)分析了Vandewalle方法和金字塔LK(Lucas-Kanade)光流運(yùn)動(dòng)估計(jì)方法的適用性； 同時(shí)提出了新的中值平移并添加(new median shift and add,NMSA)超分重建方法，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證。

1 衛(wèi)星視頻影像特點(diǎn)及主要研究問題

1.1 衛(wèi)星視頻影像特點(diǎn)分析

衛(wèi)星視頻影像通常在距地表幾百km的上空獲取(如SkySat-1和Jilin-1視頻衛(wèi)星分別運(yùn)行在450 km和650 km的太陽同步軌道上)，所以單幀影像的成像幅寬比普通視頻大得多，能夠俯視拍攝地球表面更多的地物信息。而普通視頻拍攝的場(chǎng)景范圍非常有限(如校園某一角、人物和車輛等)，拍攝內(nèi)容簡(jiǎn)單，目標(biāo)數(shù)目不多； 衛(wèi)星視頻的內(nèi)容通常同時(shí)包括居民地建筑、河流和森林等。普通視頻影像序列間的位移主要來自相機(jī)的運(yùn)動(dòng)，這種運(yùn)動(dòng)與相機(jī)拍攝時(shí)的方式(如支點(diǎn)固定轉(zhuǎn)動(dòng)或整體移動(dòng)等)有關(guān)； 衛(wèi)星視頻則與衛(wèi)星系統(tǒng)穩(wěn)定性和成像方式有關(guān)，影像序列的運(yùn)動(dòng)情況具有一般性。與一般遙感衛(wèi)星影像相比，衛(wèi)星視頻影像的最大優(yōu)勢(shì)是具有時(shí)間特性，能夠拍攝地面運(yùn)動(dòng)物體(如圖1(b)紅框區(qū)域)，即靜態(tài)、運(yùn)動(dòng)物體(如大面積的地表建筑與行駛的汽車、飛行的飛機(jī))均能記錄。雖然普通視頻中也有靜態(tài)和動(dòng)態(tài)物體共存的現(xiàn)象，但在整個(gè)成像幅寬內(nèi)動(dòng)、靜態(tài)物體的比例會(huì)有很大不同，這些不同使衛(wèi)星視頻影像比傳統(tǒng)的靜止影像更具備監(jiān)測(cè)運(yùn)動(dòng)目標(biāo)的應(yīng)用潛力，能夠?qū)Νh(huán)境進(jìn)行持續(xù)監(jiān)測(cè)。圖1示出衛(wèi)星視頻與普通視頻和遙感影像的對(duì)比，表1列出3種影像的參數(shù)對(duì)比。

(a) SkySat1衛(wèi)星視頻 (b) Jilin-1衛(wèi)星視頻 (c) 風(fēng)景普通視頻(d) 普通衛(wèi)星遙感影像

圖1衛(wèi)星視頻與普通視頻和遙感影像的對(duì)比
Fig.1Comparisonbetweensatellitevideoandcommonvideoaswellasremotesensingimage

表1 衛(wèi)星視頻與遙感影像和普通視頻影像的區(qū)別Tab.1 Difference between satellite video and common video as well as remote sensing image

1.2 運(yùn)動(dòng)估計(jì)與超分重建

影像的超分重建是影像獲取的逆過程，是通過融合同一場(chǎng)景的多幀低空間分辨率(low resolution,LR)影像的互補(bǔ)信息進(jìn)而生成高空間分辨率(high resolution,HR)影像或序列的過程[4]。假定一個(gè)連續(xù)的動(dòng)態(tài)場(chǎng)景在某個(gè)攝像時(shí)刻t，由于拍攝場(chǎng)景和相機(jī)之間的相對(duì)運(yùn)動(dòng)在相機(jī)鏡頭中發(fā)生了扭曲形變，同時(shí)在大氣湍流Hatm(x,y)和相機(jī)鏡頭連續(xù)點(diǎn)擴(kuò)散函數(shù)Hcam(x,y)的作用下變得模糊，最后再經(jīng)由CCD傳感器將原始的連續(xù)場(chǎng)景離散化； 上述過程中因量化噪聲等原因，會(huì)使實(shí)際拍攝場(chǎng)景的影像信號(hào)進(jìn)一步退化，最終形成含有噪聲的觀測(cè)影像。上述過程可表達(dá)為

Yk=DkHkFkX+Vk(k=1,……,N),

(1)

式中 ： “_”代表矩陣的堆疊形式； 假設(shè)觀測(cè)到的LR影像在成像過程中水平和垂直方向的降采樣因子均為r，那么Yk則是第k幀低LR影像；X為HR影像；Fk為形變(平移、旋轉(zhuǎn)等)矩陣；Hk為總體模糊矩陣；Dk為欠采樣矩陣；Vk為加性噪聲。理論上，影像重建需要在去除Vk的基礎(chǔ)上，估計(jì)出Hk,Dk和Fk進(jìn)行求解[10]。本文主要討論影像重建中的運(yùn)動(dòng)估計(jì)方法和重建方法。運(yùn)動(dòng)估計(jì)對(duì)超分重建結(jié)果影響較大，一般來說，運(yùn)動(dòng)估計(jì)結(jié)果是否精確，決定了重建過程中LR影像的像元值在HR影像中的對(duì)應(yīng)關(guān)系是否正確。同時(shí)，目前的重建方法對(duì)衛(wèi)星視頻龐大數(shù)據(jù)的適應(yīng)性都非常有限，存在計(jì)算復(fù)雜度高、耗時(shí)長(zhǎng)的問題，因此尋找計(jì)算復(fù)雜度低、效率高、效果好的重建方法也是非常必要的。

2 運(yùn)動(dòng)估計(jì)方法分析及實(shí)驗(yàn)

2.1 運(yùn)動(dòng)估計(jì)方法分析

視頻影像通常由背景和前景構(gòu)成，背景是指在視頻中靜止的且具有攝像機(jī)運(yùn)動(dòng)特性的地物部分，其運(yùn)動(dòng)是由攝像機(jī)運(yùn)動(dòng)造成的； 前景是指同時(shí)具有攝像機(jī)運(yùn)動(dòng)和自身運(yùn)動(dòng)特性的物體部分，其運(yùn)動(dòng)是指相對(duì)于背景的運(yùn)動(dòng)。攝像機(jī)的運(yùn)動(dòng)是一種全局運(yùn)動(dòng)，因此造成的影像變化是一種全局變化，并且影像內(nèi)各物體的變化是一致的； 而前景運(yùn)動(dòng)是攝像機(jī)和物體本身運(yùn)動(dòng)的綜合體現(xiàn)，亦稱局部運(yùn)動(dòng)。圖2說明了全局運(yùn)動(dòng)與局部運(yùn)動(dòng)的關(guān)系。

(a) 全局運(yùn)動(dòng) (b) 局部運(yùn)動(dòng)

圖2全局運(yùn)動(dòng)與局部運(yùn)動(dòng)的關(guān)系

Fig.2Relationshipbetweenglobalmotionandlocalmotion

從視頻影像來看，既有靜止物體又有運(yùn)動(dòng)物體，就需要進(jìn)行估計(jì)全局運(yùn)動(dòng)和局部運(yùn)動(dòng)。如何選擇合適的運(yùn)動(dòng)估計(jì)方法是影像重建中的重要問題。由于在同時(shí)含有靜止物體(如農(nóng)田)和運(yùn)動(dòng)物體(如車輛)的衛(wèi)星視頻中，一般在道路區(qū)域才有運(yùn)動(dòng)的車輛(如圖1(b)中的紅框區(qū)域)，而且車輛在整幀影像中的比例相對(duì)于靜止物體也非常小。因此，本文選擇利用全局運(yùn)動(dòng)估計(jì)方法進(jìn)行運(yùn)動(dòng)估計(jì)。但這樣會(huì)使影像中運(yùn)動(dòng)物體的運(yùn)動(dòng)估計(jì)結(jié)果存在誤差，最終導(dǎo)致影像重建效果不佳。運(yùn)動(dòng)物體對(duì)全局運(yùn)動(dòng)估計(jì)結(jié)果的影響和方法的實(shí)用性是本節(jié)討論的重點(diǎn)。在全局運(yùn)動(dòng)估計(jì)方法中，是否能夠達(dá)到亞像元位移的估計(jì)精度非常重要，它決定了幀間非冗余信息融合程度的好壞。其中，Vandewalle方法和金字塔LK光流法是較為經(jīng)典的亞像元運(yùn)動(dòng)估計(jì)方法。Vandewalle方法是一種頻率域全局運(yùn)動(dòng)估計(jì)方法，該方法利用傅里葉變換平移特性，通過求解等式方程得到2幀影像間的平移參數(shù)； 而且即使是影像包含了混疊現(xiàn)象，該方法利用影像的低頻信息、通過相位差仍然可以計(jì)算出平移量。LK運(yùn)動(dòng)估計(jì)方法是空間域基于光流場(chǎng)的運(yùn)動(dòng)估計(jì)方法。若將空間運(yùn)動(dòng)物體在觀測(cè)成像面上像元運(yùn)動(dòng)的瞬時(shí)速度稱為光流，則影像灰度模式的表觀運(yùn)動(dòng)就是光流場(chǎng)。金字塔LK光流法實(shí)際上是在傳統(tǒng)光流的基礎(chǔ)上加入了分層計(jì)算的思想，使該方法既能滿足局部運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，又能更好地適應(yīng)影像幀與幀之間的大運(yùn)動(dòng)。本節(jié)主要討論這2種方法如何進(jìn)行衛(wèi)星視頻序列幀間平移參數(shù)的求解。但在理論上，運(yùn)動(dòng)物體會(huì)對(duì)全局運(yùn)動(dòng)估計(jì)產(chǎn)生干擾，降低其準(zhǔn)確性。因此，分別對(duì)影像序列中含有運(yùn)動(dòng)物體區(qū)域和靜止區(qū)域進(jìn)行運(yùn)動(dòng)估計(jì)，以探討上述方法對(duì)衛(wèi)星視頻超分重建的適用性。

2.2 全局運(yùn)動(dòng)估計(jì)實(shí)驗(yàn)及分析

本實(shí)驗(yàn)討論衛(wèi)星視頻影像中包含運(yùn)動(dòng)車輛時(shí)，運(yùn)動(dòng)目標(biāo)對(duì)全局運(yùn)動(dòng)估計(jì)的影響。選取SkySat-1衛(wèi)星含有不同運(yùn)動(dòng)目標(biāo)的20幀視頻影像為實(shí)驗(yàn)數(shù)據(jù)，每幀影像大小為350像元×150像元(圖3)。在影像中選取了靜止的建筑物區(qū)域(紅色矩形區(qū)域，160像元×120像元)和運(yùn)動(dòng)車輛密集區(qū)域(黃色矩形區(qū)域，140像元×100像元)進(jìn)行局部運(yùn)動(dòng)估計(jì)，將其估計(jì)結(jié)果與全局運(yùn)動(dòng)估計(jì)結(jié)果進(jìn)行對(duì)比。

(a) 第1幀(b) 第7幀(c) 第13幀(d) 第20幀

圖3SkySat-1衛(wèi)星視頻影像序列

Fig.3VideoimagesequenceofSkySat-1

實(shí)驗(yàn)方法是首先對(duì)整景影像的全局運(yùn)動(dòng)進(jìn)行估計(jì)，然后分別對(duì)紅框和黃框內(nèi)的區(qū)域進(jìn)行局部運(yùn)動(dòng)估計(jì)，進(jìn)而分析全局和局部運(yùn)動(dòng)估計(jì)的關(guān)系。表2給出了Vandewalle方法和金字塔LK光流法對(duì)整景影像的運(yùn)動(dòng)估計(jì)結(jié)果。為了驗(yàn)證實(shí)驗(yàn)前、后運(yùn)動(dòng)估計(jì)結(jié)果的準(zhǔn)確性，實(shí)驗(yàn)中以第1幀影像為參考幀，對(duì)其他視頻幀序列進(jìn)行亞像素位移的運(yùn)動(dòng)模擬，以此模擬值作為參考真值(見表2中的“真值”項(xiàng))。

從表2可以看出，2種方法的全局運(yùn)動(dòng)估計(jì)結(jié)果與真實(shí)值非常接近，絕對(duì)誤差最大值和均方根誤差均不超過0.1個(gè)像元?？梢妼?duì)于上述2種方法，密集的運(yùn)動(dòng)車輛對(duì)全局運(yùn)動(dòng)估計(jì)結(jié)果幾乎沒有影響，說明當(dāng)衛(wèi)星視頻序列影像包含少部分運(yùn)動(dòng)車輛時(shí)，運(yùn)動(dòng)車輛對(duì)全局運(yùn)動(dòng)估計(jì)的干擾可以忽略。

表3為分別對(duì)建筑物區(qū)域和車輛密集區(qū)域進(jìn)行運(yùn)動(dòng)估計(jì)的結(jié)果，其中真值與表2中的相同。

表3 建筑物區(qū)域和車輛密集區(qū)域運(yùn)動(dòng)估計(jì)結(jié)果Tab.3 Motion estimation results of buildings region and dense vehicle region (像元)

由表3可知，在車輛密集區(qū)域，Vandewalle方法估計(jì)精度不高，估計(jì)值的絕對(duì)誤差最大為第16幀的x方向，估計(jì)值為0.24，真值為0.47，偏差-0.23個(gè)像元，運(yùn)動(dòng)估計(jì)的均方根誤差最大為0.16個(gè)像元，可見在這一區(qū)域Vandewalle方法的估計(jì)精度受車輛的影響尤為明顯。通過分析可知，運(yùn)動(dòng)目標(biāo)在影像中所占的比例是影響Vandewalle方法估計(jì)精度的一個(gè)主要因素，本實(shí)驗(yàn)中車輛密集區(qū)域的車輛在影像中表現(xiàn)為高頻信息，對(duì)該區(qū)域而言，低頻信息仍然不足，因此估計(jì)精度下降。相比之下，金字塔LK光流法在這一區(qū)域的絕對(duì)誤差最大為第20幀的x方向，估計(jì)值為-0.01，真值為-0.12，偏差0.11個(gè)像元，運(yùn)動(dòng)估計(jì)的均方根誤差最大為0.08個(gè)像元，可見比Vandewalle方法受車輛干擾小。在建筑物區(qū)域，2種方法獲得的估計(jì)值都與真值相近，估計(jì)值的絕對(duì)誤差最大為金字塔LK光流法的第20幀的x方向，估計(jì)值為0.07，真值為-0.12，偏差-0.19個(gè)像元，均方根誤差均不超過0.14個(gè)像元，都高于車輛密集區(qū)域的估計(jì)精度。但與整幀影像的運(yùn)動(dòng)估計(jì)結(jié)果相比，Vandewalle方法的估計(jì)精度有所下降。這說明影像尺寸對(duì)Vandewalle方法的估計(jì)精度有影響，影像尺寸小相當(dāng)于影像包含的信息少，從而影響了運(yùn)動(dòng)估計(jì)精度。因此，從Vandewalle方法本質(zhì)上分析，該方法的估計(jì)精度取決于參與運(yùn)動(dòng)估計(jì)的低頻信息量的多少，當(dāng)?shù)皖l信息足夠時(shí)，Vandewalle方法精度較高； 低頻信息不足時(shí)，則估計(jì)精度較低。

圖4給出了整幀影像、建筑物區(qū)域和車輛密集區(qū)域的運(yùn)動(dòng)估計(jì)值均方根誤差。

圖4 不同運(yùn)動(dòng)估計(jì)值均方根誤差比較Fig.4 Comparison of RMS errors of different motion estimations

從圖4可以看出，對(duì)整幀影像而言，Vandewalle方法和金字塔LK光流法的全局運(yùn)動(dòng)估計(jì)精度都非常高，估計(jì)值幾乎未受到運(yùn)動(dòng)車輛的干擾，其中Vandewalle方法的精度更高。在建筑物區(qū)域，2種運(yùn)動(dòng)估計(jì)方法也能保證精度，但金字塔LK光流法的估計(jì)精度超過了Vandewalle方法。在車輛密集區(qū)域，金字塔LK光流法幾乎不受車輛運(yùn)動(dòng)影響，能夠得到滿足一定精度的估計(jì)值； 而Vandewalle方法受車輛干擾嚴(yán)重，無法保證估計(jì)精度。

2.3 運(yùn)動(dòng)估計(jì)實(shí)驗(yàn)結(jié)論

總結(jié)實(shí)驗(yàn)結(jié)果，可得到以下結(jié)論：

1)全局運(yùn)動(dòng)估計(jì)對(duì)衛(wèi)星視頻超分重建具有普遍適用性。當(dāng)視頻影像包含運(yùn)動(dòng)汽車時(shí)，其對(duì)全局運(yùn)動(dòng)估計(jì)的影響可以忽略； 即對(duì)于衛(wèi)星視頻影像而言，少量運(yùn)動(dòng)目標(biāo)對(duì)其全局運(yùn)動(dòng)估計(jì)的干擾可忽略不計(jì)。

2)當(dāng)衛(wèi)星視頻影像包含運(yùn)動(dòng)目標(biāo)時(shí)，Vandewalle方法需要足夠的低頻信息來保證估計(jì)精度； 當(dāng)影像過小、低頻信息不足時(shí)，Vandewalle方法無法保證精度； 但當(dāng)?shù)皖l信息充足時(shí)，該方法在純平移情況下精度非常高。

3)金字塔LK光流法估計(jì)精度穩(wěn)定，受限因素較少； 該方法的估計(jì)精度雖然有時(shí)不及Vandewalle方法，但該方法不易受影像尺寸等因素的影響，與Vandewalle方法相比更加穩(wěn)定。

3 NMSA快速衛(wèi)星視頻重建

3.1 MSA方法

MSA方法是在SA方法基礎(chǔ)上由Farsiu等[9]提出的，p范數(shù)估計(jì)最小化準(zhǔn)則的表達(dá)式為

(2)

圖5 MSA方法像元級(jí)分析示意圖Fig.5 sketch map for MSA method with pixel level

MSA方法的基本過程如下： ①對(duì)LR影像進(jìn)行運(yùn)動(dòng)估計(jì)，得到運(yùn)動(dòng)參數(shù)MPLR； ②根據(jù)重建倍數(shù)r建立HR影像格網(wǎng)； ③將LR尺度下的運(yùn)動(dòng)參數(shù)MLR乘以重建倍數(shù)r、再四舍五入至整像元，得到HR尺度下的運(yùn)動(dòng)參數(shù)MPHR； ④將全部LR影像進(jìn)行添零上采樣(即按運(yùn)動(dòng)估計(jì)參數(shù)值，將各幀LR影像像元值映射到HR影像格網(wǎng)，HR格網(wǎng)中沒有LR影像對(duì)應(yīng)像元的位置用0補(bǔ)充)，得到與HR同尺度的LRUP； ⑤將LRUP根據(jù)MPHR在HR影像中對(duì)齊； ⑥對(duì)齊后，對(duì)HR格網(wǎng)上每個(gè)位置上的像元值取中值，作為該點(diǎn)的像元值。但當(dāng)MSA方法要求LR影像序列滿足一定平移關(guān)系，而幀間平移關(guān)系不理想或估計(jì)不準(zhǔn)確時(shí)，會(huì)出現(xiàn)LR影像間互補(bǔ)信息缺失嚴(yán)重的情況，得到的新影像部分位置的像元值為0，在影像中會(huì)出現(xiàn)邊緣信息不清晰、不連續(xù)的現(xiàn)象。

3.2 NMSA方法

針對(duì)MSA方法存在的問題，本文提出了NMSA算法。通過分析MSA方法的原理和實(shí)現(xiàn)過程可以看出，該方法是從像方角度考慮增加像元數(shù)量來達(dá)到提高空間分辨率的目的。但從另一個(gè)角度來看，由于同一場(chǎng)景成像區(qū)域相同，因此像方像元數(shù)量的增加實(shí)質(zhì)上就是物方像元尺寸的減小。如果直接從物方考慮，分別建立LR影像坐標(biāo)系xoy和HR影像坐標(biāo)系XOY，將2個(gè)坐標(biāo)系的原點(diǎn)重合，則能夠根據(jù)重建倍數(shù)得到LR像元坐標(biāo)與HR像元坐標(biāo)之間的關(guān)系，從而求解HR像元值。現(xiàn)假設(shè)重建倍數(shù)為r，若利用n幀LR影像重建1幀HR影像，那么以第1幀LR影像坐標(biāo)系xoy的o點(diǎn)為原點(diǎn)，按照LR影像幀間亞像元位移將其他(n-1)幀LR影像的像元復(fù)制在坐標(biāo)系xoy下后，建立HR影像坐標(biāo)系XOY并與xoy重合； 通過將全部LR影像的像元坐標(biāo)換算至HR坐標(biāo)系XOY下，即可根據(jù)尋找相同像元坐標(biāo)來解得HR影像的各個(gè)像元值。

建立重建后的高空間分辨率格網(wǎng)后，用容許誤差和參估點(diǎn)計(jì)算重建像元值，即

Nl(u,v)={fk(i,j):(X-Xj)2+(Y-Yj)2≤δ2} ,

(3)

式中：δ為容許誤差，0<δ<1；fk(i,j)為第k幀LR影像中的第i行、第j列位置上的像元值；Nl(u,v)為選出的l個(gè)參估點(diǎn)； (Xi,Yi)為HR影像待求點(diǎn)的像元坐標(biāo)； (X,Y)為在容許誤差范圍內(nèi)的全部像元點(diǎn)坐標(biāo)。(Xi,Yi)位置的像元值最終取l個(gè)參估點(diǎn)的中值。

圖6為δ范圍內(nèi)參估點(diǎn)選擇示意圖。以待求的HR格網(wǎng)點(diǎn)為中心，藍(lán)色圓圈半徑為δ，在圓內(nèi)的LR像元點(diǎn)均為參估點(diǎn)。HR影像待求點(diǎn)的像元值取所有參估點(diǎn)像元值的中值。

圖6NMSA方法原理

Fig.6SchematicdiagramofNMSAmethod

4 實(shí)驗(yàn)及分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本組實(shí)驗(yàn)數(shù)據(jù)截取自Jilin-1衛(wèi)星采集的彩色視頻序列影像，該序列影像的成像時(shí)間為2015年11月，拍攝地點(diǎn)為墨西哥杜蘭戈。

圖7示出該視頻序列影像中的第1、第5和第15幀影像。

(a) 第1幀 (b) 第5幀 (c) 第15幀

(d) 第1幀(局部) (e) 第5幀(局部)(f) 第15幀(局部)

圖7Jilin-1衛(wèi)星原始視頻影像序列

Fig.7OriginalvideoimagesequenceofJilin-1satellite

4.2 實(shí)驗(yàn)結(jié)果及分析

在影像重建中利用5幀重建1幀，重建倍數(shù)為2，容許誤差為0.75，采用金字塔LK光流法估計(jì)運(yùn)動(dòng)參數(shù)。

分別采用雙線性插值、MSA和NMSA方法進(jìn)行對(duì)比，各方法的影像重建結(jié)果見圖8和圖9。

(a) 雙線性插值 (b) MSA方法 (c) NMSA方法

(d) 雙線性插值(局部) (e) MSA方法 (局部) (f) NMSA方法(局部)

圖8超分重建結(jié)果

Fig.8Resultsofsuper-resolutionreconstruction

(a) 原始LR影像 (b) 雙線性插值 (c) MSA方法(d) NMSA方法

圖9超分重建結(jié)果細(xì)節(jié)對(duì)比

Fig.9Comparisonondetailsofsuper-resolutionreconstructionresults

對(duì)比圖8和圖9可以看出，雙線性插值、MSA方法和本文采用的NMSA方法在整體上都增加了影像的信息(圖8(a)―(c))。但在細(xì)節(jié)上雙線性插值法得到的邊緣信息模糊，MSA方法得到的邊緣信息比原始LR影像好，但像元信息過渡不自然，沒有本文方法得到的邊緣細(xì)節(jié)清晰(圖9)。在對(duì)影像中地物的整體處理效果方面，雙線性插值結(jié)果改善不明顯； MSA和本文方法在建筑物和車輛等局部信息上改善明顯，而本文方法得到的局部信息更清晰、改善效果更明顯(圖8(d)―(f))。

同時(shí)，采用信息熵和信噪比(signal noise ratio,SNR)評(píng)價(jià)指標(biāo)進(jìn)行定量評(píng)價(jià)。信息熵是評(píng)價(jià)影像信息豐富程度的指標(biāo)，該值大小表示影像所包含的平均信息量的含量多少。信息熵值越大，表明影像的信息量越豐富； 反之，信息熵值越小，表明影像信息較少，損失了較多的細(xì)節(jié)信息。SNR是衡量影像質(zhì)量高低的一個(gè)重要指標(biāo)，通過比較原始LR影像和重建后影像的SNR，能夠分析出重建后影像的質(zhì)量是否有所提升。對(duì)比結(jié)果如表4所示。

表4 超分重建影像客觀指標(biāo)評(píng)價(jià)Tab.4 Objective evaluation indexs of super-resolution reconstruction images

從表4可以看出，本文方法和MSA方法超分重建影像的信息熵和SNR值都有所提升，但本文方法的提升幅度較大，說明本文方法對(duì)原影像改善較明顯，影像質(zhì)量得到了提高。

5 結(jié)論

本文針對(duì)吉林一號(hào)(Jilin-1)衛(wèi)星視頻影像的超分辨率重建問題，分析了衛(wèi)星視頻影像的不同，研究了運(yùn)動(dòng)估計(jì)方法的適用性等問題，提出了NMSA重建方法。通過實(shí)驗(yàn)對(duì)比分析，得出以下結(jié)論：

1)衛(wèi)星視頻與普通視頻、遙感影像不同，實(shí)驗(yàn)研究結(jié)果表明，成像區(qū)域在具有車輛等運(yùn)動(dòng)目標(biāo)情況下，場(chǎng)景中運(yùn)動(dòng)物體對(duì)Vandewalle方法和金字塔LK光流法的精度有一定影響。當(dāng)影像中含有少量運(yùn)動(dòng)目標(biāo)時(shí)，全局運(yùn)動(dòng)估計(jì)結(jié)果可用于超分辨率重建。當(dāng)影像過小、低頻信息不足時(shí)，金字塔LK光流法估計(jì)的精度更穩(wěn)定。

2)本文提出的NMSA超分重建方法改進(jìn)了MSA方法，通過建立重建前、后統(tǒng)一的坐標(biāo)空間格網(wǎng)，以重建后影像格網(wǎng)像元為中心，利用容許誤差確定重建后的像元值。對(duì)真實(shí)衛(wèi)星視頻的重建實(shí)驗(yàn)證明，該方法能夠很好地改善MSA方法中邊緣信息不清晰的問題。

3)本文僅研究了全局運(yùn)動(dòng)估計(jì)下的衛(wèi)星視頻影像超分重建方法，但實(shí)際視頻場(chǎng)景中的局部區(qū)域仍存在不同運(yùn)動(dòng)狀態(tài)的目標(biāo)(如車輛、飛機(jī)等)，對(duì)于這些運(yùn)動(dòng)目標(biāo)的局部運(yùn)動(dòng)估計(jì)問題，以及局部運(yùn)動(dòng)估計(jì)精度對(duì)超分重建的影響等方面還需要進(jìn)一步研究。

志謝： 對(duì)武漢大學(xué)測(cè)繪遙感信息工程國(guó)家重點(diǎn)實(shí)驗(yàn)室張過教授研究團(tuán)隊(duì)提供前期數(shù)據(jù)處理支持和長(zhǎng)光衛(wèi)星公司提供視頻衛(wèi)星數(shù)據(jù)表示衷心的感謝！

[1] Murthy K,Shearn M,Smiley B D,et al.SkySat-1:Very high-resolution imagery from a small satellite[C]//Proceedings of SPIE 9241,Sensors,Systems,and Next-Generation Satellites XVIII.Amsterdam, Netherlands:SPIE,2014:92411E.

[2] Nasrollahi K,Moeslund T B.Super-resolution:A comprehensive survey[J].Machine Vision and Applications,2014,25(6):1423-1468.

[3] 袁小華,歐陽曉麗,夏德深.超分辨率圖像恢復(fù)研究綜述[J].地理與地理信息科學(xué),2006,22(3):43-47.

Yuan X H,Ouyang X L,Xia D S.An overview on super resolution image restoration[J].Geography and Geo-information Science,2006,22(3):43-47.

[4] Park S C,Park M K,Kang M G.Super-resolution image reconstruction:A technical overview[J].IEEE Signal Processing Magazine,2003,20(3):21-36.

[5] Irani M,Peleg S.Improving resolution by image registration[J].CVGIP:Graphical Models and Image Processing,1991,53(3):231-239.

[6] Stark H,Oskoui P.High-resolution image recovery from image-plane arrays, using convex projections[J].Journal of the Optical Society of America A,1989,6(11):1715-1726.

[7] Schultz R R,Stevenson R L.Extraction of high-resolution frames from video sequences[J].IEEE Transactions on Image Processing,1996,5(6):996-1011.

[8] Elad M,Hel-Or Y.A fast super-resolution reconstruction algorithm for pure translational motion and common space-invariant blur[J].IEEE Transactions on Image Processing,2001,10(8):1187-1193.

[9] Farsiu S,Robinson M D,Elad M,et al.Fast and robust multiframe super resolution[J].IEEE Transactions on Image Processing,2004,13(10):1327-1344.

[10] Farsiu S.A Fast and Robust Framework for Image Fusion and Enhancement[D].Santa Cruz:University of California Santa Cruz,2005.

Researchonsuper-resolutionreconstructionforvideoimageofJilin-1satellite

BU Lijing1， ZHENG Xinjie2， XIAO Yiming2， ZHANG Zhengpeng1

(1.SchoolofGeomatics，LiaoningTechnicalUniversity，F(xiàn)uxin123000，China; 2.HeilongjiangInstituteofGeomaticsEngineering,Harbin150081,China)

According to the super-resolution reconstruction of Jilin-1 satellite and on the basis of an analysis of different characteristics of satellite video and common video as well as remote sensing image，the authors studied the motion estimation applicability of the Vandewalle method and the method of LK(Lucas-Kanade)optical flow in pyramid under the situation of imaging scene containing moving objects. At the same time, according to the median shift and add(MSA)method, the new median shift and add(NMSA)method was proposed to tackle the problem that the edge information is not clear because of the lack of complementary information between the frames in the video satellite image reconstruction. First, a resolution grid is established based on the multiple of reconstruction, and the two grids are unified into a unified space. Then, the low-resolution pixel values that participate in estimation are determined. With the pixel of the image reconstruction grid to be determined as the center, the allowed error is used to determine the reconstruction pixel values. The experiments using the data of Jilin-1 satellite prove the effectiveness of the method proposed in this paper.

satellite video； super-resolution reconstruction； overall motion estimation； median shift and add(MSA)

10.6046/gtzyyg.2017.04.11

卜麗靜,鄭新杰,肖一鳴,等.吉林一號(hào)衛(wèi)星視頻影像超分辨率重建[J].國(guó)土資源遙感,2017,29(4)：64-72.(Bu L J,Zheng X J,Xiao Y M,et al.Research on super-resolution reconstruction for video image of Jilin-1 satellite[J].Remote Sensing for Land and Resources,2017,29(4)：64-72.)

TP 751.1; P 237

A

1001-070X(2017)04-0064-09

2016-04-27；

2016-07-04

國(guó)家自然科學(xué)基金項(xiàng)目“MRF模型的車載全景視覺位姿估計(jì)最優(yōu)化方法研究”(編號(hào)： 41501504)和2016年遼寧省教育廳一般項(xiàng)目“復(fù)雜運(yùn)動(dòng)場(chǎng)景下衛(wèi)星視頻的超分辨率重建方法研究”(編號(hào)： LJYL011)共同資助。

卜麗靜(1980-),女,博士,副教授,主要從事光學(xué)和雷達(dá)圖像重建等方面的研究。Email： lijingbu@126.com。

(責(zé)任編輯：李瑜)