陳壯杰，宋占杰，高成志，齊占輝，張鎖平

(1.天津大學(xué)電視與圖像信息研究所，天津 300072；2.國家海洋技術(shù)中心，天津 300112)

導(dǎo)航雷達(dá)近海回波圖像丟幀內(nèi)插技術(shù)研究

陳壯杰1，宋占杰1，高成志1，齊占輝2，張鎖平2

(1.天津大學(xué)電視與圖像信息研究所，天津 300072；2.國家海洋技術(shù)中心，天津 300112)

研究了在連續(xù)的X波段導(dǎo)航雷達(dá)圖像序列中丟失一幀圖像狀態(tài)下的一種快速修復(fù)算法。該算法主要采用基于運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)囊曨l序列修復(fù)技術(shù)進(jìn)行插幀修復(fù)。具體步驟是根據(jù)雷達(dá)圖像中像素點(diǎn)的運(yùn)動(dòng)特點(diǎn)，采用改進(jìn)的三步搜索算法并結(jié)合雙向運(yùn)動(dòng)估計(jì)進(jìn)行搜索，然后對(duì)矢量場(chǎng)進(jìn)行后續(xù)處理，最后內(nèi)插出重建幀。為了提高圖像修復(fù)的精度，還引入了亞像素運(yùn)動(dòng)估計(jì)。實(shí)驗(yàn)表明，所給出的新算法能夠取得較好的修復(fù)效果。

X波段導(dǎo)航雷達(dá)；圖像修復(fù)；運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償；插幀

利用X波段導(dǎo)航雷達(dá)進(jìn)行遙感測(cè)量，并根據(jù)所獲取的圖像數(shù)據(jù)對(duì)各種海態(tài)參數(shù)進(jìn)行反演，從而得到海洋狀態(tài)的實(shí)時(shí)信息，對(duì)海上的經(jīng)濟(jì)活動(dòng)和軍事活動(dòng)具有十分重要的意義[1-2]。但是，在X波段導(dǎo)航雷達(dá)海面回波數(shù)據(jù)的采集過程中存在很多實(shí)際的問題，其中主要表現(xiàn)在圖像數(shù)據(jù)中存在噪聲，以及連續(xù)時(shí)間內(nèi)的圖像序列中存在某一幀圖像數(shù)據(jù)丟失的現(xiàn)象。這些問題對(duì)后期利用海浪圖像數(shù)據(jù)來反演各種海態(tài)參數(shù)都有很大的影響。要想獲得精確的海態(tài)參數(shù)，必須保證雷達(dá)圖像數(shù)據(jù)的準(zhǔn)確性和完整性。

針對(duì)雷達(dá)圖像序列存在的丟幀問題，本文提出了一種基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)囊曨l序列修復(fù)技術(shù)，對(duì)缺損的導(dǎo)航雷達(dá)圖像序列進(jìn)行插幀修復(fù)，從而保證雷達(dá)圖像序列的時(shí)間連續(xù)性。

1 雷達(dá)圖像序列分析

1.1 雷達(dá)圖像的運(yùn)動(dòng)特點(diǎn)

雷達(dá)天線發(fā)出的電磁波入射到海面上，與海浪中的Bragg波產(chǎn)生散射，而Bragg波又依次在方向、能量和運(yùn)動(dòng)上受到海浪中更大尺度波的調(diào)制，從而使海浪在雷達(dá)上成像，所以雷達(dá)圖像數(shù)據(jù)的采集過程不同于一般的圖像數(shù)據(jù)采集過程。雷達(dá)天線轉(zhuǎn)動(dòng)一周所記錄的回波強(qiáng)度的區(qū)域分布可以近似認(rèn)為是對(duì)應(yīng)于某一瞬時(shí)時(shí)刻的回波強(qiáng)度區(qū)域分布，這樣雷達(dá)圖像的采集過程就類似于在確定時(shí)刻點(diǎn)用照相機(jī)放在海面正上方進(jìn)行俯視拍攝，從而獲得俯視圖像的過程。

對(duì)每一幅雷達(dá)圖像來說，圖像中的每個(gè)像素點(diǎn)在各個(gè)方向上運(yùn)動(dòng)的概率和幅度不盡相同，其運(yùn)動(dòng)的概率受到波浪傳播方向的影響，在波浪的傳播方向上，像素點(diǎn)的運(yùn)動(dòng)概率相對(duì)來說會(huì)大一些，而像素點(diǎn)運(yùn)動(dòng)的幅度很大程度上由波浪的傳播速度、波高等因素決定。這就是導(dǎo)航雷達(dá)近海回波圖像像素點(diǎn)的運(yùn)動(dòng)特點(diǎn)。

1.2 丟幀導(dǎo)航雷達(dá)圖像序列介紹

本文所采用的雷達(dá)圖像數(shù)據(jù)是經(jīng)過去除射線狀噪聲后所產(chǎn)生的100幅位圖文件，即雷達(dá)轉(zhuǎn)動(dòng)100周所產(chǎn)生的回波數(shù)據(jù)。雷達(dá)圖像數(shù)據(jù)的格式是：雷達(dá)掃描一周得到3 600組數(shù)據(jù)，每組數(shù)據(jù)即為沿同一方向的雷達(dá)回波強(qiáng)度，共2 048點(diǎn)，其方向分辨率為0.1°，徑向分辨率為3.75 m。所采用的待修復(fù)雷達(dá)數(shù)據(jù)是在連續(xù)的100幅雷達(dá)圖像序列中隨意去掉一幀圖像后的缺損雷達(dá)圖像序列。這樣，丟失的數(shù)據(jù)是完全已知的，也就是說，本文事先知道丟失了哪一幀，因此可以在修復(fù)過程中準(zhǔn)確地定位到待修復(fù)圖像的位置，以便于比較本文方法的修復(fù)效果。

2 雷達(dá)連續(xù)圖像序列的插幀修復(fù)

本文采用基于運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)膱D像修復(fù)方案。具體方法是：首先利用改進(jìn)的三步搜索法結(jié)合雙向運(yùn)動(dòng)估計(jì)估算出所需的運(yùn)動(dòng)矢量場(chǎng)，在實(shí)時(shí)性要求較低的情況下，為了獲得較高的精確度，可以再進(jìn)行亞像素運(yùn)動(dòng)估計(jì)，然后對(duì)矢量場(chǎng)進(jìn)行后續(xù)處理（文中主要采用矢量中值濾波和塊腐蝕算法進(jìn)行處理），最后進(jìn)行運(yùn)動(dòng)補(bǔ)償插值。具體流程如圖1所示。

圖1中，fn-1為前一幀圖像，fn+1為后一幀圖像，MVF1是經(jīng)過運(yùn)動(dòng)估計(jì)直接得到的矢量場(chǎng)，MVF2是經(jīng)過亞像素運(yùn)動(dòng)估計(jì)所得到的矢量場(chǎng)，亞像素運(yùn)動(dòng)估計(jì)作為可選項(xiàng)，在圖中用虛線框表示，適用于實(shí)時(shí)性要求低、精度要求較高的場(chǎng)合。MVF3是經(jīng)過矢量中值濾波后所得到的矢量場(chǎng)，MVF4是經(jīng)過塊腐蝕處理后所得到的矢量場(chǎng)，fn是最終的內(nèi)插圖像，也就是重構(gòu)圖像。

圖1 圖像修復(fù)總體框圖

2.1 雙向運(yùn)動(dòng)估計(jì)結(jié)合改進(jìn)的三步搜索法

利用前后相鄰圖像幀的時(shí)間相關(guān)性重構(gòu)出缺失的圖像幀，首先需要進(jìn)行雙向運(yùn)動(dòng)估計(jì)求得所需矢量場(chǎng)。雙向運(yùn)動(dòng)估計(jì)的基本思想是：根據(jù)最佳匹配法則搜索得到內(nèi)插幀中的塊相對(duì)于前后參考幀中的塊的運(yùn)動(dòng)矢量。

根據(jù)雷達(dá)圖像中像素點(diǎn)的運(yùn)動(dòng)特點(diǎn)，本文采用改進(jìn)的三步搜索算法[3]對(duì)雷達(dá)圖像序列進(jìn)行運(yùn)動(dòng)估計(jì)。資料顯示，在距離海面上方10 m處最大風(fēng)速為32 m/s，這樣，在相鄰兩幀約1.5 s時(shí)間間隔內(nèi)，搜索半徑可定為48 m之內(nèi)。本文為了簡化搜索過程，將最大搜索范圍定為48個(gè)像素，采用改進(jìn)的三步搜索法，分6步進(jìn)行搜索，由準(zhǔn)則函數(shù)檢測(cè)包括中心點(diǎn)和外圍8個(gè)方向共9個(gè)搜索點(diǎn)，搜索步長分別為24，12，6，3，2，1，最終得到匹配塊的運(yùn)動(dòng)矢量。

2.2 亞像素運(yùn)動(dòng)估計(jì)

在雙向運(yùn)動(dòng)估計(jì)的算法中，每一步搜索相對(duì)于傳統(tǒng)的運(yùn)動(dòng)估計(jì)來說都是雙像素精度的，這樣會(huì)降低運(yùn)動(dòng)估計(jì)的精度。為了提高運(yùn)動(dòng)估計(jì)的精度，可以在雙向運(yùn)動(dòng)中引入亞像素運(yùn)動(dòng)估計(jì)[4]。

由于導(dǎo)航雷達(dá)數(shù)據(jù)真正的空間分辨率是由徑向距離和方位角所決定的，是非均勻的，因此在進(jìn)行亞像素運(yùn)動(dòng)矢量估計(jì)前需對(duì)雷達(dá)圖像數(shù)據(jù)進(jìn)行內(nèi)插處理，以便得到均勻網(wǎng)格狀分布的雷達(dá)數(shù)據(jù)。

2.3 矢量場(chǎng)后處理

運(yùn)用基于運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償算法內(nèi)插出一整幅圖像，要求矢量場(chǎng)具有較高的平滑性。但實(shí)際情況是通過直接運(yùn)動(dòng)估計(jì)得到的矢量場(chǎng)存在很多不連續(xù)點(diǎn)，難以保證矢量場(chǎng)的平滑性，從而導(dǎo)致內(nèi)插圖像質(zhì)量的降低。

為了解決上述問題，需在運(yùn)動(dòng)估計(jì)之后對(duì)矢量場(chǎng)進(jìn)行后續(xù)處理。本文主要采用矢量中值濾波算法和塊腐蝕算法，達(dá)到平滑矢量場(chǎng)和校正矢量場(chǎng)的目的。

2.3.1 矢量中值濾波

矢量中值濾波[5]是在滑動(dòng)的窗口中尋找一個(gè)距離其他像素矢量最近的矢量，并以此矢量替代原來的中心矢量。如果有多個(gè)矢量同時(shí)為最小值，則選擇離滑動(dòng)窗口中心最近的矢量。

本文選用矢量中值濾波器來進(jìn)行矢量場(chǎng)的平滑處理，其滑動(dòng)窗口大小為3×3，即取上下各3個(gè)，左右共2個(gè)，加上中心矢量共9個(gè)候選矢量來進(jìn)行中值濾波。

2.3.2 分級(jí)塊腐蝕算法

當(dāng)內(nèi)插圖像的矢量場(chǎng)經(jīng)過矢量中值濾波器處理后，運(yùn)動(dòng)矢量場(chǎng)的平滑度和真實(shí)性得到了有效提高。但在進(jìn)行塊匹配運(yùn)動(dòng)位移估計(jì)時(shí)，一個(gè)塊中可能包含多個(gè)不同的運(yùn)動(dòng)對(duì)象，此時(shí)用一個(gè)運(yùn)動(dòng)矢量來描述整個(gè)像素塊的運(yùn)動(dòng)勢(shì)必會(huì)因矢量估計(jì)有誤而產(chǎn)生“塊斑”。

本文采用塊腐蝕算法[6]解決了同一塊中包含不同運(yùn)動(dòng)對(duì)象的問題，從而有效地消除了“塊斑”。

根據(jù)分級(jí)處理的思想，初始匹配塊的大小決定所要分的級(jí)數(shù)。文中運(yùn)動(dòng)匹配塊大小選擇為16×16，因此塊腐蝕可分為4級(jí)。

2.4 基于運(yùn)動(dòng)補(bǔ)償?shù)膬?nèi)插算法

本文采用雙向運(yùn)動(dòng)估計(jì)結(jié)合改進(jìn)的三步搜索算法，在對(duì)每一塊進(jìn)行運(yùn)動(dòng)估計(jì)時(shí)，都將得到兩個(gè)重建塊B1i,j和B2i,j。當(dāng)運(yùn)動(dòng)估計(jì)比較準(zhǔn)確時(shí)，由前后幀得到的匹配塊基本相同，可以任選一個(gè)作為最終的重建塊。但是，當(dāng)運(yùn)動(dòng)估計(jì)有誤時(shí)，由前、后兩幀得到的重建塊差別有時(shí)會(huì)很大，任選其一會(huì)由于錯(cuò)誤的運(yùn)動(dòng)補(bǔ)償造成內(nèi)插幀質(zhì)量的下降。為了提高內(nèi)插幀的質(zhì)量，本文對(duì)圖像內(nèi)部點(diǎn)和邊界點(diǎn)分別采用不同的插值方法。

對(duì)于圖像內(nèi)部的點(diǎn)，輸出Bfi,j塊和Bbi,j塊中對(duì)應(yīng)像素的平均值，這樣當(dāng)運(yùn)動(dòng)矢量不可靠時(shí)可以減小誤差，內(nèi)插公式為：

其中：wf和wb為前后像素塊的權(quán)重，對(duì)于圖像內(nèi)部的點(diǎn)都為1/2。

對(duì)于邊界點(diǎn)，由于矢量場(chǎng)經(jīng)過中值濾波和分級(jí)塊腐蝕算法以后，矢量場(chǎng)會(huì)產(chǎn)生變動(dòng)，某些邊界像素點(diǎn)的坐標(biāo)加上位移矢量后會(huì)出現(xiàn)小于0的情況，此時(shí)單純的平均前后像素塊會(huì)在重構(gòu)圖像中產(chǎn)生“塊斑”，影響視覺效果。文獻(xiàn)[7]針對(duì)邊界的像素點(diǎn)提出了一種自適應(yīng)單向插值算法，可有效克服上述缺陷，本文借用這種方法，具體實(shí)現(xiàn)過程如下：

本文采用的運(yùn)動(dòng)估計(jì)的搜索半徑為48像素，將圖像周邊的48行和48列看作邊界點(diǎn)，即圖像的1～48行、3 553～3 600 行、1～48 列和 2 001～2 048 列，插值公式采用式(1)，具體的權(quán)重如表1所示。

表1 自適應(yīng)插值權(quán)重

3 試驗(yàn)結(jié)果分析

本文采用平均誤差e作為評(píng)價(jià)修復(fù)效果的指標(biāo)，形式如下：

式中： f（i,j）為原始未損壞的圖像數(shù)據(jù)； f'（i,j）是修復(fù)后的圖像數(shù)據(jù)。

本文共隨機(jī)抽取10幅圖像進(jìn)行了內(nèi)插修復(fù)，對(duì)e取平均值，實(shí)驗(yàn)結(jié)果如表2和表3所示。

表2 采用全搜索法的修復(fù)結(jié)果

表3 改進(jìn)的三步搜索算法修復(fù)結(jié)果

通過表3和表2的比較可以看出，在實(shí)時(shí)性要求和較高的精度要求之間存在著一定的矛盾，要想取得較高的精度，無論是采用改進(jìn)的三步搜索算法還是全搜索法，在運(yùn)用了亞像素運(yùn)動(dòng)估計(jì)以后，精度都會(huì)有一定的提高，但是時(shí)間復(fù)雜度也會(huì)相應(yīng)的提高。

采用全搜索算法并結(jié)合亞像素搜索算法在搜索范圍為48像素的情況下，誤差可以達(dá)到8.15%，但時(shí)間復(fù)雜度較高，整個(gè)計(jì)算過程耗時(shí)533.47 s，而采用改進(jìn)的三步搜索算法結(jié)合亞像素運(yùn)動(dòng)估計(jì)，實(shí)時(shí)性得到很大改善，整個(gè)計(jì)算過程耗時(shí)129.95 s，而誤差為8.22%，精度相差僅0.07%，總體來說，這種算法是本文推薦的一種算法。當(dāng)然，在實(shí)時(shí)性要求較高的場(chǎng)合，可以直接使用改進(jìn)的三步搜索算法，整個(gè)運(yùn)算過程僅耗時(shí)19.59 s，誤差為8.60%，實(shí)時(shí)性得到了大幅度提高，并且精度下降也不大。

圖6 采用不同搜索算法修復(fù)圖像的一維數(shù)據(jù)對(duì)比

圖6為采用不同搜索算法修復(fù)圖像的一維數(shù)據(jù)對(duì)比。其中圖6(a)和圖6(b)是原始圖像的1列和1行，用來作為參考圖像。

圖6(c)和圖6(d)是直接采用改進(jìn)的三步搜索法（沒有結(jié)合亞像素運(yùn)動(dòng)估計(jì)）進(jìn)行內(nèi)插得到的圖像的1列和1行，由于本算法沒有采用亞像素運(yùn)動(dòng)估計(jì)，與上述算法相比，該算法所產(chǎn)生圖像質(zhì)量下降較大，誤差為8.60%。與原始圖像相比，灰度值的分布基本相似，但誤差較大，灰度值較低的像素差別明顯，誤差大約在20%。

圖6(e)和圖6(f)是運(yùn)用改進(jìn)的三步搜索法并結(jié)合亞像素運(yùn)動(dòng)估計(jì)所內(nèi)插得到的圖像的1列和1行，該算法產(chǎn)生的誤差為8.22%，與原始圖像相比，灰度值的分布趨勢(shì)基本相似，存在著一定的誤差，灰度值較低的像素差別比較明顯，誤差在15%左右。

4 結(jié)論

本文對(duì)連續(xù)的X波段雷達(dá)圖像序列的丟幀問題進(jìn)行了研究，提出了一種缺損導(dǎo)航雷達(dá)近?；夭▓D像的插幀修復(fù)技術(shù)。首先分析了X波段導(dǎo)航雷達(dá)圖像中運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)特點(diǎn)，并根據(jù)運(yùn)動(dòng)特點(diǎn)提出了相應(yīng)的運(yùn)動(dòng)估計(jì)算法，即改進(jìn)的三步搜索算法結(jié)合雙向運(yùn)動(dòng)估計(jì)；在估計(jì)出矢量場(chǎng)后對(duì)其進(jìn)行后續(xù)處理，最后基于運(yùn)動(dòng)補(bǔ)償及前后幀特性重構(gòu)出缺失的圖像幀。實(shí)驗(yàn)表明，本文所采用的算法在實(shí)時(shí)性和精確度方面有較大的優(yōu)勢(shì)，并可以根據(jù)具體情況靈活采用亞像素運(yùn)動(dòng)估計(jì)算法。

[1]Rune Gangeskar.Ocean Current Estimated from X-Band Radar Sea Surface images[J].IEEE Transactions on Geoscience and Remote Sensing,2002,40(2):783-792.

[2]Young I R,Rosenthal W,Ziemer F,A.Three-Dimensional Analysis of Marine Radar Images for the Determination of Ocean Wave Directionality and Surface Currents[J].Journal of Geophysical Research,1985,90:1049-1059.

[3]劉洪波，楊濟(jì)安，張雪梅.視頻壓縮編碼中的運(yùn)動(dòng)估計(jì)搜索算法[J].中國多媒體通信，2006,9:62-64.

[4]Bierling M.Displacement estimation by hierarchical block matching[C]//Proceeding SPIE VCIP 1988,Cambridge,MA,1988:942-951.

[5]De Haan G,Biezen P W A C,Huijgen H,et al.True-motion estimation with 3-D recursive search block matching[J].IEEE Transactions on Circuits&Systems for Video Technology,1993,3(5):368-379.

[6]文俊，劉重慶，劉曉松.視頻標(biāo)準(zhǔn)幀速率上變換的自適應(yīng)運(yùn)動(dòng)補(bǔ)償方案[J].數(shù)據(jù)采集與處理，2003，18(2)：204-208.

[7]Huang A M,Nguyen T Q.A multistage motion vector processing method for motion-compensated frame interpolation [J].IEEE Transactions on Image Processing,2008,17(5):294-708.

Abstract：A method of image restoration for a lost frame in nautical radar image sequence is proposed,which is based on the motion estimation and motion compensation of image sequence restoration technology.According to the characteristics of the radar image pixel motion,a improved three-step motion search algorithm combined with bi-direction motion estimation is developed.The vector field is then processed.Thus,the lost image could be reconstructed finally.In order to improve the accuracy of image restoration,the sub-pixel motion estimation has been studied.The results show that the algorithm could obtain good recovery quality.

Key words：X-band radar;image restoration;motion estimation and motion compensation;frame interpolation

Research on Frame Interpolation Restoration of X-band Radar Sea Surface Images

CHEN Zhuang-jie1,SONG Zhan-jie1,GAO Cheng-zhi1,QI Zhan-hui2,ZHANG Suo-ping2
（1.Institute of TV and Image Information,Tianjin University,Tianjin 300072,China;2.National Ocean Technology Center,Tianjin 300112,China）

TP75

A

1003-2029（2011）01-0068-04

2010-07-21

國家自然科學(xué)基金資助項(xiàng)目(10926196);天津市自然科學(xué)基金資助項(xiàng)目(08JCYBJC09600)

陳壯杰（1987—），男，廣東汕頭人，主要研究方向?yàn)楹B(tài)參數(shù)估計(jì)與隨機(jī)信號(hào)處理。