葉宗民，周亞凡，李永新

(中國人民解放軍91404部隊(duì)，河北秦皇島066000)

基于VPM6467的紅外視頻超分辨率重構(gòu)設(shè)計(jì)

葉宗民，周亞凡，李永新

(中國人民解放軍91404部隊(duì)，河北秦皇島066000)

摘要:本文設(shè)計(jì)以VPM6467開發(fā)板為硬件平臺(tái)，Visual Studio 2008為軟件平臺(tái)，圖像濾波、積分圖計(jì)算、運(yùn)動(dòng)補(bǔ)償估計(jì)與圖像修正等預(yù)處理算法在FPGA上進(jìn)行，超分辨重構(gòu)核心算法計(jì)算在DSP上完成，最終在計(jì)算機(jī)上實(shí)現(xiàn)紅外視頻的重構(gòu)與輸出。利用串口通信技術(shù)將各種不同功能的部件集成為一個(gè)重構(gòu)系統(tǒng)，實(shí)現(xiàn)對艦船目標(biāo)低分辨率紅外視頻的超分辨率重構(gòu)。在探測器獲取的紅外視頻分辨率達(dá)不到要求的情況下，為紅外視景仿真研究提供高分辨率紅外視頻，為光學(xué)目標(biāo)特性研究提供高質(zhì)量的圖像。

關(guān)鍵詞:紅外視頻;超分辨率;重構(gòu); DSP

Design of super-resolution reconstruction for infrared video of ship based on VPM6467

YE Zong-min，ZHOU Ya-fan，LI Yong-xin
(No．91404 Unit of PLA，Qinhuangdao 066000，China)

Abstract:In this paper，we design development board VPM6467 as the hardware platform，and design Visual Studio 2008 as the software platform．The preconditioning such as image filtering，integral image calculation，motion compensated estimation，image correction and so on is done on FPGA．The key algorithm is done on DSP．The infrared video is reconstructed and outputted on computer finally．The low resolution of infrared video is reconstructed with super-resolution，by using serial port communication technology for constituting different function parts as a reconstruction system．The system can provide high resolution of infrared video for the research of infrared visual simulation，and provide high-quality image for the research of optical characteristics of target，when the resolution of infrared video is under to the requirements．

Key words:infrared video; super-resolution; reconstruction;DSP

0　引言

隨著目標(biāo)特性研究的深入和視景仿真領(lǐng)域的快速發(fā)展，人們對紅外視頻圖像的分辨率要求越來越高。雖然現(xiàn)代制造工藝的發(fā)展使得傳感器的像素分辨率有了很大的提高，且光學(xué)元件能有效限制傳感器陣列上的圖像頻帶寬度，使獲取的圖像有可能避免變形效應(yīng)的發(fā)生。但是，國內(nèi)紅外傳感器制造工藝與國外還有很大的差距，很多應(yīng)用方面視頻圖像分辨率遠(yuǎn)遠(yuǎn)達(dá)不到研究需要。因此，在獲取水面背景下艦船目標(biāo)的紅外輻射特性，研究水面目標(biāo)紅外可探測性、艦船紅外建模仿真對抗等技術(shù)時(shí)，對紅外視頻進(jìn)行超分辨率重構(gòu)以獲取更高質(zhì)量的視頻圖像，就顯得更加迫切。艦船紅光視頻超分辨率重構(gòu)是數(shù)字圖像處理領(lǐng)域中的一個(gè)重要應(yīng)用方向，能夠在不改變紅外探測器物理性能下有效提高紅外圖像分辨率。隨著超分辨率理論和技術(shù)的日趨成熟，超分辨率重構(gòu)技術(shù)已廣泛應(yīng)用于視景生成、三維建模、仿真對抗、圖像恢復(fù)、人臉識(shí)別和目標(biāo)特性研究等領(lǐng)域。

1　基本原理

20世紀(jì)60年代，首先由Harris和Goodman提出了超分辨率重構(gòu)技術(shù)，隨后學(xué)者們對其進(jìn)行深入

研究，并提出了很多具體的理論方法。本文采用的超分辨率重構(gòu)技術(shù)是利用圖像信號(hào)處理的方法，根據(jù)紅外視頻中相互之間只有微小位移的每幀紅外圖像，把各幀圖像對于需要重建的一幅圖像的信息融合在一起，也就是把相鄰幀的圖像上由于亞像素位移而存在的互補(bǔ)信息融合到同一幅圖像中，并通過多種方法去除模糊和噪聲等影響圖像質(zhì)量的各種因素，以獲得每幀圖像的細(xì)節(jié)信息，進(jìn)而提高重構(gòu)后紅外視頻的分辨率。其原理可以通過圖1簡單表示，箭頭左邊是4幅具有亞像素位移的分辨率為3×3圖像，把第1幅圖像看作是參考幀的圖像，假設(shè)為等間隔采樣模式，則相鄰之間各幀的相對位移量分別表示為(0，0)，(0，0.5)，(0.5，0)和(0.5，0.5)。由于各幀圖像之間的位移差正好以半個(gè)像素為間距，所以可直接把這4幅圖像融合到一幅圖像中，這樣就重構(gòu)出箭頭右邊的一幅分辨率為6×6的圖像。

圖1　超分辨率重構(gòu)原理示意圖Fig.1　Schematic diagram of super resolution reconstruction principle

當(dāng)然，這只是簡化的一個(gè)超分辨率重構(gòu)示例，在很多實(shí)際情況下，視頻的每幀圖像之間的位移量并不是固定的以半個(gè)像素為間距，而且運(yùn)動(dòng)也并不一定為整體平移，可能會(huì)出現(xiàn)跳躍、縮放、旋轉(zhuǎn)和扭曲等運(yùn)動(dòng)形式。但無論何種運(yùn)動(dòng)形式的視頻圖像，只要各幀圖像之間存在亞像素的位移，而且位移量為已知或通過運(yùn)動(dòng)估計(jì)方法可以近似求得，那么就能通過一定預(yù)處理方法最終實(shí)現(xiàn)視頻圖像的超分辨率重構(gòu)。

紅外視頻超分辨率重構(gòu)按實(shí)現(xiàn)的技術(shù)途徑主要可分為頻域法和空域法。頻域法是指在頻域內(nèi)采用消除每幀圖像的頻譜混疊的圖像處理技術(shù)來提高圖像的分辨率;空域法是指在空間域內(nèi)采用對每幀圖像的像素點(diǎn)加入約束條件或?qū)ο袼攸c(diǎn)進(jìn)行變換的圖像處理技術(shù)來提高圖像的分辨率。通過查閱相關(guān)資料可看出:頻域法原理簡單，運(yùn)算不復(fù)雜，但局限于線性空間不變降質(zhì)模型和全局平移運(yùn)動(dòng);空域法具有很強(qiáng)的空域先驗(yàn)約束能力，且適用范圍廣泛，便于應(yīng)用到工程實(shí)際中，主要包括凸集投影法(POCS)、迭代反投影方法(IBP)、自適應(yīng)濾波方法以及人工神經(jīng)網(wǎng)絡(luò)法等。本文通過采用運(yùn)動(dòng)估計(jì)的可信度檢驗(yàn)、基于DSP的圖像亞像素配準(zhǔn)和邊緣Gibbs現(xiàn)象的抑制等技術(shù)改進(jìn)了POCS算法，并成功應(yīng)用于工程實(shí)際。

2　硬件實(shí)現(xiàn)

本文設(shè)計(jì)的硬件系統(tǒng)包括計(jì)算機(jī)與紅外視頻處理模塊，視頻處理模塊是以VPM6467為開發(fā)板，該板卡集成的TMS320DM6467是TI推出的先進(jìn)的媒體處理器，可以應(yīng)用于高清視頻文件的快速處理。TMS320DM6467處理器主要由DM6467芯片、DDR2的存貯器、NANDFLASH存貯器組成。DM6467芯片具備2個(gè)獨(dú)立的視頻編碼協(xié)處理單元，很大程度上提高了其處理高清圖像或視頻的效率。本文處理的原始紅外視頻圖像的分辨率為320×240，其輸出頻幀范圍是1～60 Hz。如果按每個(gè)像素點(diǎn)16 bit計(jì)算，則通過計(jì)算輸入帶寬為: 320×240×60 Hz×16 bit =70.3 Mb/s =8.8 MB/s。這樣的輸入帶寬在工程實(shí)際中，DM6467芯片的處理速度是不能滿足要求的，所以視頻處理模塊不能僅采用DSP來完成超分辨率紅外視頻實(shí)時(shí)重構(gòu)的所有計(jì)算任務(wù)，因此設(shè)計(jì)在FPGA上實(shí)現(xiàn)圖像濾波，積分圖計(jì)算和運(yùn)動(dòng)補(bǔ)償估計(jì)與圖像修正等預(yù)處理的計(jì)算任務(wù)。

本文設(shè)計(jì)的紅外視頻處理模塊的接口關(guān)系如圖2所示，紅外視頻的輸入與輸出單元采用FPGA實(shí)現(xiàn)各類接口的切換，F(xiàn)PGA與DM6467主要通過VPIF接口進(jìn)行數(shù)據(jù)傳輸，DM6467的2個(gè)VP口經(jīng)過FPGA后，通過模式選擇寄存器可靈活與各類輸入與輸出模式相連，完成各類不同視頻模式的兼容。

圖2　VPM6467的接口關(guān)系圖Fig.2 VPM6467 interface diagram

圖3　數(shù)據(jù)流通路示意圖Fig.3　Schematic diagram of data flow path

如圖3所示，本文設(shè)計(jì)的數(shù)據(jù)處理流程如下:

1)采用客戶端和服務(wù)器形式，在計(jì)算機(jī)上采用Qt提供的QTcpsocket進(jìn)行網(wǎng)絡(luò)通信程序的編寫。需要處理的紅外視頻通過TCP/IP協(xié)議的網(wǎng)絡(luò)從計(jì)算機(jī)傳輸給DM6467開發(fā)板，TCP/IP協(xié)議具體實(shí)現(xiàn)流程如圖4所示;

2)將紅外視頻數(shù)據(jù)通過DM6467的VPIF口傳輸給FPGA進(jìn)行預(yù)處理;

3)FPGA接受紅外視頻數(shù)據(jù)，進(jìn)行圖像濾波，積分圖計(jì)算和運(yùn)動(dòng)補(bǔ)償估計(jì)與圖像修正等預(yù)處理的計(jì)算，并將計(jì)算結(jié)果送回DM6467;

4)DM6467接收到FPGA處理后的數(shù)據(jù)進(jìn)行圖像重構(gòu)計(jì)算，重構(gòu)后的視頻數(shù)據(jù)再通過TCP/IP協(xié)議的網(wǎng)絡(luò)傳輸給計(jì)算機(jī)。

圖4　TCP/IP協(xié)議實(shí)現(xiàn)流程Fig.4 TCP/IP protocol implementation proces

VPM6467為滿足各種不同的應(yīng)用需求，提供了16 bit的可分視頻輸入端口和16 bit的可分視頻輸出端口，2個(gè)端口都可以分成2個(gè)8 bit接口進(jìn)行使用，接入高清視頻時(shí)只能作為16 bit的端口使用。

2.1視頻輸入接口

如圖5所示，VPM6467提供兩路標(biāo)準(zhǔn)的8 bit視頻輸入接口，用于接收兩路標(biāo)準(zhǔn)的標(biāo)清輸入信號(hào)，兩路8 bit視頻輸入接口合成一個(gè)16 bit的高清輸入接口，就可以用于接收高清視頻輸入信號(hào)。VPM6467可以接入1路TVP5150標(biāo)清視頻輸入，1 路TVP7002高清分量輸入，1路HDMI高清視頻輸入，1路SDI高清/標(biāo)清視頻輸入，1路Camera Link輸入。1片SII9125用于解碼HDMI信號(hào)，1片TVB7002用于用于解碼YCbCr信號(hào)，1片GS2970用于解碼SDI信號(hào)，1路CameraLink輸入通過SN65LVDS94將LVDS信號(hào)轉(zhuǎn)成并行信號(hào)后進(jìn)入FPGA。

圖5　視頻輸入接口Fig.5　Video input interface

2.2視頻輸出接口

如圖6所示，VPM6467提供兩路標(biāo)準(zhǔn)的8 bit視頻輸出接口，用于輸出兩路標(biāo)準(zhǔn)的標(biāo)清視頻信號(hào)，兩路8 bit的端口合成為一個(gè)16 bit的高清輸出端口，就可以用于發(fā)送高清視頻輸出信號(hào)。ADV7343編碼器能夠產(chǎn)生S視頻、復(fù)合視頻、分量視頻輸出。DM6467的視頻輸出經(jīng)過FPGA后，再通過CBT選擇開關(guān)連接到ADV7343。1路GS2972編碼器提供SDI視頻輸出，1路SII9134編碼器提供HDMI視頻輸出。

圖6　視頻輸出接口Fig.6　Video output interface

3　算法實(shí)現(xiàn)

3.1視頻格式處理

本文中使用FFMPEG這個(gè)開源的軟件對紅外視頻格式的文件進(jìn)行處理，對數(shù)據(jù)進(jìn)行有效幀的提取。FFMPEG是一個(gè)開源的免費(fèi)的跨平臺(tái)的音頻和視頻流方案，采用GPL或LGPL許可證，提供了音視頻的錄制，轉(zhuǎn)換及流化的完整解決方案。在對紅外視頻進(jìn)行處理時(shí)，直接根據(jù)格式的協(xié)議提取出需要的圖像數(shù)據(jù)。視頻格式的處理代碼如下:

通過上述代碼可以利用FFMPEG，從紅外視頻中解碼出有效的圖像數(shù)據(jù)，對有效幀的圖像處理完成后，再轉(zhuǎn)化成紅外視頻文件輸出。

3.2算法步驟

利用上文的原理和方法，基于改進(jìn)的POCS超分辨率重構(gòu)算法的實(shí)現(xiàn)主要有如下幾個(gè)步驟:

1)選擇紅外視頻中的一幀低分辨率的圖像作為參考幀圖像0;

2)將參考幀圖像ψ0由行列數(shù)(M1，M2)插值放大到和待估計(jì)高分辨率圖像同樣尺寸(N1，N2)的高分辨率圖像ζ0，并將其作為迭代的初始值;

3)對其他幀圖像ψi(i∈1，…，M－1)進(jìn)行運(yùn)動(dòng)估計(jì)，以參考幀圖像ψ0為基準(zhǔn)圖像;

4)將低分辨率圖像利用數(shù)字圖像處理技術(shù)投影到高分辨率網(wǎng)格上，并計(jì)算其點(diǎn)擴(kuò)散函數(shù)(PSF) ;

5)根據(jù)PSF模擬第k次高分辨率估計(jì)圖像ζk的圖像退化過程，得到低分辨率圖像序列的模擬估計(jì)值ψ'i，(i∈0，…，M－1)，用εi(i∈0，…，M－1)表示估計(jì)值與實(shí)際值之間的殘差;

6)結(jié)合空域先驗(yàn)約束條件，利用殘差εi對第k次高分辨率估計(jì)圖像ζk進(jìn)行修正，最終得到第k + 1次高分辨率估計(jì)圖像ζk+1;

7)判斷迭代次數(shù)是否滿足需要，若滿足則輸出ζk+1，否則重復(fù)步驟5和步驟6。

圖7　POCS重構(gòu)算法流程圖Fig.7 Flow chart of improved POCS reconstruction algorithm

3.3 DSP端的算法移植

超分辨率重構(gòu)算法程序編譯完成后，可以通過VPM6467開發(fā)板自帶的軟件開發(fā)包進(jìn)行算法移植，具體步驟如圖8所示。

圖8　DPS算法移植流程圖Fig.8　DPS algorithm flow chart

4　仿真結(jié)果及結(jié)論

本文設(shè)計(jì)的系統(tǒng)由主控計(jì)算機(jī)與紅外視頻處理模塊2部分組成，如圖9所示，紅外視頻處理模塊設(shè)計(jì)采用典型的DSP + FPGA架構(gòu)，系統(tǒng)的軟件開發(fā)基于VS2008 + QT4.7的環(huán)境。本文采用POCS改進(jìn)算法結(jié)合邊緣Gibbs現(xiàn)象的抑制技術(shù)的超分辨率算法，對具有復(fù)雜背景的、低信噪的低分辨率艦船紅外視頻進(jìn)行了超分辨率重構(gòu)，運(yùn)行結(jié)果如圖10所示。通過工程實(shí)踐證明系統(tǒng)可以穩(wěn)定的對紅外視頻進(jìn)行超分辨率重構(gòu)。

圖9　系統(tǒng)組成框圖Fig.9　System block diagram

圖10　系統(tǒng)運(yùn)行結(jié)果Fig.10　Result of system

本文設(shè)計(jì)的超分辨率重構(gòu)系統(tǒng)不需要對現(xiàn)有的紅外視頻采集設(shè)備做任何改造，就可以對采集的紅外視頻數(shù)據(jù)進(jìn)行超分辨率重構(gòu)獲取，可操作性強(qiáng)，建設(shè)周期短，經(jīng)濟(jì)實(shí)用。通過實(shí)際運(yùn)行，得到了提高一倍的高分辨率紅外視頻，可以滿足紅外視頻圖像研究對高分辨率視頻圖像的需要，提供了更高質(zhì)量的紅外仿真建模素材，解決了現(xiàn)有紅外成像設(shè)備分辨率低、紅外成像細(xì)節(jié)信息受限的問題，具有重要的經(jīng)濟(jì)價(jià)值。

參考文獻(xiàn):

［1］鄧建青．機(jī)載光電成像超分辨率圖像重建技術(shù)研究［D］．長春:中國科學(xué)院研究生院，2011．

［2］沈煥鋒，李平湘，張良培，等．圖像超分辨率重建技術(shù)與方法綜述［J］．光學(xué)技術(shù)，2009，35(2) :194－199．

［3］陳錚，沙江，童一峻，等．基于DSP陣列的水面目標(biāo)紅外圖像實(shí)時(shí)仿真系統(tǒng)研究［J］．光學(xué)與光電技術(shù)，2012，10 (5) :54－57．

［4］安博文，潘勝達(dá)．基于FPGA + DSP的超分辨率成像系統(tǒng)設(shè)計(jì)［J］．紅外技術(shù)，2010，32(9) :523－526．

［5］謝偉，陳皓，秦前清．基于多幀視頻序列的盲超分辨率影像重建［J］．?dāng)?shù)據(jù)采集與處理，2011，26(1) :1－7．

［6］李展，張慶豐，孟小華，等．多分辨率圖像序列的超分辨率重建［J］．自動(dòng)化學(xué)報(bào)，2012，38(11) :1804－1814．

［7］Texas Instruments Incorporated．T MS320C64x DSP Two-Level Internal Memory Reference Guide，2004．

［8］任麗香，馬淑芬，李芳慧．TMS320C6000系列DSPs的原理與應(yīng)用．第一版．北京:電子工業(yè)出版社，2000．

［9］李偉．基于高速DSP器件TMS320C6711的超分辨率圖像處理系統(tǒng)［D］．西安:西安電子科技大學(xué)，2006．

作者簡介:葉宗民(1982－)，男，碩士研究生，工程師，主要研究方向?yàn)槟繕?biāo)特性研究。

收稿日期:2015－03－20;修回日期: 2015－04－30

文章編號(hào):1672－7649(2015) 07－0083－05doi:10.3404/j.issn.1672－7649.2015.07.019

中圖分類號(hào):TP391．41

文獻(xiàn)標(biāo)識(shí)碼:A