文/李旭、吳旭剛、李立欣、張雷
本文以WorldView-3 衛(wèi)星的全色圖像與短波紅外多光譜圖像為測試用例,從圖像的空間特征入手,設(shè)計基于雙邊紋理濾波的融合模型,依托FPGA 數(shù)字電路可定制及其并行計算的優(yōu)勢,實現(xiàn)了基于FPGA 的短波紅外與可見光圖像融合系統(tǒng)。全色圖像成像光譜在可見光范圍內(nèi),空間分辨率極高,細節(jié)信息十分豐富,在使用全色圖像作為可見光圖像與短波紅外圖像進行融合時,由于二者之間空間分辨率差異過大,使得全色圖像中的空間細節(jié)相較于短波紅外圖像以紋理特征顯示更為突出,而短波紅外圖像則以大尺度結(jié)構(gòu)特征描述了地物目標。因此,融合模型利用雙邊紋理濾波器去感知全色圖像的空間紋理特征,進而將全色圖像中的結(jié)構(gòu)和細節(jié)紋理信息進行分離,再利用增益矩陣對細節(jié)紋理按波段進行調(diào)制,最后將空間細節(jié)注入至短波紅外圖像各波段中,得到高分辨率的短波紅外圖像。
利用ZYNQ 7100 開發(fā)平臺豐富的邏輯資源,在可編程邏輯部分對融合模型進行實現(xiàn),并結(jié)合處理系統(tǒng)進行調(diào)度控制,最后通過HDMI接口將融合結(jié)果輸出到顯示設(shè)備。融合系統(tǒng)的結(jié)構(gòu)框圖如圖2 所示,將所要處理的短波紅外與可見光圖像數(shù)據(jù)通過HDMI 輸入接口送入ZYNQ 7100 開發(fā)板,使用SIL9013 芯片進行解碼,然后在PL 端部署圖像融合模塊對這兩類圖像進行融合處理,通過PS 端協(xié)助緩存單元對融合結(jié)果在DDR3 上進行緩存,最后,使用ADV7511 編碼芯片將融合圖像通過HDMI 輸出接口輸出,最終在顯示器上顯示。
系統(tǒng)中的圖像融合模塊設(shè)計是關(guān)鍵所在,可以根據(jù)硬件資源以及融合模型將該模塊劃分為多個子任務(wù),如圖3 所示。
(1)圖像分流:由于WorldView-3 數(shù)據(jù)集使用單波段全色圖像和8 波段短波紅外圖像,而硬件平臺僅含有一個HDMI 接口,因此需要對傳進來的視頻數(shù)據(jù)進行分流,將其分解為待處理的全色與短波紅外圖像;(2)上采樣:由于短波紅外圖像與全色圖像尺寸相差較大,因此需要對短波紅外圖像進行上采樣至可見光圖像大小;(3)圖像細節(jié)信息提?。簩θ珗D像應(yīng)用雙邊紋理濾波,通過訪問BRAM 加速計算過程,提取其邊緣結(jié)構(gòu)信息,通過兩者差值得到可見光圖像的空間細節(jié)信息;(4)圖像融合:將提取到的細節(jié)信息通過增益矩陣注入至上采樣后的短波紅外圖像中,便可得到融合結(jié)果。
圖1 融合模型
圖2 融合系統(tǒng)結(jié)構(gòu)框圖
圖3 圖像融合模塊任務(wù)劃分
此外,對融合模塊的進一步優(yōu)化包括PIPELINE優(yōu)化、LOOP UNROLL 優(yōu)化、DATAFLOW 優(yōu)化、BRAM 映射等。例如,雙邊紋理濾波過程涉及聯(lián)合雙邊濾波,需要用到復(fù)雜的指數(shù)運算得到灰度相似權(quán)重系數(shù)和空間鄰近度相似權(quán)重系數(shù)。使用HLS 開發(fā)時,如果直接進行指數(shù)運算,則會消耗大量的DSP48 計算資源,且運算時間長。因此,可以提前按照精度要求將指數(shù)運算結(jié)果存入BRAM 中,然后在計算時按照地址查找結(jié)果,通??梢栽? 個時鐘周期內(nèi)完成。因此使用BRAM 查找系數(shù)權(quán)重代替直接計算的方式,可以有效減少資源消耗和計算時間。對于灰度相似權(quán)重系數(shù),其個數(shù)與像素值位寬有關(guān),數(shù)量有限,因此可以使用兩個像素的灰度值差作為相應(yīng)系數(shù)的查找地址。當像素位寬是8 的時候,像素灰度值差的取值范圍是0—255,共計256 個,因此BRAM 深度為256,每個權(quán)重系數(shù)選取float 類型進行保存,總共消耗256×32bit 的RAM 資源。對于空間鄰近度權(quán)重系數(shù),當濾波器大小固定時,該系數(shù)數(shù)目固定,且關(guān)于水平和垂直方向?qū)ΨQ,因此可以預(yù)先計算窗口對應(yīng)空間距離的部分權(quán)重系數(shù),根據(jù)像素的空間位置直接得到系數(shù)。優(yōu)化后的HLS 綜合報告如圖4 和圖5 所示。
針對短波紅外多光譜圖像的硬件融合系統(tǒng)設(shè)計如圖6 所示,將需要融合的可見光圖像與短波紅外圖像通過HDMI 接口輸入至硬件平臺,通過Video In to Axi-stream IP,將視頻數(shù)據(jù)轉(zhuǎn)化為AXI4 Stream 流數(shù)據(jù)格式,然后使用融合模塊對數(shù)據(jù)流進行處理,得到融合結(jié)果數(shù)據(jù)流,然后使用AXI VDMA 模塊訪問DDR3,實現(xiàn)幀緩存功能,最后通過Axi-stream to video out 完成融合圖像的HDMI 顯示輸出。
圖4 融合模塊時間消耗估計
圖5 融合模塊資源消耗估計
圖6 短波紅外多光譜圖像融合系統(tǒng)
測試圖像為WorldView-3 衛(wèi)星數(shù)據(jù)集,包括8 波段多波紅外多光譜圖像和單波段全色圖像。短波紅外圖像空間分辨率為7.5 米,全色圖像空間分辨率為0.3 米。融合實驗輸入為8 波段48×48 像素短波紅外圖像和單波段1200×1200 像素可見光圖像。圖7(a)展示了短波紅外多光譜圖像(波段1-2-3 彩色合成),圖7(b)為全色圖像,融合輸出展示如圖8。為適配顯示器分辨率,融合結(jié)果采樣至1080×1080 像素大小,如圖8 左側(cè)所示,圖中右側(cè)為通過SDK 填充的背景像素區(qū)域。
為了驗證硬件系統(tǒng)輸出的正確性,采用同一顯示器將融合模型的Matlab 仿真結(jié)果進行輸出顯示,如圖9 所示。根據(jù)圖8 與圖9 的比較,硬件融合系統(tǒng)輸出的目視效果與軟件仿真結(jié)果能夠保持一致,說明系統(tǒng)工作正常。
圖7 融合輸入圖像
圖8 融合系統(tǒng)的HDMI 輸出
圖9 Matlab 仿真結(jié)果輸出顯示
本文介紹了針對星載短波紅外多光譜圖像的硬件融合系統(tǒng),首先根據(jù)圖像特點設(shè)計有效的融合模型,再采用FPGA ZYNQ 7100 開發(fā)平臺實現(xiàn)了短波紅外圖像與全色圖像的融合,系統(tǒng)功能仍有待完善,相關(guān)研究工作為星上數(shù)據(jù)處理技術(shù)奠定了基礎(chǔ)。進一步提高衛(wèi)星在軌信息處理系統(tǒng)的實時性和智能化將是未來研究熱點之一。