亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        星載短波紅外多光譜圖像硬件融合系統(tǒng)

        2021-05-20 06:10:56李旭吳旭剛李立欣張雷
        華東科技 2021年5期
        關(guān)鍵詞:全色短波紋理

        文/李旭、吳旭剛、李立欣、張雷

        融合模型

        本文以WorldView-3 衛(wèi)星的全色圖像與短波紅外多光譜圖像為測試用例,從圖像的空間特征入手,設(shè)計基于雙邊紋理濾波的融合模型,依托FPGA 數(shù)字電路可定制及其并行計算的優(yōu)勢,實現(xiàn)了基于FPGA 的短波紅外與可見光圖像融合系統(tǒng)。全色圖像成像光譜在可見光范圍內(nèi),空間分辨率極高,細節(jié)信息十分豐富,在使用全色圖像作為可見光圖像與短波紅外圖像進行融合時,由于二者之間空間分辨率差異過大,使得全色圖像中的空間細節(jié)相較于短波紅外圖像以紋理特征顯示更為突出,而短波紅外圖像則以大尺度結(jié)構(gòu)特征描述了地物目標。因此,融合模型利用雙邊紋理濾波器去感知全色圖像的空間紋理特征,進而將全色圖像中的結(jié)構(gòu)和細節(jié)紋理信息進行分離,再利用增益矩陣對細節(jié)紋理按波段進行調(diào)制,最后將空間細節(jié)注入至短波紅外圖像各波段中,得到高分辨率的短波紅外圖像。

        融合系統(tǒng)設(shè)計

        利用ZYNQ 7100 開發(fā)平臺豐富的邏輯資源,在可編程邏輯部分對融合模型進行實現(xiàn),并結(jié)合處理系統(tǒng)進行調(diào)度控制,最后通過HDMI接口將融合結(jié)果輸出到顯示設(shè)備。融合系統(tǒng)的結(jié)構(gòu)框圖如圖2 所示,將所要處理的短波紅外與可見光圖像數(shù)據(jù)通過HDMI 輸入接口送入ZYNQ 7100 開發(fā)板,使用SIL9013 芯片進行解碼,然后在PL 端部署圖像融合模塊對這兩類圖像進行融合處理,通過PS 端協(xié)助緩存單元對融合結(jié)果在DDR3 上進行緩存,最后,使用ADV7511 編碼芯片將融合圖像通過HDMI 輸出接口輸出,最終在顯示器上顯示。

        系統(tǒng)中的圖像融合模塊設(shè)計是關(guān)鍵所在,可以根據(jù)硬件資源以及融合模型將該模塊劃分為多個子任務(wù),如圖3 所示。

        (1)圖像分流:由于WorldView-3 數(shù)據(jù)集使用單波段全色圖像和8 波段短波紅外圖像,而硬件平臺僅含有一個HDMI 接口,因此需要對傳進來的視頻數(shù)據(jù)進行分流,將其分解為待處理的全色與短波紅外圖像;(2)上采樣:由于短波紅外圖像與全色圖像尺寸相差較大,因此需要對短波紅外圖像進行上采樣至可見光圖像大小;(3)圖像細節(jié)信息提?。簩θ珗D像應(yīng)用雙邊紋理濾波,通過訪問BRAM 加速計算過程,提取其邊緣結(jié)構(gòu)信息,通過兩者差值得到可見光圖像的空間細節(jié)信息;(4)圖像融合:將提取到的細節(jié)信息通過增益矩陣注入至上采樣后的短波紅外圖像中,便可得到融合結(jié)果。

        圖1 融合模型

        圖2 融合系統(tǒng)結(jié)構(gòu)框圖

        圖3 圖像融合模塊任務(wù)劃分

        此外,對融合模塊的進一步優(yōu)化包括PIPELINE優(yōu)化、LOOP UNROLL 優(yōu)化、DATAFLOW 優(yōu)化、BRAM 映射等。例如,雙邊紋理濾波過程涉及聯(lián)合雙邊濾波,需要用到復(fù)雜的指數(shù)運算得到灰度相似權(quán)重系數(shù)和空間鄰近度相似權(quán)重系數(shù)。使用HLS 開發(fā)時,如果直接進行指數(shù)運算,則會消耗大量的DSP48 計算資源,且運算時間長。因此,可以提前按照精度要求將指數(shù)運算結(jié)果存入BRAM 中,然后在計算時按照地址查找結(jié)果,通??梢栽? 個時鐘周期內(nèi)完成。因此使用BRAM 查找系數(shù)權(quán)重代替直接計算的方式,可以有效減少資源消耗和計算時間。對于灰度相似權(quán)重系數(shù),其個數(shù)與像素值位寬有關(guān),數(shù)量有限,因此可以使用兩個像素的灰度值差作為相應(yīng)系數(shù)的查找地址。當像素位寬是8 的時候,像素灰度值差的取值范圍是0—255,共計256 個,因此BRAM 深度為256,每個權(quán)重系數(shù)選取float 類型進行保存,總共消耗256×32bit 的RAM 資源。對于空間鄰近度權(quán)重系數(shù),當濾波器大小固定時,該系數(shù)數(shù)目固定,且關(guān)于水平和垂直方向?qū)ΨQ,因此可以預(yù)先計算窗口對應(yīng)空間距離的部分權(quán)重系數(shù),根據(jù)像素的空間位置直接得到系數(shù)。優(yōu)化后的HLS 綜合報告如圖4 和圖5 所示。

        硬件融合系統(tǒng)的驗證

        針對短波紅外多光譜圖像的硬件融合系統(tǒng)設(shè)計如圖6 所示,將需要融合的可見光圖像與短波紅外圖像通過HDMI 接口輸入至硬件平臺,通過Video In to Axi-stream IP,將視頻數(shù)據(jù)轉(zhuǎn)化為AXI4 Stream 流數(shù)據(jù)格式,然后使用融合模塊對數(shù)據(jù)流進行處理,得到融合結(jié)果數(shù)據(jù)流,然后使用AXI VDMA 模塊訪問DDR3,實現(xiàn)幀緩存功能,最后通過Axi-stream to video out 完成融合圖像的HDMI 顯示輸出。

        圖4 融合模塊時間消耗估計

        圖5 融合模塊資源消耗估計

        圖6 短波紅外多光譜圖像融合系統(tǒng)

        系統(tǒng)測試與分析

        測試圖像為WorldView-3 衛(wèi)星數(shù)據(jù)集,包括8 波段多波紅外多光譜圖像和單波段全色圖像。短波紅外圖像空間分辨率為7.5 米,全色圖像空間分辨率為0.3 米。融合實驗輸入為8 波段48×48 像素短波紅外圖像和單波段1200×1200 像素可見光圖像。圖7(a)展示了短波紅外多光譜圖像(波段1-2-3 彩色合成),圖7(b)為全色圖像,融合輸出展示如圖8。為適配顯示器分辨率,融合結(jié)果采樣至1080×1080 像素大小,如圖8 左側(cè)所示,圖中右側(cè)為通過SDK 填充的背景像素區(qū)域。

        為了驗證硬件系統(tǒng)輸出的正確性,采用同一顯示器將融合模型的Matlab 仿真結(jié)果進行輸出顯示,如圖9 所示。根據(jù)圖8 與圖9 的比較,硬件融合系統(tǒng)輸出的目視效果與軟件仿真結(jié)果能夠保持一致,說明系統(tǒng)工作正常。

        圖7 融合輸入圖像

        圖8 融合系統(tǒng)的HDMI 輸出

        圖9 Matlab 仿真結(jié)果輸出顯示

        結(jié)束語

        本文介紹了針對星載短波紅外多光譜圖像的硬件融合系統(tǒng),首先根據(jù)圖像特點設(shè)計有效的融合模型,再采用FPGA ZYNQ 7100 開發(fā)平臺實現(xiàn)了短波紅外圖像與全色圖像的融合,系統(tǒng)功能仍有待完善,相關(guān)研究工作為星上數(shù)據(jù)處理技術(shù)奠定了基礎(chǔ)。進一步提高衛(wèi)星在軌信息處理系統(tǒng)的實時性和智能化將是未來研究熱點之一。

        猜你喜歡
        全色短波紋理
        三星“享映時光 投已所好”4K全色激光絢幕品鑒會成功舉辦
        海信發(fā)布100英寸影院級全色激光電視
        基于BM3D的復(fù)雜紋理區(qū)域圖像去噪
        軟件(2020年3期)2020-04-20 01:45:18
        淺談書畫裝裱修復(fù)中的全色技法
        收藏界(2019年4期)2019-10-14 00:31:10
        使用紋理疊加添加藝術(shù)畫特效
        TEXTURE ON TEXTURE質(zhì)地上的紋理
        Coco薇(2017年8期)2017-08-03 15:23:38
        樂海短波
        人民音樂(2016年1期)2016-11-07 10:02:42
        工運短波
        時代風采(2016年12期)2016-07-21 15:07:45
        工運短波
        時代風采(2016年10期)2016-07-21 15:07:34
        消除凹凸紋理有妙招!
        Coco薇(2015年5期)2016-03-29 23:22:15
        免费无码中文字幕a级毛片| 国产91吞精一区二区三区 | 狠狠躁夜夜躁人人爽超碰97香蕉| 久久夜色精品国产噜噜噜亚洲av| 亚洲精品中文字幕一二三| 美丽小蜜桃1一3在线观看| 亚洲乳大丰满中文字幕| 精品国产18久久久久久| 中国女人a毛片免费全部播放| 精品少妇一区二区三区入口| 国产色系视频在线观看| 国产成人亚洲综合色婷婷| 国产一区二区三区在线观看免费| 国内久久婷婷激情五月天| 视频国产精品| 亚洲一区二区三区在线激情| 少妇无码av无码专线区大牛影院 | 亚洲中文字幕第一页在线| 国产精品国产三级国产在线观 | 日韩内射美女片在线观看网站| 亚洲av无码av日韩av网站| 国产精品久免费的黄网站| 扒下语文老师的丝袜美腿| 亚洲中文字幕久久在线| 国产精品办公室沙发| 精品综合久久久久久97超人| 无码无在线观看| 在线播放亚洲丝袜美腿| 国产人妻久久精品二区三区老狼| 久久久久中文字幕无码少妇| 亚洲av日韩av天堂久久不卡 | 亚洲女同一区二区三区| 国产va免费精品观看精品| 国内露脸中年夫妇交换| 久久国产精品免费一区二区| 女人天堂国产精品资源麻豆| 国产卡一卡二卡3卡4乱码 | 在线国产视频精品视频| 日韩女优视频网站一区二区三区 | 免费成人在线电影| 四虎精品影视|