黃西瑩，王 潔，王嬌穎，閆 麗，陸 陽，李良福

（西安應(yīng)用光學研究所，陜西 西安 710065）

引言

多源圖像融合，是通過特定算法提取多源圖像中的互補信息合成新圖像，使圖像視覺效果更好，特征表達能力更強，能夠解決傳感器圖像源信息缺失、特定條件下信息獲取不充分的問題，在遙感、醫(yī)用等領(lǐng)域具有重要價值并得到廣泛應(yīng)用[1-2]。紅外圖像與可見光圖像融合是多源圖像融合研究的重點與熱點，在光電觀測/偵察系統(tǒng)，可彌補圖像屬性單一的缺點，極大提高目標的識別率和觀測效率[3-5]。

像素級圖像融合是多源圖像融合的重要方式，像素級圖像融合可增加圖像的細節(jié)信息，有助于圖像的進一步分析、處理[6]。像素級圖像融合算法主要分為基于空間域的算法和基于變換域的算法[5]。圖像金字塔分解法（LP）是最常見的變換域算法，其操作計算量大，處理流程復(fù)雜，對處理單元的實時性能要求較高。

基于多核數(shù)字信號處理單元（DSP）進行融合算法的實現(xiàn)，如文獻[7-9]等，可以將部分運算進行并行處理，提高系統(tǒng)的實時性能，但實時性依舊有待提升。視頻分辨率的提升對實時處理性能的要求日益增大，而基于FPGA 的處理系統(tǒng)，由于具有先天的并行結(jié)構(gòu)特征，在實時性實現(xiàn)方面具有突出優(yōu)勢。近年來，基于FPGA 實現(xiàn)多分辨率圖像融合系統(tǒng)的研究從未間斷，如文獻[10-14]等。在實時視頻處理架構(gòu)采取數(shù)據(jù)流模式之后，基于FPGA實現(xiàn)實時圖像融合的方法也有所改變，為移植后算法的通用性和實時性提供了保障。本文基于視頻流數(shù)據(jù)處理的架構(gòu)，實現(xiàn)了兩路1 080P@60 Hz視頻的5 層拉普拉斯算法實時融合。

1 拉普拉斯金字塔融合算法原理

像素級圖像處理以金字塔變換最為常見，拉普拉斯金字塔（Laplacian pyramid，LP）以高斯金字塔為基礎(chǔ)，提取圖像在卷積和下采樣過程中丟失的部分高頻細節(jié)信息而組成[15]。

假設(shè)輸入m×n的圖像G0作為高斯金字塔的底層，它的第l層圖像Gl由高斯窗口函數(shù)w對第(l-1)層圖像Gl-1卷積和下采樣得到：

式中：w(m,n)為2D 窗口函數(shù)；N代表金字塔的最大層數(shù)；Rl、Cl分別為第l層金字塔的行、列數(shù)量。將上述過程視為遞減操作，即Reduce 運算，可表示為

為得到高斯金字塔第l層圖像Gl與第(l-1)層圖像Gl-1的差異，再擴展Gl，得到圖像，具體插值過程為

從式中可知，新像素是原像素灰度值的加權(quán)平均。與圖像的縮小過程相反，圖像的擴展操作可表示為

金字塔從l層擴充到Gl層與Gl-1的差異為

再定義帶通濾波圖像序列函數(shù)：

式中：N為拉普拉斯金字塔的總層數(shù)；LPl代表拉普拉斯金字塔分解后的第l層圖像，則之后進行圖像融合，本文采取代數(shù)融合，最頂層低頻圖層采用加權(quán)融合策略：

式中：LPAN為通道A圖像的N層拉普拉斯金字塔的頂層；LPBN為通道B圖像的N層拉普拉斯金字塔的頂層；LFN為融合圖像拉普拉斯金字塔的頂層；wA和wB分別為A、B兩路視頻低頻圖像的權(quán)重。高頻分量LFl-1(i,j)采用“絕對值取大”的融合策略：

按照分解的逆過程，重構(gòu)出融合后的圖像GF0，拉普拉斯重構(gòu)過程為

不同空間頻域上得到不同的圖像細節(jié)和特征，在不同的融合策略下突出這些細節(jié)和特征，是圖像拉普拉斯金字塔分解算法的最終目的。

2 融合算法并行實現(xiàn)方法

目前，高清視頻已經(jīng)成為當下主流，F(xiàn)PGA 芯片目前為實現(xiàn)強實時算法并行處理的首選器件。算法的流水線架構(gòu)設(shè)計以流水優(yōu)化加速成為本算法實時處理的關(guān)鍵。

2.1 融合算法并行系統(tǒng)架構(gòu)設(shè)計

本文以AXI4-Stream 視頻流作為視頻輸入源進行兩路視頻圖像融合。融合算法主要由3 部分組成：源圖像的分解、融合金字塔的提取和重構(gòu)，算法并行架構(gòu)設(shè)計如圖1 所示。

A、B兩路視頻輸入圖像同時進行拉普拉斯金字塔分解，得到金字塔各層的分解圖層LPAn和LPBn，并進行緩存；兩路視頻金字塔分解圖層的最頂層圖層LPAN和LPBN分別為低頻圖層，其余各層為高頻圖層LPAt和LPBt；分別進行高、低頻圖層逐層的融合，時延補償處理，低頻圖層逐層向上Expand 后，與高頻圖層各層融合結(jié)果逐層相加，最終輸出融合結(jié)果。

圖 1 融合算法并行系統(tǒng)架構(gòu)Fig.1 Diagram of parallel system architecture of fusion algorithm

由于視頻源基本參數(shù)不同和拍攝角度等問題的影響，兩路視頻流在融合前需先經(jīng)仿射變換完成配準，本文該部分也使用FPGA 實現(xiàn)，仿射變換參數(shù)通過上位機實時解算。在工程應(yīng)用中多數(shù)情況需要將電視通道的圖像細節(jié)融合到熱像通道來提升熱像的性能，因此，本文低頻圖層融合公式（9）中的權(quán)重WA和WB取值分別代表熱像通道低頻權(quán)重和電視通道低頻權(quán)重，取值分別位1 和0。

2.2 金字塔流水線設(shè)計

本文選擇5 層金字塔結(jié)構(gòu)和7 級流水線實現(xiàn)完整的圖像拉普拉斯金字塔融合全過程如圖2 所示。

如圖2 所示，其中：Gn表示高斯金字塔的圖層；Gn*表示對第Gn-1層高斯金字塔圖層上采樣后的結(jié)果圖層；LPn表示提取的拉普拉斯金字塔圖層，即Gn減去Gn*的結(jié)果；LFn表示融合金字塔圖層；GFn表示重構(gòu)金字塔圖層。A、B兩路配準后的視頻同時進入金字塔系統(tǒng)，按照圖2 左邊虛線框中所示，同時獨立完成各自的LP 金字塔提取過程，之后再進行圖2 右邊虛線框所示的融合和重構(gòu)過程。本文高頻部分采取“絕對值最大策略”完成兩路視頻的融合過程，在逐層完成金字塔重構(gòu)過程，最終輸出融合結(jié)果LF0。具體的各級流水線設(shè)計和延時補償需求如下文。

圖 2 金字塔流水線設(shè)計Fig.2 Diagram of pipeline design of pyramid

第1 級流水線：源視頻圖像G0，逐個像素點采集，同時將G0復(fù)制為兩份視頻流；一路視頻流G0進行緩存，進行時延1；另一路視頻流G0進行高斯降采樣濾波得到視頻流G1；

第2 級流水線：將G1復(fù)制為3 份，第1 路視頻流G1進行高斯上采樣，得到視頻流G0*，同時G0*與G0的時延1 視頻流作差，得到LP0數(shù)據(jù)流，即G0-G0*=LP0；第2 路視頻流G1進行時延2；第3 路視頻流G1進行高斯降采樣得到視頻流G2；

第3 級流水線：重復(fù)第2 級流水線3 次，分別得到LP1、LP2、LP3和G5；

第4 級流水線：將數(shù)據(jù)流G5復(fù)制為兩份，一路視頻流G5進行高斯上采樣，得到視頻流G4*，同時G4*與G4的時延5 視頻流作差，得到數(shù)據(jù)流LP4；另一路視頻流G5，即為低頻圖像視頻流，本文采取熱像通道視頻流G5作為低頻圖層融合結(jié)果，也就是LP5、LF5和GF5；

第5 級流水線：對A、B兩路視頻源的LP4～LP0數(shù)據(jù)流，各層進行“絕對值最大策略”融合，得到融合數(shù)據(jù)流LF4～LF0，并分別進入時延；

第6 級流水線：將視頻流GF5進行高斯上采樣，并對得到的視頻流進行時延6；LF4和進行時延6 的數(shù)據(jù)流相加，得到視頻流GF4；

第7 級流水線：重復(fù)第6 級流水線操作4 次，最終得到視頻流GF0；GF0即為兩路視頻融合輸出結(jié)果。

2.3 流水線時延補償

在流水線處理過程中，每一級流水線進行的操作不同，導(dǎo)致每級流水線耗時不同，需要進行流水線時延補償，以便同時進入下級流水操作。即圖2 中出現(xiàn)的時延1 到時延10。本文中的時延補償是通過FPGA 片上BRAM 實現(xiàn)的，通過控制數(shù)據(jù)流進出BRAM 的不同深度來實現(xiàn)不同時延補償。

2.4 并行設(shè)計的優(yōu)化

完成流水線設(shè)計后，算法并行架構(gòu)固定，優(yōu)化設(shè)計只存在每級流水線內(nèi)。從圖2 可以看出，并行設(shè)計優(yōu)化的重點是高斯降采樣和高斯上采樣兩個操作。這兩個采樣操作的重點即為5×5 大小窗口高斯濾波的優(yōu)化。

該濾波處理需要滿足緩存5 行數(shù)據(jù)，通過行buffer 來實現(xiàn)緩存；濾波窗口5×5 大小通過window 及其相關(guān)操作來實現(xiàn)濾波核的填充和更新；高斯濾波運算進行完全并行處理，5×5 大小窗口的window 拆分成25 個獨立寄存器，同時獨立完成25 路算術(shù)運算，實現(xiàn)高斯卷積。滿足每采集一個新的像素點的同時完成一個濾波結(jié)果像素點的輸出。

3 實驗結(jié)果與分析

本文所述算法對于Xilinx 7 系列及以上FPGA芯片均可適用。算法在Xilinx Vivado HLS 2019.1環(huán)境下完成C 代碼、并行流水線、硬件資源分配以及RTL 級代碼轉(zhuǎn)化的設(shè)計，最終生成一個帶有AXI4-Stream 接口的IP（intellectual property）核。輸入的兩路視頻源分別為電視視頻1 080 P@60 Hz、熱像視頻1 280×1 024@60 Hz，在Xilinx Vivado 2019.1環(huán)境下視頻轉(zhuǎn)化為AXI4-Stream 格式，通過仿射變換完成熱像視頻到電視視頻的配準。由于兩路視頻源位置固定，配準參數(shù)只需計算一次，離線計算后，在上電初始化時直接寫入FPGA 仿射變換的IP 核中，經(jīng)過配準后的兩路1 080 P 視頻進入融合算法IP 核。本文算法在一片Xilinx Xc7k325t FPGA上實現(xiàn)視頻融合驗證，融合效果如圖3 所示。

圖3（a）和圖3（b）分別為電視、熱像配準后的視頻輸入圖像，圖3（c）為電視通道融合到熱像通道的結(jié)果，圖3（d）到圖3（f）分別是圖3（a）到圖3（c）綠色方框內(nèi)放大圖像。可明顯看到電視通道很多細節(jié)信息成功融合到熱像通道，紅色虛線框區(qū)域融合效果突出。圖4 給出了不同場景下該并行方法的融合結(jié)果圖。

圖 3 FPGA 并行實現(xiàn)融合算法效果圖Fig.3 Effect diagram of fusion algorithm of parallel implementation on FPGA

圖 4 不同場景融合效果圖Fig.4 Fusion effect diagram of different scenarios

本文采用圖像的峰值信噪比PSNR、圖像結(jié)構(gòu)相似性SSIM 和拉普拉斯平均（LS）差值作為客觀評價標準，LS 的計算公式為

式中：LS 的值越高，說明圖像越銳化，對比度越高。而原熱像圖像與融合圖像LS 的差值越大，說明融合提取細節(jié)信息越多，融合效果越好。評價標準PSNR 和SSIM 值越小，原熱像圖像與融合圖像之間差別就越大，提取電視通道信息越多。圖3和圖4 中不同場景圖像的評價結(jié)果如表1 所示。

本文優(yōu)化方法在確保融合效果的前提下，通過并行化設(shè)計和資源優(yōu)化，極大降低了算法運行時間。該算法在不同硬件平臺上，采用不同加速方式處理一幀兩路位寬為8 位、分辨率為1 920×1 080像素視頻融合，具體情況如表2 所示。

表 1 不同場景本文融合方法客觀評價結(jié)果Table 1 Objective evaluation results of proposed fusion method in different scenarios

從表2 可知，實現(xiàn)兩路高清視頻拉普拉斯金字塔融合，前兩種硬件平臺運算時間太久，無法滿足工程化實時處理的要求；Jetson TX2 GPU 加速平臺可滿足小于40 幀頻的1 080 P 視頻實時處理；而本文優(yōu)化方法可實現(xiàn)小于95 幀頻的1 080 P 視頻實時處理。在工程應(yīng)用中，表2 列出的TI TM320C6455和Nvidia Jetson TX2 加速處理平臺在加速處理時，均需使用DDR 進行數(shù)據(jù)緩存，導(dǎo)致視頻鏈路時間增加1～2 幀的延遲。而本文基于AXI4-Stream 視頻流格式的優(yōu)化方法，無需DDR 進行數(shù)據(jù)緩存，視頻鏈路僅ms 級時延。

表 2 不同平臺拉普拉斯融合算法實施時間對比Table 2 Comparison of implementation time of Laplacian fusion algorithm on different platforms

本文實時優(yōu)化方法，處理一幀兩路8 位位寬1 080 P 視頻的時間為10.535 ms，小于16.67 ms，滿足1 080 P@60 Hz 視頻實時處理要求。該優(yōu)化方法處理時延僅70 多μs，平臺整個視頻鏈路處理時延不到1 μs，實現(xiàn)了極低時延圖像融合系統(tǒng)。根據(jù)FPGA 并行處理的特性可知，數(shù)據(jù)流時鐘越高，處理一幀圖像融合的時間越少，整個系統(tǒng)時延更低。

本文優(yōu)化算法IP 核FPGA 資源占用情況如表3 所示，可以看出FPGA 資源占用率較低，BRAM占用率最大，僅為27.75%，所以更高幀頻和更大分辨率的實時圖像融合處理亦可實現(xiàn)。

表 3 FPGA 資源占用分析Table 3 Resource occupation analysis of FPGA

4 結(jié)論

本文介紹了一種高清或超高清多源視頻拉普拉斯金字塔圖像融合算法的實時優(yōu)化方法，主要闡述了算法實現(xiàn)的整體并行構(gòu)架設(shè)計和金字塔多級流水線結(jié)構(gòu)設(shè)計，以及并行處理中的時延補償和優(yōu)化處理，最終在FPGA 板卡上實現(xiàn)了兩路1 080 P@60 Hz 高清視頻的實時融合，并給出了不同圖像質(zhì)量評價標準的結(jié)果。該優(yōu)化方法實時性強，資源占用率低，隨著工藝技術(shù)的發(fā)展，F(xiàn)PGA 芯片性能不斷提升，硬件資源不斷擴充，本文實現(xiàn)方法可為4 k 分辨率及更多超高清視頻融合的實時處理提供參考。