陳海峰，莊金雷，朱 標，李培華，楊 潘，劉丙友，樊 璇

（1.安徽工程大學 電氣工程學院，安徽 蕪湖 241000；2.哈爾濱工業(yè)大學 蕪湖機器人產(chǎn)業(yè)技術研究院，安徽 蕪湖 241000；3.中航華東光電有限公司，安徽 蕪湖 241003；4.達爾智能控制有限公司，安徽 蕪湖 241002）

在低照度和濃霧等照明條件較差的情況下，紅外圖像能夠捕捉潛在目標，但分辨率低，可見光圖像能提供大量的主要信息， 但圖像質量易受外界環(huán)境的影響［1］。 紅外圖像和可見光圖像融合的目的是利用兩種光譜成像技術的特性生成一幅復合圖像［2］。在復合圖像中能同時獲得清晰的目標熱信息和更符合人類視覺習慣的背景信息。 現(xiàn)實世界中的很多應用包括視頻監(jiān)控、 物體檢測和應急救援均得益于該類融合技術［3］。趙立昌等［4］通過機器學習確定多尺度融合的參數(shù)，融合效果較好，但是通用性較差；崔曉榮等［5］提出了基于二維經(jīng)驗模態(tài)分解方法；李辰陽等［6］提出了基于改進譜殘差顯著性圖的融合方法，但較為復雜。 近幾年提出的融合方法多數(shù)只是用相同的方法處理可見光圖像與紅外圖像， 沒有充分利用2 種圖像的優(yōu)勢。 本文提出的融合方法分別以2種圖像自身的優(yōu)勢為出發(fā)點， 差別處理紅外圖像和可見光圖像， 在融合圖像中保留可見光的環(huán)境細節(jié)和紅外圖像的環(huán)境與目標信息。

針對紅外圖像噪聲大、邊緣模糊等缺陷，本文采用改進的Canny 算子進行邊緣提取，使用形態(tài)學濾波代替高斯濾波， 加強紅外圖像的邊緣強度和細節(jié)， 通過自適應閾值檢測并連接邊緣獲得紅外邊緣圖像。 對可見光圖像采用去霧算法進行預處理以及邊緣提取以獲得可見光邊緣圖像。 采用拉普拉斯金字塔圖像融合方法將2 種邊緣圖像進行圖像融合得到最終的邊緣圖像。 融合過程的流程圖如圖1 所示。

圖1 融合過程的流程圖

1 紅外圖像處理

本文采用改進的Canny 算子提取紅外圖像邊緣。 首先，在Canny 算子中引入形態(tài)學濾波，選擇2個不同尺度的結構元素， 按照順序對圖像進行開運算和閉運算； 接著使用一階有限差分來進行近似代替偏導數(shù)；然后，采用線性插值進行非極大值抑制，最后，采用Otsu 算法求取閾值，并連接紅外圖像邊緣，即可得到紅外圖像的邊緣圖像。

采用改進Canny 算子對圖像處理的流程如下。

（1）用形態(tài)學濾波對圖像進行順序的開閉運算平滑降噪

形態(tài)學的基本操作包括開運算和閉運算。 對目標進行開運算的結果是將圖像中的小目標去掉，使圖像中的大目標保持原有的形態(tài)， 圖像的整體灰度基本保持不變；閉運算用于填補圖像中原有的空隙，去除圖中暗背景細節(jié)部分， 而相對地保留高灰度部分不受影響。 選取結構元素A1和A2對圖像進行開閉濾波運算，運算式為

（3）對梯度幅值進行非極大值抑制

圖像中某一點的梯度幅值與圖像梯度幅值矩陣中的元素值相關，元素值越大則說明梯度值越大。在改進的Canny 算法中對梯度幅值進行非極大值抑制時，梯度的方向可以被定義為4 個區(qū)之一，各個區(qū)中心像素點與沿著梯度方向的2 個鄰近像素點進行比較， 如果當前像素的梯度強度與另外2 個像素相比最大，則該像素點保留為邊緣點，否則該像素點將被抑制。 為了更加精確地計算，在跨越梯度方向的2 個相鄰像素之間使用線性插值法來得到要比較的像素梯度。

（4）檢測和連接邊緣

利用Otsu 算法求取閾值， 用雙閾值算法檢測并連接邊緣。 為了解決人為設置閾值的隨機性和繁瑣性問題，利用Otsu 算法對非極大值抑制圖像進行全局閾值分割，選取的閾值為

式 中，level 為Otsu 法處理的閾值，TL 為 低閾值，TH為高閾值，sigma 取經(jīng)驗值0.33。

2 可見光圖像處理

在低照度和濃霧等照明條件較差的情況下，先對可見光圖像進行去霧處理以減小對可見光圖像的邊緣提取的輸出圖像誤差，輸出圖像像素的表達式為

其中，pi是輸入圖像，ni表示噪聲。 聯(lián)立求解公式（10）和公式（11）得到最小化損失函數(shù)

3 紅外圖像與可見光圖像的融合算法

圖像金字塔是來源于同一張原始圖像的圖像集合［7］，以一系列金字塔形式排列，且其分辨率逐漸降低。根據(jù)圖像金字塔方法的原理，將紅外圖像A 和可見光圖像B 分解為不同層上的圖像， 從0 層開始其分辨率從上到下依次增加， 并在相應層上以一定的規(guī)則融合， 再按照金字塔生成的逆過程將其進行重構，得到融合金字塔。

最高層采用平均融合策略進行融合， 得到融合后的拉普拉斯金字塔圖像， 通過拉普拉斯金字塔重建圖像得到最終的融合圖像。

4 仿真實驗

為了驗證本文算法的有效性， 選取了2 組紅外圖像和可見光圖像進行了實驗仿真， 并將本文算法與離散小波變換［8］（DWT）算法進行比較。 仿真實驗結果如圖2 年示。

圖2 為房屋圖像的融合結果。 其中圖2（a）、（b）、（c）和（d）依次為紅外圖像、紅外邊緣圖像、可見光圖像和可見光邊緣圖像。從紅外圖像上可以清晰看出房屋目標， 但缺乏樹木、 房屋等景物的細節(jié)信息，而從可見光圖像上可以看到樹木、房屋的細節(jié)信息。 圖2（e）為本文算法形成的融合圖像，圖2（f）為離散小波變換（DWT）融合算法形成的融合圖像。

圖2 房屋圖像融合結果

圖3 為門口及人物圖像的融合結果，其中，圖3（a）、（b）、（c）和（d）依次為紅外圖像、紅外邊緣圖像、可見光圖像和可見光邊緣圖像。 從紅外圖像上可以看出人物等目標，但缺乏建筑物門口的細節(jié)信息，而從可見光圖像上可以看到人物和門口的細節(jié)信息。圖3（e）為本文算法融合圖像，圖3（f）為采用離散小波變換（DWT）融合算法。

圖3 門口及人物融合結果

由圖2 和圖3 知， 本文的算法在圖像融合的質量上有著較大優(yōu)勢。 為了驗證本方法對比離散小波變換（DWT）融合方法的客觀優(yōu)勢，采用圖像熵作為融合效果的客觀評價尺度進行驗證， 熵值越大表示融合圖像中包含的信息越豐富，圖像的細節(jié)越明顯。圖像熵Entropy 的表示方法為

式中，P（i）代表灰度值為i 的像素占總像素的比例。兩組圖像融合前后圖像熵的對比結果見表1。 由表1知，本文方法融合效果更好。

表1 不同圖像的圖像熵對比

5 結束語

本文提出了一種基于Canny 算子的紅外圖像和可見光圖像邊緣融合方法， 采用改進的Canny 算法對紅外圖像進行圖像處理得到紅外邊緣圖像， 采用引導濾波對可見光圖像進行預處理， 并采用改進的Canny 邊緣提取算法得到可見光邊緣圖像，最后將紅外邊緣圖像和可見光邊緣圖像進行拉普拉斯金字塔圖像融合得到最終的融合圖像， 起到了同時保留紅外圖像的特征信息和可見光圖像的細節(jié)信息的效果。實驗分析結果表明，該方法在突出目標特征信息和保留細節(jié)特征方面表現(xiàn)優(yōu)異， 能夠適應于較復雜場景，具有廣泛的應用前景。