鄧新征 孟江鋒

（1.湖南高速工程咨詢有限公司，湖南 長沙 410000；2.華北水利水電大學土木與交通學院，河南 鄭州 450045）

0 引言

圖像融合的關鍵是最大限度從源圖像中提取顯著特征，從而實現(xiàn)信息互補，最終融合成一張高質量圖像，提高信息的利用率和目標檢測模型的精準率。

目前，圖像融合主要在像素級、特征級、決策級這三個不同層級進行操作［1］。像素級圖像融合方法是最基礎的融合方法，可直接與源圖像的原始信息相結合，被廣泛應用于醫(yī)學成像［2］、遙感應用［3］、計算機視覺等領域。特征級圖像融合是將圖像的特征信息從源圖像中提取出來，如人物、樹木、建筑物等，并對這些特征信息進行分析、處理和整合，從而得到最終的融合圖像，如基于聯(lián)合稀疏表示的特征級融合方法［4］、基于線性特征依賴模型的特征融合算法［5］、基于深度學習理論的特征融合算法等［6］。決策級特征融合是最高層次的特征融合方法，主要對特征級圖像得到的特征信息加以利用，根據一定的準則及每個決策的可信度來求出最優(yōu)解，與像素級和特征級的融合方式相比，決策級圖像融合的計算量小，但信息損失最多。

隨著深度學習的發(fā)展，許多基于深度學習的圖像融合方法被提出來。大部分基于深度學習的圖像融合方法直接將源圖像作為輸入對象。卷積神經網絡（CNN）通過學習輸入圖像的特征，從而得到每個層次的不同特征圖，但該方法并不能區(qū)分圖像中的噪聲和目標特征，會將噪聲特征作為特征進行提取。在實際數據采集過程中，圖像質量會受多種因素影響，如設備功率不穩(wěn)定、環(huán)境光影響、陰影遮擋等，這些因素會在圖像中產生噪聲，從而導致圖像細節(jié)的清晰度降低，并導致基于深度學習的網絡模型效果降低。

在采集路面病害圖像過程中，因受到光照不均勻、陰影等因素影響，導致圖像對比度和質量下降，嚴重影響后續(xù)裂縫識別精度。為提高識別精度，本研究提出一種基于多模型融合的圖像增強方法。該方法通過多模型特征融合，使網絡學習輸入圖像不同層次的特征，增加特征的互補性，提高特征提取能力。首先，將高密度灰度點云分別生成灰度圖和深度圖，其次，將灰度圖和深度圖分解為高頻圖像和低頻圖像，最后，分別對這兩類圖像采取不同的融合策略進行融合。通過增強圖像細節(jié)和降低圖像噪聲，從而起到有針對性地提高圖像特征的效果。

1 研究背景

近年來，隨著深度學習技術的快速發(fā)展，深度學習在圖像融合領域中得到廣泛應用。Liu 等［7］將CNN 網絡模型與多焦點圖像融合，融合效果顯著，該方法采用深度學習來解決傳統(tǒng)方法需要手動設計活動水平度量和融合規(guī)則的問題，旨在通過學習源圖像和焦點圖間的直接映射，來融合使用不同焦距設置拍攝的同一場景的多幅圖像，從而獲得全聚焦圖像。Guo 等［8］提出一種全卷積網絡（FCN）的新型多焦點圖像融合方法，通過學習FCN 檢測像素的聚焦區(qū)域，并利用整個圖像（不僅僅是圖像補?。﹣碛柧欶CN。Prabhakar 等［9］提出一種無監(jiān)督的MEF 深度學習框架，以無參考質量度量（no-reference quality metric）為損失函數，該模型通過融合不同圖像中提取到的低級特征來生成沒有偽影的圖像。盡管這些方法在圖像融合中實現(xiàn)了很好的性能，但仍存在以下不足：僅限于高質量圖像，沒考慮到含有大量噪聲的圖像；僅考慮對圖像細節(jié)的融合，未考慮到提高圖像的整體質量。為克服這些缺點，同時受Li 等［10］提出的將源圖像分解為基本部分和細節(jié)部分的啟發(fā)，本研究提出一種多模型融合的深度學習網絡模型。首先，對高密度灰度點云生成的灰度圖和深度圖進行相關預處理，從而提高高頻圖像和低頻圖像的質量，并將灰度圖和深度圖生成的低頻信息圖像進行像素級圖像融合。其次，將融合后的低頻信息圖像和未融合的高頻信息圖像作為網絡模型的輸入，分別對體現(xiàn)圖像綜合特征的低頻信息圖像和體現(xiàn)圖像細節(jié)信息的高頻信息圖像進行處理。最后，采用DCE-Net［11］對低頻圖像進行處理，以此來提高圖像的綜合質量。

2 研究方法

本研究對灰度圖和深度圖的生成、預處理、高頻信息圖像和低頻信息圖像的提取及融合進行研究。假設有N個已經配準的灰度圖和深度圖，由于本研究輸入的對象為灰度圖和深度圖，因此將N設定為2。本研究提出的圖像增強和融合框架如圖1所示。

圖1 提出的模型結構

2.1 圖像預處理

由于路面病害與背景的相似性大、路面病害面積占比小、路面病害形狀不規(guī)律等特點及路面背景顏色較深，所以要對圖像進行預處理，增加其對比度。伽馬變換（冪律變換）是常用的灰度變換，是一種圖像增強算法。在圖像處理過程中，可對漂白（相機過曝）或過暗（曝光不足）圖片加以修正，見式（1）。

式中：r為輸入的灰度值，取值范圍為［0，1］；s為伽馬變換后的輸出值；c為灰度縮放系數，用于整體拉伸圖像灰度，通常設為1。當圖像整體灰度偏暗時，γ<1，可提高圖像亮度。當圖像整體灰度偏亮時，γ>1，可降低圖像亮度，提高圖像對比度，凸顯細節(jié)。

由于采集到的高精度激光點云數據所生成的路面影像整體顏色較暗，因此，在對灰度圖、深度圖進行預處理時，γ可設為0.8、0.4。路面圖像預處理后的結果如圖2所示。

圖2 路面圖像預處理

2.2 高頻信息圖像和低頻信息圖像的獲取及處理

2.2.1 高頻信息圖像和低頻信息圖像獲取。圖像中有高頻信息和低頻信息，不同頻率的信息在圖像結構中發(fā)揮著不同作用。低頻分量代表著圖像中亮度或灰度值變化緩慢的區(qū)域，是對整幅圖像強度的綜合度量。高頻分量是指圖像變化劇烈的部分，即圖像的邊緣（輪廓）、噪聲及細節(jié)部分。因此，根據圖像特性，采用傅里葉變換對圖像進行處理，將其變成頻譜圖，再通過高通濾波對頻譜圖進行處理，從而獲取該圖像的高頻信息圖和低頻信息圖。對生成的高頻信息圖和低頻信息圖分別進行處理，從而實現(xiàn)細節(jié)信息的優(yōu)化和圖像質量的提高。低頻圖像和高頻圖像如圖3所示。

圖3 低頻圖像和高頻圖像

2.2.2 高頻信息圖像的預處理。高頻分量是指圖像變化劇烈的部分，即圖像的邊緣（輪廓）、噪聲及細節(jié)部分。三維激光點云生成的灰度圖像為二維矩陣，不包含高度信息，而深度圖正好彌補不足。深度圖可描繪出目標物體表面的特征信息，且光照不均勻、陰影等噪聲對圖像產生的影響很小。因此，對深度圖中的少量噪聲，可使用高頻分量對圖像進行細節(jié)增強。采用高頻強調濾波，增強圖像細節(jié)。高通濾波后的高頻圖像如圖4所示。

圖4 高通濾波后的高頻圖像

高頻強調濾波的傳遞函數見式（2）。

式中：a>0，b<0；Hhp（u，v）為高通濾波器。

2.3 基于DCE-Net模型的低頻信息圖像增強

零參考深度曲線估計（Zero-DCE）是一個輕量級的深度學習網絡模型。該網絡是一個弱光增強型網絡，其提出的損失函數既保持了圖像增強的范圍，也保留了相鄰像素的對比度。與傳統(tǒng)方法相比，該網絡把微光圖像作為輸入，把高階曲線作為輸出，通過輸入范圍的變化來對像素級進行調整，從而獲得增強圖像。

通過該模型對預處理后的灰度圖和深度圖提取出來的低頻圖像進行加權融合，可使其融合為一張圖像。該圖像既體現(xiàn)出深度圖的綜合特征，也體現(xiàn)出灰度圖的綜合特征，并將其作為DCE-Net的輸入。

DCE-Net 網絡使用了五個損失函數，分別為空間一致性損失、曝光控制損失、色彩恒常性損失、光照平滑損失、總損失。色彩恒常性損失函數主要用于校正色彩偏差，通過建立R、G、B 三通道間的聯(lián)系，使增強的顏色盡可能相關。由于采用的是單通道深度圖和灰度圖，因此，將該損失函數去除。該網絡模型的總損失函數表達見式（3）。

式中：WtvA為權重；Lexp為曝光控制誤差；LtvA為光照平滑誤差；Lspa為空間一致誤差。

2.4 基于MSVD 的高頻信息圖像和低頻信息圖像去噪和融合

在采集過程中，由于路面病害圖像受光照不均勻、陰影等因素的影響，導致圖像出現(xiàn)多噪聲、低質量等問題，嚴重影響到后續(xù)裂縫識別的精度。因此，要對圖像進行去噪處理。

奇異值分解（SVD）是在平方損失意義下對矩陣的最優(yōu)近似，能得到代表矩陣最本質變化的元素。對任意一個矩陣，總能找到一組單位正交基，使得矩陣對其進行變換后，得到的向量組還是正交的。奇異值分解（SVD）能去掉圖像中的冗余信息，把信息集中到少數奇異值中，而多分辨率則是在不同頻率上實現(xiàn)對圖像的處理。

多分辨率奇異值分解（MSVD）［12］是在一維向量多分辨率基礎上，實現(xiàn)了對二維圖像多分辨率的奇異值分解，通過各分解層的融合，最終重建出融合后的圖像，與像素值加權平均法相比，MSVD 的優(yōu)勢在于可實現(xiàn)對圖像的降維和去噪。

多分辨率奇異值（MSVD）的分解過程如下。

①輸入一張圖像X∈Rm×n，將其分解成2×2 個子塊，分別對每個子塊中的數據進行處理，將其轉化成四個大小為的行向量，再構成新的矩陣，記為矩陣A，見式（4）。

②對矩陣A進行分解（對于任意的矩陣A，都可將其分解為一個酉矩陣U、一個對角矩陣Σ、一個酉矩陣的轉置VT），見式（5）到式（8）。

式中：矩陣U為酉矩陣，則該矩陣的轉置就是其逆，即UT=U-1。同理，VT=V-1。

由式（7）可求得矩陣AAT的特征值和其對應的特征向量u，矩陣AAT的特征向量就是所求的矩陣U。同理，根據式（9）可求得矩陣V。相關計算見式（9）到式（12）。

矩陣Σ的對角線上為奇異值，其他位置均為0，將奇異值記為σt。由式（9）到式（12）可求得奇異值矩陣Σ。矩陣Σ值所組成的對角矩陣見式（13）。

式中：奇異值矩陣Σ中的值是按照從大到小排列的，即σ1>σ2>σ3>σ4。

③將最大奇異值對應的行向量分為4 個子塊，構成新的矩陣B，然后按照步驟②進行k次迭代，見式（14）。

多分辨率奇異值（MSVD）的重構過程如下。

②保留分解時獲得的矩陣UT，計算B'=UA'。

③將B'還原成2×2 個子塊，并將這些子塊重新組合，得到一個m×n的重構矩陣。

2.5 融合增強方法

通過前面分析可知，基于深度學習的融合增強方法有以下四個。

①圖像預處理。通過伽馬變換（冪律變換）對過曝或過暗（曝光不足）圖片進行修正。

②圖像分解。通過傅里葉變換和高通濾波對源圖像進行分解，從而獲得高頻信息圖像和低頻信息圖像，然后使用高頻濾波對高頻信息圖像細節(jié)部分進行加強。

③低頻信息圖像增強。通過DCE-Net 對融合后的圖像進行圖像增強處理，實現(xiàn)對圖像像素級的調整，提高圖像綜合特征的質量。

④低頻和高頻信息融合。使用多分辨率奇異值分解對高頻信息圖像和低頻信息圖像進行去噪和融合處理。

3 試驗結果與分析

該方法使用的系統(tǒng)的運行環(huán)境為ubuntu18.04，使用兩塊TITAN RTX 顯卡。本研究使用的數據均由高分辨率路面三維測量系統(tǒng)采集，該系統(tǒng)利用衛(wèi)星定位、慣性測量、組合導航、激光掃描等多傳感器集成技術，對激光器、3D 相機、GPS 接收機、慣性導航系統(tǒng)、同步控制系統(tǒng)等精密傳感器和控制器進行集成封裝，從而實現(xiàn)對路面三維輪廓數據的采集功能。部分圖像示例如圖5所示。

為驗證本研究所提出的優(yōu)化算法的合理性和試驗效果，分別使用主觀評價和客觀評價，選擇最新的和經典的融合方法進行試驗分析，包括基于小波變換的交叉雙邊濾波器融合方法（CBF）［13］、基于高斯和雙邊濾波器的混合多尺度分解圖像融合的方法（Hybrid-MSD Fusion）［14］、Densefuse，在U-Net網絡模型上進行語義分割比較。

通過以上三種方法和本研究提出的方法（proposed）獲得的融合圖像如圖6所示。在第一組融合試驗結果中，圖（c1）融合后引入了測量噪聲，圖（d1）和圖（e1）中雖然噪聲較小，但融合后仍存在局部亮度過高或過低的現(xiàn)象，在融合本研究所提出方法后，不僅消除了多余噪聲，且圖像亮度均勻。在第二組融合試驗結果中，圖（c2）和圖（e2）保留了較多因圖像采集設備產生的條紋噪聲，圖（c2）和圖（d2）中的亮度分布不均。在第三組融合試驗結果中，圖（c3）、圖（d3）、圖（e3）同樣保留了較多因圖像采集設備產生的波紋噪聲，且融合后的圖像中，裂縫末端的細節(jié)信息不夠清晰。在第四組融合試驗結果中，圖（e4）中融合后的圖像網狀裂縫細節(jié)丟失嚴重，而圖（c4）和圖（b4）保留了較多的噪聲信息，且圖像亮度不均勻。

圖6 融合圖像效果對比

同樣的，使用U-Net 模型分別對經過CBF、Hybrid_MSD、Densefuse 和本研究提出方法（proposed）可對路面病害識別的結果進行提取。在第一組試驗結果中，圖（a1-1）融合后存在干擾噪聲較大，提取的裂縫區(qū)域增大；在圖（a3-1）中，由于融合后的圖像亮度不均勻，導致裂縫的提取存在部分缺失。Hybrid_MSD 方法融合后的提取結果與本研究所提出的融合方法的提取結果相近。在第二組試驗結果中，根據提取到的結果，圖（b1-2）和圖（b3-2）中存在較多的裂縫缺失部分，圖（b2-2）中的左側裂縫缺失，圖（b4-2）雖能相對完整地提取所有裂縫，但部分裂縫在提取完整性上仍存在不足。在第三組試驗結果中，對圖（c1-2）到圖（c4-2）進行對比，前三組圖像均存在不同程度的缺失問題，這是由融合后的圖像存在干擾噪聲和圖像亮度分布不均所導致的。在第三組試驗中，采用Densefuse 融合方法提取的結果見圖（d3-2），由于圖像亮度分布嚴重不均勻，導致最終幾乎沒有提取到任何裂縫信息。采用CBF融合方法提取的結果見圖（d1-2），融合后的圖像上半部分存在較多的波紋噪聲干擾，因此在最終的提取結果中發(fā)現(xiàn)上半部裂縫信息缺失，這也表明如果不能有效去除干擾噪聲，將會對裂縫的提取結果產生嚴重影響。綜上所述，基于U-Net 模型的提取結果表明，影響提取結果的因素包括波紋噪聲、路面自身干擾噪聲和圖像亮度分布不均勻。CBF、Hybrid_MSD、Densefuse 這三種方法雖能實現(xiàn)灰度圖和深度圖的融合，但融合后的結果相較于本研究所提出的融合方法，在效果上相差很大，主要表現(xiàn)在融合后噪聲的去除程度和圖像亮度分布是否均勻這兩方面。

圖7 基于U-Net網絡的路面病害提取

4 結語

我國基礎設施正從大規(guī)模建設向精細化養(yǎng)護方面轉變。道路路面病害檢查工作量大，傳統(tǒng)檢測手段以人工目視和通用儀器檢測為主，存在精度差、效率低等問題，導致難以對公路路面多種類型的病害進行普查，而基于深度學習方法的路面病害自動檢測和識別方法能極大提高檢測效率和識別精度，能滿足我國道路安全運維的迫切需求。本研究提出一種基于高密度灰度點云的圖像增強方法，旨在降低融合后圖像存在的噪聲，同時增強待檢測圖像中病害的特征細節(jié)，提高后續(xù)基于深度學習圖像融合方法的路面病害識別效果，對推動基于深度學習的圖像融合方法在實際路面病害檢測工程中的應用具有重要意義。