付 元

中煤科工集團(tuán)杭州研究院有限公司 浙江杭州 311201

煤礦智能化、智慧礦山建設(shè)是煤炭行業(yè)未來(lái)高質(zhì)量發(fā)展的重要戰(zhàn)略方向。在煤礦智能化建設(shè)過(guò)程中，對(duì)現(xiàn)實(shí)世界的智能感知主要依托圖像和視頻數(shù)據(jù)。近年來(lái)，對(duì)于視頻圖像數(shù)據(jù)的技術(shù)研究和應(yīng)用已經(jīng)逐步推廣到煤礦的各個(gè)生產(chǎn)和日常管理中，在目標(biāo)識(shí)別、人員信息識(shí)別、礦井圖像融合等方面都有著廣泛的應(yīng)用。

有效進(jìn)行煤礦圖像采集，有利于后續(xù)分析、響應(yīng)，進(jìn)而保證井下安全生產(chǎn)，但是在煤礦視頻數(shù)據(jù)采集過(guò)程中，由于煤礦工作面環(huán)境復(fù)雜，環(huán)境條件差，光照差等因素，在可見光條件下，實(shí)現(xiàn)圖像采集時(shí)得到的光譜特征非常弱，導(dǎo)致最終成像非常模糊，進(jìn)而很難區(qū)分工作人員與周圍環(huán)境[1]。低照度下的礦用圖像采集、降噪、去模糊等都是十分困難的，許多研究者提出了很多復(fù)雜的降噪方法[2-5]，但是局限于可見光的窄帶顏色所導(dǎo)致的低信噪比，往往不能很好地提升對(duì)圖像中特定特征的提取。隨著采集手段的提升，利用多頻圖像融合算法來(lái)提升圖像細(xì)節(jié)成為了一種新的研究方向。

圖像融合是對(duì)同一場(chǎng)景進(jìn)行多信息融合形成單個(gè)圖像的過(guò)程，其目的是為了減少冗余信息和干擾信息，最大化地提取有用信息。目前，融合圖像的主要方法是灰度融合算法[6]。它主要由空間域和頻率域算法組成。空間域算法比較容易實(shí)現(xiàn)，但是圖像模糊，并且目標(biāo)不明確[7]；頻率域的算法主要有小波變換、拉普拉斯金字塔、輪廓波變換、Shearlet 變換[8]和平穩(wěn)小波變換。小波變換具有多方向相同的特點(diǎn)，由此導(dǎo)致小波變換不能根據(jù)多方位圖像提取圖像細(xì)節(jié)信息。NSCT (Non-subsampled Contourlet Transform，非下采樣輪廓變換) 作為一種傳統(tǒng)算法，主要研究領(lǐng)域在紅外光、可見光圖像的融合，在分解不同尺度或者各向異性較強(qiáng)的圖像上，NSCT 有較好的效果。但是 NSCT 自身結(jié)構(gòu)導(dǎo)致運(yùn)算花費(fèi)的時(shí)間較長(zhǎng)，所以在NSCT 的基礎(chǔ)上提出了 NSST 變換。NSST 能夠有效地進(jìn)行多方位幾何分解，可以更好地進(jìn)行圖像細(xì)節(jié)描繪[9]。

針對(duì)煤礦實(shí)際生產(chǎn)場(chǎng)景需求，根據(jù)工人制服與環(huán)境在不同波段的反射強(qiáng)度存在本質(zhì)的差別，利用多譜段的數(shù)據(jù)融合，最終達(dá)到既增強(qiáng)目標(biāo)細(xì)節(jié)信息又抑制背景環(huán)境的目的。筆者利用 IHS 變換對(duì)可見光的光波信息和亮度信息進(jìn)行了區(qū)分，再利用 NSST 多方位幾何分解的優(yōu)點(diǎn)，提出了基于 IHS 和 NSST 的彩色低照度圖像融合算法。在對(duì)圖像進(jìn)行多方位、多尺寸分解，在空間頻率中，低頻子帶通過(guò)構(gòu)造自適應(yīng)調(diào)節(jié)因子完成信息融合，高頻子帶通過(guò)區(qū)域能量構(gòu)建模型完成信息融合；通過(guò)有機(jī)結(jié)合 IHS 逆變換與 NSCT 逆空間變化操作，得到最終的融合圖像。

1 IHS 與 NSST 轉(zhuǎn)換方法

1.1 IHS 變換與 RGB 空間轉(zhuǎn)換

IHS 顏色空間的圖像是基于顏色、亮度和飽和度三大特征，其中顏色的飽和度與視覺感受直接關(guān)聯(lián)起來(lái)，而亮度則與顏色分別獨(dú)立，使得相對(duì)于不同位置的顏色上的特征都可以通過(guò) IHS 轉(zhuǎn)換實(shí)現(xiàn)與畫面兼容[10-11]。提取流程如圖1 所示。

圖1 提取流程Fig.1 Extraction process

RGB 色彩空間表達(dá)圖像信息依靠的是紅色、綠色、藍(lán)色 3 個(gè)元素描繪圖像的彩色信息。它與 IHS 變換不同的是紅、綠、藍(lán) 3 個(gè)元素相互依賴，這種依賴關(guān)系增大了圖像解析和信息提取的難度。相較而言，IHS 變換則是 3 個(gè)相互獨(dú)立的元素，因此有利于光譜信息的提取[12]。

變換過(guò)程需要中間變量進(jìn)行操作，給出變量V1、V2，變換過(guò)程如下。

變換后，IHS 逆變?yōu)?RGB 空間的過(guò)程如下。

對(duì)多光譜的物體重新取樣，使其在空間分辨率下所得的值和全色情況下所得的值一致，再對(duì)取的 RGB空間進(jìn)行顏色變換，轉(zhuǎn)換成 IHS 空間，然后接著將直方圖匹配，使多光譜圖像的顏色與高分辨率全色圖像色調(diào)相同，從而獲得新的全色圖像并與多光譜I的分量顏色非常接近，再將多光譜I的分量置換，使之作為新的亮度成分，最后再逆變換為 RGB 空間。

1.2 非下采樣剪切波變換

剪切波結(jié)合幾何不同尺度原理通過(guò)仿射系統(tǒng)，當(dāng)n＝2 時(shí)，有合成膨脹的放射系統(tǒng)

式中：ψ∈L2(R2)；A為 2×2 可逆矩陣，且|detA|=1。

NSST 逆變換重新建立初始圖像分為兩步：首先生成非下采樣金字塔模型，里面的每一個(gè)尺寸都是使用剪切波濾波器在多方位經(jīng)過(guò)分解和過(guò)濾的操作得到的；然后對(duì)圖像進(jìn)行非下采樣金字塔重新構(gòu)造[13-14]。因?yàn)?NSST 有多尺寸、多方位和平移相同性的特點(diǎn)，所以可以有效地進(jìn)行圖像的融合操作。當(dāng)MAB(ψ) 滿足條件時(shí)，二維仿射系統(tǒng)中的元素稱為合成小波，A為膨脹矩陣；Ai為關(guān)于大尺度轉(zhuǎn)換的變量；B為剪切矩陣，與Bj幾何變換理論密切相關(guān)。當(dāng)時(shí)，NSST 是非正交變換，同樣是傳統(tǒng)剪切波變換的重要發(fā)展成果，它由兩個(gè)方面所構(gòu)成，分別是基于非下采樣金字塔濾波[15]的多尺度分析和基于改進(jìn)剪切波濾波的多方向分析。不同尺寸分解方法是通過(guò)進(jìn)行K次分解，最后得到一個(gè)低頻率分量和K+1個(gè)高頻率分量，對(duì)得到的高低頻率分量進(jìn)行多方位分析。目前標(biāo)準(zhǔn)的剪切波濾波器基本都是采用標(biāo)準(zhǔn)偽極化網(wǎng)的平動(dòng)方式進(jìn)行的，而采用 NSST 的方式主要是先把標(biāo)準(zhǔn)的偽極化坐標(biāo)網(wǎng)反映在標(biāo)準(zhǔn)笛卡爾坐標(biāo)系[16]，然后再使用標(biāo)準(zhǔn)傅立葉逆變換去檢驗(yàn)它對(duì)二維卷積的作用。NSST 離散化過(guò)程如圖2 所示。

圖2 NSST 離散化過(guò)程Fig.2 NSST discretization procedure

2 基于 IHS 和 NSST 的礦井彩色低照度圖像融合算法

2.1 圖像特征提取

低頻率分量含有成像的特性和物體的輪廓特征以及可見光成像的背景特征，筆者運(yùn)用了局部特征取大原則對(duì)不同頻段成像進(jìn)行取樣，局部特征取大原則如公式 (6)、(7) 所示。

式中：(i，j) 為圖像像素點(diǎn)的位置坐標(biāo)；M×N為局部尺寸大??；c為低頻分量信號(hào)。

因?yàn)榈V井的工人制服對(duì)各個(gè)頻段的反射強(qiáng)度都不同，所以高頻譜圖像融合就是要結(jié)合在可見光下物體紋理方面的特征和聲音方面的特征。彩色圖像分解后得到的亮度分量，憑借目標(biāo)的特點(diǎn)不同與鄰近的像素之間和系統(tǒng)中圖像內(nèi)部的多可能性，能自動(dòng)地確定其中的像素點(diǎn)到底是來(lái)源于目標(biāo)的特征信息還是來(lái)源于背景環(huán)境信息，相應(yīng)的度函數(shù)[17]

式中：β為函數(shù)的中心，代表圖像的平均值；σ為函數(shù)寬度，代表圖像標(biāo)準(zhǔn)差。

在結(jié)果中，高頻率的分量主要映射圖像的要點(diǎn)，其中涵蓋了圖像紋路信息和邊緣特性，采用模值取大原則能大概率保留目標(biāo)的邊緣特點(diǎn)，這可以保留圖像清晰程度。高頻率分量

2.2 圖像融合算法

特殊波段描繪了礦下工人的制服在不同波長(zhǎng)下的不同反射信號(hào)。這些信號(hào)整體框架信息很明顯，但是比較模糊，并且細(xì)節(jié)差，利用能記下環(huán)境細(xì)節(jié)特點(diǎn)的可見光圖像，可以達(dá)到適合人眼視網(wǎng)膜識(shí)別觀察的目的。SSIM (Structural Similarity Index Measurement) 是用來(lái)描述兩幅圖像相似度的指標(biāo)[18]。在保持可見光圖像低頻分量空間對(duì)比度信息的基礎(chǔ)上，通過(guò)基于SSIM 和亮度差異性的稀疏表示，在最優(yōu)化情況下可注入更多 SAR 圖像結(jié)構(gòu)信息和亮度信息。

圖像融合流程如圖3 所示。圖像融合算法步驟如下：

圖3 圖像融合流程Fig.3 Image fusion process

(1) 選擇幾組 SAR 圖像與可見光圖像進(jìn)行融合；

(2) 對(duì)已采樣的 SAR 圖像與可見光圖像通過(guò) IHS和 NSST 進(jìn)行變換，生產(chǎn)相應(yīng)的高低頻率分量VH1,1，VH1,2，…，VH1,k、SH1,1，SH1,2，…，SH1,k、SL、VL；

(3)L通過(guò) SML 融合對(duì)高頻分量VH1,1，VH1,2，…，VH1,k和SH1,2，…，SH1,k操作，得到高頻融合分量FH，通過(guò) SSIM 和亮度差異性稀疏表示融合原則對(duì)低頻率分量操作得到低頻融合分量F；

(4) 通過(guò) NSST 和 IHS 逆變換將低頻融合分量FL和高頻融合分量FH進(jìn)行轉(zhuǎn)換[19]，最終生成 SAR 與可見光融合圖像。

將SAR 圖像和可見光圖像的低頻分量用滑動(dòng)窗口的方法劃分為的圖像塊。假設(shè)第p對(duì)圖像塊為 {x，y}，亮度l用圖像塊的灰度均值 {μx，μy} 來(lái)表示，對(duì)比度c為灰度的標(biāo)準(zhǔn)差 {σx，σy}，圖像的結(jié)構(gòu)記為s，圖像塊p與圖像的亮度l、對(duì)比度c以及結(jié)構(gòu)s之間的關(guān)系可表示為

每對(duì)圖像塊的亮度相似性信息定義為

Cl、Cs為無(wú)限接近于零的常數(shù)，以免出現(xiàn)分母為零的情況，即：

融合后，將列向量運(yùn)用字典轉(zhuǎn)換為圖像結(jié)構(gòu)列向量

將列向量全部轉(zhuǎn)換為圖像塊結(jié)構(gòu)信息和亮度，分別表示為sf、lf，再將之前提取出來(lái)的圖像低頻分量對(duì)比信息加入到圖像塊中，即可得到圖像塊低頻分量融合結(jié)果

在融合過(guò)程中，SAR 圖像結(jié)構(gòu)信息的加入程度由兩幅低頻分量結(jié)構(gòu)的相似性決定。SSIM 越大，則注入越多的 SAR 圖像信息，可以更好地保留圖像中的細(xì)節(jié)信息；SSIM 越小，則可以更多地保留可見光圖像的信息，即保留圖像的輪廓信息。同樣，SAR 圖像亮度信息的注入程度也是由亮度相似度決定的。亮度相似度越小，SAR 圖像亮度信息注入的越多，可以保留融合圖像中感興趣目標(biāo)區(qū)域的亮度；亮度相似度越大，則 SAR 圖像亮度信息注入越少，則可以保留更多的可見光圖像亮度信息。

圖像細(xì)節(jié)信息存在于變換域的高頻分量中，其本身具有良好的稀疏表示特性。與傳統(tǒng)的方差、拉普拉斯能量以及空間頻率相比，SML (Standardized Max Logits) 更注重局部圖像塊區(qū)域內(nèi)像素間的相互聯(lián)系[20]。定義I l,k(i，j) 為像素 (i，j) 在第l尺度第k方向上的系數(shù)。改進(jìn)的拉普拉斯能量 (ML) 和 SML 可定義為

變量A和B決定著窗口 (2A+B)×(2A+B) 的大小。

也就是進(jìn)行高頻分量比較時(shí)，選擇 SML 系數(shù)較大值作為融合圖像的系數(shù)。

3 試驗(yàn)結(jié)果與分析

試驗(yàn)過(guò)程在 PC 端進(jìn)行，計(jì)算機(jī)硬件為 Intel i7，Windows10 操作系統(tǒng)，使用 MatLab 語(yǔ)言進(jìn)行編碼。使用基于 IHS 與 NSST 的彩色低照度圖像融合算法與基于 IHS 變換、基于輪廓波變換、基于非下采樣輪廓變換的融合算法進(jìn)行對(duì)比試驗(yàn)。

3.1 試驗(yàn)評(píng)價(jià)

采用可見光作為參考圖像，使用相關(guān)系數(shù)(Correlation Coefficient，CC)、光譜角 (Spectral Angle Mapper，SAM)、相對(duì)整體誤差 (Relative Average Spectral，RAME)、相對(duì)平均光譜誤差 (Relative Average Spectral Error，RASE) 和通用質(zhì)量評(píng)價(jià)指標(biāo) (Universal Image Quality Index，UIQI)[21]對(duì)融合圖像的效果進(jìn)行客觀評(píng)價(jià)。其中，CC、SAM、RAME 評(píng)價(jià)融合圖像的光譜質(zhì)量，RASE、UIQI 從光譜質(zhì)量和空間細(xì)節(jié)信息整體上對(duì)融合圖像進(jìn)行評(píng)價(jià)。

3.2 試驗(yàn)結(jié)果

為驗(yàn)證基于 IHS 與 NSST 的彩色低照度圖像融合算法的有效性，采集了彩色低照度圖像來(lái)進(jìn)行試驗(yàn)，且彩色低照度圖像為井下工人工作時(shí)間獲得，背景主要是礦井采礦區(qū)，采樣結(jié)果如圖4 所示。

圖4 礦井采樣Fig.4 Mine sampling

對(duì)圖4 進(jìn)行基于 IHS 與 NSST 的彩色低照度圖像融合試驗(yàn)，圖像融合如圖5 所示。由圖5 可知，礦井工人的身體輪廓信息與周圍環(huán)境信息之間的對(duì)比效應(yīng)突出，工人制服信息保存紋理特性信號(hào)，具有較好的圖像融合效果。

圖5 圖像融合Fig.5 Image fusion

通過(guò)收集某個(gè)時(shí)刻各攝像機(jī)拍攝到的礦井采礦區(qū)圖像，運(yùn)用基于 IHS 與 NSST 的彩色低照度圖像融合算法，將圖像融合為具有礦工與背景對(duì)比突出特點(diǎn)的圖像，解決了由于礦井下圖像光線不足、拍攝設(shè)備不穩(wěn)定，導(dǎo)致圖像模糊、圖像受噪聲影響較大等問題，更加方便清晰地觀測(cè)到煤礦井下采礦區(qū)工作的具體情況。對(duì)照試驗(yàn)如圖6 所示。

圖6 對(duì)照試驗(yàn)Fig.6 Check experiment

從圖6 可以看出，基于 IHS 變換的方法相對(duì)基于輪廓變換、非下采樣輪廓變化的方法色彩較淺，在視覺效果上沒有圖6(d) 和圖6(e) 更好地保留頻譜信息。從全圖可以看出，筆者提出的方法在色彩保持和清晰度上都比其他方法較好。對(duì)照試驗(yàn)融合質(zhì)量評(píng)價(jià)如表1 所列。由表1 可知，基于 IHS 與 NSST 的圖像融合算法在各項(xiàng)指標(biāo)均優(yōu)于對(duì)照組其他方法，且最接近融合結(jié)果理想值，證明了該方法在融合結(jié)果上的有效性。

表1 對(duì)照試驗(yàn)融合質(zhì)量評(píng)價(jià)Tab.1 Evaluation of fusion quality in check experiment

4 結(jié)語(yǔ)

煤礦井下環(huán)境復(fù)雜、人員及設(shè)備繁雜，作為生產(chǎn)的一線，如何高效、準(zhǔn)確地保障工作人員的自身安全與企業(yè)生產(chǎn)安全，是一件責(zé)任重大且有意義的事。礦井彩色低照度圖像融合正是實(shí)現(xiàn)這一目的的重要技術(shù)手段，可以克服煤礦井下低照度對(duì)視頻和圖像數(shù)據(jù)的影響，提高生產(chǎn)安全性。筆者利用光譜波段不同，進(jìn)行信息互補(bǔ)，提出了基于 IHS 與 NSST 的礦井彩色低照度圖像融合算法來(lái)進(jìn)行工人檢測(cè)，低頻率分量采取自適應(yīng)模糊邏輯作為融合原則，高頻率分量則采取模值取大的原則將融合圖像的特征波段多級(jí)融合，增強(qiáng)了融合圖像的工人信息，增大了目標(biāo)與背景的對(duì)比度，提高了目標(biāo)的檢測(cè)精度，最終得到的圖像融合效果良好，具有較大的應(yīng)用價(jià)值。