亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于非抽樣形態(tài)小波的圖像融合方法

        2023-10-18 13:32:22楊秀林秦國瑾
        科技創(chuàng)新與應(yīng)用 2023年29期
        關(guān)鍵詞:細(xì)節(jié)融合方法

        楊秀林,陳 曦,曹 科,秦國瑾

        (四川九洲北斗導(dǎo)航與位置服務(wù)有限公司技術(shù)中心,成都 610000)

        圖像融合是通過某種融合系統(tǒng),將2 個(gè)或多個(gè)互補(bǔ)的波段、傳感器的有用信息綜合成統(tǒng)一圖像或綜合圖像特征以供觀察或進(jìn)一步處理,達(dá)到對目標(biāo)或場景更為精確、全面的識別、分析和判決的圖像處理方法。

        目前圖像融合的熱點(diǎn)主要是基于多尺度變換的融合[1-3],其通過多尺度分解得到圖像的低頻信息,并提取圖像在多個(gè)尺度上的細(xì)節(jié)(高頻)信息。基于多尺度變換圖像融合主要是采用小波、超小波、形態(tài)小波等進(jìn)行變換,針對低頻信息、高頻信息表示的不同物理意義,分別進(jìn)行融合。

        目前,非抽樣形態(tài)小波在一維信號特征提取中很普遍,例如,文獻(xiàn)[4]將其用于主減速器振動(dòng)特征提取,文獻(xiàn)[5]將其用于輪對軸承復(fù)合故障信號檢測,文獻(xiàn)[6]結(jié)合形態(tài)非抽樣小波與DCT 高階奇異熵來提取液壓泵退化特征信號。近年來,基于非抽樣形態(tài)小波的圖像融合研究也取得了一定的研究成果,例如,文獻(xiàn)[7]將非抽樣形態(tài)小波變換應(yīng)用于圖像融合,并提出了將膨脹腐蝕的平均作為分析算子,但是顯著目標(biāo)附近出現(xiàn)了邊緣增厚的現(xiàn)象。文獻(xiàn)[8]提出了一種S-變換的非抽樣形態(tài)小波并用于多種類型的圖像融合,該形態(tài)小波是二維四通道的,通過增加通道和引入增強(qiáng)效果,提高圖像融合效果。非抽樣形態(tài)小波從一維信號特征提取拓展到圖像處理應(yīng)用,從雙通道拓展到多通道,特征提取能力逐步增強(qiáng)。

        1 相關(guān)研究

        1.1 形態(tài)學(xué)圖像處理

        在生物學(xué)中,形態(tài)學(xué)[9-10]常用來研究動(dòng)、植物形態(tài)和結(jié)構(gòu),已形成了一個(gè)較完善的學(xué)科;在數(shù)字圖像處理中,形態(tài)學(xué)被用來提取可表達(dá)某種區(qū)域形狀(連通分量、邊界、骨架等)的圖像分量。數(shù)學(xué)形態(tài)學(xué)中,圖像被看作是一個(gè)大的集合,圖像中不同的對象被看作是小的集合,形態(tài)學(xué)就是采用不同的形態(tài)算子提取對圖像處理有用的集合。

        膨脹和腐蝕在形態(tài)學(xué)中簡單而重要,因?yàn)槠渌乃阕佣际窃谄浠A(chǔ)上變化而來。設(shè)A和B是z2 中的集合,A被B膨脹定義為

        式中:先對B取補(bǔ)運(yùn)算,并保證B的補(bǔ)集中至少有一個(gè)值是屬于A的,以z進(jìn)行位移,所有位移后的值就是A被B膨脹的結(jié)果。B被稱為結(jié)構(gòu)元素,其尺寸與形狀具有重要的物理含義,可針對不同的圖像處理任務(wù)來選擇合適的結(jié)構(gòu)元素,常使用方形的結(jié)構(gòu)元素、圓盤的結(jié)構(gòu)元素和鉆石形的結(jié)構(gòu)元素等。集合B腐蝕集合A的定義為

        式中:點(diǎn)z是B中包含于A中的點(diǎn)之一,平移所有這樣的z點(diǎn)得到的值就是腐蝕的結(jié)果。A腐蝕B結(jié)果的補(bǔ)集等于A的補(bǔ)集膨脹B的反射,如下所示

        開運(yùn)算和閉運(yùn)算被膨脹運(yùn)算和腐蝕運(yùn)算的組合所定義。在處理過程中,圖像中的對象往往被膨脹運(yùn)算所擴(kuò)大,圖像中的對象往往被腐蝕運(yùn)算所侵蝕縮小。圖像中狹窄的間斷和細(xì)的突出物往往被開運(yùn)算所斷開和消除,所得的輪廓變得平滑;狹窄的間斷、細(xì)長的鴻溝、小的空洞往往會被閉運(yùn)算所消除,輪廓線中的斷裂往往會被閉運(yùn)算所填補(bǔ),輪廓線變得更加光滑。開運(yùn)算和閉運(yùn)算的結(jié)果都讓圖像的輪廓變得平滑,但意義和效果不一樣。開運(yùn)算定義為

        開運(yùn)算就是B先腐蝕后膨脹A,閉運(yùn)算就是B先膨脹后腐蝕A,閉運(yùn)算定義為

        與二值圖像處理相比,灰度圖像的處理更加普遍?,F(xiàn)在介紹灰度圖像的形態(tài)學(xué)處理。假設(shè)f(x,y)是輸入圖像,b(x,y)是結(jié)構(gòu)元素,它們都是離散的表達(dá)形式,圖像f的灰度級是整數(shù)且是以二維坐標(biāo)(x,y)的灰度值函數(shù)。結(jié)構(gòu)元素b膨脹灰度圖像f定義為

        Df是輸入圖像f的定義域,Db是結(jié)構(gòu)元素b的定義域。位移量x和y必須在結(jié)構(gòu)元素b的定義域內(nèi),(s-x)和(t-y)必須在f的定義域內(nèi)?;叶扰蛎浭褂米畲笾颠\(yùn)算來取代二維卷積的求和運(yùn)算,使用加法運(yùn)算來取代二維卷積的乘積運(yùn)算?;叶雀g定義為

        類似地,位移量x和y必須在b的定義域內(nèi),(s+x)和(t+y)必須在f的定義域內(nèi)?;叶雀g使用“最小值”運(yùn)算來替代灰度膨脹的“最大值”運(yùn)算,使用減法運(yùn)算來替代加法運(yùn)算?;叶扰蛎浐透g比二維卷積運(yùn)算計(jì)算速度快?;叶葓D像的膨脹運(yùn)算和腐蝕運(yùn)算也是關(guān)于函數(shù)求補(bǔ)和映射相關(guān)相互對偶的。

        灰度開運(yùn)算定義為

        灰度閉運(yùn)算定義為

        灰度開運(yùn)算和閉運(yùn)算同樣是關(guān)于函數(shù)求補(bǔ)和映射相關(guān)對偶的,關(guān)系為

        圖像處理中,灰度開運(yùn)算先灰度腐蝕后灰度膨脹,灰度腐蝕去除了微小的圖像細(xì)節(jié)使其有所變暗;灰度膨脹使圖像整體亮度增強(qiáng),但是灰度腐蝕去除的細(xì)節(jié)不被再引入了?;叶乳]運(yùn)算先灰度膨脹后灰度腐蝕,灰度膨脹去除了圖像中的暗細(xì)節(jié)并使其亮度增強(qiáng);灰度腐蝕不會使去除的信息再引入?;叶乳_運(yùn)算常用來去除小而亮的圖像細(xì)節(jié)并保持整體灰度級和明亮區(qū)域相對不變?;叶乳]運(yùn)算常用來去除圖像中較小而暗的細(xì)節(jié)并保持明亮部分相對不變。

        1.2 高帽變換

        1.1 節(jié)中依次介紹了二值形態(tài)學(xué)、灰度形態(tài)學(xué)的基本操作:膨脹、腐蝕、開運(yùn)算和閉運(yùn)算。開運(yùn)算和閉運(yùn)算被膨脹和腐蝕的組合操作所定義,高帽變換被開運(yùn)算和閉運(yùn)算所定義。高帽(Top Hat) 變換包括白帽(White Hat)變換和黑帽(Black Hat)變換。假設(shè)灰度圖像和結(jié)構(gòu)元素分別為A和B,白帽變換和黑帽變換定義為

        由式(11)、(12)可以看出,白帽變換是由原圖與經(jīng)過開運(yùn)算結(jié)果的差值運(yùn)算得來的,黑帽變換是由原圖與經(jīng)過閉運(yùn)算結(jié)果的差值運(yùn)算得來的。開運(yùn)算或閉運(yùn)算不具有自對偶性。開運(yùn)算可以平滑圖像亮的特征,因此,白帽變換可以提取圖像的亮細(xì)節(jié)(尖峰信號)[11];閉運(yùn)算可以平滑圖像暗的特征,因此,黑帽變換可以提取圖像的暗細(xì)節(jié)(低谷信號)[11]。如果在圖像處理中同時(shí)采用白帽變換和黑帽變換來提取不同的細(xì)節(jié)信號、進(jìn)行分別的處理,那么通過互補(bǔ)原理就可以對信號進(jìn)行更好的分析。

        1.3 非抽樣形態(tài)小波的一般框架

        與線性尺度空間相比,非線性尺度空間能更好地描述圖像的性質(zhì),圖像被多尺度分解后依然能更好地保持邊緣等重要的物理特性。形態(tài)小波應(yīng)用于圖像融合雖然具有非線性、計(jì)算實(shí)現(xiàn)簡單的優(yōu)點(diǎn),但是下采樣會產(chǎn)生吉布斯效應(yīng),通常只分解1 層,分解2 層以上均不能取得好地融合效果。文獻(xiàn)[12]提出了一種構(gòu)造非抽樣形態(tài)小波的基本方法并定義為

        式中:id為等同算子,φj為第j個(gè)尺度上的尺度分析算子,ωj是第j個(gè)尺度的細(xì)節(jié)分析算子;ψj是第j個(gè)尺度上的綜合算子。使用T()來表示形態(tài)學(xué)算子,可根據(jù)實(shí)際需求選擇基本算子或組合使用某些算子。在這個(gè)框架下,研究者提出了多種非抽樣形態(tài)小波的構(gòu)造方法,例如,文獻(xiàn)[4]在主減速器振動(dòng)特征提取過程中,采用開閉級聯(lián)的分析算子來構(gòu)造UMW,分析算子為

        式中:n為信號分解的尺度,尺度j+1 上的低頻信號yj+1 等于分別對尺度j上的信號xj進(jìn)行開運(yùn)算和閉運(yùn)算所得結(jié)果的平均,尺度j+1 上的細(xì)節(jié)信號yj+1等于xj與xj+1兩者之差。由于開運(yùn)算和閉運(yùn)算具有冪等性,研究中采用了大小隨尺度遞增的結(jié)構(gòu)元素,Bn的定義為

        文獻(xiàn)[8]提出了采用膨脹與腐蝕的平均作為分析算子,記為DE-UMW,并用于圖像融合,獲得了不錯(cuò)的融合效果,如式(16)所示

        式中:n為信號分解的尺度,尺度j+1 上的低頻信號xj+1等于分別對尺度j上的信號xj進(jìn)行膨脹和腐蝕所得結(jié)果的平均,尺度j+1 上的細(xì)節(jié)信號yj+1等于xj與xj+1兩者之差。為了增大尺度之間的差異性,該文中也采用了大小隨尺度遞增的結(jié)構(gòu)元素。由上面的討論可以知道,非抽樣形態(tài)小波的框架比較簡單,有優(yōu)良的尺度特性和非??斓姆纸夂椭貥?gòu)速度,在圖像融合方面具有潛在的優(yōu)勢。

        2 基于非抽樣形態(tài)小波的圖像融合方法

        2.1 三通道的形態(tài)非抽樣小波

        由前面的知識可以知道,UMW 實(shí)際上是用數(shù)學(xué)形態(tài)學(xué)算子構(gòu)成的非線性濾波器T()來替代不可分離àtrous小波變換中的低通濾波器hi,和àtrous 小波一樣是二維雙通道的。UMW 變換和反變換的流程圖如圖1 所示。

        圖1 UMW 變換與反變換過程

        在圖像融合中,采用DE-UMW 取得的融合效果較好,但是其不能很好地滿足形態(tài)學(xué)尺度空間的局部極值保持和縮減的空間屬性[8]。本文仔細(xì)分析了UMW 的表達(dá)形式,從另外一個(gè)角度來構(gòu)造新的UMW。DEUMW 方法采用腐蝕與膨脹的平均作為UMW 的分析算子,如公式(17)—(19)所示。

        公式(17)表示尺度j+1 上的低頻圖像,式(18)表示尺度j+1 上的細(xì)節(jié)圖像,式(19)表示由低頻圖像和細(xì)節(jié)圖像重構(gòu)回上一個(gè)尺度的圖像??梢钥闯?,細(xì)節(jié)圖像中的系數(shù)相當(dāng)于某種意義上的梯度算子,即一種導(dǎo)數(shù)方向可以自適應(yīng)改變的二階導(dǎo)數(shù)。這種自適應(yīng)改變的梯度使輸入圖像中灰度級的階躍變得更為劇烈,這與提高融合圖像與源圖像的相似程度是不相符的。因此,本節(jié)將細(xì)節(jié)信號中的二階梯度進(jìn)行拆分,分解為2 個(gè)一階的梯度,該方法記為DE-3CUMW,如公式(20)—(23)所示。

        式中:低頻圖像較DE-UMW 方法沒有任何改變,如公式(20)所示。細(xì)節(jié)信號分解為某種程度上的一階梯度的形式,如公式(21)、(22)所示。顯然,一階梯度不會使輸入圖像的灰度階躍像二階梯度那樣劇烈。公式(23)將低頻圖像和細(xì)節(jié)圖像重構(gòu)回上一個(gè)尺度的圖像。

        本節(jié)給出了3CUMW 分解與重構(gòu)過程如圖2 所示,采用了3 個(gè)分析濾波器T、T1 和T2,增加了1 個(gè)通道的存儲空間,且較UMW 方法增加了1 次加法、1 次減法和1 次除法運(yùn)算。

        圖2 三通道的非抽樣形態(tài)小波變換分解與重構(gòu)過程

        如果采用開閉運(yùn)算的平均作為非抽樣形態(tài)小波的分析算子,記為OC-UMW,將其拓展為三通道的非抽樣形態(tài)小波,記為OC-3CUMW,如公式(24)—(27)所示。

        注意,公式(25)是多尺度白帽變換,公式(26)是多尺度黑帽變換。同樣,低頻圖像和原來一樣。細(xì)節(jié)圖像分解為2 個(gè)細(xì)節(jié)圖像:由白帽變換提取的亮細(xì)節(jié)(尖峰信號)圖像;由黑帽變換提取的暗細(xì)節(jié)(低谷信號)圖像。細(xì)節(jié)圖像中既有亮細(xì)節(jié)又有暗細(xì)節(jié),在融合時(shí)就更有針對性了。因?yàn)榻Y(jié)構(gòu)元素對增強(qiáng)陰影的細(xì)節(jié)很有用處[10],所以O(shè)C-3CUMW 采用圓形的結(jié)構(gòu)元素。

        2.2 實(shí)驗(yàn)步驟

        本節(jié)將DE-3CUMW 和OC-3CUMW 兩種方法應(yīng)用于圖像融合,并與DE-UMW 和OC-UMW 進(jìn)行對比,使用1 組紅外線和微光圖像,1 組多聚焦圖像和1組不同季節(jié)的遙感圖像進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)過程如下:第一步分解源圖像,得到相應(yīng)的低頻圖像和各個(gè)尺度上的細(xì)節(jié)圖像;第二步融合系數(shù),將分解所得的低頻加權(quán)平均,所得的高頻選擇絕對值較大的系數(shù);第三步反變換,將融合后的低頻系數(shù)與高頻系數(shù)進(jìn)行UMW 反變換以獲得融合圖像。為了進(jìn)行公平的比較,除3CUMW 分解2 層外,各種方法都采用5 層分解;OC-3CUMW 使用圓形的結(jié)構(gòu)元素,其他方法使用方形的結(jié)構(gòu)元素,所有的結(jié)構(gòu)元素遞增以增加各個(gè)尺度之間的差異。

        3 實(shí)驗(yàn)及分析

        本節(jié)使用信息熵EN、互信息MI、平均梯度AvG、邊緣保持度Qabf 和結(jié)構(gòu)相似度SSIM[9]等客觀指標(biāo)來評價(jià)融合圖像。

        3.1 紅外可見光圖像融合

        本節(jié)使用一組像素為632×496 的紅外和可見光圖像,源圖像和各方法的融合結(jié)果如圖3 所示。圖3(a)是紅外圖像,圖3(b)是可見光圖像。圖3(c)中的顯著目標(biāo)出現(xiàn)了邊緣增厚的現(xiàn)象,圖3(d)情況類似;圖3(f)較圖3(e)更清晰,視覺效果更好。

        圖3 紅外可見光圖像融合結(jié)果

        與各方法的融合結(jié)果相對應(yīng)的評價(jià)指標(biāo)見表1。

        表1 紅外與可見光圖像的融合客觀評價(jià)指標(biāo)

        計(jì)算表1 所得的數(shù)據(jù)發(fā)現(xiàn),DE-3CUMW 比DEUMW 的平均梯度下降13.7%,信息熵增加了,度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。較OCUMW 方法,OC-3CUMW 方法的融合圖像平均梯度降低了4%,信息熵有所增加,度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。DE-3CUMW 方法有3 個(gè)指標(biāo)優(yōu)于OC-3CUMW,但存在邊緣增厚的現(xiàn)象。綜上所述,OC-3CUMW 的融合效果綜合評價(jià)更好。

        3.2 多聚焦圖像融合

        本節(jié)使用一組像素為512×512 的多聚焦圖像,源圖像和各方法的融合結(jié)果如圖4 所示,圖4(a)是左聚焦圖像,圖3(b)是右聚焦圖像。圖4(c)中的顯著目標(biāo)出現(xiàn)了邊緣增厚的現(xiàn)象,圖4(d)情況類似;圖4(f)較圖3(e)更清晰,視覺效果更好。

        圖4 多聚焦圖像的融合結(jié)果

        與各方法的融合結(jié)果相對應(yīng)的評價(jià)指標(biāo)見表2。

        表2 多聚焦圖像的融合客觀評價(jià)指標(biāo)

        同樣,由表2 的數(shù)據(jù)計(jì)算,DE-3CUMW 比DEUMW 的平均梯度降低了12%,信息熵有所降低,度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。較OCUMW 方法,OC-3CUMW 方法的融合圖像平均梯度降低了5.8%,信息熵有所降低,度量圖像相似度的MI、Qabf 和SSIM 相應(yīng)增加了。OC-3CUMW 方法有4 個(gè)指標(biāo)優(yōu)于DE-3CUMW,OC-3CUMW 的融合效果綜合評價(jià)最好。

        3.3 遙感圖像融合

        本節(jié)使用一組像素為512×512 的某地區(qū)不同季節(jié)的遙感圖像,源圖像和各方法的融合結(jié)果相應(yīng)的評價(jià)指標(biāo)見表3,而融合結(jié)果如圖5 所示。

        表3 遙感圖像的融合客觀評價(jià)指標(biāo)

        圖5 遙感圖像的融合結(jié)果

        類似地,由表3 可以看出,3CUMW 方法的融合圖像平均梯度比UMW 方法相應(yīng)減少了,信息熵有所增加,度量圖像相似度的MI、Qabf、SSIM 相應(yīng)增加了。OC-3CUMW 方法有5 個(gè)指標(biāo)優(yōu)于DE-3CUMW,OC-3CUMW 的融合效果綜合評價(jià)最好。

        綜上所述,DE-3CUMW 與DE-UMW 進(jìn)行比較,OC-3CUMW 與OC-UMW 進(jìn)行比較得出以下結(jié)論:①由于通道的擴(kuò)展,需要的存儲空間增多;②DE-3CUMW 將二階的細(xì)節(jié)形式拆為2 個(gè)一階的形式,降低了融合圖像的平均梯度;③融合圖像與源圖像更加相似且融合效果更佳;④OC-3CUMW 的融合效果最好;⑤三通道的非抽樣形態(tài)小波適合多種類型的圖像融合應(yīng)用,且計(jì)算簡單可以用于實(shí)時(shí)圖像融合。

        4 結(jié)束語

        本文提出一種三通道的非抽樣形態(tài)小波的構(gòu)造方法,并應(yīng)用于圖像融合。通過紅外與可見光圖像、多聚焦圖像、遙感圖像的圖像融合實(shí)驗(yàn),證明了該方法的有效性。目前,低頻信息融合、高頻信息融合采用取均值的方法,研究基于三通道非抽樣形態(tài)小波變換下低頻信息、高頻信息的融合策略將是下一步目標(biāo)。

        猜你喜歡
        細(xì)節(jié)融合方法
        村企黨建聯(lián)建融合共贏
        融合菜
        從創(chuàng)新出發(fā),與高考數(shù)列相遇、融合
        以細(xì)節(jié)取勝 Cambridge Audio AXR100/ FOCAL ARIA 906
        《融合》
        留心細(xì)節(jié)處處美——《收集東·收集西》
        細(xì)節(jié)取勝
        Coco薇(2016年10期)2016-11-29 19:59:58
        可能是方法不對
        用對方法才能瘦
        Coco薇(2016年2期)2016-03-22 02:42:52
        四大方法 教你不再“坐以待病”!
        Coco薇(2015年1期)2015-08-13 02:47:34
        狼人伊人影院在线观看国产| 亚洲VA中文字幕欧美VA丝袜| 国产男女乱婬真视频免费| 久久精品国产自产对白一区| 日韩精品人妻中文字幕有码| 真人与拘做受免费视频| 午夜亚洲AV成人无码国产| 玩弄丝袜美腿超短裙校花| 亚洲中文字幕舔尻av网站| 亚洲av无码xxx麻豆艾秋| 曰韩精品无码一区二区三区| av手机天堂在线观看| 日日碰日日摸日日澡视频播放 | 国产h视频在线观看网站免费| 精品蜜桃av免费观看| 在线观看老湿视频福利| 色窝窝免费播放视频在线| 午夜无码片在线观看影院y| 亚洲男人的天堂av一区| 亚洲国产成人av在线观看| 国产精品麻豆最新AV| 日本高清视频在线一区二区三区| 在线视频中文字幕一区二区三区| 亚洲精品熟女国产| 中文人妻无码一区二区三区信息| 日本中文字幕人妻精品| 久久久久99人妻一区二区三区| 丰满人妻在公车被猛烈进入电影| 欧美黑人xxxx性高清版| 国产精品亚洲一区二区三区在线 | 精品国产自在现线看久久| 国产女主播精品大秀系列| 成年女人A级毛片免| 人妻1024手机看片你懂的| 艳妇臀荡乳欲伦交换h在线观看 | 日本高清视频永久网站www | av成人一区二区三区| 一本一道久久综合久久| 国产精品玖玖玖在线资源| 国产美女高潮流白浆视频| 国产精品无码无在线观看|