郭昕剛,王宏志,王 宇
(1.長春工業(yè)大學計算機科學與工程學院,吉林 長春 130012;2.長春理工大學電子信息工程學院,吉林 長春 130022)
圖像融合是近年來圖像處理和機器視覺領域人們重點研究的一個方向。特別是在醫(yī)學領域,為了能讓醫(yī)生更直觀更準確地對病灶進行判斷和治療,往往需要將來自不同成像設備的醫(yī)學圖像進行綜合分析。而醫(yī)學影像的成像原理、影像特點等都各不相同,例如,CT的密度分辨率極高,圖像逼真清晰,解剖關系明確,對病變的定位和定性好,易于顯示腹內實質性臟器的組織結構,但是含有放射性,空間分辨率較差,曝光時間長,易產(chǎn)生偽影。而MRI對腦和軟組織成像分辨率極佳,多方位,多參數(shù)成像,具有流空效應,能對血管進行檢查,可進行形態(tài)學,組織化學和生物化學方面的研究,但是鈣化特征成像效果差,掃描信號采集時間長,危重癥病人不能進行檢查。通過對CT影像和MRI影像進行融合,為醫(yī)生提供了更直觀、更全面的生理信息,給病變的判斷和治療帶來了幫助。
小波變換是在傳統(tǒng)傅里葉分析的理論基礎之上發(fā)展起來的,它的應用十分廣泛,尤其是在圖像處理領域,小波變換實現(xiàn)了時域和頻域的相互轉化,利用多種運算工具,多尺度全方位的分析信號,獲取有用信息,作為一種極其有效的處理信號的工具,常被用于圖像融合。雖然小波變換的融合效果相對比較理想,但在融合的過程中仍存在一些問題,如二維離散小波變換在分解和重建信號時不具有平移不變性,導致在融合圖像的奇異處產(chǎn)生偽吉布斯現(xiàn)象,還有小波系數(shù)的選擇是否恰當?shù)葐栴}[1]??紤]到以上不足,本文基于平移不變小波變換,提出了新的融合規(guī)則,實驗結果表明,新方法能充分地保留圖像的邊緣和細節(jié)信息,融合效果更理想。
小波分解的Mallat算法存在下采樣環(huán)節(jié),不具備平移不變性,在融合結果中容易引入虛假信息,如振鈴和混疊效應。為了克服上述不足,文獻[2]提出平移不變離散小波變換(SIDWT)算法。以一維信號為例對其變換原理描述如下:
平移不變離散小波變換(SIDWT)的各個步驟都把原始數(shù)據(jù)變形,變成兩部分,小波序列wi(n)部分和尺度序列si(n)部分。
si(n)會被用于下一層分解的輸入信號,s0(n)=f(n),f(n)為輸入信號。在原始濾波器g(k)及h(k)的序列間加上一定的“0”值就獲得了第i層的高通濾波器g(2i·k)以及低通濾波器h(2i·k)。h(k)和g(k)的關系為
式中:H(z)是h(k)的z變換,G(z)是g(k)的z變換。這就是SIDWT的整個分解步驟。對比之前提到過的離散小波變換,因為沒有了下采樣,SIDWT具備平移不變性。二維圖像信號的分解可以通過連續(xù)進行一維分解,分別在圖像的行及列上來完成。圖1是一幅醫(yī)學圖像經(jīng)過二級SIDWT分解得到的各頻帶子圖像。
圖1 二層SIDWT分解各頻帶子圖像
由圖1可以看出,一幅圖像經(jīng)過N層SIDWT分解,可得到一個低頻子帶以及3N個高頻子帶,而且新得到的高低頻子帶圖像與原始圖像尺寸相同,可以減小配準誤差對融合結果的影響。
經(jīng)過SIDWT分解以后,需要對不同的頻帶設計融合規(guī)則進行融合。在結合小波相關理論的融合中,低頻部分代表了被測目標的絕大部分能量,更接近于被測目標的整體信息。所以低頻分量很大程度上關系到圖像質量的恢復情況[3]。由于圖像的局部特征往往不是由單個像素的變換系數(shù)所能表示的,所以采用基于窗口的融合規(guī)則。設低頻子帶中以某點(x,y)為中心的m ×n鄰域用I(x,y)表示,文獻[4]提出了一種基于區(qū)域對比度的圖像清晰度評價算法,本文基于其定義的區(qū)域對比度構造低頻子帶的融合規(guī)則。局部區(qū)域對比度定義為
式中:maxI(x,y)與 minI(x,y)分別代表某點 (x,y)的m×n鄰域內低頻系數(shù)的最大值和最小值。顯然鄰域局部對比度越大,中心像素點周圍灰度變化越劇烈。因此采用如下融合策略
式中:DA和DB分別表示在源圖像A和B的低頻子帶中以某點(x,y)為中心的局部區(qū)域對比度;LA,LB與LF分別表示源圖像A,B與融合圖像F的低頻子帶系數(shù)。
圖像融合就是從源圖像的高頻子帶中獲取最能代表圖像紋理細節(jié)的邊緣信息,小波變換的高頻系數(shù)的選擇對于保留圖像的邊緣特性有很重要的作用。高頻方向子帶中的顯著大系數(shù),對應源圖像中的強邊緣,強區(qū)域輪廓等,而較小的系數(shù)則對應源圖像中較為平滑的區(qū)域。為了更準確地突出圖像的邊緣紋理細節(jié)信息,去除冗余,將圖像劃分為邊緣區(qū)和平滑區(qū)兩部分,針對不同區(qū)域采取不同的融合策略。
小波變換后的高頻系數(shù)反映了圖像邊緣的變化與分布。設H(i,j)為圖像經(jīng)小波分解后的某高頻系數(shù)值。S為該高頻子帶系數(shù)的標準差。對相應高頻子帶系數(shù)進行二值化可得
若d(i,j)為“1”,則認為該系數(shù)是活躍的;為“0”,則是非活躍的[5]。邊緣區(qū)由于圖像灰度變化劇烈,則二值化后“1”的個數(shù)多;而平滑區(qū)由于圖像灰度變化平緩,則二值化后“1”的個數(shù)就遠少于邊緣區(qū)。因此對高頻子帶進行均勻分塊,每個高頻子塊有與之相對應的二值化高頻系數(shù)子陣??梢酝ㄟ^統(tǒng)計該子陣里“1”的個數(shù)之和來判斷該高頻子塊的區(qū)域屬性。用SIDWT對源圖像進行3層分解,分別得到3個水平方向的高頻子帶(HLi)、垂直方向的高頻子帶(LHi)和對角線方向的高頻子帶(HHi),i為分解層數(shù)。對所有各高頻子帶進行均勻分塊,分塊大小為m×n,定義各高頻子帶中第K個高頻子塊的平滑度Ck為
由于噪聲主要存在于HHi中,所以僅對HLi與LHi子帶進行統(tǒng)計,去除噪聲的影響。CHLik為第i層分解得到的HLi子帶中,第K個高頻子塊對應的二值化高頻系數(shù)子陣中“1”的個數(shù)之和。同理,CLHik為LHi子帶中第K個高頻子塊對應的二值化高頻系數(shù)子陣中“1”的個數(shù)之和。求出平滑度以后,設定閾值T,待融合的兩幅源圖像分別為A和B,具體融合方法如下:
1)如果CAK>T或者CBK>T,說明該高頻帶子塊對應著源圖像的邊緣區(qū)域,為了更加突出邊緣細節(jié)信息,采用系數(shù)極大值法進行融合。即
式中:Ak(i,j)與Bk(i,j)分別對應著兩幅源圖像在同一分解層的同一高頻方向子帶上,坐標位置(i,j)點處的系數(shù)值;Fk(i,j)表示融合后的高頻子帶系數(shù)值。
2)如果不滿足上述條件,則說明該高頻帶子塊對應著源圖像的平滑區(qū)域??紤]該區(qū)域像素的局部相關性,采用文獻[6]提出的基于局部信息熵的融合規(guī)則。對兩幅源圖像A和B的處于同一分解層上,相同方向高頻子帶中的第k個子塊,分別按照文獻[6]的公式求得各自的局部信息熵,記為HAk與HBk,然后按照下式進行融合。Ak,Bk與Fk分別代表源圖像A,B與融合圖像F相對應的高頻子帶中第k個子塊矩陣。
最后對融合后的高、低頻系數(shù)進行SIDWT逆變換,得到最終的融合圖像。
圖2與圖3是兩組已配準的顱腦部位的CT及MRI融合實驗圖像。圖a均為病人的原始CT圖,顯示了清晰的骨組織結構;圖b均為該病人的原始MRI圖,可以顯示清晰的軟組織;圖c均為低頻采用加權平均法,高頻采用本文融合規(guī)則得到的融合圖像(算法1);圖d均為低頻采用本文的融合規(guī)則,高頻采用局部區(qū)域能量最大融合規(guī)則得到的融合圖像(算法2);圖e為本文的融合方法得到的融合圖像。圖b與圖c均采用Daubechies小波系中的DB4小波基,三種方法對源圖像都進行三層分解。
目視結果可以看出,圖2與圖3中利用本文算法得到的融合圖像能夠同時清晰顯示顱腦的骨組織和軟組織,優(yōu)于其他兩種基于小波變換的傳統(tǒng)融合算法。采用圖像的熵、標準差、互信息[7]作為客觀評價指標對上述方法得到的融合圖像質量進行評價,見表1和表2。
圖3 第二組實驗圖像及融合結果
表1 第一組實驗圖像評價數(shù)據(jù)
表2 第二組實驗圖像評價數(shù)據(jù)
從上表可以看出,采用本文算法的算法熵、互信息和標準差都達到最大值,從客觀評價上證明了本文算法的融合質量最佳。
圖像融合在醫(yī)學圖像分析和診斷上具有重要的應用價值?;谄揭撇蛔冃〔ㄗ儞Q提出了一種新的圖像融合算法,克服了傳統(tǒng)小波變換不具備平移不變性導致融合圖像的失真。對低頻子帶采用局部區(qū)域對比度,盡可能多地保留了原始圖像的信息。對高頻子帶定義了平滑度,并利用平滑度把高頻子帶分割成不同的區(qū)域,針對不同區(qū)域采取不同的融合策略。該方案有效地保持了源圖像的邊緣及細節(jié)信息,去除了冗余。實驗結果表明,與傳統(tǒng)的小波變換融合算法相比,無論從主觀融合效果,還是客觀評價指標,該方法的圖像融合效果都優(yōu)于傳統(tǒng)的小波變換融合方法。
[1]王珂,歐陽寧.圖像融合技術及評價方法[J],電視技術,2007,31(1):20-23.
[2]ROCKINGER O.Pixel level fusion of image sequences using wavelet frames[C]//Proc.the 16th Leeds AnnualStatisticalResearch Workshop.Leeds,UK:Leeds University Press,1996:149-154.
[3]HALL D,LLINAS J.An introduction to multisensor data fusion[J].Proceedings of the IEEE,1997,85(1):6-23.
[4]張亞濤,吉書鵬,王強鋒,等.基于區(qū)域對比度的圖像清晰度評價算法[J],應用光學,2012,33(2):293-299.
[5]RAMOS M,HEMAMI S,TAMBURRO M..Psycbovisually-based multiresolution image segmentation[C]//Proc.IEEE Int.Conf.Image Processing 1997.Santa Barbara,CA:IEEE Press,l997:66-69.
[6]WAN T,CANAGARAJAH N,ACHIM A.Segmentation-driven image fusion based on alpha-stable modeling of wavelet coefficients[J].IEEE Trans.Multimedia,2009,11(4):624-633.
[7]QU G,ZHANG D,YAN P.Information measure for performance of image fusion[J].Electronics Letters,2002,38(7):313-315.