胡俊峰 唐鶴云 錢建生2（徐州醫(yī)學(xué)院醫(yī)學(xué)影像學(xué)院，徐州 22006）

2（中國礦業(yè)大學(xué)信息與電氣工程學(xué)院，徐州 221008）

引言

醫(yī)學(xué)成像已經(jīng)成為現(xiàn)代醫(yī)療不可或缺的一部分，但不同模態(tài)的醫(yī)學(xué)圖像有各自的優(yōu)缺點(diǎn)，如果通過圖像融合技術(shù)將不同成像方式的互補(bǔ)信息綜合在一起，就能為醫(yī)學(xué)診斷和治療提供更加充分有效的信息依據(jù)［1－3］。如何將這些表現(xiàn)細(xì)節(jié)信息不同的圖像數(shù)據(jù)轉(zhuǎn)化為更豐富和清晰的信息，就成為醫(yī)學(xué)圖像融合所要解決的關(guān)鍵問題。醫(yī)學(xué)圖像融合不僅廣泛用于疾病診斷，而且在外科手術(shù)和放射治療等的計(jì)劃設(shè)計(jì)、方案實(shí)施以及療效評估方面發(fā)揮著重要作用。

醫(yī)學(xué)圖像在 PACS中以 DICOM［4］格式存儲(chǔ)，DICOM是PACS系統(tǒng)進(jìn)行圖像存檔與通信的國際標(biāo)準(zhǔn)。由于DICOM格式包含有病人的各種文字資料信息，因此在圖像后處理過程中必須轉(zhuǎn)化為各種常用格式如 BMP、JPG、PNG 等［5］，而圖像以哪種格式參與醫(yī)學(xué)圖像融合具有最佳性能，目前很少有報(bào)道。本課題以常用的醫(yī)學(xué)灰度圖像的 BMP、JPG、PNG格式為研究對象進(jìn)行融合性能研究，得出了這些格式在圖像融合中的不同特性，對圖像融合及圖像后處理技術(shù)中圖像格式的選取具有較強(qiáng)的指導(dǎo)意義。

1 圖像融合分析方法

1.1 常用圖像格式比較

1.1.1 BMP格式

BMP是英文 bitmap（位圖）的簡寫，它是Windows操作系統(tǒng)中的標(biāo)準(zhǔn)圖像文件格式，能夠被多種Windows應(yīng)用程序所支持。隨著 Windows操作系統(tǒng)的流行與豐富的Windows應(yīng)用程序的開發(fā)，BMP位圖格式理所當(dāng)然地被廣泛應(yīng)用。這種格式的特點(diǎn)是包含的圖像信息較豐富，幾乎不進(jìn)行壓縮，但由此導(dǎo)致了它與生俱來的缺點(diǎn)，即占用磁盤空間過大。

1.1.2 JPEG格式

JPEG也是常見的一種圖像格式，它由聯(lián)合照片專家組（Joint Photographic Experts Group）開發(fā)。JPEG文件的擴(kuò)展名為.jpg或.jpeg，其壓縮技術(shù)是用有損壓縮方式去除冗余的圖像和彩色數(shù)據(jù)，在獲取極高壓縮率的同時(shí)，能展現(xiàn)十分豐富生動(dòng)的圖像，換句話說，就是可以用最少的磁盤空間得到較好的圖像質(zhì)量。由于JPEG格式是采用平衡像素之間的亮度色彩來壓縮的，因而更有利于表現(xiàn)帶有漸變色彩且沒有清晰輪廓的圖像。

1.1.3 PNG格式

PNG（portable network graphics）是一種新興的網(wǎng)絡(luò)圖像格式，1996年10月1日由PNG向國際網(wǎng)絡(luò)聯(lián)盟提出，并得到推薦認(rèn)可。首先，PNG是目前最不失真的格式，它汲取了 GIF和 JPG二者的優(yōu)點(diǎn)，存儲(chǔ)形式豐富，兼有GIF和JPG的色彩模式；其次，PNG能把圖像文件壓縮到極限以利于網(wǎng)絡(luò)傳輸，但又能保留所有與圖像品質(zhì)有關(guān)的信息，因?yàn)镻NG采用無損壓縮方式來減少文件的大小，這一點(diǎn)與犧牲圖像品質(zhì)以換取高壓縮率的 JPG有所不同；第三，PNG的顯示速度很快，只需下載1/64的圖像信息就可以顯示出低分辨率的預(yù)覽圖像，現(xiàn)在越來越多的軟件開始支持這一格式。

3種圖像格式的字節(jié)大小有明顯區(qū)別：以大小為256像素 ×256像素的 CT圖像為例，BMP、JPG和PNG 3種格式圖像的大小分別為193 KB、5 KB和21 KB。

1.2 融合規(guī)則的選擇

1.2.1 基于小波變換的融合規(guī)則

目前，在國內(nèi)外常見的醫(yī)學(xué)圖像融合技術(shù)中，基于小波變換的多分辨率融合算法被公認(rèn)為效果最好［6－7］。小波變換是圖像的多尺度、多分辨率分解，它可以聚焦到圖像的任意細(xì)節(jié)，被稱為數(shù)學(xué)上的顯微鏡。

圖1 小波分解融合過程Fig.1 Schematic diagram of wavelet fusion

1）小波變換的基本步驟。小波變換是空間和頻率的局部轉(zhuǎn)換，能有效地從圖像中提取信息，達(dá)到高頻處時(shí)間細(xì)分、低頻處頻率細(xì)分，其分解過程如圖1所示。利用小波變換進(jìn)行圖像融合有3個(gè)基本步驟。步驟1：將待融合的原始圖像進(jìn)行N層小波分解，得到3N個(gè)位于不同尺度的、具有不同空間分辨率和頻率特性的高頻子圖像，1個(gè)位于最高層（N層）的低頻子圖像。

步驟2：對兩幅圖像所對應(yīng)分解層的不同頻率分量進(jìn)行融合，得到融合后的3N個(gè)高頻子圖像和1個(gè)低頻子圖像。由于低頻區(qū)域和高頻區(qū)域所代表的意義不同，相應(yīng)地所采用的融合算法（融合規(guī)則）也不同。

步驟3：將融合后的子圖像重構(gòu)（小波逆變換），得到融合后的融合結(jié)果圖像。

常用的像素級小波融合方法有：小波加權(quán)法、小波最大值法、區(qū)域能量法。

2）小波基的選取。基于小波變換的多分辨率圖像融合以圖像小波變換后各尺度的小波系數(shù)為基礎(chǔ)，而小波基的選取又在一定程度上影響著小波系數(shù)的分布，因此小波基的好壞直接影響到融合的效果［8］。小波基的選擇需要注意4個(gè)方面的因素：小波基的正交性、緊支性、對稱性和規(guī)則性。其中，以 Harr、Bior、Db小波基最為常用。

1.2.2 NSCT變換

無下采樣Contourlet變換（nonsubsampled contourlet transform，NSCT）是基于 Contourlet變換的一種擴(kuò)展［9］，可以對圖像進(jìn)行靈活的多尺度、多方向和平移不變性分解，是目前圖像融合研究的熱點(diǎn)［10］。為了使融合結(jié)果更具有可比性，筆者采用基于小波變換和基于NSCT變換的圖像融合方法進(jìn)行了對比融合實(shí)驗(yàn)。NSCT變換采用“9-7”金字塔濾波器，其原因是線性相位且近似地滿足正交性的特點(diǎn)，使得“9-7”濾波器更適合于圖像信號的處理。采用改進(jìn)的加權(quán)平均法，高頻分量采用系數(shù)絕對值最大法的融合規(guī)則進(jìn)行融合處理，最后重構(gòu)得到融合圖像。

1.3 圖像融合質(zhì)量評價(jià)

圖像質(zhì)量的評價(jià)方法原則上可以分為主觀評價(jià)方法和客觀評價(jià)方法兩類，后者是當(dāng)前的研究重點(diǎn)［11－12］。圖像質(zhì)量客觀評價(jià)方法的共同點(diǎn)是用物理方法對圖像的物理特性進(jìn)行度量，將度量值與規(guī)定標(biāo)準(zhǔn)進(jìn)行比較；特點(diǎn)是利用數(shù)字模型來度量圖像質(zhì)量，計(jì)算速度快、穩(wěn)定，不會(huì)因人而異、因時(shí)而異，易于量化和比較研究等。

常用的客觀評價(jià)標(biāo)準(zhǔn)有圖像均值、標(biāo)準(zhǔn)差、信息熵、交叉熵、平均梯度、空間分辨率等。圖像均值是像素的灰度平均值，對人眼反映為平均亮度。標(biāo)準(zhǔn)差反映了圖像灰度相對于灰度平均值的離散情況；標(biāo)準(zhǔn)差大，則圖像灰度級分布分散，圖像的反差大，可以看出更多的信息；標(biāo)準(zhǔn)差小，則圖像反差小，對比度不大，色調(diào)單一、均勻，看不出太多的信息。信息熵是衡量圖像信息豐富程度的一個(gè)重要指標(biāo)，熵值的大小表示圖像所包含的平均信息量的多少。如果融合圖像的熵增大，表示融合圖像的信息量增加，融合圖像所包含的信息就越豐富，融合質(zhì)量越好。交叉熵也稱相對熵，是評價(jià)兩幅圖像差別的重要指標(biāo)，直接反映兩幅圖像灰度分布信息的差異。交叉熵越小，說明融合圖像從源圖像提取的信息量越多，融合后圖像與標(biāo)準(zhǔn)參考圖像間的差異越小，融合效果越好。平均梯度具有敏感地反映圖像中微小細(xì)節(jié)的能力，同時(shí)還可以反映出圖像中的紋理變換特征，可以用來評價(jià)圖像的清晰度?？臻g頻率反映一幅圖像空間的總體活躍程度。

1.4 融合實(shí)驗(yàn)步驟

步驟1：選取配準(zhǔn)后的醫(yī)學(xué)CT、MRI灰度圖像，大小為256像素 ×256像素，以常用的 BMP、JPG、PNG圖像格式采用線性組合的6種方式，Db3小波基，3層分解，融合系數(shù)最大，進(jìn)行小波融合實(shí)驗(yàn)。

步驟2：選用其他小波基進(jìn)行融合，如Harr、Bior以及NSCT，對步驟1的結(jié)果進(jìn)行驗(yàn)證。

步驟3：對 BMP、JPG、PNG格式參與圖像融合的運(yùn)行時(shí)間進(jìn)行對比實(shí)驗(yàn)。

1.5 運(yùn)行時(shí)間比較

在各種圖像格式的融合過程中，融合時(shí)間反映了圖像融合運(yùn)行所耗CPU的時(shí)間。利用Db3小波融合進(jìn)行各種圖像融合時(shí)間計(jì)算，方法是在各種圖像格式融合時(shí)都連續(xù)運(yùn)行7次，最終統(tǒng)計(jì)時(shí)去掉1個(gè)最高和1個(gè)最低，然后總和取平均。運(yùn)行平臺(tái)：Mobile AMD SempronTMProcessor 3200+1.6 GHz 521MB內(nèi)存，Matlab7.01仿真。

2 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)和文獻(xiàn)證明，小波變換中Db3小波基、3層分解、融合系數(shù)最大具有較好的融合表現(xiàn)［13］，圖2為文中1.4節(jié)中步驟1實(shí)驗(yàn)的融合結(jié)果。

實(shí)驗(yàn)結(jié)果采用客觀評價(jià)標(biāo)準(zhǔn)進(jìn)行評價(jià)，選取圖像標(biāo)準(zhǔn)差、信息熵、交叉熵、平均梯度、空間頻率作為衡量標(biāo)準(zhǔn)，表1給出了各種圖像格式小波變換的融合結(jié)果?？梢钥闯觯篔PG格式融合結(jié)果的標(biāo)準(zhǔn)差、平均梯度、空間頻率都小，說明融合圖像對比度小、細(xì)節(jié)反映度不高；而交叉熵大，說明融合圖像灰度差異大。結(jié)果表明：圖像以 BMP、PNG格式融合效果的多項(xiàng)指標(biāo)都優(yōu)于JPG格式融合結(jié)果，而BMP、PNG格式融合效果以及各種圖像格式交叉融合結(jié)果是一樣的。

圖2 小波圖像融合效果。（a）CT圖像；（b）MRI圖像；（c）BMP圖像格式小波融合后的圖像；（d）JPG格式小波融合結(jié)果；（e）PNG格式小波融合結(jié)果Fig.2 Wavelet image fusion results.（a）CT image；（b）MRI image；（c）wavelet fusion image of BMP；（d）wavelet fusion image of JPG；（e）wavelet fusion image of PNG

表1 不同圖像格式小波融合性能指標(biāo)比較Tab.1 Comparison of wavelet fusion results of image formats

為了使融合結(jié)果更具有可比性，本研究同時(shí)采用基于小波變換的 Harr、Bior小波基和基于 NSCT變換的圖像融合方法進(jìn)行了對比融合實(shí)驗(yàn)。表2為文中2.1節(jié)步驟2實(shí)驗(yàn)中 Harr4、Bi97、NSCT9-7的融合結(jié)果。評價(jià)方法仍然采用客觀評價(jià)進(jìn)行評價(jià)，結(jié)果顯示JPG格式融合結(jié)果圖像的標(biāo)準(zhǔn)差、空間頻率小，交叉熵大，說明融合圖像對比度小、細(xì)節(jié)反映度不高、灰度差異大；BMP、PNG格式融合效果一樣，優(yōu)于JPG格式融合結(jié)果。

表2 3種圖像融合方法的性能指標(biāo)比較Tab.2 Comparison of three image fusion methods

運(yùn)行時(shí)間比較結(jié)果見表3，顯示 BMP耗時(shí)最多，JPG次之，PNG最少。

表3 不同圖像格式小波融合CPU運(yùn)行時(shí)間（s）比較Tab.3 Comparison of the CPU time（s）of image formats based on wavelet fusion

5 結(jié)論

選用常用的 BMP、JPG、PNG圖像格式進(jìn)行融合，在融合過程中表現(xiàn)了統(tǒng)一的特性，即BMP、PNG格式融合效果一樣，優(yōu)于JPG格式融合結(jié)果；而運(yùn)行時(shí)間PNG格式最短，所占字節(jié)大小適中。PNG格式圖像無論在融合效果、融合時(shí)間還是存儲(chǔ)字節(jié)都表現(xiàn)了最好的特性，可作為醫(yī)學(xué)圖像融合等后處理技術(shù)中的首要選擇。

［1］Matsopouios GK， Marshall S， Brunt J.Multi-resolution morpholo-gical fusion of MR and CT images of the human brain［J］.IEEE Trans-actions on image and signal Processing，1994，141（3）：137-142.

［2］Wang A，Sun Haijing，Guan Yueyang.The application of wavelet transform to multi-modality medical image fusion［A］.In： Proceedings of IEEE international Conference on Networking，Sensing and Control.Chicago，USA：IEEE，2006.270-274.

［3］張涇周，李婷，吳疆.醫(yī)學(xué)圖像的小波變換融合算法研究［J］.中國生物醫(yī)學(xué)工程學(xué)報(bào)，2008，27（4）：521-525.

［4］National Electrical Manufacturers Association（NEMA）.Digital Imag-ing and Communications in Medicine DICOM），draft standard 2003［EB/OL］.http：//medical.nema.org/dicom/2003.html.2003-09-15.

［5］聶代偉，唐治德，趙一凡等.靜態(tài)DICOM醫(yī)學(xué)圖像與常規(guī)圖像格式的相互轉(zhuǎn)換［J］.重慶大學(xué)學(xué)報(bào)，2004，27（10）：89-92.

［6］Jian Muwei，Dong Junyu，Zhang Yang.Image Fusion Based on Wavelet Transform ［A］.In：Proceedings of the 8thACIS International Conference on Software Engineering，Artificial Intelligence，Networking，and Parallel/Distributed Computing.Chicago，USA：IEEE，2007.713-718.

［7］陳美玲，陶 玲，錢志余.一種改進(jìn)的醫(yī)學(xué)圖像融合技術(shù)及其效果［J］.生物醫(yī)學(xué)工程學(xué)雜志，2009，26（4）：710-715.

［8］秦定宇，王敬東，李鵬.圖像融合中小波基的選擇分析［J］.光電子技術(shù)，2006，26（3）：203-207.

［9］Cunha AL， ZhouJiangping， Do MN.Thenonsubsampled contourlet transform：Theory，design，and applications ［J］.IEEE Transactions on Image Pro cessing，2006，15（10）：3089-3101.

［10］吳一全，陳颯，羅子娟.基于無下采樣 Contourlet變換的圖像融合［J］.中國體視學(xué)與圖像分析，2008，13（2）：111-115.

［11］Zheng Sheng，Shi Wen zhong，Liu Jian，et al.Multisource image fusion method using support value transform［J］.IEEE Transactions on Image Processing，2007，16（7）：1831-1839.

［12］Wang Zhijun， DjemelZiou， CostasArmenakis，etal.A comparative analysis of image fusion methods ［J］.IEEE Transactions on Geosc-ience and Remote Sensing，2009，9（18）：2137-2143.

［13］胡俊峰，唐彩銀，鞏萍.基于小波變換的 CT/SPECT圖像融合最佳層數(shù)選?。跩］.中國醫(yī)療設(shè)備，2009，24（3）：10-12.