高峰1，李梅，仇振釗

1.中山大學(xué)附屬口腔醫(yī)院 信息科，廣東廣州 510060；2.廣州納斯威爾信息技術(shù)有限公司，廣東 廣州 510663

一種多模態(tài)醫(yī)學(xué)圖像數(shù)據(jù)融合方法與應(yīng)用

高峰1，李梅2，仇振釗2

1.中山大學(xué)附屬口腔醫(yī)院 信息科，廣東廣州 510060；2.廣州納斯威爾信息技術(shù)有限公司，廣東 廣州 510663

本文提出一種基于人工智能的圖像融合算法，通過(guò)軟件來(lái)替代硬件設(shè)備實(shí)現(xiàn)醫(yī)學(xué)圖像融合配準(zhǔn)功能。該算法可以對(duì)不同的掃描圖像進(jìn)行空間坐標(biāo)對(duì)齊，以解決多模態(tài)融合配準(zhǔn)問(wèn)題，并且有效地提高配準(zhǔn)速度。這種算法可應(yīng)用在腦腫瘤MR-PET圖像的融合診斷中。

醫(yī)學(xué)圖像；圖像融合；MR-PET；CT

人類腦部成像方式主要有計(jì)算機(jī)斷層掃描（CT），正電子發(fā)射成像（PET）和核磁共振成像（MRI）[1]。PET被廣泛地用于腫瘤診斷，但是，由于PET的分辨率有限，通常還需要加入CT或者M(jìn)RI的掃描來(lái)完善對(duì)病灶的定位以及指導(dǎo)治療，因而需要圖像融合用于診斷。與傳統(tǒng)的可視化技術(shù)相比，雙模態(tài)3D繪制可以同時(shí)用兩種不同的顏色來(lái)顯示兩種模態(tài)圖，更形象地表現(xiàn)出人體的器官組織，診斷效果更為出色。因此，雙模態(tài)融合圖的配準(zhǔn)問(wèn)題尤為重要。本文提出一種基于人工智能圖像融合算法，通過(guò)軟件來(lái)替代硬件設(shè)備實(shí)現(xiàn)融合配準(zhǔn)功能。該算法可以對(duì)不同的掃描進(jìn)行空間坐標(biāo)對(duì)齊，以解決多模態(tài)融合配準(zhǔn)問(wèn)題，并且有效地提高配準(zhǔn)速度。這種算法主要應(yīng)用在MR-PET的腦腫瘤融合診斷中。

1 多種模態(tài)圖像及圖像融合

人體掃描成像方式有CT、PET、MRI，見(jiàn)圖1。

圖1 多種模態(tài)圖像(a) CT， (b) PET， (c) MRI

PET與CT或MRI融合診斷，圖像融合后同時(shí)具有兩者的功能，不僅是二者功能的簡(jiǎn)單疊加，由于PET與CT優(yōu)勢(shì)互補(bǔ)，可以達(dá)到1+1＞2的效果。PET可以顯示病例病灶特征，更容易發(fā)現(xiàn)病灶，CT可以精確定位病灶，顯示病灶結(jié)構(gòu)變化，二者融合可以提高診斷的準(zhǔn)確性。對(duì)此，供應(yīng)商也開(kāi)發(fā)出了PET-CT同源機(jī)。從PET-CT同源機(jī)中獲得的圖像和使用我們的軟件后所生成的PET-CT融合圖像，見(jiàn)圖2。

與其他醫(yī)學(xué)成像技術(shù)，如CT或者X射線相比，MRI是多參數(shù)、多序列圖像，具有良好的軟組織解剖分辨率，能很容易地區(qū)分出大腦、肌肉、心臟及腫瘤等軟組織，同時(shí)也能進(jìn)行功能成像。但是，磁共振（MR）在定量觀察分子示蹤方面有限制，敏感性不強(qiáng)。以判斷口腔鱗癌為例，回顧分析2001年～2010年醫(yī)院患者術(shù)前術(shù)后PET或PETCT、CT或MRI檢查，PET或PET-CT在敏感性、特異性及準(zhǔn)確率中分別比CT或MRI高12.34%、2.42%、19.23%。因此對(duì)PET-MR融合設(shè)備的研制提出了需求，并且有非常廣闊的應(yīng)用前景。盡管MR-PET同源機(jī)已經(jīng)設(shè)計(jì)出來(lái)，并且已經(jīng)在等待美國(guó)食品藥品管理局（FDA）的認(rèn)證，但對(duì)于許多醫(yī)院來(lái)講，市場(chǎng)價(jià)格偏高，并不是所有的醫(yī)院都能投入使用，因此軟件融合成為一個(gè)趨勢(shì)。從PET-CT同源機(jī)、MR機(jī)獲得的圖像，以及使用我們軟件解決方案的融合圖像，見(jiàn)圖3。顯而易見(jiàn)的是，圖3中的MR圖比圖2中的CT圖具有更好的細(xì)節(jié)度。

圖2 多種模態(tài)圖像 (a) CT， (b) PET-CT， (c) PET (a和c是標(biāo)準(zhǔn)的PETCT同源機(jī)獲得的圖像，b是使用我們的軟件融合得到的圖像)。

圖3 多種模態(tài)圖像 (a) MR，(b) PET-MR，(c) PET (a是西門子MR機(jī)獲得的圖像，c是CPS的PET-CT同源機(jī)獲得的圖像，b是使用我們的軟件自動(dòng)融合后得到的圖像)。

在醫(yī)療領(lǐng)域中，可視化診斷越來(lái)越熱門。3D渲染能大大提高對(duì)各種疾病的診斷效果，醫(yī)生不必只憑經(jīng)驗(yàn)由多幅二維圖像去估計(jì)病灶的形狀及大小，“構(gòu)思”病灶與周圍組織的幾何關(guān)系，通過(guò)3D渲染可以將人體器官以三維的形式“真實(shí)”地顯示出來(lái)，從而獲得傳統(tǒng)手段無(wú)法得到的結(jié)構(gòu)信息?？梢暬夹g(shù)已應(yīng)用于多種診斷醫(yī)學(xué)、輻射治療規(guī)劃等技術(shù)中，是科學(xué)計(jì)算機(jī)可視化中的一個(gè)重要領(lǐng)域，也是醫(yī)學(xué)圖像處理的難點(diǎn)和熱點(diǎn)。與傳統(tǒng)的可視化技術(shù)[2]相比，雙模態(tài)繪制可以同時(shí)用兩種不同的顏色來(lái)顯示兩種模態(tài)圖像，更形象地表現(xiàn)出人體的器官組織。PET-CT雙模態(tài)融合圖像的3D渲染圖，見(jiàn)圖4； PET-MR雙模態(tài)融合圖像3D渲染圖，見(jiàn)圖5。

圖4 PET-CT圖像渲染（左：三視圖，右：我們的軟件利用虛擬平面切割技術(shù)進(jìn)行體積光線投射）

圖5 PET-MR圖像渲染（左：三視圖，右：我們的軟件利用虛擬平面切割技術(shù)進(jìn)行體積光線投射）

智能算法可以優(yōu)化并解決PET-MR的融合問(wèn)題，利用軟件可使不同的掃描圖像自動(dòng)融合為同一空間坐標(biāo)下的圖像。所以，軟件需要具有以下功能以滿足臨床要求：① 自動(dòng)從兩個(gè)系列的切片圖中重建數(shù)據(jù)；② 自動(dòng)和手動(dòng)配準(zhǔn)；③ 在可視化基礎(chǔ)上進(jìn)行圖像融合；④ 具有臨床使用的各種圖像處理工具。

2 關(guān)鍵問(wèn)題與解決方案

圖像融合算法的第一步是配準(zhǔn)[3]。配準(zhǔn)后，對(duì)所涉及到的需要顯示的數(shù)據(jù)進(jìn)行融合[4]。然而，不同的成像設(shè)備所拍攝到的圖像的分辨率、大小、層數(shù)、空間位置可能會(huì)有所不同，特別是這些三維圖像是由一系列的2D圖像組成的。因此，需要解決的關(guān)鍵問(wèn)題是自動(dòng)化多模態(tài)圖像配準(zhǔn)。

通過(guò)將圖像標(biāo)記為模板圖和浮動(dòng)圖，線性配準(zhǔn)問(wèn)題可以被描述為尋找一個(gè)仿射變換矩陣，從而最大限度地找到浮動(dòng)圖和模板圖之間相似的地方[5]。三維配準(zhǔn)的過(guò)程，見(jiàn)圖6。

圖6 圖像三維配準(zhǔn)過(guò)程

這類問(wèn)題通?？煞譃閮蓚€(gè)子問(wèn)題。

（1）定義一個(gè)成本函數(shù)來(lái)測(cè)量?jī)蓚€(gè)圖像之間的相似性，定義為f（X，AY）, 其中 f（X，AY）是成本函數(shù)，X是模板圖，Y是浮動(dòng)圖，A是三維仿射變換矩陣。

（2）找到一個(gè)最優(yōu)方法，以得到在給定區(qū)域中成本函數(shù)的最大點(diǎn)。

在數(shù)學(xué)中，剛性或者仿射三維變換A可以用一個(gè)4×4的常數(shù)矩陣表示，其中y=（y1，y2，y3）T、x=（x1，x2，x3）T分別從模板圖和浮動(dòng)圖中獲取得到。

變換矩陣可進(jìn)一步分為平移、旋轉(zhuǎn)、縮放和傾斜，表示為式(2)。

其中：

因?yàn)橐粋€(gè)仿射變換可以用12個(gè)系數(shù)p=（t a s g）T表示，優(yōu)化后表示為

顯然，傳統(tǒng)的歐幾里德距離不能恰當(dāng)?shù)孛枋鰞煞N模式之間的相似性?；谛畔⒗碚摚?f（X，AY）通常從一些統(tǒng)計(jì)測(cè)度，如交互信息和其他散度中得到。因此，函數(shù)空間變成復(fù)雜的目標(biāo)函數(shù)，導(dǎo)致這個(gè)問(wèn)題變得非線性[6-8]。

對(duì)于一個(gè)給定的域，像這種優(yōu)化計(jì)算沒(méi)有分解方法?？尚械霓k法就是枚舉可能的解決方案，直到到達(dá)峰值。要解決這類問(wèn)題，通常會(huì)產(chǎn)生啟發(fā)式算法，即遺傳算法（GA），粒子群優(yōu)化（PSO）[9]和蟻群算法(ACO)[10]。因此，它可作為工程優(yōu)化領(lǐng)域人工智能的直接應(yīng)用。

我們以PSO為例子，與利用生物學(xué)進(jìn)化的競(jìng)爭(zhēng)特點(diǎn)（適者生存）的GA相反，PSO利用的是像魚群、鳥群以及昆蟲群聚等合作和社會(huì)環(huán)境影響的特點(diǎn)。從現(xiàn)在被稱為蜂群的種群擴(kuò)散開(kāi)始，個(gè)人作為粒子，往往移動(dòng)搜索空間，最終確定其中最低的地區(qū)聚集。Ackeley功能（2D）的粒子組成的搜索過(guò)程，見(jiàn)圖7，箭頭表示粒子的速度。

圖7 粒子組成的搜索過(guò)程

如果要應(yīng)用到我們研究的問(wèn)題上，基本的PSO算法必須增強(qiáng)以提高效率，突變和交叉的遺傳算法要加入到PSO中。在這種混合的PSO中，當(dāng)粒子的位置更新之后，每對(duì)粒子有概率被選擇交叉。對(duì)于每一對(duì)粒子交叉之后產(chǎn)生的新粒子會(huì)取代父母，以保持粒子群總數(shù)規(guī)模不變。此外，突變之后粒子速度會(huì)更新。要指出的是，為了提高交叉的效率，聚類的方法如K-means算法，會(huì)涉及到粒子分組。

3 圖像標(biāo)配實(shí)驗(yàn)結(jié)果

選取一些臨床數(shù)據(jù)進(jìn)行測(cè)試。選取5組PET-CT或PET-MR圖像，然后使用我們的軟件進(jìn)行配準(zhǔn)，記錄每一個(gè)病檔配準(zhǔn)所需時(shí)間。配準(zhǔn)信息，見(jiàn)表1，其中，配準(zhǔn)效果中，左圖為融合圖原圖，即配準(zhǔn)前；右圖為使用我們的軟件進(jìn)行配準(zhǔn)后的效果?？梢钥闯?，由于機(jī)器不同、掃描時(shí)間不同、切片精度、大小不同等原因，在原始的融合圖中，兩種模態(tài)圖并不能完全重合。用我們的軟件進(jìn)行配準(zhǔn)后，圖像的重合度明顯提高，兩種模態(tài)圖基本重合，配準(zhǔn)效果顯著。另外，從第三列運(yùn)行時(shí)間可以看出，配準(zhǔn)的時(shí)間范圍是35～45 s左右，執(zhí)行速度較快，配準(zhǔn)等待時(shí)間短。

4 結(jié)束語(yǔ)

本文以PET-CT、PET-MR圖像融合為背景，使用新的配準(zhǔn)方法，可以提高配準(zhǔn)的效果及效率。從實(shí)驗(yàn)的結(jié)果可以看出，與現(xiàn)有的配準(zhǔn)算法相比，這種新的配準(zhǔn)算法執(zhí)行速度更快，配準(zhǔn)效果更好，更加有利于提高診斷效率，減少時(shí)間成本，提高診斷正確率，具有更高的臨床應(yīng)用價(jià)值。

表1 5組臨床病例信息與配準(zhǔn)結(jié)果

在未來(lái)的工作中，我們會(huì)加入圖形處理器對(duì)配準(zhǔn)進(jìn)行再加速，在不降低配準(zhǔn)準(zhǔn)確度的情況下，進(jìn)一步降低配準(zhǔn)時(shí)間，以達(dá)到配準(zhǔn)時(shí)間在30s以內(nèi)的效果，提高診斷效率。

[1] Digital imaging and communications in medicine (DICOM) part 1:introduction and overview[EB/OL](2006-12-11)[2011-11-01]．http://medical．nema．org/Dicom/2011/11_01pu．pdf．

[2] 伍煉,朱玉云,史小平,等．基于MITK的醫(yī)學(xué)影像三維可視化研究[J]．北京生物醫(yī)學(xué)工程, 2008,(5):531-533．

[3] 楊安榮,林財(cái)興,李紅強(qiáng)．用于醫(yī)學(xué)影像配準(zhǔn)的快速框架[J]．計(jì)算機(jī)應(yīng)用,2010,(3):632-634．

[4] Caner G,Tekalp AM,Sharma G,et al．Local image registration:an adaptive filtering framework[J]．SPIE,2005,(5674):159-169．

[5] 呂煊．基于角點(diǎn)特征和最大互信息的多模醫(yī)學(xué)圖像配準(zhǔn)[D]．濟(jì)南:山東師范大學(xué), 2008．

[6] 齊晶晶,黃彩霞．基于多小波變換域特征的多模態(tài)醫(yī)學(xué)圖像融合[J]．電腦知識(shí)與技術(shù),2007,(18):1709-1711．

[7] 郝利國(guó),劉志鵬．醫(yī)學(xué)影像圖像融合技術(shù)研究[J]．齊齊哈爾醫(yī)學(xué)院學(xué)報(bào), 2010,(1):74-76．

[8] 胡永祥．基于互信息的多模態(tài)醫(yī)學(xué)圖像非剛性配準(zhǔn)研究[D]．長(zhǎng)沙:中南大學(xué), 2012．

[9] 于澤．腦CT圖像配準(zhǔn)中自適應(yīng)粒子群算法的應(yīng)用研究[D]．大連:大連海事大學(xué), 2010．

[10] 康曉東,何丕廉,劉玉潔,等．基于蟻群算法的醫(yī)學(xué)圖像分割研究[J]．計(jì)算機(jī)應(yīng)用研究, 2008,(9):2853-2855．

[11]秦維昌．雙源雙能量CT成像的技術(shù)進(jìn)展[J]．中國(guó)醫(yī)療設(shè)備, 2012,27(3):61-62．

Algorithm and Application of Multimodality Medical Image Fusion

GAO Feng1, LI Mei2, QIU Zhen-zhao2
1. Department of Information, Stomatology Hospital, Sun Yat-sen University, Guangzhou Guangdong 510060, China; 2. Guangzhou NasSoft Information Technology Ltd., Guangzhou Guangdong 510663, China

This paper proposes an algorithm based on artifcial intelligence by replacing hardware with software to solve the multimodality fusion. This algorithm aligns different scans into common spatial coordinates to solve multimodality fusion and improve registration speed, and has been used in MR-PET diagnosis fusion of mouth cancers.

medical imaging; imaging fusion; MR-PET; CT

TP391.41

A

10.3969/j.issn.1674-1633.2013.05.062

1674-1633(2013)05-0164-04

2012-10-31

2013-03-22

作者郵箱：zdkqyygf@163．com