孫 正， 韓少勤

（華北電力大學電子與通信工程系，河北 保定 071003）

基于冠脈造影和血管內(nèi)超聲圖像融合的虛擬血管鏡系統(tǒng)

孫 正， 韓少勤

（華北電力大學電子與通信工程系，河北 保定 071003）

以X射線冠狀動脈造影和血管內(nèi)超聲圖像作為數(shù)據(jù)源，建立交互式冠狀動脈虛擬血管鏡系統(tǒng)。首先，根據(jù)兩種成像手段互補的特點，融合兩種圖像數(shù)據(jù)，重建三維血管模型。然后，運用虛擬現(xiàn)實造型語言，對三維血管模型實現(xiàn)內(nèi)鏡漫游模式的可視化。系統(tǒng)可用于對冠心病的可視化診治、冠狀動脈粥樣硬化病變的發(fā)展和對介入治療效果評價的研究，以及對醫(yī)務人員的培訓中。

冠狀動脈；虛擬血管鏡；X射線冠狀動脈造影；血管內(nèi)超聲；圖像融合；虛擬現(xiàn)實造型語言

X 射線冠狀動脈造影(coronary artery angiography, CAG)和血管內(nèi)超聲(intravascular ultrasound, IVUS)是目前臨床廣泛采用的診治冠心病的介入影像手段，兩者具有互補的特點。CAG顯示血管腔被造影劑充填后的投影影像，自出現(xiàn)以來，一直被作為冠心病診治的“金標準”[1]，但其不足在于對管腔的實際形態(tài)無法分清，對病變位于腔內(nèi)或壁內(nèi)無法區(qū)別，無法了解斑塊的組織結(jié)構(gòu)特性等[2]。IVUS具有獨特的能在活體中觀察管壁、管腔及斑塊形態(tài)性質(zhì)，甚至管壁功能狀態(tài)的特點[3]。但其局限性主要在于[4]：部分嚴重狹窄的管腔或支架術后，超聲導管不能通過狹窄部位或支架；提供的是管腔截面圖像，無法直接確定截面的軸向位置和空間方向。此外，冠脈介入成像技術還包括冠狀動脈血管鏡，它是利用光纖技術的一種微小內(nèi)窺鏡成像技術。但該技術在臨床上并未得到廣泛接受，原因包括[5]：只能提供管腔表面的形態(tài)學資料，不能觀察到管壁內(nèi)的病變深部結(jié)構(gòu)；在檢查過程中為了使視野清晰需要暫時堵塞血流，可能導致心肌缺血的發(fā)生，因而其在冠脈系統(tǒng)的應用價值主要在于研究和教學。目前無創(chuàng)性的新型醫(yī)學成像設備，如磁共振冠脈造影(magnetic resonance coronary angiography，MRCA)和多層螺旋 CT冠脈成像(multi-slice spiral computed tomography，MSCT)等，也已逐步應用于臨床，可以直接得到冠脈的三維數(shù)據(jù)。但是，用CT值區(qū)分富含脂質(zhì)斑塊和纖維斑塊并不準確，且由于MSCT空間分辨率不足，對于易損斑塊的薄纖維帽或脂質(zhì)池亦不能加以識別[6]。對于MRCA來說，由于冠脈血管本身較細、扭曲和結(jié)構(gòu)較復雜，且有心臟搏動和呼吸的影響，冠脈周圍脂肪組織和心肌組織等信號可影響其顯像結(jié)果，因此，目前MRCA對診斷冠脈狹窄的存在及其嚴重程度還存在技術上的局限[7]。同時，其檢查過程中有噪音的影響，一些金屬植入物（如人工金屬瓣、心臟起搏器等）的安全性也受到關注。綜上所述，由于成像原理所造成的不足和技術上的局限，使得無創(chuàng)性檢查到目前為止不能完全取代介入性影像檢查方法[7]。

虛擬內(nèi)窺鏡技術是利用醫(yī)學影像作為原始數(shù)據(jù)，綜合利用數(shù)字圖像處理、計算機圖形學、虛擬現(xiàn)實等技術，重建三維圖像，形成虛擬人體組織；然后把視點置入重建出的器官空腔內(nèi)，借助導航或漫游技術以及偽彩技術逼真地模擬腔道內(nèi)鏡檢查[8]。目前，虛擬內(nèi)窺鏡技術在心臟及冠狀動脈上的應用主要采用由MSCT或MRCA采集到的容積數(shù)據(jù)作為數(shù)據(jù)源，因此，可以采用基于CT和MR數(shù)據(jù)的通用虛擬內(nèi)窺鏡系統(tǒng)，只需輸入分割后的冠脈血管切片圖像數(shù)據(jù)即可[9]。由于心臟的劇烈運動以及心臟及周圍血管的復雜結(jié)構(gòu)，因此，對圖像的分辨率要求很高。

綜上所述，利用CAG和IVUS互補的特點，將兩類圖像數(shù)據(jù)進行融合，三維重建血管，不僅可充分發(fā)揮兩種成像手段的優(yōu)勢，而且還可克服彼此的不足，獲得對冠脈及其病變的全面了解。作者在之前的工作中，實現(xiàn)了一對近似正交的CAG圖像序列中血管腔中軸線的三維重建和運動跟蹤[10]，并通過將由CAG圖像獲得的血管腔和超聲導管的三維幾何形態(tài)信息與由IVUS圖像獲得的管腔橫截面結(jié)構(gòu)信息相融合，完成了血管的三維重建[11]。但其結(jié)果僅是三維血管模型的外觀，觀察者無法對管腔的內(nèi)部形態(tài)和斑塊的形態(tài)結(jié)構(gòu)有充分的了解。在此基礎上，運用虛擬現(xiàn)實造型語言(virtual reality modeling language, VRML)構(gòu)建虛擬場景，實現(xiàn)對三維血管模型的交互式、內(nèi)鏡漫游模式的可視化，建立冠狀動脈虛擬血管鏡系統(tǒng)，使得觀察者不僅可觀察到三維血管模型的外觀和內(nèi)部形態(tài)，在管腔內(nèi)的漫游過程中可隨時打開在該處采集的超聲圖像進行綜合分析，而且還可結(jié)合對血管模型的定量測量結(jié)果（包括形態(tài)參數(shù)和血流動力學參數(shù)），對血管及其病變進行綜合評價。

1 方 法

如圖1所示，構(gòu)建的冠狀動脈虛擬血管鏡系統(tǒng)主要包括生成三維數(shù)據(jù)（即由圖像數(shù)據(jù)三維重建血管）、VRML編程（包括擬合管腔表面、計算漫游路徑、偽彩編碼等）、生成VRML場景（即實現(xiàn)內(nèi)鏡漫游模式的管腔內(nèi)虛擬內(nèi)窺）和開發(fā)用戶圖形接口等4個模塊。

圖1 冠狀動脈虛擬血管鏡系統(tǒng)框圖

1.1 血管的三維重建

如圖2所示，CAG和IVUS圖像中血管的三維重建包括3個步驟：（1）從CAG圖像中三維重建出超聲導管的回撤路徑和血管腔中軸線；（2）按照采集順序，沿三維導管路徑順序排列各幀 IVUS圖像（包括確定軸向位置和空間方向）；（3）擬合血管腔內(nèi)外表面。

圖2 基于CAG和IVUS圖像融合的血管三維重建流程

1.1.1 重建導管回撤路徑和管腔軸線

本文采用基于snake模型的半自動方法[10]完成CAG圖像中導管回撤路徑和管腔軸線的三維重建。表示導管路徑或管腔軸線的snake曲線在內(nèi)外約束力的共同作用下直接在三維空間中變形，通過求解能量函數(shù)的最小化問題，直接獲得導管路徑或管腔軸線的三維坐標，結(jié)果是用B樣條曲線表示三維曲線。

1.1.2 確定各幀IVUS圖像的軸向位置

如圖 3所示，根據(jù)采集圖像時記錄的相鄰IVUS幀之間的切面間距，確定三維導管路徑上各幀圖像的采集點。然后，計算導管路徑曲線上各采集點處的單位切矢量。最后，使各幀圖像平面垂直于其采集點處的單位切矢，并且圖像中心與采集點重合，將其等間隔地排列于導管路徑上。

1.1.3 確定各幀IVUS圖像的空間方向

在完成各幀超聲圖像的分割，提取出血管壁的內(nèi)外膜輪廓之后，通過分析各幀圖像導管中心與管腔輪廓重心之間的偏移，以從造影中重建出的橢圓輪廓中心為基準，采用最優(yōu)化方法，確定各幀圖像的絕對方位角[11]。

圖3 IVUS圖像沿導管路徑的軸向排列

1.1.4 虛擬場景下血管腔的表面擬合

在血管分支或曲率較大處，將IVUS圖像垂直映射到導管路徑上時會出現(xiàn)表面相交的情形。在對管腔表面進行擬合之前，先解決相鄰橫截面相交的問題，即根據(jù)矢量間夾角判斷是否相交，將兩個相鄰輪廓上相交的對應頂點融合為一個頂點。如圖 4所示，s(t)是三維導管路徑，a1和a2為相鄰兩幀IVUS圖像的中心（即導管中心），v11和v12是a1處管腔輪廓的采樣點，v21和v22是a2處管腔輪廓的采樣點。兩條輪廓線在v11和v21相交，設融合后頂點為 v。當矢量 v11v21與 a1a2之間的夾角γ∈[π/2, π]時，說明兩個橫截面相交，需要進行頂點融合。融合頂點v需滿足到骨架點a1和a2的距離相等，并且到點v11和v21的距離平方和最小。

表面繪制方法分為兩類：直接體繪制和面繪制[12]。直接體繪制數(shù)據(jù)量特別巨大，不利于血管腔內(nèi)漫游過程中的實時顯示。而面繪制可快速靈活地進行視點轉(zhuǎn)換且成像清晰，同時考慮到研究的對象是血管壁輪廓，只需表面數(shù)據(jù)，這樣忽略大量表面下的體數(shù)據(jù)可節(jié)省運算時間，所以本文采用面繪制法中的三角面片拼接法進行虛擬場景中的血管腔表面擬合。如圖5所示，設兩個相鄰管腔橫截面上輪廓線的點列分別為{M0,M1,…, Mm-1}和{N0,N1,…, Nn-1}（均按逆時針方向排列）。線段Mi-1Mi與相鄰橫截面輪廓上的一點相連，就構(gòu)成一個三角面片。實現(xiàn)相鄰輪廓間的三維表面重構(gòu)就是要構(gòu)成一系列相互連接的三角面片。由于從IVUS圖像中提取出的血管壁輪廓已經(jīng)簡化成一系列離散輪廓點，且每組輪廓點具有確定的點數(shù)，因而三角面片拼接法可以有利的結(jié)合VRML中的IndexedfaceSet節(jié)點直接對血管表面進行三角劃分。

圖4 橫截面相交的判別和頂點融合示意圖

圖5 三角面片拼接血管表面

1.2 三維血管模型的內(nèi)鏡漫游模式可視化

在生成漫游路徑的基礎上，本文對三維血管模型實現(xiàn)內(nèi)鏡漫游模式的交互式可視化，并實現(xiàn)虛擬場景中IVUS灰度圖像數(shù)據(jù)和血管量化參數(shù)（形態(tài)參數(shù)及血流動力學參數(shù)）的顯示。

1.2.1 獲取漫游路徑

漫游路徑是在虛擬內(nèi)窺鏡模式下，觀察者的替身在三維血管腔內(nèi)移動觀察時走過的軌跡，是目標血管腔內(nèi)的視點序列。本文采用§1.1.1中重建出的三維血管腔軸線作為漫游路徑，即構(gòu)成視點序列。

其單位矢量即為待求視點Pi處的方向

初始方向-ze=[0 0 -1]與-zi的向量積即為Pi處的旋轉(zhuǎn)軸

即 ri垂直于-ze與-zi所決定的平面。初始方向-ze繞旋轉(zhuǎn)軸ri旋轉(zhuǎn)φi角

1.2.2 實現(xiàn)自動漫游

漫游路徑由一系列視點構(gòu)成，但是從一個視點直接跳至下一個視點會導致動畫的不連續(xù)，自動漫游的實現(xiàn)就是對視點進行線性插值的過程。

利用VRML提供的TouchSensor、TimeSensor和PositionInterpolator插值器[13]共同完成視點動畫。在一定的時間段內(nèi)，利用PositionInterpolator設定多個關鍵幀，控制改變的輸出值，最后，再用ROUTE語句將感知器、插值器和要控制的視點連成一條通路即可，流程如圖7所示。

圖 6 視點和確定視點方向示意圖

圖7 自動漫游的實現(xiàn)流程

1.2.3 在虛擬場景中顯示IVUS圖像數(shù)據(jù)

為了方便綜合分析，在血管腔內(nèi)的漫游過程中，操作者可隨時打開在當前視點處采集的IVUS圖像。對在虛擬場景中插入的IVUS灰度圖像采用半透明的顯示方式，即一幀圖像中各像素的透明度值不是同一個常數(shù)，而是取決于像素在圖像中的位置和其灰度值。IVUS圖像中除了血管壁和斑塊以外，其它結(jié)構(gòu)在虛擬內(nèi)鏡場景中都應該是不可見的。因此，利用對IVUS圖像的分割結(jié)果，將表示管腔和血管壁外膜以外回聲信號的像素設置為全透明，允許漫游路徑無阻擋地穿越這些區(qū)域。而對于管壁和斑塊這些感興趣的區(qū)域，其透明度值取決于像素的灰度值：亮回聲信號表示可能存在的斑塊，將其透明度值設置為較低的數(shù)值；暗區(qū)表示其它血管分支的管腔或者沒有產(chǎn)生回聲的其它結(jié)構(gòu)，將其透明度值設為較高的數(shù)值。

1.2.4 虛擬場景中血管量化參數(shù)的可視化表達

利用重建出的三維血管模型，可對具有臨床參考價值的血管形態(tài)參數(shù)（包括血管段長度、管腔容積、橫截面積、曲率和撓率、斑塊厚度和體積等）和血流動力學參數(shù)（主要指由血流引入的血管壁剪應力(wall shear stress，WSS)分布）進行定量測量[14]。為了方便觀察者直觀清晰地了解這些量化參數(shù)，對血管及其病變進行綜合評價，本文分別通過建立靜態(tài)曲線圖和偽彩色編碼實現(xiàn)虛擬場景中形態(tài)參數(shù)和血流動力學參數(shù)可視化。

1.3 設計用戶圖形接口

簡明清晰、方便靈活并且操控性強的操作界面是虛擬內(nèi)窺鏡系統(tǒng)的重要組成部分。在VRML環(huán)境中設計開發(fā)了冠狀動脈虛擬血管鏡系統(tǒng)的用戶控制面板，主要功能包括：（1）用戶能夠在不遮擋目標場景的前提下隨時開啟和關閉控制面板；（2）虛擬觀察者沿漫游路徑前進時，在某個視點處，用戶可在不同的顯示模式之間進行切換，例如：顯示在該點獲取的IVUS圖像；或者僅顯示該點處血管腔表面（可同時開啟或關閉半透明的IVUS圖像）；或者顯示完成了偽彩色編碼管腔表面等。同時，用戶可以隨時進入或退出虛擬內(nèi)鏡觀察模式，顯示三維血管段的整體外觀，或者長軸縱切面圖像；（3）可任意調(diào)整漫游速度和方向，虛擬觀察者可在管腔內(nèi)的任意位置停留。

2 實驗結(jié)果和分析

本文采用臨床采集的在體(in vivo)CAG和IVUS圖像序列進行了實驗。CAG圖像采用Philips Integris CV全數(shù)字單面X射線血管造影機臨床采集得到。IVUS圖像序列采用 Jomed Endosonic超聲成像儀采集，探頭為2.9F Jomed單軌機械探頭，頻率為30MHz。在回撤導管的過程中，探頭導管以1800轉(zhuǎn)/分作360°旋轉(zhuǎn)時以30幀/秒的幀率連續(xù)獲得血管橫軸實時切面圖像。

圖8為在三維場景中將IVUS圖像序列映射到導管路徑上相應位置處的實驗結(jié)果。圖9為從3個不同視角觀察到的三維血管模型的外觀，其中沿血管軸向排列的IVUS圖像采用半透明顯示方式。對于三維血管模型上的每個體元，將WSS的測量值作為該體元的注釋值，然后，采用偽彩色編碼的方法，建立顏色查找表，通過對節(jié)點進行頂點著色，直觀表示每個體元的注釋值。圖10是從3個不同視角觀察到的、完成頂點著色后的三維血管模型。圖 11是偽彩色編碼前后的內(nèi)鏡漫游模式下的場景截圖，不同顏色標明了血管壁剪應力的大小。圖12是血管段中心線上各點處的曲率和撓率曲線，其中橫坐標為血管段長度，縱坐標為曲率值或撓率值。

圖8 沿三維導管路徑順序排列各幀IVUS圖像

圖9 IVUS圖像沿三維血管模型排列的半透明顯示效果

圖10 從3個不同視角觀察到的完成頂點著色的血管段

圖11 血管腔內(nèi)漫游場景截圖

本文設計的用戶控制面板分為兩種模式：內(nèi)窺鏡觀察模式和虛擬漫游模式。如圖13(a)所示，在內(nèi)窺鏡觀察模式下，用戶可以選擇觀察三維血管模型的外觀、血管形態(tài)參數(shù)和血流動力學參數(shù)測量結(jié)果，還可以進入自動漫游和手動漫游狀態(tài)，對血管腔進行內(nèi)鏡漫游模式的觀察。在虛擬漫游模式下，如圖 13(b)所示，觀察者可以隨時開啟和關閉控制面板、調(diào)取所在視點處的 IVUS圖像、調(diào)整漫游速度和位置、退出觀察血管模型外觀等。

圖13 兩種模式下的主控面板

3 結(jié) 論

X射線冠狀動脈造影和血管內(nèi)超聲是目前臨床廣泛采用的兩種診治冠心病的介入成像手段，兩者的優(yōu)勢與不足互補。雖然目前無創(chuàng)性的新型醫(yī)學成像設備也已逐步應用于臨床，可以直接得到冠狀動脈的三維數(shù)據(jù)，但是由于其成像原理所造成的不足和技術上的局限，使其到目前為止不能完全取代介入性影像檢查方法。以X射線冠狀動脈造影和血管內(nèi)超聲圖像作為數(shù)據(jù)源，建立了冠狀動脈虛擬血管鏡系統(tǒng)。通過將由近似正交的造影圖像獲得的管腔和超聲導管三維幾何形態(tài)信息與由血管內(nèi)超聲獲得管腔橫截面形態(tài)數(shù)據(jù)相融合，得到血管的三維模型，準確反映冠脈血管（包含可能存在的斑塊）的形態(tài)結(jié)構(gòu)。運用VRML交互地描述三維血管模型，構(gòu)建虛擬場景，實現(xiàn)內(nèi)鏡漫游模式的交互式可視化。系統(tǒng)功能豐富，用戶可觀察三維血管模型外觀和內(nèi)部形態(tài)，可以任意選擇希望觀察血管部位和漫游速度，在管腔內(nèi)的漫游過程中還可隨時打開在該處采集的IVUS圖像進行綜合分析，而且還可結(jié)合對血管模型的定量測量結(jié)果對血管及其病變進行綜合評價。系統(tǒng)可作為對冠心病的可視化診治、對介入治療效果評價以及對醫(yī)務人員培訓的輔助手段。

[1] 李占全, 金元哲. 冠狀動脈造影與臨床（第2版）[M].沈陽: 遼寧科學技術出版社, 2007.

[2] Harrison A, Adluru G, Wilson B, et al. Self-gated cardiac magnetic resonance perfusion imaging compared with X-ray angiography: a pilot study [J]. Journal of Cardiovascular Magnetic Resonance, 2012, 14(Suppl. 1): O39.

[3] Schoenhagen P著, 胡大一等譯. 輕松掌握血管內(nèi)超聲[M]. 人民軍醫(yī)出版社. 2009.

[4] 侯江濤. 血管內(nèi)超聲技術目前的發(fā)展方向. 9th Annual Scientific Congress of China Interventional Therapeutics 2011(CIT2011)[C]//Beijing, China, 16-19, 2011.

[5] Suh W M, Seto, A H, Margey R J P, et al. Intravascular detection of the vulnerable plaque [J]. Circulation: Cardiovascular Imaging, 2011, (4):169-178.

[6] 楊 岷. 第四部分 心臟 CT部分[J]. 放射學實踐, 2007, 22(5): 437-438.

[7] Hamdan A, Asbach P, Wellnhofer E, et al. A prospective study for comparison of MR and CT imaging for detection of coronary artery stenosis [J]. Journal of JACC Cardiovascular Imaging, 2011, 4(1): 50-61.

[8] 彭延軍. 虛擬內(nèi)窺鏡關鍵技術研究[D]. 杭州: 浙江大學, 2003.

[9] van Ooijen P M A, de Jonge G, Oudkerk M. Coronary fly-through or virtual angioscopy using dual-source MDCT data [J]. European Journal of Radiology, 2007, 17(11): 2852-2859.

[10] Sun Zheng, Tian Meiying, Sun Jian. Sequential reconstruction of vessel skeletons from X-ray coronary angiographic sequences [J]. Computerized Medical Imaging and Graphics, 2010, 34(5): 333-345.

[11] 孫 正. 應用血管內(nèi)超聲與 X射線造影圖像融合的血管三維重建[J]. 工程圖學學報, 2010, 31(1): 116-123.

[12] 薛海虹, 陳濱津, 孫 錕, 等. 三維超聲仿真心腔內(nèi)窺鏡系統(tǒng)面繪制與體繪制顯示評價[J]. 山東醫(yī)藥, 2009, 27(49): 13-15.

[13] 黃文麗. VRML語言入門與應用[M]. 中國鐵道出版社, 2003.

[14] 郭曉帥. 基于血管內(nèi)超聲和 X射線血管造影的冠狀動脈定量測量方法和研究[D]. 華北電力大學, 2010.

Virtual Angioscope System Based on Fusion of Coronary Angiography and Intravascular Ultrasound Images

Sun Zheng, Han Shaoqin
( Department of Electronic and Communication Engineering, North China Electric Power University, Baoding Hebei 071003, China )

An interactive virtual angioscope system for coronary arteries based on X-ray coronary angiograms and intravascular ultrasound images is constructed. First, the vessel including lumen and possible plaques is three-dimensionally reconstructed through fusion of both types of image data. Then, visualization of the 3D vessel model is implemented in the manner of endoscopic fly-through with virtual reality modeling language. Such a virtual coronary angioscope system can be used in the diagnosis of coronary artery diseases, in the study on the development of atherosclerosis, in the evaluation of interventional treatment and in the training of medical personnel.

coronary artery; virtual angioscope; X-ray coronary angiography; intravascular ultrasound; image fusion; virtual reality modeling language

TN 911.73

A

2095-302X (2013)05-0103-07

2012-09-01；定稿日期：2012-10-30

國家自然科學基金資助項目（30500129，60973087，61372042）；中央高?；究蒲袠I(yè)務費專項資金資助（10ZG05）

孫 正（1977-），女，河北保定人，教授，博士，主要研究方向為醫(yī)學圖像處理。E-mail：anping@mail.hust.edu.cn