郭 全，王 雷，楊利素，張勝男

(山東理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院, 山東 淄博 255049)

基于光學(xué)特性的體繪制是三維重建的主流實現(xiàn)技術(shù)。體繪制通過模擬光線在體數(shù)據(jù)中的傳輸過程，借助傳遞函數(shù)，計算光線傳輸路徑上的體素為最終呈現(xiàn)圖像所做的貢獻[1]。傳遞函數(shù)用來指定體素的顏色值和透明度，其設(shè)計的好壞決定了重建圖像的質(zhì)量。

目前，已經(jīng)有很多學(xué)者在傳統(tǒng)的一維和二維傳遞函數(shù)基礎(chǔ)上，結(jié)合梯度、曲率、紋理等諸多圖像特征來指導(dǎo)傳遞函數(shù)的設(shè)計，而且取得頗為有效的成果[2-5]。 然而，體數(shù)據(jù)的不同特征通常有相同的標量值，空間分布并不相同。已有的方法很難區(qū)分這些特征所屬的區(qū)域，只能模糊體數(shù)據(jù)各部分的邊界。拓撲分析能夠提供區(qū)分物質(zhì)邊界的方法，常見的拓撲分析方法有Reeb圖、Morse-Smale復(fù)形、輪廓樹[6-8]。輪廓樹相對其他幾種方法更具有實用性。而且，在現(xiàn)有的體繪制系統(tǒng)中，一旦傳遞函數(shù)設(shè)定之后，就只能對繪制的圖像進行旋轉(zhuǎn)、平移操作，無法實時動態(tài)改變顯示效果[9]。

針對這些問題，本文借助輪廓樹拓撲結(jié)構(gòu)，采用新的渲染模式，以實現(xiàn)可實時交互的體繪制系統(tǒng)。輪廓樹拓撲能夠?qū)w數(shù)據(jù)各部分進行區(qū)域劃分，同時，對劃分后的分段進行處理，動態(tài)顯示全局或局部的圖像，這對醫(yī)學(xué)診斷、監(jiān)控等有很大的幫助。

1 交互式體繪制系統(tǒng)

本文的體繪制系統(tǒng)是基于光線投射的體繪制[10]。其體繪制的過程如下，首先，對預(yù)處理后的體數(shù)據(jù)進行分類，然后對分類后的數(shù)據(jù)指定適當?shù)膫鬟f函數(shù)，傳遞函數(shù)賦予體素不同的顏色和透明度，最后從視點發(fā)射射線進行重采樣，得到投影圖像[11]。

1.1 總體流程

圖1描述了系統(tǒng)總體流程。首先將獲取到的體數(shù)據(jù)進行預(yù)處理，通過輪廓樹構(gòu)建算法，可以得到一棵完整的輪廓樹。體數(shù)據(jù)的數(shù)據(jù)集通常很大，得到的輪廓樹會含有較多分支。使用拓撲簡化方法，將輪廓樹簡化到一定的閾值，不僅能夠去除不必要的分支，還能夠方便后續(xù)尋找有意義的輪廓樹分支。然后進行常規(guī)的體渲染。為每個輪廓樹分支指定單獨的傳遞函數(shù)，利用基于GPU的光線投射算法，得到理想的渲染效果。指定傳遞函數(shù)是可重復(fù)操作，通過手動選取合適分段，可以得到預(yù)期的效果。

圖1 系統(tǒng)總體流程Fig.1 The overall flow of the system

1.2 圖像預(yù)處理

為了減少噪聲對最終圖像的干擾，通常需要對體數(shù)據(jù)進行圖像三維濾波處理。高斯濾波是常見的平滑濾波方法，由于邊緣信息對體繪制很重要，本文采用的圖像預(yù)處理方法是在高斯濾波的基礎(chǔ)上，加入各向異性擴散算法[12]來增強邊緣信息。

各向異性擴散是一種非線性濾波算法，其公式為

?tf=div[g(|fσ|2)f]

(1)

式中：f代表圖像的像素；(·)代表圖像梯度操作；g(·)代表邊緣函數(shù)，其形式為

(2)

式中：k代表g(·)的下降速率，當|f|→時，g(|f|)→0。

高斯函數(shù)是一種正態(tài)分布函數(shù)，常用來表示概率分布，其形式為

(3)

1.3 輪廓樹構(gòu)建

1.3.1 輪廓樹的定義

令d維實數(shù)域的連續(xù)標量數(shù)據(jù)場為F，即f∶Rd->R。不失一般性，在本文的討論中假定d=3。F的函數(shù)范圍是f的最小值和最大值的間隔[fmin,fmax]。對于一個標量值h∈[fmin,fmax]，水平集L表示數(shù)據(jù)場中函數(shù)值相等的集合，L(h) = {(x)|f(x)=h}。x是臨界點的充分必要條件是df(x) = 0。當h沿著fmin到fmax不段增加，水平集的拓撲結(jié)構(gòu)體只會在F的臨界點處改變[13]。同一個水平集上的點連接起來構(gòu)成一個輪廓。用節(jié)點表示輪廓，水平集在臨界點處不斷改變而形成的一個輪廓集合，就是輪廓樹，它代表了輪廓之間的內(nèi)在聯(lián)系[14]。

輪廓樹是由一系列節(jié)點連接而成。圖2表示水平集隨標量值h變化的演變和對應(yīng)的輪廓樹。(a)闡釋了隨著標量值的增加，水平集從一個實心立方體到四個小碎塊的演變過程。(b)是對應(yīng)的輪廓樹，從上到下，(9, 10)合并形成一個耳環(huán)狀物體(6)，(7, 8)亦同，(5, 6)連接成(4)，(4)到(3)形成一個封閉的立方體，(3)分裂成內(nèi)層邊界(1)和外層邊界(2)。

(a)演變過程 (b)輪廓村圖2 水平集的演變及其對應(yīng)的輪廓樹Fig.2 The evolution of the level set and its corresponding contour tree

1.3.2 輪廓樹的構(gòu)建算法

輪廓樹的構(gòu)建算法包含以下幾個步驟[15]。

1) 對標量場F的所有頂點按照標量值大小排序, 并存儲到堆棧；

2) 掃描兩次數(shù)據(jù)集, 一次從大到小掃描創(chuàng)建連接樹, 一次從小到大掃描創(chuàng)建分裂樹；

3) 合并連接樹和分裂樹, 形成輪廓樹。

1.4 渲染模式

目前，基于GPU的體繪制的輸入通常是一個完整的數(shù)據(jù)集。隨著醫(yī)學(xué)設(shè)備的升級，產(chǎn)生的數(shù)據(jù)分辨率越來越高，而且體渲染的交互過程中需要CPU和GPU之間的通信。 這加重了CPU的負擔。在Deferred Contexts模式(以下簡稱DCRM)產(chǎn)生之前，GPU一直使用Immediate Context渲染模式(以下簡稱ICRM)，DCRM可以將調(diào)用顯卡的繪圖操作分散到多個CPU核當中，因而會有較好的性能提升。結(jié)合快速輪廓樹算法，得到一棵完整的輪廓樹，輪廓樹的每個分支對應(yīng)數(shù)據(jù)的一個分段。當前基于輪廓樹的體繪制，使用的是ICRM進行體渲染，對于體積較大的數(shù)據(jù)來說，實時交互渲染效率低下。為了達到較為理想的渲染效率，本文結(jié)合輪廓樹分段以及DCRM的優(yōu)勢，設(shè)計了可實時交互的渲染方法。這兩種方式的對比如圖3所示。從圖3可以看出，ICRM方法將整個體數(shù)據(jù)作為輸入，交給CPU的一個核去處理，處理結(jié)束后，數(shù)據(jù)傳給GPU渲染顯示。DCRM方法將數(shù)據(jù)分成若干個段，然后每個分段交由獨立的CPU核處理，每個CPU處理的數(shù)據(jù)再傳給GPU顯示，這樣能夠減輕CPU的負擔，加快處理速度。分段處理的另一個優(yōu)點是，可以選擇性地指定某個分段顯示或不顯示，這樣能夠更方便地找到感興趣的區(qū)域，利于醫(yī)學(xué)診斷。

圖3 ICRM和DCRM方式對比Fig.3 The comparison between ICRM and DCRM

值得注意的是，由于改進后的渲染獨立計算分段體數(shù)據(jù)，光線投射算法需要對投射光線路徑上的所有顏色點進行合成，因此，需要對原有的顏色合成方式進行修改。在新的分段渲染方式下，對需要渲染的分段，顏色合成方式為

(4)

(5)

同理可得出最終的透明度。

2 系統(tǒng)實現(xiàn)與分析

本文程序使用QT和DirectX11實現(xiàn)，系統(tǒng)平臺是Dell M4800，處理器為I7 4810m，16G內(nèi)存，Quadro k2100m顯卡。實驗使用的數(shù)據(jù)集來自The Volume Library。使用可視化的用戶界面驗證基于拓撲結(jié)構(gòu)的體繪制方法的有效性。

本文實現(xiàn)的系統(tǒng)界面如圖4所示，整體界面分為左中右三個部分。左邊面板上部為數(shù)據(jù)源的信息，中部為傳遞函數(shù)設(shè)計界面，下部為拓撲分析的設(shè)置。中間面板上部為最終圖像的顯示區(qū)域，下部為輪廓樹的展示區(qū)域，可手動選取節(jié)點之間的連線。右邊面板上部是光照設(shè)定部分，下部是顯卡的運行信息。

圖4 本文系統(tǒng)界面Fig.4 The system interface

為了驗證本文實現(xiàn)系統(tǒng)的有效性，從實時性、交互性兩個方面進行分析。

1)實時性，使用Foot、Tooth、Head、Nucleon 4組數(shù)據(jù)，測試本文方法和傳統(tǒng)方法的渲染幀頻。

作為對比，傳統(tǒng)的方法選用廣泛使用的基于GPU的光線投射算法。 表1是4組數(shù)據(jù)的幀頻對比結(jié)果。由表1可知，使用本文基于拓撲的DCRM比傳統(tǒng)的ICRM方法有60%的提升，幀數(shù)略有波動，但是基本維持在一個小范圍內(nèi)。通常人眼可接受的刷新頻率為24 fps，本文采用的方法基本能夠達到要求。

表1 幀頻結(jié)果比較
Tab.1 The result comparison

數(shù)據(jù)集數(shù)據(jù)體積/px運行幀頻/fps傳統(tǒng)方法本文方法Foot256x256x25613～1522～24Tooth256x256x16120～2232～35Head256x256x22518～1929～33Nucleon41x41x4170～74108～110

2)交互性，動態(tài)選取輪廓樹分支，并對渲染的結(jié)果進行詳細分析，以Foot、Nucleon數(shù)據(jù)集為例。

Foot的分析如圖5所示。(a)分別顯示了未采用分段(左)、采用不同分段(左中和右中)以及背景噪聲(右)的渲染結(jié)果。可以看出，未經(jīng)分段繪制的圖很難區(qū)分數(shù)據(jù)的不同部分和物理內(nèi)部的結(jié)構(gòu)。由于數(shù)據(jù)會有噪聲影響而且不同結(jié)構(gòu)可能會有相同標量值，導(dǎo)致各個部分很難界定邊界。通過輪廓樹渲染，可以得到不同分段的繪制結(jié)果。選取不同分段進行組合設(shè)定不同傳遞函數(shù)，就能夠構(gòu)造出理想的效果。 (b)給出了不同組合得到的結(jié)果。

Nucleon的分析如圖6所示。從圖6(a)得知，分段可以很明顯地區(qū)分出各個部分，通過一系列分段和傳遞函數(shù)的組合就能夠得出圖6(b)中的結(jié)果。

(a) 不同分支的體繪制結(jié)果

(b) 分支組合的渲染結(jié)果

圖5Foot的渲染分析

Fig.5RenderinganalysisofFoot

(a)不同分支的體繪制結(jié)果

(b) 分支組合的渲染結(jié)果

圖6Nucleon的渲染分析

Fig.6RenderinganalysisofNucleon

3 結(jié)束語

本文實現(xiàn)了基于拓撲結(jié)構(gòu)的交互式體繪制系統(tǒng)，其優(yōu)勢在于輪廓樹拓撲和DCRM渲染模式的結(jié)合使用。輪廓樹拓撲結(jié)構(gòu)能夠?qū)w數(shù)據(jù)進行區(qū)域劃分，并結(jié)合多核處理器計算子區(qū)域的分裂樹和連接樹，進而合成輪廓樹。在輪廓樹分段的基礎(chǔ)上，采用DCRM可以有效地加速輪廓樹分支的渲染，靈活操作輪廓樹，交互性強。實驗證明，相比傳統(tǒng)的體繪制系統(tǒng)，本文實現(xiàn)的系統(tǒng)較大程度地改善了渲染圖像的質(zhì)量，而且系統(tǒng)實時性、交互性強， 簡單易用。未來研究方向?qū)⒗^續(xù)優(yōu)化系統(tǒng)的時間和空間效率，同時在現(xiàn)有的體繪制系統(tǒng)基礎(chǔ)上，設(shè)計自動化傳遞函數(shù)，盡可能地減少不精確的人為操作。