夏 雪，田 豐，王 鶴

（1.上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院 影視工程系，上海 200072;2.通用電氣醫(yī)療集團(tuán)應(yīng)用科學(xué)實(shí)驗(yàn)室，上海 201203）

基于真三維顯示的腦外科微創(chuàng)手術(shù)規(guī)劃

夏 雪1，田 豐1，王 鶴2

（1.上海大學(xué) 影視藝術(shù)技術(shù)學(xué)院 影視工程系，上海 200072;2.通用電氣醫(yī)療集團(tuán)應(yīng)用科學(xué)實(shí)驗(yàn)室，上海 201203）

針對(duì)平面顯示器在腦外科手術(shù)規(guī)劃上的局限，提出了基于真三維顯示的手術(shù)規(guī)劃方法。通過(guò)建立基于多屏轉(zhuǎn)動(dòng)的真三維互動(dòng)成像系統(tǒng)，呈現(xiàn)無(wú)視覺(jué)死區(qū)且與腦組織空間結(jié)構(gòu)一致的立體影像。實(shí)驗(yàn)結(jié)果證明，真三維顯示技術(shù)在腦外科手術(shù)規(guī)劃領(lǐng)域有應(yīng)用前景，它可為手術(shù)規(guī)劃提供物理尺寸一致的模擬平臺(tái)。

真三維；多屏轉(zhuǎn)動(dòng)；腦外科手術(shù)規(guī)劃

真三維顯示中的立體影像存在于真實(shí)三維空間，提供幾乎所有的視覺(jué)深度信息和全角度立體影像，符合人們觀察世界的真實(shí)感受，滿足所有生理和心理的深度暗示[1]。

按成像機(jī)制，真三維可以分為兩類：1）靜態(tài)體顯示；2）掃描體顯示[2-4]。在一個(gè)固定靜止的空間中成像稱為靜態(tài)體顯示。紅外上轉(zhuǎn)換技術(shù)與Lightspace公司的“DepthCube”都是靜態(tài)顯示的典型示例：紅外上轉(zhuǎn)換技術(shù)是用兩組不同頻率的紅外光激發(fā)顯示體中的晶體材料，光能量轉(zhuǎn)換效率較低，顯示亮度低、顯示體積小[5]，大部分光束穿過(guò)晶體可能對(duì)眼睛造成傷害；“DepthCube”[6]包含20塊液晶散射快門面板，系統(tǒng)運(yùn)行時(shí)，僅有一塊面板處于散射模式，其余面板都設(shè)定在透明模式，此顯示器僅提供20層深度信息。

真三維顯示技術(shù)歷經(jīng)10年發(fā)展仍沒(méi)有可以規(guī)模化應(yīng)用的產(chǎn)品，其根本原因是沒(méi)有找到真三維顯示技術(shù)的細(xì)分應(yīng)用領(lǐng)域。在上海的多個(gè)課題的支持下，真三維技術(shù)僅僅作為一件科普展品參與中小學(xué)生的科普活動(dòng)[7]，其產(chǎn)業(yè)價(jià)值仍未體現(xiàn)。為進(jìn)一步拓展真三維技術(shù)的細(xì)分領(lǐng)域，本文探索了真三維顯示技術(shù)在腦外科微創(chuàng)手術(shù)中的應(yīng)用。

CT和MRI數(shù)據(jù)本是體三維數(shù)據(jù)，2D平面屏幕缺乏重要的深度線索且存在景深失真，這從根本上限制了腦外科微創(chuàng)手術(shù)規(guī)劃過(guò)程中的準(zhǔn)確性。手術(shù)的核心問(wèn)題是規(guī)劃、配置和導(dǎo)航[8]，而真三維技術(shù)使病人擁有透明皮膚，可視化的三維內(nèi)部結(jié)構(gòu)在一個(gè)真實(shí)的三維物理空間揭示了周圍健康器官與病灶間的復(fù)雜空間關(guān)系，為醫(yī)生提供了直觀的觀察方式。

1 真三維互動(dòng)腦外科微創(chuàng)治療規(guī)劃框架

1.1 顯示系統(tǒng)結(jié)構(gòu)

大多真三維系統(tǒng)采用柱空間掃描方式[9]，也有部分采用螺旋掃描方式[10]?；谥臻g的真三維顯示器通過(guò)渲染3DMAX模型獲得三維面數(shù)據(jù)，存在中心軸視覺(jué)死區(qū)等問(wèn)題。圖像信息的丟失限制了真三維顯示技術(shù)在醫(yī)學(xué)影像中的應(yīng)用。

本文提出了一種基于多屏轉(zhuǎn)動(dòng)掃描的真三維顯示系統(tǒng)，避免了中心軸死區(qū)現(xiàn)象。顯示系統(tǒng)包括：支架、投影幕布組、投影機(jī)、電機(jī)、電機(jī)驅(qū)動(dòng)、同步控制器、電機(jī)連軸器、風(fēng)葉、紅外光發(fā)射器、紅外光接收器、微機(jī)、VGA視頻線、USB電纜?；诖苏嫒S顯示器的腦外科微創(chuàng)手術(shù)規(guī)劃模擬系統(tǒng)如圖1所示，包括：真三維顯示器、龍門、探針模擬器。龍門為半圓形，探針模擬器通過(guò)左右旋轉(zhuǎn)可調(diào)整其角度位置，從而實(shí)現(xiàn)兩個(gè)自由度的定位能力，這能夠模擬在腦外科微創(chuàng)治療規(guī)劃中的探針進(jìn)入位置。

圖1 腦外科微創(chuàng)治療規(guī)劃框架模擬圖（截圖）

1.2 體數(shù)據(jù)生成

實(shí)驗(yàn)針對(duì)單個(gè)病例獲取256張MRI斷層圖像，在分割及預(yù)處理后對(duì)病灶位置進(jìn)行人工標(biāo)記。隨后對(duì)斷層圖像進(jìn)行重采樣，向真三維顯示器傳送體數(shù)據(jù)。

本文所用基于多屏轉(zhuǎn)動(dòng)掃描的真三維顯示器采用成像組相繼循環(huán)顯示連續(xù)影像，其成像空間是一個(gè)不規(guī)則體空間，如圖2所示。三維顯示的主要處理步驟如下：1）MRI圖像序列經(jīng)過(guò)預(yù)處理后組成長(zhǎng)方體空間內(nèi)的點(diǎn)云，如圖3；2）依照不規(guī)則體空間特性對(duì)點(diǎn)云進(jìn)行均勻采樣，即將點(diǎn)云映射到二維平面；3）將映射有點(diǎn)云的二維平面圖直接投射到真三維顯示器，由此呈現(xiàn)出三維影像。其中關(guān)鍵的步驟是通過(guò)二維映射的均勻采樣來(lái)完成真實(shí)三維空間到不規(guī)則真三維顯示器空間的映射。

根據(jù)真三維顯示器本身的特性建立空間坐標(biāo)系。使旋轉(zhuǎn)軸R位于點(diǎn)云長(zhǎng)方體的底面下方（圖4所示的位置），且與底面相距D；旋轉(zhuǎn)成像的角度范圍在-θ°至θ°；點(diǎn)云長(zhǎng)方體的長(zhǎng)寬高分別為L(zhǎng)，W，H。以長(zhǎng)方體底面某邊中點(diǎn)為原點(diǎn)O建立三維坐標(biāo)。三維空間向二維空間映射模擬圖如圖5所示。

圖2 真三維顯示器成像空間（截圖）

圖3 笛卡爾坐標(biāo)系點(diǎn)云空間（截圖）

圖4 三維空間向二維空間映射示意圖

圖5 三維空間向二維空間映射模擬圖（截圖）

點(diǎn)云長(zhǎng)方體中的像素坐標(biāo)范圍A（即點(diǎn)云A）為

成像弧形體空間中的像素坐標(biāo)范圍B（即成像空間B）為

三維空間向二維的映射過(guò)程有以下兩種方法：方法一：

1）生成采樣面C

2）令C圍繞自身底邊l1旋轉(zhuǎn)，旋轉(zhuǎn)角度范圍為[-θ,θ]

3）在C旋轉(zhuǎn)過(guò)程中與A求與，判斷采樣面C上哪些點(diǎn)超出A，消隱超出范圍的點(diǎn)，只顯示在A邊界上及邊界內(nèi)的點(diǎn)。

方法二：

1）生成采樣面C

2）令C以其某條豎邊同側(cè)上下頂點(diǎn)為動(dòng)點(diǎn)，分別沿著弧線l1與l2同步運(yùn)動(dòng)

3）在運(yùn)動(dòng)的過(guò)程中對(duì)C和A求與，只顯示A邊界上及邊界內(nèi)的點(diǎn)，消隱外部點(diǎn)。

對(duì)以上兩種方法進(jìn)行分析比較：方法一的原理是生成采樣面后使其按照成像空間的弧度特性進(jìn)行旋轉(zhuǎn)，在每一次旋轉(zhuǎn)后對(duì)點(diǎn)云進(jìn)行一次采樣；方法二的原理是讓采樣面沿著兩條弧線平動(dòng)，在每一次移動(dòng)后對(duì)點(diǎn)云進(jìn)行一次采樣。由于兩種方法中采樣面與點(diǎn)云相交的有效面積是一樣的，因此兩種方法在采樣時(shí)的計(jì)算量是相同的；但方法一是沿軸旋轉(zhuǎn)，變量是旋轉(zhuǎn)角θ，而方法二是沿兩條弧線平動(dòng)，每次移動(dòng)后都要通過(guò)計(jì)算采樣面的兩頂點(diǎn)在弧線上的位置進(jìn)行采樣面定位。由此綜合分析可知方法一實(shí)現(xiàn)較簡(jiǎn)單，故選用方法一進(jìn)行實(shí)驗(yàn)，取θ=60°，代碼結(jié)構(gòu)如下：

1.3 手術(shù)應(yīng)用

使用真三維顯示技術(shù)可以提供互動(dòng)腦外科微創(chuàng)治療過(guò)程。病人的CT、MRI等解剖圖片能夠提供解剖結(jié)構(gòu)、病灶和癌癥器官的三維數(shù)字模型，這些數(shù)據(jù)通過(guò)影像預(yù)處理和分割后被發(fā)送到真三維顯示器。醫(yī)師規(guī)劃手術(shù)過(guò)程時(shí)，在真三維顯示器上可直接看到三維影像，可以通過(guò)透明的皮膚或骨架查看病人；醫(yī)師可以指定探針模擬器配置，直接投射模擬激光束到解剖結(jié)構(gòu)的病灶或腫瘤位置，即醫(yī)師可以完全控制模擬光束的空間位置和進(jìn)入方向。

一旦手術(shù)規(guī)劃醫(yī)師選定了探針模擬器的配置參數(shù)，對(duì)應(yīng)這束配置的計(jì)算結(jié)果將被發(fā)送到真三維顯示器上。真三維影像模擬病人的器官位置，使得病人解剖結(jié)構(gòu)的三維立體影像和腫瘤部位都能呈現(xiàn)在立體顯示器上。醫(yī)師控制安裝在龍門結(jié)構(gòu)上的探針模擬器，使此探針模擬器發(fā)射紅色激光。手術(shù)規(guī)劃醫(yī)師可根據(jù)可視化的結(jié)果，全方位觀察探針與正常組織、纖維束的位置關(guān)系，確認(rèn)手術(shù)對(duì)正常組織的破壞程度，不斷修改探針模擬器的配置。

立體三維圖像和模擬激光束相結(jié)合，使醫(yī)師能夠調(diào)整和選擇交互式配置和參數(shù)，以獲得最佳參數(shù)配置，避免光束代表的探針對(duì)鄰近的健康組織和纖維束造成潛在的損害。

在確定探針模擬器配置后，計(jì)算機(jī)測(cè)量出已確定的最佳角度和進(jìn)入量，供醫(yī)師進(jìn)一步審查、修改治療計(jì)劃。整個(gè)規(guī)劃過(guò)程非常直觀，便于學(xué)習(xí)和掌握，醫(yī)師甚至可以將最終確認(rèn)的計(jì)劃直接講述給病員和家屬，使病員和家屬能夠直觀且充分地了解手術(shù)過(guò)程和風(fēng)險(xiǎn)，減少醫(yī)療糾紛?；谡嫒S顯示互動(dòng)的手術(shù)治療流程如圖6所示。

圖6 基于真三維顯示互動(dòng)的手術(shù)治療流程

解剖圖與腫瘤器官的三維影像漂浮在真正的三維空間，如同真實(shí)的物體，有正確的三維空間關(guān)系。醫(yī)師無(wú)需任何特殊的眼鏡便可以從各個(gè)方向觀看影像。這些功能為手術(shù)規(guī)劃醫(yī)師提供了直觀的視覺(jué)信息并幫助醫(yī)生更好地理解病人的具體解剖情況。

2 實(shí)驗(yàn)

在真三維顯示器上顯示的三維影像擁有“透視”功能，這意味著器官的外部圖像不會(huì)遮擋其內(nèi)部圖像?！巴该鞫取惫δ茉试S醫(yī)師看到腫瘤和其周圍的健康器官與探針之間的詳細(xì)空間位置關(guān)系，從而大大提高醫(yī)師對(duì)這些元素間的空間位置理解。交互式可視化解剖結(jié)治療裝置如圖7所示。

本實(shí)驗(yàn)針對(duì)單個(gè)病例，獲取256張MRI斷層圖像，在分割及預(yù)處理后對(duì)病灶位置進(jìn)行人工標(biāo)記，并對(duì)斷層圖像構(gòu)成的三維點(diǎn)云進(jìn)行重采樣，最終向真三維顯示器傳送體數(shù)據(jù)。

在互動(dòng)規(guī)劃中，位置跟蹤傳感器安裝在龍門激光束處，激光束代表的探針可自由移動(dòng)到病人組織周圍，因此規(guī)劃者可以操控病人的解剖三維影像。圖7展示了一套交互式可視化解剖治療裝置。規(guī)劃醫(yī)師控制激光束，直接與同真人等大的病人三維解剖結(jié)構(gòu)進(jìn)行影像互動(dòng)，從而選擇探針模擬器的最佳配置。

3 結(jié)論

在手術(shù)中，良好的治療計(jì)劃要求對(duì)正常組織的損傷盡可能少。腦內(nèi)的功能組織和重要的纖維束錯(cuò)綜復(fù)雜，醫(yī)師若想通過(guò)傳統(tǒng)的2D顯示屏幕制定最好的治療計(jì)劃是很困難的。作為一種可視化工具，真三維顯示技術(shù)超出了現(xiàn)有的基于平面顯示的立體技術(shù)，真三維顯示器能以1∶1的3D線索讓醫(yī)師更迅速和容易地了解病灶、組織和探針的空間關(guān)系。真三維顯示技術(shù)在很大程度上克服了常規(guī)CT或MRI顯示的弊端，使醫(yī)師能夠以真正的3D形式感知和操縱探針，確保了治療規(guī)劃過(guò)程的安全性和有效性。真三維顯示能提供獨(dú)特的“直接互動(dòng)”，這使其成為腦外科微創(chuàng)手術(shù)治療規(guī)劃的理想工具。相信真三維顯示技術(shù)有潛力改變當(dāng)前基于臨床實(shí)踐的治療規(guī)劃方式，可以建立更有效的信息平臺(tái)，從而幫助醫(yī)師進(jìn)行腦瘤、血管疾病和功能疾病治療規(guī)劃。

[1] COSSAIRT O S，NAPOLI J，Hill S L，et al.Occlusion-capable multiview volumetric three dimensional display[J].Applied Op?tics，2007，46（8）:1244-1250.

[2] GATELY M，ZHAI Y，YEARY M，et al.A three-dimensional swept-volume display based on LED arrays[J].IEEE Journal of Display Technology，2011，7（9）:503-513.

[3]MIYAZAKID，HONDA T，OHNO K，et al.Volumetric display system using a digital micromirror device based on in?clined-plane scanning[J].IEEE Journal of Display Technology，2010，6（10）:548-552.

[4] 田豐，徐劼敏，劉錦高.低成本真三維顯示器的構(gòu)建[J].華東師范大學(xué)學(xué)報(bào)，2009（4）:115-123.

[5] REFAI H H.Static volumetric Three-Dimensional display[J]. IEEE Journal of Display Technology，2009，5（10）:391-397.

[6] SULLIVAN A.3-Deep:New displays render images you can al?most reach out and touch[J].IEEE Spectrum，2005，42（4）: 30-35.

[7] 田豐，潘浩，張文俊.真三維顯示在未來(lái)教學(xué)中的應(yīng)用展望[J].電視技術(shù)，2012，36（12）:35-38.

[8]丑武勝，王田苗.面向腦外科微創(chuàng)手術(shù)的醫(yī)療機(jī)器人系統(tǒng)[J].機(jī)器人技術(shù)與應(yīng)用，2003（4）:18-21.

[9] 楊忠，李莉，鄂龍慧，等.基于數(shù)字微鏡的旋轉(zhuǎn)體掃描3維顯示系統(tǒng)[J].中國(guó)圖象圖形學(xué)報(bào)，2010，15（1）:149-154.

[10] 岳鍵，樊瓊劍，沈春林.體掃描顯示系統(tǒng)中螺旋旋轉(zhuǎn)屏及螺旋切片生成算法[J].中國(guó)圖象圖形學(xué)報(bào)，2011，16（8）:1466-1473.

M inimally Invasive Brain Surgical Plan Based on Volumetric 3D Disp lay

XIA Xue1，TIAN Feng1，WANG He2
（1.Department of Film and Television Engineering，Institute of Film&TV Arts and Technology，Shanghai University，Shanghai 200072; 2.Applied Science Lab.，GE Healthcare，Shanghai 201203）

A method of surgery planning based on volumetric 3D display is proposed to break the limitation of 2D display.3D images in accordance to brain spatial structure without dead vision are demonstrated by the volumetric 3D interactive display based on rotating multi-screen.Demonstrated in the experiments,volumetric 3D display technique has an extensive future on brain surgery planning,and it is able to provide simulation platform that is identical to the physical size for surgery planning.

volumetric three-dimensional；rotating multi-screen；brain surgery planning

TN873.2；G434

A

??雨博

2013-06-10

【本文獻(xiàn)信息】夏雪，田豐，王鶴.基于真三維顯示的腦外科微創(chuàng)手術(shù)規(guī)劃[J].電視技術(shù)，2014，38（4）.

上海市教育委員會(huì)科研創(chuàng)新項(xiàng)目（12YZ008）；上海大學(xué)創(chuàng)新基金項(xiàng)目（sdcx2012045）