夏振平，張博文，王 飛，程 成，顧敏明

(1.蘇州科技大學(xué) 電子與信息工程學(xué)院，江蘇 蘇州 215009；2.蘇州市立醫(yī)院泌尿外科，江蘇 蘇州 215002)

1 引 言

近年來(lái)，三維(Three Dimensions, 3D)影像獲取與可視化技術(shù)在娛樂(lè)、醫(yī)療、教育、軍事和科學(xué)研究等領(lǐng)域有著廣泛的應(yīng)用[1-3]。成人雙眼平均瞳距(Inter-Pupillary Distance, IPD)為63 mm，左右眼位于不同的位置使得觀看到的內(nèi)容存在視差[4]。左右眼感知到的視差圖像經(jīng)過(guò)視覺系統(tǒng)處理后形成雙目單視。在雙眼信息融合過(guò)程中，視差提供了重要的深度感知信息。3D影像獲取與顯示系統(tǒng)就是基于人類視覺系統(tǒng)的這一特性，模擬人眼感知真實(shí)世界的方式，通過(guò)不同的呈現(xiàn)手段創(chuàng)造了虛擬的3D世界。

3D醫(yī)用電子內(nèi)窺鏡是3D技術(shù)在醫(yī)療領(lǐng)域應(yīng)用的重要方向之一。自2010年英國(guó)進(jìn)行了世界首例3D腹腔鏡外科手術(shù)[5]后，3D醫(yī)用電子內(nèi)窺鏡被廣泛使用[6-8]。與傳統(tǒng)的兩維(Two Dimensions, 2D)內(nèi)窺鏡相比，3D內(nèi)窺鏡具有相當(dāng)?shù)拇笮『椭亓浚以谏疃雀兄?、相?duì)大小判斷、手眼協(xié)調(diào)等方面具有顯著優(yōu)勢(shì)[9]，其也逐漸被醫(yī)護(hù)人員認(rèn)可，慢慢替代了傳統(tǒng)的2D內(nèi)窺鏡。Kong等人[10]比較了3D腹腔鏡手術(shù)與傳統(tǒng)2D腹腔鏡手術(shù)在手術(shù)時(shí)間、誤差率以及深度感知、舒適度等方面的差異。研究表明，3D腹腔鏡手術(shù)具有顯著的深度感知效果，并且手術(shù)誤差率明顯降低。Schoenthaler等人[11]通過(guò)比較移動(dòng)小物件和精細(xì)切割的任務(wù)執(zhí)行情況，研究發(fā)現(xiàn)3D內(nèi)窺鏡相較傳統(tǒng)內(nèi)窺鏡具有更好的表現(xiàn)，使用3D內(nèi)窺鏡執(zhí)行任務(wù)時(shí)受測(cè)者感到更為自信和舒適。蔣堃等人[12]比較了腎上腺腫瘤手術(shù)中使用3D和傳統(tǒng)2D腹腔鏡的差別。手術(shù)時(shí)間和術(shù)中出血作為研究比較的兩項(xiàng)指標(biāo)，3D腹腔鏡手術(shù)均具有統(tǒng)計(jì)學(xué)意義的顯著性優(yōu)勢(shì)。結(jié)果表明，3D腹腔鏡技術(shù)較傳統(tǒng)2D技術(shù)在空間定位及深度感知上有明顯優(yōu)勢(shì)，從而降低了手術(shù)的難度，縮短了手術(shù)時(shí)間。除了實(shí)際的臨床手術(shù)，在醫(yī)學(xué)外科手術(shù)技巧培訓(xùn)中，3D內(nèi)窺鏡技術(shù)也以其優(yōu)勢(shì)發(fā)揮著重要作用[13]。

與3D技術(shù)在其他領(lǐng)域的應(yīng)用類似，圖像質(zhì)量和使用舒適度的提高一直是醫(yī)護(hù)人員對(duì)3D技術(shù)應(yīng)用的訴求，也是相關(guān)科研技術(shù)人員追求的目標(biāo)。為了獲得更廣的觀測(cè)視角，內(nèi)窺鏡通常采用短焦距的廣角鏡頭，從而使獲取的雙目視圖(2D)圖像存在明顯的幾何畸變效果。為了快速有效地評(píng)價(jià)內(nèi)窺鏡圖像的幾何畸變程度，侯蕊等人[14]提出了一種基于橢圓擬合的檢測(cè)方法。為了提高內(nèi)窺鏡的成像質(zhì)量，宋璐等人[15]提出了一種基于FPGA的圖像畸變校正方法，對(duì)常見的桶形畸變進(jìn)行校正，從而提高成像的精確度；張建勛等人[16]基于加權(quán)引導(dǎo)濾波的圖像增強(qiáng)算法，提出了內(nèi)窺鏡成像紋理細(xì)節(jié)提升方法，該方法可以去除漂浮雜質(zhì)。王強(qiáng)等人[17]通過(guò)多顏色空間非線性對(duì)比度拉伸的方法提高內(nèi)窺鏡所獲圖像的血管與組織的對(duì)比度，可以增強(qiáng)原始特征不明顯的細(xì)小血管。由于3D內(nèi)窺鏡系統(tǒng)有單目圖像或多目2D視差圖像組成，當(dāng)前的3D內(nèi)窺鏡圖像質(zhì)量及相關(guān)舒適度的評(píng)價(jià)及提升研究還僅是基于2D圖像。基于3D內(nèi)窺鏡影像獲取、顯示和視覺感知全過(guò)程，構(gòu)建3D內(nèi)窺鏡虛擬空間模型，對(duì)于醫(yī)護(hù)人員在使用3D內(nèi)窺鏡進(jìn)行手術(shù)時(shí)真實(shí)感知到的場(chǎng)景進(jìn)行優(yōu)化顯得十分重要。

使用過(guò)程中醫(yī)護(hù)人員的視覺不舒適可能是當(dāng)前阻礙3D內(nèi)窺鏡技術(shù)推廣的最大障礙之一，長(zhǎng)時(shí)間使用時(shí)可能引起頭暈、頭痛、惡心甚至嘔吐[18]。研究人員提出了很多理論試圖解釋這類3D內(nèi)容觀看時(shí)產(chǎn)生的不舒適癥狀，其中的經(jīng)驗(yàn)理論認(rèn)為當(dāng)前感知的信息與前期經(jīng)驗(yàn)積累的信息不符是引發(fā)此類3D視覺感知不舒適的重要因素[19]。那么，3D內(nèi)窺鏡影像獲取與可視化過(guò)程中的參數(shù)不匹配會(huì)產(chǎn)生感知立體影像的空間幾何畸變，這種幾何畸變?cè)谖矬w運(yùn)動(dòng)時(shí)產(chǎn)生的動(dòng)態(tài)畸變與預(yù)期的剛性和穩(wěn)定性會(huì)形成沖突，這種沖突會(huì)引起3D內(nèi)窺鏡使用過(guò)程中醫(yī)護(hù)人員的視覺不舒適。

本文考慮到3D醫(yī)用電子內(nèi)窺鏡系統(tǒng)可視化的特殊性，詳細(xì)分析了其影像獲取、3D顯示系統(tǒng)呈現(xiàn)以及醫(yī)護(hù)人員通過(guò)3D眼鏡等輔助設(shè)備視覺感知的全過(guò)程，構(gòu)建了系統(tǒng)的3D內(nèi)窺鏡可視化模型。對(duì)可能造成虛擬空間幾何畸變的因素進(jìn)行了逐一分析，提出了有針對(duì)性的使用指導(dǎo)意見，對(duì)3D內(nèi)窺鏡實(shí)際使用過(guò)程中的感知精度和視覺舒適度的提升具有一定作用和參考價(jià)值。

2 三維醫(yī)用電子內(nèi)窺鏡

三維醫(yī)用電子內(nèi)窺鏡基于人眼觀看真實(shí)世界的方式，提供了具有深度信息的立體影像，從而大幅提高了手術(shù)操作的精準(zhǔn)性。三維醫(yī)用電子內(nèi)窺鏡系統(tǒng)主要由兩部分組成，即3D內(nèi)窺鏡成像系統(tǒng)和用于可視化的3D顯示系統(tǒng)。

為了盡可能地減少患者的創(chuàng)傷，縮小創(chuàng)口的大小，內(nèi)窺鏡的尺寸大小是嚴(yán)格限制的?，F(xiàn)有報(bào)道中，3D內(nèi)窺鏡的直徑可以小到4 mm[7]。實(shí)現(xiàn)3D內(nèi)窺鏡的方法中，最典型的應(yīng)該是雙光通道方法。其由兩個(gè)完全一樣的高清攝像頭組成，攝像頭并排設(shè)置，可以獲取具有視差的雙視圖(如圖1所示)。除此之外，特殊設(shè)計(jì)的雙光通道組合一個(gè)高清攝像頭也可以實(shí)現(xiàn)3D內(nèi)窺鏡的雙通道圖像獲取[20]。無(wú)論采用哪種方式實(shí)現(xiàn)，3D內(nèi)窺鏡系統(tǒng)最終的目的是讓使用該設(shè)備的醫(yī)護(hù)人員能夠看到具有視差的左右眼視圖，從而形成具有深度信息的立體視覺。

圖1 雙光通道三維醫(yī)用電子內(nèi)窺鏡。(a)三維攝像機(jī)系統(tǒng)；(b)雙攝像機(jī)；(c)硬式內(nèi)窺鏡；(d)雙鏡頭。

3D內(nèi)窺鏡中的深度信息是由雙光通道處于不同的位置而形成。以直徑為4 mm的硬式3D內(nèi)窺鏡為例，管壁的厚度至少0.5 mm，留給雙通道攝像頭的空間僅為3 mm。雙攝像頭左右放置，攝像頭基線距離僅為1.2 mm左右[7]。與成人雙眼平均瞳距IPD的63 mm相比，3D內(nèi)窺鏡系統(tǒng)的雙攝像頭基線距離是非常小的，這也就形成了該3D獲取與成像系統(tǒng)的特殊性。

形成立體視覺的第二個(gè)條件就是立體顯示系統(tǒng)。在使用相同的3D成像內(nèi)容的情況下，立體顯示系統(tǒng)可以使用傳統(tǒng)的眼鏡式或裸眼立體顯示。在三維醫(yī)用電子內(nèi)窺鏡系統(tǒng)可選的顯示系統(tǒng)中，同時(shí)基于幾何空間的畸變研究，從本質(zhì)上，這兩者在空間幾何構(gòu)建上并沒有實(shí)質(zhì)性差別[21]。傳統(tǒng)眼鏡式立體顯示以偏振眼鏡式為例，它是通過(guò)不同偏振方向或偏振態(tài)的光區(qū)分左右眼影像。裸眼立體顯示系統(tǒng)在空間不同方向投射具有視差的左右眼影像。兩者均為了向觀看者的左右眼分別投射具有視差的左右視圖，以形成立體視覺。

3D內(nèi)窺鏡系統(tǒng)的臨床應(yīng)用如圖2所示。微創(chuàng)手術(shù)過(guò)程中，3D內(nèi)窺鏡系統(tǒng)獲取具有視差的左右視圖影像(圖2(b))，通過(guò)偏振式立體顯示系統(tǒng)顯示手術(shù)過(guò)程中的影像，醫(yī)護(hù)人員佩戴偏振式立體眼鏡觀看3D顯示屏幕進(jìn)行手術(shù)操作或手術(shù)狀態(tài)的監(jiān)控。由于實(shí)際應(yīng)用中的場(chǎng)地等條件限制，醫(yī)護(hù)人員觀看同一3D手術(shù)內(nèi)容時(shí)所處的位置和觀看的角度是不同的(圖2(a))。理論上講，每個(gè)醫(yī)護(hù)人員所感知到的立體影像是不完全相同的，除了前面講到的立體影像采集與顯示部分，立體影像的觀看位置和角度也是影響最終感知效果的重要因素[22]。3D內(nèi)窺鏡顯示系統(tǒng)同樣存在最佳的觀看位置和角度的范圍，這與3D內(nèi)窺鏡雙攝像頭基線范圍、3D顯示屏幕的大小、人眼瞳距等因素都直接相關(guān)。

圖2 三維內(nèi)窺鏡臨床應(yīng)用。(a)手術(shù)過(guò)程中通過(guò)偏振式立體眼鏡觀看影像；(b)手術(shù)進(jìn)行中獲取的三維內(nèi)窺鏡影像，具有視差的左右視圖通過(guò)偏振式三維顯示系統(tǒng)顯示。

3 三維內(nèi)窺鏡影像獲取與可視化模型

3D內(nèi)窺鏡影像獲取與可視化參數(shù)之間的關(guān)系直接影響最終的感知效果。3D影像獲取中采用平行攝像頭配置模式(圖3(a))，3D顯示中采用基于雙目視差的立體顯示(圖3(b))是較為常見的系統(tǒng)模式[23-24]。3D內(nèi)窺鏡影像獲取與可視化模型將基于以上常見配置模式構(gòu)建。

圖3 三維影像獲取、顯示與感知。(a)平行式雙攝像機(jī)配置獲取真實(shí)世界場(chǎng)景影像；(b)虛擬世界場(chǎng)景呈現(xiàn)與視覺感知。

3D內(nèi)窺鏡影像獲取與可視化過(guò)程可以總結(jié)為3個(gè)主要的坐標(biāo)轉(zhuǎn)換步驟，最終形成由物體空間(Xo,Yo,Zo)向圖像空間(Xi,Yi,Zi)的轉(zhuǎn)換過(guò)程。物體空間以雙攝像頭的連線中心點(diǎn)為坐標(biāo)原點(diǎn)(圖3(a))，圖像空間以雙眼連線的中心位置為坐標(biāo)原點(diǎn)(圖3(b))。物體空間與圖像空間之間的轉(zhuǎn)換需要通過(guò)攝像頭的傳感器坐標(biāo)以及顯示屏坐標(biāo)，轉(zhuǎn)換過(guò)程如式(1)～(3)所示[24]。其中，空間坐標(biāo)轉(zhuǎn)換涉及的符號(hào)及其含義如表1所示。

表1 空間坐標(biāo)轉(zhuǎn)換涉及的符號(hào)

第一個(gè)坐標(biāo)轉(zhuǎn)換步驟是由3D的物體空間轉(zhuǎn)換到2D的攝像頭傳感器坐標(biāo)，物體空間(Xo,Yo,Zo)中的物點(diǎn)Po投射到左右攝像頭傳感器上分別形成Ol和Or。Ol和Or分別以(Xcl,Yc)和(Xcr,Yc)的2D形式表達(dá)，具體轉(zhuǎn)換過(guò)程如式(1)所示。

(1)

其中：f是攝像頭的焦距，bc是雙攝像頭的基線距離，s是平行式配置模式下攝像頭傳感器的補(bǔ)償位移，Yc的表達(dá)默認(rèn)在垂直方向上左右傳感器坐標(biāo)無(wú)差異。式(1)基于小孔成像模型，考慮左右攝像頭傳感器的補(bǔ)償位移，表達(dá)了從3D物體空間到2D攝像頭傳感器坐標(biāo)的轉(zhuǎn)換過(guò)程(如圖3(a)所示)。

第二個(gè)坐標(biāo)轉(zhuǎn)換步驟是由攝像頭傳感器坐標(biāo)轉(zhuǎn)換到顯示屏坐標(biāo)，體現(xiàn)為攝像頭傳感器采集的圖像內(nèi)容在顯示屏上呈現(xiàn)，Ol和Or在顯示屏坐標(biāo)分別對(duì)應(yīng)左右視圖Sl和Sr的位置。Sl和Sr分別以(Xsl,Ys)和(Xsr,Ys)的2D形式表達(dá)，具體轉(zhuǎn)換過(guò)程如式(2)所示。

(2)

其中，Ws是顯示屏的寬度，Wc是攝像頭傳感器的寬度，Ys默認(rèn)在垂直方向上顯示屏顯示的左右視圖坐標(biāo)無(wú)差異。默認(rèn)顯示屏和攝像頭傳感器具有相同的寬高比例，僅以寬度比例代表坐標(biāo)的放大率。

第三個(gè)坐標(biāo)轉(zhuǎn)換步驟是由2D的顯示屏坐標(biāo)轉(zhuǎn)換到3D的圖像空間，體現(xiàn)為人眼的雙目立體視覺融合過(guò)程，雙目影像Sl和Sr融合為圖像空間中的三維像點(diǎn)Pi(Xi,Yi,Zi)，具體轉(zhuǎn)換過(guò)程如式(3)所示。

(3)

其中：be為模型中的雙眼基線距離，也就是瞳距IPD，Vd是觀看者相對(duì)3D顯示屏的實(shí)際觀看距離。如果是近眼3D顯示設(shè)備，觀看距離同樣可以根據(jù)相關(guān)參數(shù)進(jìn)行換算求得。整個(gè)雙目融合的感知過(guò)程如圖3(b)所示，觀看距離及觀看者瞳距等觀看條件直接影響感知到的幾何空間構(gòu)建，這也體現(xiàn)了人因在3D成像系統(tǒng)中的重要地位。

基于通常使用的平行攝像頭配置模式，攝像頭傳感器和顯示屏幕上左右視圖在Y方向上并沒有任何差異。如果能確保3D影像的采集和可視化過(guò)程中的基線距離(bc和be)、會(huì)聚距離(Cd和Vd)以及視場(chǎng)角度(α和β)完全一致，物體空間將與圖像空間完美匹配。雖然表達(dá)式(1)～(3)中沒有涉及攝像機(jī)會(huì)聚距離Cd以及視場(chǎng)角(α和β)，但是表1的這些參數(shù)之間是有可以相互表示的約束關(guān)系。

鑒于3D內(nèi)窺鏡系統(tǒng)的特殊性：3D影像采集的雙攝像頭基線距離bc遠(yuǎn)小于可視化過(guò)程中的雙眼瞳距IPD(be)。3D內(nèi)窺鏡系統(tǒng)中物體空間與圖像空間絕不可能完全匹配。通常情況下，3D內(nèi)窺鏡系統(tǒng)中，物體空間的物體在圖像空間中將會(huì)以放大數(shù)十倍的形式呈現(xiàn)。這也完全符合3D內(nèi)窺鏡“顯微”助視的特性，但在放大過(guò)程中也要確保影像相對(duì)大小的一致性。

4 空間幾何畸變分析

3D內(nèi)窺鏡系統(tǒng)的幾何畸變分析是基于3D內(nèi)窺鏡影像獲取與可視化模型，分析相關(guān)參數(shù)變化導(dǎo)致圖像空間中的物像在各個(gè)維度上放大倍數(shù)不一致的問(wèn)題。Woods[24]和Gao[22]基于常規(guī)的3D影像采集與可視化過(guò)程，分析了立體空間的幾何畸變問(wèn)題。作為一種獨(dú)特的3D系統(tǒng)，3D內(nèi)窺鏡系統(tǒng)可視化的虛擬圖像空間是基于真實(shí)空間放大數(shù)十倍的可視化效果。在常規(guī)的3D影像獲取與可視化系統(tǒng)中，3對(duì)參數(shù)的匹配與否將影響幾何畸變。每一對(duì)參數(shù)均一致時(shí)，感知的虛擬影像將與真實(shí)空間物體完全匹配。在3D內(nèi)窺鏡系統(tǒng)中，雙攝像頭的基線距離是固定的，并且遠(yuǎn)小于雙眼IPD。理想的物像重現(xiàn)是3個(gè)維度上具有相同的放大率。為確保3個(gè)維度上的放大率一致，影像采集與可視化的視場(chǎng)大小必須一致(如式(4)所示)，同時(shí)基線距離與會(huì)聚距離的比例必須相同(如式(5)所示)?；诘湫偷陌咐?，攝像頭基線距離約為1.2 mm左右，而成人IPD為63 mm，相比之下雙眼IPD是攝像頭基線長(zhǎng)度的50倍左右，所以3D內(nèi)窺鏡系統(tǒng)理想的放大率也是50左右。

α=β，

(4)

(5)

為了更直觀地呈現(xiàn)3D內(nèi)窺鏡系統(tǒng)的可視化效果，圖4展示了3D內(nèi)窺鏡系統(tǒng)的可視化模擬結(jié)果。真實(shí)世界(物體空間)中一個(gè)邊長(zhǎng)為2 cm的立方體(圖4(a))在虛擬世界(圖像空間)的理想放大影像為邊長(zhǎng)1 m的立方體(圖4(b))。3D內(nèi)窺鏡不恰當(dāng)?shù)氖褂茫瑫?huì)產(chǎn)生感知影像的幾何畸變?nèi)鐖D4(c～f)所示。在實(shí)際應(yīng)用當(dāng)中，3D顯示屏幕尺寸的選擇以及使用者的最佳觀看距離需要遵循式(4)和式(5)。以攝像頭會(huì)聚距離30 mm，單個(gè)攝像頭視場(chǎng)角58°為例，最佳觀看距離為1.5 m，與之匹配的三維顯示屏為190.5 cm(75 in)(屏幕比例為16∶9)。

圖4 三維內(nèi)窺鏡可視化效果模擬。(a)真實(shí)世界中的物體；(b)無(wú)畸變的放大可視化；(c～f)畸變的可視化效果與理想情況的比較。

5 結(jié) 論

三維電子內(nèi)窺鏡憑借立體影像提供的立體空間深度感知優(yōu)勢(shì)，可以為更加精確的診斷和手術(shù)操控提供保障，已廣泛應(yīng)用于各類醫(yī)學(xué)診斷、微創(chuàng)手術(shù)以及醫(yī)學(xué)培訓(xùn)?？臻g復(fù)現(xiàn)的精確性是3D內(nèi)窺鏡的基本要求，影像獲取與可視化參數(shù)的匹配程度不僅影響空間復(fù)現(xiàn)的精確度，還有可能導(dǎo)致醫(yī)護(hù)人員使用時(shí)的視覺不舒適問(wèn)題。本文基于3D電子醫(yī)用內(nèi)窺鏡系統(tǒng)影像獲取、顯示及感知過(guò)程的分析，建立了影像獲取與可視化模型，分析了3D內(nèi)窺鏡系統(tǒng)的特殊性以及使用過(guò)程中可能出現(xiàn)的立體空間幾何畸變情況，提出了參數(shù)匹配以確保3D內(nèi)窺鏡影像無(wú)畸變等比例放大的方法。