肖 揚(yáng)，馮 煊，陳大鵬*

（1.聯(lián)勤保障部隊(duì)第900醫(yī)院，福州 350025；2.陸軍工程大學(xué)，南京 210001）

0 引言

臨床手術(shù)示教是廣大醫(yī)學(xué)生和臨床實(shí)習(xí)醫(yī)生獲得外科臨床經(jīng)驗(yàn)的最佳途徑之一[1]。當(dāng)前的數(shù)字視頻手術(shù)示教平臺(tái)僅支持普通二維高清手術(shù)示教視頻，存在交互性差、手術(shù)視角受限、移動(dòng)觀看不便等問題，影響了示教效果及平臺(tái)的推廣應(yīng)用，因此迫切需要研發(fā)一種新的可以解決上述問題的手術(shù)示教平臺(tái)。虛擬現(xiàn)實(shí)（virtual reality，VR）是當(dāng)今發(fā)展最快的一項(xiàng)綜合技術(shù)，將該項(xiàng)技術(shù)應(yīng)用在醫(yī)學(xué)手術(shù)示教領(lǐng)域能較好地滿足教學(xué)中實(shí)時(shí)情景化及移動(dòng)交互的需要，達(dá)到理想的教學(xué)效果[2]。本研究以VR技術(shù)為基礎(chǔ)，采用客戶端/服務(wù)器（Client/Server，C/S）架構(gòu)，在Visual Studio平臺(tái)上基于HTML 5技術(shù)，利用軟件工程的思想設(shè)計(jì)并實(shí)現(xiàn)VR手術(shù)視頻示教平臺(tái)。本平臺(tái)通過采集制作全景手術(shù)視頻和非全景3D手術(shù)視頻，充分發(fā)揮VR的技術(shù)特點(diǎn)，使終端用戶能沉浸于虛擬手術(shù)空間，清楚地看到每一步手術(shù)操作細(xì)節(jié)，實(shí)時(shí)觀摩、學(xué)習(xí)醫(yī)生和護(hù)士之間、主刀醫(yī)生和助手之間以及手術(shù)醫(yī)生和麻醉醫(yī)生之間的默契配合，從而獲得更好的觀看體驗(yàn)，達(dá)到更為理想的教學(xué)效果。

1 平臺(tái)架構(gòu)設(shè)計(jì)

VR手術(shù)視頻示教平臺(tái)由采集制作模塊和終端播放模塊組成。采集制作模塊主要制作、編輯VR全景手術(shù)視頻及VR非全景3D手術(shù)視頻，為平臺(tái)提供豐富的手術(shù)示教資源。終端播放模塊主要為用戶終端提供基于移動(dòng)終端的VR眼鏡觀看及基于手機(jī)的裸眼觀看2種方式，采用多屏互動(dòng)技術(shù)使手機(jī)上的VR視頻可共享到電視、計(jì)算機(jī)等其他多媒體終端，以實(shí)現(xiàn)更好的觀看體驗(yàn)。VR手術(shù)視頻示教平臺(tái)架構(gòu)如圖1所示。

圖1 VR手術(shù)視頻示教平臺(tái)架構(gòu)

2 平臺(tái)功能設(shè)計(jì)及實(shí)現(xiàn)

2.1 采集制作模塊

2.1.1 VR全景視頻

VR全景視頻是利用拼接技術(shù)將360°柱面圖像連接起來形成全景視頻空間，用戶通過不同視點(diǎn)的切換主動(dòng)地選擇方向和觀察點(diǎn)來了解環(huán)境[3-4]。本平臺(tái)采用Insta360 Pro全景攝像機(jī)采集視頻，利用新光流算法、借助Adobe Premiere Pro CC軟件制作VR全景視頻，其整體制作步驟主要包括采集、拼接、剪輯編碼及傳輸4個(gè)部分，如圖2所示。

圖2 VR全景手術(shù)視頻制作過程

2.1.1.1 視頻采集

與普通視頻不同，全景視頻的采集需要借助全景攝像機(jī)完成。VR手術(shù)視頻示教平臺(tái)應(yīng)用Insta360 Pro全景高清8K攝像機(jī)，機(jī)身環(huán)繞6枚攝像頭，每個(gè)攝像頭光圈均為f/2.4，可同時(shí)采集、錄制手術(shù)現(xiàn)場(chǎng)6個(gè)方向的視頻。拍攝時(shí)通過吊臂腳架將全景攝像機(jī)固定于手術(shù)術(shù)野上方，在確?；颊唠[私的前提下，調(diào)整拍攝位置，并在手術(shù)過程中保持穩(wěn)定，實(shí)現(xiàn)對(duì)手術(shù)術(shù)野全方位的采集。VR手術(shù)視頻拍攝現(xiàn)場(chǎng)如圖3所示。

圖3 VR手術(shù)視頻拍攝現(xiàn)場(chǎng)

2.1.1.2 視頻拼接

將Insta360 Pro全景攝像機(jī)采集的手術(shù)現(xiàn)場(chǎng)6個(gè)方位的視頻批量導(dǎo)入全景拼接軟件Insta360 Stitcher中，采用新光流算法進(jìn)行拼接。由于手術(shù)術(shù)野光線與周邊光線反差較大，在手術(shù)術(shù)野光線恰當(dāng)?shù)那闆r下，周邊環(huán)境光線容易偏暗。為解決這一問題，在拼接過程中需啟用低光環(huán)境優(yōu)化和陀螺儀防抖校準(zhǔn)，使拼接完的視頻在整體亮度方面無明顯反差。

2.1.1.3 視頻剪輯編碼

VR手術(shù)視頻示教平臺(tái)采用Adobe Premiere Pro CC軟件對(duì)手術(shù)視頻進(jìn)行剪輯。將拼接生成的視頻文件導(dǎo)入軟件進(jìn)行檢測(cè)、解釋、分配后，按照手術(shù)視頻內(nèi)容進(jìn)行剪輯，同時(shí)對(duì)剪輯的節(jié)點(diǎn)添加沉浸式視頻過渡效果，保證VR視頻的流暢性。剪輯完成后對(duì)VR手術(shù)視頻進(jìn)行編碼輸出，為了便于傳輸和觀看，選擇MPEG-4格式對(duì)手術(shù)視頻進(jìn)行編碼，幀率采用30幀/s。

2.1.1.4 視頻傳輸

將制作好的VR手術(shù)視頻通過VR手術(shù)視頻示教平臺(tái)的傳輸模塊，借助超文本傳輸協(xié)議（hyper text transfer protocol，HTTP）上傳至視頻服務(wù)器。

2.1.2 VR非全景3D視頻

VR非全景3D視頻是將具有左右視差的圖像分別呈現(xiàn)在VR輸出設(shè)備左右兩眼所對(duì)應(yīng)的顯示屏幕上，這樣就可以給觀看者帶來具有出畫感（即影像從屏幕上延伸出來）的立體效果[5]。目前，應(yīng)用最廣泛的VR視頻為VR非全景3D視頻[6]。當(dāng)前VR手術(shù)視頻相對(duì)較少，VR手術(shù)視頻示教平臺(tái)根據(jù)手術(shù)視頻的特點(diǎn)，采用結(jié)構(gòu)重建（structure from motion，SFM）技術(shù)將現(xiàn)有的2D高清手術(shù)視頻轉(zhuǎn)換為VR非全景3D視頻，使VR影像的制作成本大幅降低，解決了VR手術(shù)視頻資源不足這一難題。2D高清手術(shù)視頻轉(zhuǎn)換為VR非全景3D視頻的過程如圖4所示。

圖4 2D高清手術(shù)視頻轉(zhuǎn)換為VR非全景3D視頻的過程

2D高清手術(shù)視頻轉(zhuǎn)換為VR非全景3D視頻的轉(zhuǎn)化過程分為5個(gè)步驟，具體如下：

（1）根據(jù)視頻圖像場(chǎng)景的特點(diǎn)利用SFM技術(shù)對(duì)原始2D視頻進(jìn)行場(chǎng)景的深度信息提取，得到2D場(chǎng)景對(duì)應(yīng)的深度圖，并對(duì)深度圖初始化。

（2）對(duì)所得到的深度圖進(jìn)行后處理，如濾波降噪、平滑、邊緣銳化等，以提高深度圖的質(zhì)量。

（3）將原始2D視頻圖像與得到的一系列深度圖像釆用基于深度圖像渲染（depth-image-based rendering，DIBR）技術(shù)進(jìn)行虛擬視點(diǎn)的繪制、重構(gòu)得到2路2D視頻。

（4）在虛擬視點(diǎn)繪制的過程中，利用填補(bǔ)空洞的方法對(duì)拍攝的視頻圖像進(jìn)行遮擋。

（5）利用圖像合成算法將處理后的2路2D視頻合成為1路3D視頻，然后生成MPEG-4格式的視頻。

2.2 終端播放模塊

2.2.1 VR全景視頻

VR手術(shù)視頻示教平臺(tái)針對(duì)VR全景視頻提供沉浸式和全景式2種播放方式，分別適用于用戶佩戴VR眼鏡和借助手機(jī)裸眼觀看。沉浸式播放方式采用偏振式顯示技術(shù)，其終端用戶需借助VR眼鏡進(jìn)行觀看。全景式播放方式無需借助VR眼鏡，用戶在手機(jī)端用手指拖動(dòng)視頻即可改變視角，實(shí)現(xiàn)水平360°和垂直360°的全視角觀看。同時(shí)，在全景式播放模式下，采用基于數(shù)字生活網(wǎng)絡(luò)聯(lián)盟（digital living network alliance，DLNA）協(xié)議的多屏互動(dòng)技術(shù)，用戶可將手機(jī)上的全景視頻連接到Pad、電視、計(jì)算機(jī)等多媒體終端進(jìn)行播放，便于手術(shù)視頻的高清示教。

VR全景視頻播放模塊是基于OpenGLES（Open-GL for Embedded Systems）進(jìn)行開發(fā)，具體如下：

（1）導(dǎo)入VR全景視頻幀，獲取當(dāng)前幀像素，并搭建OpenGL環(huán)境。

（2）將VR全景視頻采用透視投影技術(shù)映射到三維球體，將球面分割成若干個(gè)三角形，根據(jù)頂點(diǎn)Vertex（x，y，z）和紋理坐標(biāo) Texture Coordinate（u，v）將圖片進(jìn)行紋理映射。

（3）運(yùn)用模型-視圖-投影矩陣（Model-View-Projection，MVP）將貼到球體上的圖片進(jìn)行顯示。其中模型矩陣用于確定球體位置，視圖矩陣用于確定攝像機(jī)位置，投影矩陣用于確定場(chǎng)景的投影方式。

（4）設(shè)定當(dāng)用戶旋轉(zhuǎn)圖像時(shí)三維球體向反方向旋轉(zhuǎn)，借助轉(zhuǎn)換矩陣

將顏色域從YCbCr轉(zhuǎn)到RGB，繪制轉(zhuǎn)換后的圖像到屏幕。

2.2.2 VR非全景3D視頻

1）一個(gè)永遠(yuǎn)你對(duì)她負(fù)責(zé)，她卻不對(duì)你負(fù)責(zé)的是誰？答:二奶。錯(cuò)！是銀行。2）和你時(shí)刻相關(guān)，但需要時(shí)卻找不著的是什么？答:空氣。錯(cuò)！是組織。3）脫了衣服是獸，穿上衣服是什么？答：衣冠禽獸。錯(cuò)！是教授。4）某人第一個(gè)月工資一千，第二個(gè)月七百，工資漲了還是降了？答：降了。錯(cuò)！是在負(fù)增長(zhǎng)。

與沉浸式播放方式相同，終端用戶可以借助VR眼鏡觀看VR非全景3D視頻。為了適應(yīng)移動(dòng)環(huán)境下用戶可能未攜帶VR眼鏡的情況，VR手術(shù)視頻示教平臺(tái)也允許用戶將視頻由3D降為2D高清視頻，從而方便裸眼進(jìn)行觀看。VR非全景3D視頻播放模塊是在Visual Studio平臺(tái)上基于HTML5進(jìn)行開發(fā)的，具體如下：

（1）設(shè)置播放器的屬性，包括寬度、預(yù)加載、預(yù)覽圖等。

（2）創(chuàng)建JavaScript視頻控件，具體包括：

①調(diào)用av_register_all函數(shù)初始化庫，注冊(cè)MPEG-4文件格式；

②使用av_open_input_file函數(shù)確立視頻的輸出參數(shù)及緩沖區(qū)大小等信息；

③提取視頻流中的信息到AVFormatContext數(shù)據(jù)結(jié)構(gòu)中，并利用avcodec_alloc_context函數(shù)為AVFormatContext分配內(nèi)存；

④使用codec_type_video函數(shù)查找所有視頻流，使用avcodec_find_decoder函數(shù)查找對(duì)應(yīng)解碼器；

⑤利用avcodec_open函數(shù)打開解碼器，申請(qǐng)空間pFrame保存視頻幀；

⑦使用img_convert函數(shù)實(shí)現(xiàn)視頻幀格式的轉(zhuǎn)換；

⑧完成視頻數(shù)據(jù)的讀取后，調(diào)用avcodec_close函數(shù)釋放解碼器的上下文資源；

⑨關(guān)閉視頻文件，調(diào)用av_close_input_file函數(shù)。

（3）采取Flowplayer的降級(jí)方案，確保多瀏覽器對(duì)播放器的支持。

3 系統(tǒng)測(cè)試及應(yīng)用

VR手術(shù)視頻示教平臺(tái)在某院進(jìn)行了部署實(shí)施，反響效果良好。為了更好地評(píng)估VR手術(shù)視頻示教平臺(tái)的性能，應(yīng)用仿真測(cè)試的方法對(duì)平臺(tái)各功能模塊進(jìn)行了測(cè)試。

3.1 測(cè)試環(huán)境

選取3部手機(jī)對(duì)VR手術(shù)視頻示教平臺(tái)的功能進(jìn)行測(cè)試。手機(jī)配置見表1，測(cè)試視頻信息見表2。

表1 測(cè)試手機(jī)配置

表2 測(cè)試視頻信息

3.2 測(cè)試結(jié)果

（1）UI測(cè)試。VR手術(shù)視頻示教平臺(tái)UI界面友好，布局合理，各控件放置符合用戶習(xí)慣，操作便捷，導(dǎo)航簡(jiǎn)單、易懂，頁面美觀，顯示信息完善，如圖5所示。

圖5 VR手術(shù)視頻示教平臺(tái)UI界面

（2）功能測(cè)試。

VR手術(shù)視頻示教平臺(tái)功能符合要求，接口規(guī)范，數(shù)據(jù)準(zhǔn)確，代碼邏輯嚴(yán)謹(jǐn)，視頻播放流暢，無卡頓現(xiàn)象。本平臺(tái)播放根治性全胃切除術(shù)全景手術(shù)視頻如圖6所示，播放肝癌切除術(shù)非全景3D手術(shù)視頻如圖7所示。

圖6 根治性全胃切除術(shù)全景視頻

圖7 肝癌切除術(shù)非全景3D視頻

（3）性能測(cè)試。利用3臺(tái)測(cè)試機(jī)分別對(duì)全景手術(shù)視頻和非全景3D手術(shù)視頻進(jìn)行播放?？蛻舳薃pp播放視頻時(shí)的CPU使用率、視角切換流暢度、響應(yīng)時(shí)間等信息見表3。測(cè)試結(jié)果表明，VR手術(shù)視頻示教平臺(tái)能較好地滿足用戶需求。

表3 播放性能測(cè)試結(jié)果

3.3 應(yīng)用效果

VR手術(shù)視頻示教平臺(tái)在某院普通外科實(shí)習(xí)研究生中進(jìn)行了示教應(yīng)用：由實(shí)習(xí)研究生佩戴VR眼鏡觀看相關(guān)手術(shù)示教視頻，并在示教結(jié)束后進(jìn)行教學(xué)效果問卷調(diào)查。此次調(diào)研共發(fā)放25份調(diào)查問卷，回收有效調(diào)查問卷24份，回收率96.0%?；厥盏恼{(diào)查問卷中，有22人（91.7%）認(rèn)為VR手術(shù)視頻示教平臺(tái)打破了手術(shù)示教觀看角度的限制，達(dá)到了準(zhǔn)現(xiàn)場(chǎng)示教的氛圍；21人（87.5%）認(rèn)為VR手術(shù)視頻示教平臺(tái)教學(xué)性、實(shí)用性強(qiáng)。同時(shí)，實(shí)習(xí)研究生普遍認(rèn)為沉浸式的觀看體驗(yàn)提升了學(xué)習(xí)興趣和學(xué)習(xí)效率，為手術(shù)視頻示教提供了一種新的教學(xué)方案。

4 結(jié)語

VR作為一項(xiàng)綜合性新興技術(shù)，在各個(gè)領(lǐng)域，特別是醫(yī)療教學(xué)等方面有著廣闊的應(yīng)用前景。VR手術(shù)視頻示教平臺(tái)提供了全新的全景手術(shù)沉浸式和3D立體觀看體驗(yàn)，提升了用戶參與感，擴(kuò)充了手術(shù)視野，全方位地展示了手術(shù)信息。同時(shí)，本平臺(tái)不僅提供了佩戴VR眼鏡及手機(jī)裸眼2種觀看模式，便于在移動(dòng)終端隨時(shí)隨地學(xué)習(xí)，還支持多屏互動(dòng)協(xié)議，可實(shí)現(xiàn)VR手術(shù)視頻的共享播放，方便用戶使用。由于VR手術(shù)視頻清晰度高、數(shù)據(jù)量大，多個(gè)終端同時(shí)播放時(shí)對(duì)服務(wù)器的負(fù)載是一項(xiàng)重大考驗(yàn)。如何進(jìn)一步優(yōu)化VR視頻編碼方式，減少數(shù)據(jù)量，提高服務(wù)器的吞吐負(fù)載能力，確保多終端播放時(shí)視頻數(shù)據(jù)的流暢度是下一步的發(fā)展方向。