齊景仲 方帆 付昊瑩 施璐 顧依然

虛擬現(xiàn)實技術(shù)讓人們獲得了一種獨特的方法來增強復(fù)雜的三維物體和環(huán)境的用戶可視化。虛擬現(xiàn)實是人們通過計算機對復(fù)雜數(shù)據(jù)進行可視化、創(chuàng)造可以操作以及實時交互的環(huán)境的重要工具。虛擬現(xiàn)實技術(shù)中計算機圖形學的應(yīng)用與傳統(tǒng)的計算機圖形學相似，但同時也有很多獨立于傳統(tǒng)模式而專門服務(wù)于虛擬現(xiàn)實技術(shù)的新技術(shù)。計算機圖形學在虛擬現(xiàn)實技術(shù)中的應(yīng)用有如下兩種：數(shù)字媒體與醫(yī)療。數(shù)字媒體中主要關(guān)注于虛擬現(xiàn)實技術(shù)中常用的建模，渲染，圖像輸出技術(shù)。而醫(yī)療也擁有其獨特的處理內(nèi)容與展現(xiàn)方法。

一、數(shù)字媒體應(yīng)用

1. CG模型的基本特征

幾何建模技術(shù)是計算機中構(gòu)造幾何形態(tài)和計算的技術(shù)。它的目的是構(gòu)建所需要的對象模型，該模型是計算機生成虛擬現(xiàn)實環(huán)境中物體的重要基礎(chǔ)。這一技術(shù)不僅是虛擬現(xiàn)實技術(shù)中的重要基礎(chǔ)，也廣泛應(yīng)用于機械設(shè)計、數(shù)控加工、建筑設(shè)計等領(lǐng)域。因此，在虛擬現(xiàn)實技術(shù)中建立一個虛擬空間時一定要建立一個幾何圖形環(huán)境，并用一定的光照模型來描述場景，在假想光源下計算紋理、材質(zhì)的照明效果。同時，以數(shù)字圖像的方式輸出現(xiàn)實的圖形計算結(jié)果。[1]

2. 圖像特征提取與分析

圖像特征提取與分析技術(shù)不同于傳統(tǒng)的計算機圖形學方向而更多的存在于計算機視覺方向。虛擬現(xiàn)實系統(tǒng)中主要在于應(yīng)用其圖像識別能力與多維信息的獲取能力得以更好的模擬現(xiàn)實世界的情況。當前有如下兩種常見圖像特征提取方法。

（1）HOG特征：

方向梯度直方圖（Histogram of Oriented Gradient， HOG）特征是計算機視覺技術(shù)和計算機圖像處理中一種用來實現(xiàn)物體檢測的特征算子。通過應(yīng)用了方向梯度直方圖特征的支持向量機（SVM）分類器已經(jīng)被廣泛地應(yīng)用于了計算機圖像識別技術(shù)中.HOG+SVM進行圖形檢測的方法是法國研究人員Dalal在2005年的CVPR上提出的，而如今雖然有很多檢測算法不斷提出，但基本都是以HOG+SVM的思路為主。[2][3]

（2） LBP特征：

LBP（Local Binary Pattern，局部二值模式）特征算子是一類用來描述圖像局部紋理特征的圖像識別算子。這一算子在圖像識別過程中具有旋轉(zhuǎn)不變性和灰度不變性的的顯著優(yōu)點。局部二值特征算子是首先由T. Ojala， M.Pietik？inen， 和D. Harwood 在1994年提出，用于紋理特征提取。而且，提取的特征是圖像的局部的紋理特征；[2][4]

3. 三維建模和重建

從三維模型的圖像重建是虛擬現(xiàn)實系統(tǒng)中計算機圖形學和計算機視覺的重要研究課題。同時基于圖像的三維人臉重建也可以作為其的一個特殊的子問題研究。此技術(shù)針對如何處理獲取的的掃描圖像，分析三維空間的位置關(guān)系，并充分發(fā)揮掃描測量獲取到的全部細節(jié)信息有著關(guān)鍵作用。[5][11]針對三維模型的重建，國內(nèi)學者已經(jīng)提出了各種方法[6]。這些方法實現(xiàn)三維重建是有效可行的。但基于圖像特征的三維重建方法，并不一定能有效地解決一般三維空間位置關(guān)系問題中所包含的圖像問題，如故障點問題、障礙物等。

二、醫(yī)療應(yīng)用

虛擬現(xiàn)實體現(xiàn)了用戶沉浸在人工的、完全由計算機生成的環(huán)境中的技術(shù)，因此與傳統(tǒng)方法相比，虛擬現(xiàn)實系統(tǒng)在醫(yī)療領(lǐng)域的應(yīng)用能更好的還原病人的詳細信息。

近年來，虛擬現(xiàn)雖然在許多工業(yè)應(yīng)用領(lǐng)域得到了廣泛的應(yīng)用。然而，在醫(yī)學領(lǐng)域中只有少數(shù)非常專業(yè)的VR方法。盡管從磁共振（MR）、X射線（CT）或3D超聲（US）斷層掃描中獲得的醫(yī)學圖像具有三維特征，但目前還沒有支持臨床診斷和治療規(guī)劃的VR系統(tǒng)。[7]

醫(yī)學中唯一的初始對象是灰色值圖像序列。這些灰度值代表從成像設(shè)備測量或計算的值，在大多數(shù)情況下不能用于自動對象分割和識別。因此，實時體繪制技術(shù)和選擇分割的交互方法是虛擬現(xiàn)實中診斷的需要。

另一個不同之處是虛擬物體的必要精度。醫(yī)療虛擬物體必須盡可能準確地再現(xiàn)現(xiàn)實。因此，傳統(tǒng)的算法構(gòu)建的醫(yī)療對象的幾何表示有非常多的三角形。網(wǎng)格復(fù)雜性帶來的計算復(fù)雜度上升會顯著導(dǎo)致在大多數(shù)情況下無法接受的精度損失。[11]

當前醫(yī)療領(lǐng)域使用的計算機圖形學技術(shù)有如下三種：

1. 體繪制技術(shù)

傳統(tǒng)3D紋理映射技術(shù)相比于基于CPU的體繪制技術(shù)，其主要缺點是缺少陰影渲染能力。而基于CPU的體繪制技術(shù)，像光線追蹤技術(shù)，則很容易產(chǎn)生陰影的圖片，例如醫(yī)療領(lǐng)域的很多身體檢查結(jié)果。這些灰度閾值表示了光能夠穿透的能力。因此只要結(jié)合表面法向量計算和生成的顏色還有依據(jù)已知的光源的位置和顏色并使用Phong照明計算模型進行計算的結(jié)果便能生成需要的相應(yīng)圖像。這種技術(shù)需要找到合適的分割閾值并進行體繪制才能達到作用。

2. 細分技術(shù)

細分技術(shù)為另一種常用的圖像分割技術(shù)，該策略非常適合在虛擬現(xiàn)實中使用。它包括三種不同類型的方法：1.自動分割算法；2.灰度值控制增長算法3.器官的交互定位和自動裝配模型。

如果底層算法足夠健壯并且能夠有效地計算，那么完全自動分割將是一種理想的技術(shù)。但這些算法只存在于一些非常特定的問題中。在虛擬現(xiàn)實中，唯一需要的交互就是從算法池中選擇相應(yīng)的方法。

3. 表面重建和渲染技術(shù)

在虛擬現(xiàn)實的應(yīng)用中，應(yīng)用表面重建與渲染技術(shù)可以通過獲取有限的圖像表面數(shù)據(jù)進行三維圖像的重建。其優(yōu)勢主要在于以下三點：

●大幅減少了要渲染的多邊形數(shù)量，而不會在重要的可視截屏區(qū)域造成質(zhì)量損失；

●高效執(zhí)行基于CPU的實時可見性測試（剔除、剪切）；

●負載管理以平衡CPU和圖形子系統(tǒng)的計算壓力。

圖像表面數(shù)據(jù)是在表面簡化過程中獲取的的。它可以與任何基于對表面部分的簡化算法相結(jié)合生成?；靖拍钍菍?yīng)用于對象的簡化步驟存儲在分層數(shù)據(jù)結(jié)構(gòu)中。這一知識使繪制近似繪制過程中重現(xiàn)物體細節(jié)成為可能。

參考文獻：

[1] Middleton， Kellie K.， et al. "Improved nondominant hand performance on a laparoscopic virtual reality simulator after playing the Nintendo Wii." Surgical endoscopy 27.11 （2013）： 4224-4231.

[2]Pengkun Wu “Analysis on the current condition of virtual reality and computer graphics and the applications on the digital media interaction” Inventive Computation Technologies （ICICT）， International Conference on

[3]Carlo Tomasi “Histograms of Oriented Gradients”

[4]Di Huang， Caifeng Shan， Mohsen Ar debilian， Yunhong Wang， and Liming Chen “Local Binary Patterns and Its Application to Facial Image Analysis： A Survey”

[5] Wang， Jingyan， et al. "Image tag completion by local learning." Advances in Neural Networks–ISNN 2015. Springer International Publishing， 2015. 232-239.

[6] Chen， Bolun， Ling Chen， and Yixin Chen. "Efficient ant colony optimization for image feature selection." Signal processing 93.6 （2013）： 1566-1576.

[7]M. Haubner ； C. Krapichler ； A. Losch ； K.-H. Englmeier ； W. Van Eimeren “Virtual reality in medicine-computer graphics and interaction techniques” IEEE Transactions on Information Technology in Biomedicine （ Volume： 1， Issue： 1， March 1997 ）

[8]wiki "https：//en.wikipedia.org/wiki/Volume_rendering"

[9]Dilpreet Kaur， Yadwinder Kaur “Various Image Segmentation Techniques： A Review”

[10]Weber， Daniel， et al. "Efficient gpu data structures and methods to solve sparse linear systems in dynamics applications." Computer Graphics Forum. Vol. 32. No. 1. Blackwell Publishing Ltd， 2013.

[11]Shubhankar Ranade； Mingshu Zhang； Mohammed Al-Sada； Jaryd Urbani； Tatsuo Nakajima “Clash tanks： An investigation of virtual and augmented reality gaming experience “2017 Tenth International Conference on Mobile Computing and Ubiquitous Network （ICMU）

北京工業(yè)大學“國家級大學生創(chuàng)新創(chuàng)業(yè)訓練計劃”資助，項目編號：GJDC-2018-01-14