寧波市醫(yī)療中心李惠利醫(yī)院 周新華 阮一 王邏邏

本文提出一種基于穿透深度計算與非線性優(yōu)化的可變虛擬剛度優(yōu)化的肝臟手術(shù)觸覺仿真系統(tǒng)，采用基于組態(tài)接觸空間線性化投影技術(shù)和閔可夫斯基和的方法來計算兩個交叉幾何模型之間的穿透深度，通過引入線性化的六維空間距離度量來標(biāo)識，平移運動和旋轉(zhuǎn)運動的共同作用的最小分離距離，從而相似映射為反饋力及扭矩的輸出結(jié)果，能夠高效的應(yīng)用于各種復(fù)雜度的幾何模型交互力計算，滿足觸覺反饋設(shè)備刷新率的要求。通過引入可變虛擬剛度非線性優(yōu)化觸覺反饋系統(tǒng)設(shè)計，能夠良好地實現(xiàn)穩(wěn)定的剛體模型觸覺仿真交互操作，實驗結(jié)果表明，本文所提算法能夠穩(wěn)定有效的應(yīng)用于醫(yī)學(xué)領(lǐng)域的手術(shù)仿真。

0 引言

虛擬現(xiàn)實（VR，Virtual Reality）技術(shù)作為計算機圖形學(xué)領(lǐng)域的重要研究分支，其獨有的視覺呈現(xiàn)與虛擬仿真交互方式，使用戶能夠真實地置身于虛擬構(gòu)造的三維場景中，感受高度沉浸的視覺漫游體驗。通過引入虛實融合的多模態(tài)視覺、聽覺、觸覺、嗅覺等感知技術(shù)，實現(xiàn)與虛擬場景物體的動態(tài)交互，感受虛擬世界所帶來的知識學(xué)習(xí)與視覺震撼，能夠有效的應(yīng)用于醫(yī)學(xué)仿真、教育培訓(xùn)、游戲娛樂、軍事模擬、裝配制造、工業(yè)智能機器人等多個領(lǐng)域，為人類的生產(chǎn)生活提供廣泛的智能化數(shù)字交互的便利，成為研究人員所關(guān)注的研究熱點和計算機前沿科技。

在醫(yī)療培訓(xùn)仿真領(lǐng)域，引入虛擬現(xiàn)實技術(shù)能夠有效提高實習(xí)醫(yī)生的臨床的理論知識學(xué)習(xí)與臨床模擬手術(shù)的業(yè)務(wù)操作技能，避免了真實手術(shù)中技能不熟練所導(dǎo)致的醫(yī)療風(fēng)險，縮短了培訓(xùn)的周期，感受虛擬手術(shù)仿真所帶來的可試錯的優(yōu)勢。借助觸覺渲染（Haptic Rendering）的觸覺感知技術(shù)，用戶能夠感受與虛擬物體交互的接觸力覺，通過精確度量操作力輸出來模擬實際操作環(huán)境，以此達到高度沉浸的手術(shù)仿真體驗。然而由于目前觸覺力反饋設(shè)備的硬件刷新率要求與復(fù)雜幾何模型間碰撞檢測的計算效率問題，觸覺交互過程中所帶來的振動、穿透等不穩(wěn)定性因素影響，導(dǎo)致基于反饋力的虛擬交互并未大范圍的適用于實際生活。

本文提出一種基于滲透深度計算與非線性優(yōu)化的可變虛擬剛度優(yōu)化的肝臟手術(shù)觸覺仿真系統(tǒng)，能夠高效的應(yīng)用于各種復(fù)雜度的幾何模型交互力計算，滿足觸覺反饋設(shè)備刷新率的要求。通過引入不同幾何模型的可變虛擬剛度非線性優(yōu)化算法，能夠良好地實現(xiàn)穩(wěn)定的剛體模型觸覺仿真交互操作，有效的應(yīng)用于醫(yī)學(xué)領(lǐng)域的手術(shù)仿真。

1 相關(guān)工作

虛擬現(xiàn)實技術(shù)需要設(shè)計并重建逼近真實環(huán)境的應(yīng)用場景，在實際的虛擬仿真應(yīng)用中需要借助外部顯示設(shè)備來進行高沉浸感的漫游體驗。在醫(yī)學(xué)場景模型構(gòu)建虛擬現(xiàn)實交互仿真領(lǐng)域[1]，力反饋交互能夠為漫游體驗者帶來真實的觸覺反饋[2-3]，被廣泛的應(yīng)用于醫(yī)學(xué)虛擬仿真領(lǐng)域[4]，如基于滲透深度計算的牙齒手術(shù)力觸覺仿真[5]、柔性血管接入的手術(shù)仿真[6]、多通道協(xié)同的觸覺交互手術(shù)仿真[7]、脊柱外科的手術(shù)仿真[8]觸覺交互系統(tǒng)中的模型切割仿真與支持力反饋的沉浸式環(huán)境學(xué)習(xí)評價等技術(shù)的發(fā)展對于深度沉浸的手術(shù)仿真提供了大量的技術(shù)實現(xiàn)手段[9]。以上基于醫(yī)學(xué)模型三維重建及觸覺交互仿真技術(shù)的提出，為構(gòu)建虛擬現(xiàn)實場景的手術(shù)交互提供了理論基礎(chǔ)，為醫(yī)學(xué)手術(shù)培訓(xùn)仿真提供了一種有效的應(yīng)用場景解決方案。

設(shè)計觸覺力反饋交互系統(tǒng)并確保其具備穩(wěn)定交互的特性，是一項非常困難的任務(wù)。虛擬環(huán)境下，非被動離散時間幾何模型（Non-passive Discrete-time Model）的交互通常會存在大量的非線性問題。此外，基于觸覺交互設(shè)備的彈性剛度、慣性阻尼、材質(zhì)密度、運動沖量等問題在虛擬環(huán)境下都會帶來觸覺設(shè)備的震動和穩(wěn)定性差等混亂的行為無序問題。因此，基于輸出數(shù)據(jù)的優(yōu)化和控制器信號的延遲響應(yīng)對于觸覺力反饋渲染系統(tǒng)的設(shè)計，具有非常重要的應(yīng)用價值。

目前，研究人員主要還是關(guān)注觸覺力反饋渲染系統(tǒng)有關(guān)輸出信號控制和實際問題的數(shù)據(jù)優(yōu)化等方面，從而提高觸覺動態(tài)交互的穩(wěn)定性和準(zhǔn)確度。Miller等人[10]探索了虛擬環(huán)境下如何通過非線性的質(zhì)量/彈性剛度/阻尼的控制與設(shè)計來確保觸覺交互過程中震動的降低，以及在人機接口控制系統(tǒng)下其他的信號無序等行為。尤其是關(guān)注了有關(guān)局部彈性系統(tǒng)對于延遲響應(yīng)所獲得的非直覺性結(jié)果的計算。對于觸覺輸出數(shù)據(jù)的控制[11]，K Lee等人研究了一種自適應(yīng)輸出限制器的方法來確保觸覺渲染的穩(wěn)定性，其方法對于探索虛擬環(huán)境下柔性力可變形模型的觸覺交互提供了可能，通過基于時間域被動理論（Timedomain Passivity Theorem）探索了變形模型累積阻抗的快速計算實現(xiàn)交互反射力輸出。近期，許多研究人員也針對虛擬交互領(lǐng)域的不同應(yīng)用，提出了觸覺交互控制系統(tǒng)的許多解決方案[12]，Rose 等人提出了實驗室環(huán)境下，主動經(jīng)驗對于改進觸覺機械構(gòu)件的反射動力系統(tǒng)理論；Yasuda等人提出了一種基于觸覺的生物反饋（Biofeedback，BF）系統(tǒng)用戶中風(fēng)患者的平衡康復(fù)訓(xùn)練。對于多觸覺設(shè)備的協(xié)同交互系統(tǒng)，Gil等人基于系統(tǒng)建模和穩(wěn)定性分析，考慮了有關(guān)特征剛性模型、震動模式、關(guān)節(jié)設(shè)備等多種情況用于研究穩(wěn)定關(guān)節(jié)模型觸覺交互的可能性。

總的來說，觸覺力反饋渲染系統(tǒng)的穩(wěn)定性和魯棒性對于虛擬現(xiàn)實環(huán)境下高度真實感的觸覺響應(yīng)非常重要，它直接關(guān)系著觸覺渲染結(jié)果的用戶體驗。然而，目前的觸覺渲染系統(tǒng)對于處理高復(fù)雜度、多自由度觸覺渲染的應(yīng)用中，不可避免的會遇到效率過低、內(nèi)存占用過多、控制系統(tǒng)復(fù)雜、觸覺渲染設(shè)備體驗的不穩(wěn)定性等問題。通過引入具備動力學(xué)控制優(yōu)化學(xué)習(xí)理論的觸覺力反饋渲染系統(tǒng)，充分地提高觸覺渲染系統(tǒng)的刷新率，改進并增強觸覺交互設(shè)備的穩(wěn)定性。因此，我們將傳統(tǒng)的觸覺渲染系統(tǒng)，引入動態(tài)虛擬剛度控制，并提供高效低速阻尼響應(yīng)分析，設(shè)計出具備高效動力學(xué)特性的穩(wěn)定觸覺渲染系統(tǒng)。

2 主要算法實現(xiàn)流程

2.1 穿透深度計算

在觸覺渲染算法中，通常關(guān)注多邊形模型之間的碰撞交互問題，高效精確的碰撞檢測使用空間分離來處理低維線性時間內(nèi)的幾何基元碰撞檢索查詢。常用的兩種算法包括基于補償反饋（Penalty-based）和基于約束（Constraint Based）的觸覺渲染算法。其中基于補償反饋的觸覺渲染算法在交互力計算過程中廣泛的采用穿透深度（Penetration Depth，PD）的距離計算，相對于其他方法，其所需計算資源更少，能夠保證穩(wěn)定地力和扭矩仿真輸出。穿透深度廣泛應(yīng)用于剛體模型動態(tài)仿真的應(yīng)用研究，定義為將相互重疊的兩個物體分開的最小距離，如下式:

A和B為相互重疊的兩個多邊形模型，其初始質(zhì)心與世界坐標(biāo)系保持初始化一致；C為其組態(tài)接觸空間，用以表示模型A的非碰撞空間位置集合，B模型為靜態(tài)模型。本文采用一種基于組態(tài)接觸空間（Contact Space）投影技術(shù)和閔可夫斯基和（Minkowski Sum）的方法來計算兩個交叉幾何模型之間的廣義滲透深度，通過引入線性化的六維空間距離度量來標(biāo)識最小分離距離，在上式中以σ標(biāo)識，該分離運動包含了平移運動和旋轉(zhuǎn)運動的共同作用，從而相似映射為反饋力及扭矩的輸出結(jié)果，其定義如下式:

式中x（q）表示一個點在模型A上的位置為q；[q1，q2，q3]是一個四元數(shù)的向量部分，表示位置q0和q1相對方向上的變化；[q4，q5，q6]表示位置q0和q1之間的相對位置變化；Ixx，Iyy和Izz是模型A的慣性常量矩陣的對角線，V是模型A的體積，主要算法流程如圖1所示。

圖1 廣義穿透深度算法流程圖Fig.1 Flow diagram of generalized penetration depth computation

采用連續(xù)穿透深度計算方法進行虛擬觸覺交互在具有空洞、尖角、薄壁等復(fù)雜幾何拓?fù)浣Y(jié)構(gòu)的模型處理過程中具有很好的計算結(jié)果。此外，在局部接觸空間投影計算過程中的線性化局部接觸表面的重建過程中，采用連續(xù)的接觸特征運動一致性的特點，能夠很好的采用二次插值來近似線性的計算，為觸覺反饋力的計算發(fā)揮著重要的作用。

2.2 力反饋系統(tǒng)優(yōu)化設(shè)計

目前，觸覺力反饋渲染系統(tǒng)主要由觸覺設(shè)備力輸出信號控制、虛擬模型動態(tài)仿真、碰撞檢測三個部分所組成。模型虛擬交互的碰撞響應(yīng)結(jié)果直接作為輸出信號反饋給觸覺設(shè)備，由于在處理處理復(fù)雜幾何拓?fù)浣Y(jié)構(gòu)模型的過程中，非線性的數(shù)據(jù)模型特征邊界模糊、計算量大、刷新率不一致，很難產(chǎn)生連續(xù)且穩(wěn)定的輸出數(shù)據(jù)，對于復(fù)雜運動特征的虛擬交互，碰撞響應(yīng)的結(jié)果不能夠確保觸覺渲染處理的穩(wěn)定性。此外，對于處理復(fù)雜材質(zhì)屬性模型和可變形模型的觸覺交互，無法獲得直覺上的觸覺反饋。對于觸覺交互的數(shù)據(jù)特征信息，我們能夠通過訓(xùn)練學(xué)習(xí)理論來對原有的觸覺渲染系統(tǒng)進行改進，并結(jié)合連續(xù)穿透深度計算的理論支持和多核平行異步處理的架構(gòu)，應(yīng)對不同場景下觸覺交互輸出信號的動力學(xué)控制。

基于特征分析的數(shù)據(jù)收集與優(yōu)化:采用基于約束的非線性動態(tài)優(yōu)化理論，對觸覺反饋輸出信號進行特征的提取與分析，主要針對虛擬模型交互過程中大曲率、尖角區(qū)域、薄壁區(qū)域、局部多接觸點、頻繁震動區(qū)域等特征進行收集，通過特征分析對接觸模型的反饋力進行優(yōu)化輸出。

幾何拓?fù)淠Ｐ蛢?yōu)化方面，針對交互模型初始三角面片，尋求一個能夠較好地擬合給定數(shù)據(jù)集的集合，通過簡單的復(fù)合形K和一組定點V來構(gòu)造幾何模型M=（K，V）的能量函數(shù):

使其最小并獲得一個簡單的幾何拓?fù)鋽M合網(wǎng)格，以此減少交互模型的幾何復(fù)雜度。其中

k為一個彈性常量，隨著求解過程逐漸收斂，其值會逐漸減少。

曲面曲率優(yōu)化方面，采用非線性函數(shù)最優(yōu)化方法來構(gòu)造任何拓?fù)漕愋偷膹?fù)雜光滑曲面，由于所要設(shè)計的曲面需要通過插值幾何約束給出，其中幾何約束包括了頂點的位置、曲面法向量和曲面的曲率。通過使用非線性化最優(yōu)化方法使得基于曲率變分的修正函數(shù)達到極小來到出最小的變分曲線（MVC）和最小變分曲面（MVS）。其中，曲面修正函數(shù)為法向曲率在主方向上變分的平方和積分，如下式:

對于其他基于震動、異常數(shù)據(jù)輸出方面，可采用多元非線性優(yōu)化的曲線擬合方案，通過過濾算法來去除噪聲的異常數(shù)據(jù)，從而達到數(shù)據(jù)連續(xù)性輸出方案。

本文力反饋系統(tǒng)優(yōu)化集合以上所述策略，結(jié)合模型交互不同區(qū)域虛擬剛度和運動阻尼設(shè)計動力學(xué)控制模型:根據(jù)數(shù)據(jù)特征采集并優(yōu)化的結(jié)果，針對虛擬交互的動態(tài)特點，分析并設(shè)計具有自適應(yīng)虛擬剛度、局部低速阻尼限制、加速沖量控制單元的動力學(xué)觸覺渲染系統(tǒng)。通過引用基于Hunt-Crossley非線性模型去除了關(guān)于Kelvin Voight（KV）模型中的非連續(xù)性影響，Hunt-Crossley非線性模型良好的適用于具有虛擬剛度的環(huán)境下，并且對于物理屬性不一致的柔性環(huán)境也能夠達到良好的反饋力控制效果，通過采用基于位置的阻尼狀態(tài)來構(gòu)造局部接觸點的動態(tài)力輸出模型，以適應(yīng)不同場景下觸覺交互的動力學(xué)控制需求，如下式:

其中，n為[1～2]之間的一個無單位常量，用于反應(yīng)不同材料和接觸面的幾何特性。從HC模型所得到的系數(shù)K，B并不是模型中的相似量，可以認(rèn)為Kx和Bx是基于位置的彈性剛度和阻尼常量。

通過模型不同接觸特征的分析結(jié)果，針對不同場景的反饋力輸出動力學(xué)優(yōu)化，我們分別來進行考慮:

對于非線性化的彈性模型，由于初始速度的影響，會帶來彈性剛度系數(shù)的改變，尤其是對于具有柔性力的可變形模型而言，這個變化會非常的異常。其中ki為模型不同接觸區(qū)域的優(yōu)化可變虛擬剛度，PDg為計算的廣義穿透深度。

基于以上的動力學(xué)數(shù)據(jù)分析，我們擬設(shè)計構(gòu)造具有數(shù)據(jù)收集存儲功能動力學(xué)觸覺渲染系統(tǒng)，對虛擬剛度、高速阻尼、局部靜態(tài)摩擦力進行控制優(yōu)化輸出，如圖2所示。

圖2 自適應(yīng)動力學(xué)控制觸覺渲染系統(tǒng)Fig.2 Adaptive dynamic control haptic rendering system

3 實驗結(jié)果與分析

本文所述基于可變虛擬剛度優(yōu)化的肝臟手術(shù)觸覺仿真算法實驗基于C++語言環(huán)境及OpenHaptics 3.1觸覺設(shè)備編譯庫，在Windows 10 X64，i7-8700K 3.7 GHz的環(huán)境進行測試。并且輔以3D System TouchX的桌面式六自由度觸覺設(shè)備進行交互實驗。為了證明實驗系統(tǒng)的穩(wěn)定性和正確性，我們采用兩組不同復(fù)雜度的幾何模型進行測試，如表1所示:

表1 實驗測試模型組Tab.1 Models with different geometry complexity

利用廣義穿透深度計算獲得模型交互仿真效果，如圖3所示。圖中紅色物體分別為超聲刀和手術(shù)刀與觸覺設(shè)備手柄綁定，能夠自由移動與靜態(tài)肝臟模型進行碰撞交互，藍色與青色物體為廣義穿透深度計算結(jié)果。

圖3 廣義穿透深度計算結(jié)果Fig.3 Generalized penetration depth computation results

利用廣義穿透深度計算能夠同時作用平移與旋轉(zhuǎn)的共同運動，能夠獲得準(zhǔn)確的分離距離及接觸仿真結(jié)果，并且通過引入局部穿透深度的Virtual Coupling方法，有效的減少了局部接觸點法向所造成的震動問題，但是對于不同模型區(qū)域虛擬剛度的觸覺力輸出，仍然無法達到在低刷新率條件下的穩(wěn)定交互。通過引入可變剛度優(yōu)化的觸覺反饋系統(tǒng)，針對不同區(qū)域表面特性，采用虛擬剛度與運動阻尼控制器的作用，能夠獲得穩(wěn)定的交互效果。

4 結(jié)論

提出了一種基于變虛擬剛度和非線性優(yōu)化的肝臟手術(shù)觸覺仿真系統(tǒng)。采用基于構(gòu)形接觸空間的線性投影技術(shù)和Minkowski和方法計算了兩個相交幾何模型之間的侵徹深度。通過引入線性6維空間距離測度，識別出平動和轉(zhuǎn)動剛體運動。它可以有效地計算各種復(fù)雜幾何模型間的相互作用力，滿足觸覺反饋裝置的刷新率要求。通過引入變虛剛度非線性優(yōu)化的觸覺反饋系統(tǒng)設(shè)計，可以很好地實現(xiàn)剛體模型觸覺仿真的穩(wěn)定交互操作。實驗結(jié)果表明，該算法能夠穩(wěn)定有效地應(yīng)用于醫(yī)學(xué)領(lǐng)域的肝臟手術(shù)仿真。

然而，我們得到的渲染方法的性能在200到500fps之間，它沒有達到理想的觸覺更新率1000Hz。但是我們得到了穩(wěn)定的觸覺反饋。對于一些更復(fù)雜的模型，我們希望在以后的工作中找到一些好的技術(shù)來提高性能，比如變形模型、關(guān)節(jié)模型，同時考慮機器學(xué)習(xí)方法和神經(jīng)網(wǎng)絡(luò)來研究高級的觸覺渲染計算優(yōu)化方法。