鄧玉萱，屈 赟，劉建林，欒 寬，劉景隆

（哈爾濱工程大學智能科學與工程學院，黑龍江 哈爾濱 150001）

1 研究背景

臨床常用的超聲圖像是二維斷面圖，對于醫(yī)生來說想要精確地找到病灶有一定難度，所以在骨外科手術(shù)導航系統(tǒng)中，三維可視化技術(shù)是至關(guān)重要的一部分。

雖然基于X 光的三維成像能夠較好地解決這一問題，但術(shù)中應用成本較高還未被廣泛使用。此外，無論是二維還是三維X 光成像都會產(chǎn)生一定的電離輻射，這會對醫(yī)生和患者的身體造成傷害。

1.1 基于超聲圖像的三維重建

針對二維或三維X 光成像的問題，使用超聲成像來提供無輻射的實時骨骼三維成像不失為一個較好的選擇。以超聲圖像為基礎(chǔ)的實時三維重建圖像引導手術(shù)，主要運用自由臂超聲將空間定位傳感器安裝在超聲探頭上，通過注冊過程計算出超聲圖像與空間定位傳感器間的位置關(guān)系[1]；并且采用深度學習的方法將超聲圖像中的骨骼輪廓分割出來；同時實時獲取超聲圖像的空間信息，將獲得定位數(shù)據(jù)實時引入系統(tǒng)，計算出圖像點的空間位置；最后將得到的空間點進行整合，形成空間曲面輪廓。

1.2 系統(tǒng)改善之處

超聲成像系統(tǒng)趨于完善，但是仍有可改善之處。目前該系統(tǒng)在掃描骨骼時，每一幀超聲圖像間會產(chǎn)生空隙，這些空隙如果較大會使得重建的骨骼輪廓不連續(xù)，影響重建效果，甚至干擾診斷。而基于視覺的三維重建正好能夠填補這樣的空白，微軟公司曾推出一個交互性重建系統(tǒng)，系統(tǒng)實時從移動著的Kinect 攝像頭中獲得深度數(shù)據(jù)，實時創(chuàng)建一個高質(zhì)量、幾何精確的3D 模型，用戶手持標準相機，可在室內(nèi)任意移動，并在幾秒內(nèi)重建出實物場景的3D 模型[2]。

基于以上技術(shù)，對超聲斷面圖像進行斷層重建，使骨骼輪廓在垂直圖像方向進行延伸，以便提升三維重建效果。

2 研究方法

2.1 Kinect Fusion 三維重建算法

Kinect Fusion 是基于RGB-D 相機三維重建的開山之作，首次實現(xiàn)實時稠密的三維重建，也可在只用深度圖的情況下就能實時地建立三維模型[3]。

Kinect Fusion 包含2 個核心技術(shù)，即迭代最近點（ⅠCP）算法注冊和基于截斷符號距離函數(shù)（TSDF）。它的思路是一邊注冊，一邊融合。主要步驟如下：①將讀入的深度圖像轉(zhuǎn)換為三維點云，計算每一個點云的法向量；②找到當前時刻和前一時刻的有向點之間的對應關(guān)系，所有深度測量值都能從二維圖像坐標轉(zhuǎn)化到一個單一連續(xù)的全局坐標空間內(nèi)；③根據(jù)前一步驟的位姿，將當前幀的點云融合到網(wǎng)格模型中去；④根據(jù)當前幀相機位姿將模型中的點云投影到當前幀并且計算其法向量，用來在之前步驟中對下一幀的輸入圖像配準。

2.2 圖像處理方法

首先對骨骼圖像進行預處理，包括中值濾波和圖像閾值處理。對圖像中的骨骼輪廓進行圖像濾波處理，在盡量保留圖像特征的前提下對目標圖像的噪聲進行抑制，該步驟處理效果的好壞將直接影響到后續(xù)圖像處理和分析的有效性和可靠性。為了濾除孤立的噪聲像素，例如椒鹽噪聲、脈沖噪聲等，保持圖像的邊緣特性，使圖像不會產(chǎn)生顯著的模糊，選擇非線性濾波器中的中值濾波進行圖像處理。

具體處理方法為：用一個奇數(shù)點的窗口在圖像上移動，窗口中心與圖中某個像素位置重合；按大小順序依次讀取窗口下的像素灰度值；選取灰度序列中的中間一個像素灰度值賦給模板中心位置的像素，從而消除孤立的噪聲點。

其次對經(jīng)過濾波后的圖像進行分割處理。作為最基本和最常用的圖像分割方法之一，圖像閾值化分割具備實現(xiàn)簡單、計算量小、性能較穩(wěn)定的特點，它主要利用圖像中要提取的目標物與其背景在灰度特性上的差異，通過設(shè)置合適的灰度閾值，將圖像的灰度劃分為2 個或多個灰度區(qū)間，以確定有意義的區(qū)域或分割物體的邊界[4]。該方法不僅可以極大地壓縮數(shù)據(jù)量，而且也大大簡化了分析和處理的步驟。

對于讀入圖像中骨骼輪廓和外界環(huán)境的分割采用了全局閾值處理中的低閾值零處理方法，即：

式（1）中：dst（x，y）為處理完成后得到的目標圖像；src（x，y）為需要進行閾值處理的原始圖像；thresh為需要設(shè)定的閾值。

2.3 骨骼重建的技術(shù)創(chuàng)新

鑒于系統(tǒng)的輸入是斷層超聲圖像而不是相機拍攝的深度圖像，在算法上去除了與攝像頭的相關(guān)代碼；又因為ⅠCP 算法主要用于點云配準，而在該系統(tǒng)中運用坐標轉(zhuǎn)換進行此項工作，處理圖像包括像素與毫米之間的轉(zhuǎn)換、超聲探頭坐標系到定位儀的世界坐標系的轉(zhuǎn)換，根據(jù)超聲圖像到超聲探頭的圖像坐標，就可以得到由圖像坐標轉(zhuǎn)換到雙目定位儀下的世界坐標的轉(zhuǎn)換方程，即可獲取到所有像素點的空間坐標，所以也去除了ⅠCP 匹配的相關(guān)代碼。

該算法主要包括以下內(nèi)容：①初始化參數(shù)為默認值，設(shè)置TSDF 體積的初始姿勢；②創(chuàng)建KinFu 類的對象，并且將循環(huán)次數(shù)置為0；③對讀入的圖像進行預處理，將超聲圖像中的偽影濾除以達到更好的三維重建效果；④結(jié)合雙目光學定位儀及器械注冊技術(shù)，得到配準后的統(tǒng)一的世界坐標系下的將輔助探針與超聲探頭的空間坐標，再使用TSDF 點云融合算法將當前幀的3D 點云融合到現(xiàn)有模型中；⑤如果沒有將新幀與當前場景對齊就清除當前模型并重置姿勢；⑥使用光線跟蹤的方法，根據(jù)現(xiàn)有模型和預測出的當前可觀察到的環(huán)境點云，以達到一邊掃描一邊重建的效果；⑦每次循環(huán)后循環(huán)次數(shù)加1，用于判斷是否完成設(shè)定幀數(shù)的重建，在渲染完現(xiàn)有模型后通過按鍵判斷是否立即退出。

算法流程圖如圖1 所示。

圖1 算法流程圖

3 實驗過程

3.1 實驗操作

該系統(tǒng)的整體工作流程為：①首先由光學定位儀來對超聲探頭上的定位裝置進行實時追蹤以獲取其坐標，并將該坐標通過串口通訊的形式傳輸至計算機；②計算機則使用開發(fā)的軟件對該坐標進行處理，計算出各個器械在定位儀世界坐標系下的位置信息與姿態(tài)信息，并將其呈現(xiàn)在三維可視化的界面中；③同時將位置與姿態(tài)信息記錄并輸出為文本文件。

與此同時，通過圖像采集卡來獲取超聲圖片，利用圖像處理程序?qū)Τ晥D像中的骨骼輪廓進行中值濾波和圖像閾值處理，并轉(zhuǎn)化到空間坐標系下，再結(jié)合配準后的統(tǒng)一的世界坐標系下的將輔助探針與超聲探頭的空間坐標，使用TSDF 點云融合算法將當前幀的3D 點云融合到現(xiàn)有模型中；通過光線跟蹤的方法，根據(jù)現(xiàn)有模型和預測出的當前可觀察到的環(huán)境點云，以達到一邊掃描一邊重建的效果；最后對獲取到的骨骼表面空間像素點集進行表面重建，將最終結(jié)果顯示在三維可視化界面中。

3.2 實驗結(jié)果

輸入的二維原始超聲圖像如圖2（a）所示，通過本文設(shè)計的圖像處理方法，濾除背景并獲得骨骼輪廓，如圖2（b）所示，最后使用三維重建算法進行重建，如圖2（c）所示。其他部位骨骼輪廓重建結(jié)果如圖3所示。

圖2 當前幀分步重建圖像

圖3 其他部位骨骼三維重建圖像

4 結(jié)論

想要實時重建多幀骨骼圖像，需要將獲取超聲圖像中骨骼的位置信息和深度信息融合到程序中。本文在理論上指出掃描骨骼的新方向，不再執(zhí)拗與傳統(tǒng)的X 光成像和CT 成像。但是不足之處是無法活動骨骼內(nèi)部結(jié)構(gòu)，為了解決這個問題，接下來本項目的重要突破點是將CT 圖像與之融合。

通過在現(xiàn)有的實驗基礎(chǔ)上的理解，這個項目具有很強的可行性，具有延時低、快捷方便等特點。更多的是不僅能夠掃描骨骼，還可以使用圖像處理的方法提取出來想要的一些組織，從而達到成像的目的。