李天梁,宋珍珍,陳發(fā)銀,蘇軼飛,譚躍剛
(武漢理工大學 機電工程學院,湖北 武漢 430070)
近年來,中國已是世界范圍內癌癥發(fā)病率增幅最大的國家之一,而例行篩查和早診早治可大大降低惡性腫瘤患者的死亡風險,已成為腫瘤預防的有效途徑[1-2]。在臨床診斷過程中,僅僅通過影像學檢查難以對病灶定性,活體組織的病理檢查才是診斷的金標準[3]。但傳統的穿刺活檢手術過程中穿刺針因與人體組織的交互作用會產生微量彎曲,從而導致穿刺針不能準確到達靶區(qū)或進針過程中損傷人體重要組織,穿刺精度與診療效果嚴重依賴醫(yī)生的經驗[4]。手術機器人因為可以術前精確規(guī)劃路徑避免重要人體組織損傷以及有較高的操作精度而被廣泛應用于穿刺活檢手術之中[5]。但現階段手術機器人進行穿刺手術主要依賴于醫(yī)學圖像和導航技術,主要有超聲成像、計算機斷層掃描(Computed Tomography,CT)以及磁共振成像(Magnetic Resonance Imaging,MRI)。但上述技術手段存在著以下不足:超聲成像在人體組織中對比度較差,小腫瘤幾乎不可見,CT 成像會使醫(yī)生長時間暴露于輻射下,嚴重影響醫(yī)護人員健康,MRI 掃描儀內部器件的工作精度會受到掃描儀強電磁干擾的影響[6-7]。目前針對剛性穿刺針的穿刺力、柔性穿刺針的針體形狀準確實時獲得不足,無法實現穿刺過程的信息感知以及精準的靶點操作[8]。因此發(fā)展一種高精度、小型化且抗電磁干擾的穿刺針力形狀感知方法,為手術機器人輔助穿刺提供實時、準確的形狀信息,對于提高穿刺手術的安全性與準確性有著重大意義[9]。
近年來,光纖傳感器因具有抗電磁干擾、良好的生物兼容性和微型化尺寸等優(yōu)勢而引起國內外學者的廣泛關注。它能克服電類敏感元件的大部分局限,實現狹小空間下手術器械變形的精準測量[10-11]。Li 等人[12]設計了一種帶有三光纖共三組光纖光柵(Fiber Bragg Grating,FBG)的穿刺針傳感器,并對得到的離散曲率數據用四階多項式進行擬合得到穿刺針整體形狀。Jin 等人[13]提出了通過穿刺針內的三根光纖上的FBG傳感器獲得曲率測量數據,并基于彈性桿理論和李群理論進行穿刺針的形狀重構。Khan.F等[14]利用刻有FBG 的多芯光纖制作傳感器來測量多段導管的姿態(tài),并基于布拉格光柵的測量值轉換為應變,再根據應變數據推導出曲率,最后利用曲率和Bishop 框架方程重構導管姿態(tài)。Zhang等[15]利用三光纖五組光纖光柵實現210 mm 長穿刺針的二維形狀重構。但是文章所提出的重構算法的形狀數據均是基于傳感器的標定轉換矩陣由FBG 的波長數據得到穿刺針的離散位置信息,而后對位置信息進行多項式擬合得到形狀的數學表達,數據處理過程繁雜。另外多項式擬合的次數越高,其對關鍵節(jié)點位置信息的準確度就要求越高,否則任何位置的信息偏差都會導致重建結果的巨大變化[16],所以上述重構方法不適合復雜變形重構。
為了解決上述問題,本文提出了一種融合分布式FBG 傳感技術和人工智能的形狀自感知穿刺針?;谛螤钭愿兄┐提槒澢冃闻c光纖光柵中心波長變化之間的映射關系,分別搭建了形狀自感知穿刺針的形狀標定實驗裝置與其動態(tài)性能測試試驗裝置,得到不同彎曲狀態(tài)下光纖光柵的中心波長數據與利用canny 邊緣檢測算子提取得到的穿刺針實驗圖片序列形狀曲線數據。融合反向傳播神經網絡(Back Propagation neural network,BP),得到光纖光柵中心波長漂移量與形狀函數之間的映射模型,實現了形狀自感知穿刺針的三維形狀重構。實驗結果表明:穿刺針針體的形狀重構誤差值可達到0.90 mm 以內,彎曲方向角的最大誤差為5.03°;在動態(tài)性能驗證實驗中,形狀重構最大誤差值為0.84 mm,彎曲方向角的最大誤差為1.02°。因此,該光纖傳感方案與形狀重構算法在穿刺針形狀實行精準感知與調控方面具有廣闊的應用前景。
形狀自感知穿刺針由鎳鈦合金穿刺針基體、3 根分別刻有5 個FBG 的單模石英光纖構成,其結構尺寸與FBG 布置情況如圖1 所示。穿刺針基體懸置長度為150 mm,直徑為3 mm,沿其軸向刻有3 個間隔120°、深0.4 mm 的直角型凹槽。3 根直徑為125 μm 的單模石英光纖分別命名為Fiberi,(i=1,2,3),通過環(huán)氧樹脂膠粘貼在鎳鈦合金穿刺針基體上的凹槽中。每根光纖上的5 個FBG 柵區(qū)長度均為3 mm,相鄰FBG 中心間隔28 mm,從穿刺針尖端至尾端分別命名為FBG_ij,(j=1,2,3,4,5),初始波長依次分別為1 535 nm,1 540 nm,1 545 nm,1 550 nm,1 555 nm,穿刺針同一橫截面上的3 個FBG 作為一組傳感單元,共構成5 組傳感單元。
圖1 形狀自感知穿刺針結構Fig.1 Structure of shape self-sensing needle
根據耦合模理論,FBG 中心波長λB取決于其周期Λ和有效折射率neff,任何使這兩個參量發(fā)生改變的物理量,都會引起FBG 中心波長發(fā)生漂移:
穿刺針與組織交互時發(fā)生形變,帶動其表面的FBG 產生軸向應變,進而引起FBG 中心波長的漂移。設FBG 初始中心波長為λB,當FBG 受到軸向應變時εi,其中心波長漂移Δλ 可表示為:
其中,pe為有效彈光系數。
穿刺針在進針過程中受到的軸向載荷更大,而非受到集中載荷,假設變形曲線C可采用三次多項式簡化為:
其中,a,b,c,d分別為該三次多項式的各項系數值。通過文獻[12]可知,穿刺針形狀曲線C與FBG 中心波長漂移量Δλ 之間存在非線性的映射關系。BP 神經網絡是一種按誤差反向傳播算法訓練的多層前饋網絡,能學習和存貯大量的輸入—輸出的映射關系,無需訓練前揭示描述映射關系的數學模型,在解決非線性回歸問題上應用廣泛[17],而且調用建立的模型可快速實現形狀重構輸出,所以本次采用BP 神經網絡算法重構穿刺針形狀。
為了獲取訓練神經網絡模型所需的數據,設計并搭建了形狀自感知穿刺針靜態(tài)標定實驗系統,如圖2 所示。首先通過3D 打印制備的連接件將形狀自感知穿刺針固定在RS60 旋轉微調架上,實現穿刺針的定位,然后通過Z方向微調架安裝在試驗臺上。根據穿刺針小變形假設,設計并通過3D 打印技術制備了5 個曲率標定板,曲率值依次為 0.000 0 mm-1,0.000 2 mm-1,0.000 4 mm-1,0.000 6 mm-1和0.000 8 mm-1。采用光纖光柵解調儀(高斯光學有限公司,中國;型號:OPM-T1620;采樣率:105 Hz;分辨率:1 pm)作為接收FBG 反射光譜信息的裝置。
圖2 形狀感知標定實驗裝置Fig.2 Shape sensing calibration experimental device
通過Labview 編程在PC 端顯示并記錄形狀自感知穿刺針上15 個FBG 的中心波長數據。首先記錄15 個FBG 的初始中心波長數據,而后將形狀自感知穿刺針固定在曲率標定板的凹槽中,記錄所有FBG 的中心波長,調節(jié)RS60 旋轉微調架調整穿刺針的安裝角度θ,每次實驗角度間隔為10°,角度調節(jié)范圍為0~360°。進行了5 次實驗,共測得180 組數據,以其中157 組作為神經網絡模型的訓練數據,33 組作為測試數據。
如圖3 所示,顯示了θ=0°時3 根光纖在5 種不同曲率下的光譜數據,為了更直觀地分析光譜變化趨勢,對原始光譜進行了濾波和歸一化處理。圖3(a)顯示的是Fiber 1 的反射光譜,理論上該實驗條件下,Fiber 1 處于穿刺針中性層上,不會出現波長漂移現象,但是由于傳感器的制備與安裝誤差,導致在實驗過程中其產生了微量波長漂移;圖3(b)和圖3(c)分別是Fiber 2 和Fiber 3在5 種不同曲率下的光譜數據,實驗時兩者受力方向相反,所以兩者的波長變化趨勢相反,Fiber 2 光譜整體右移,Fiber 3 光譜整體左移,隨著曲率的增加,光譜移動的幅度也越大。另外可以看到,在同一曲率板作用下,FBG 的初始中心波長越大,產生波長漂移量也越大。這是因為同一光纖上沿穿刺針軸向曲率是相同,通過式(2)也可以推導出相同的結論。
圖3 3 根光纖在5 種曲率下的反射光譜Fig.3 Reflection spectra of three fibers under different curvatures
將標定實驗所得波長數據及形狀數據劃分為訓練樣本和測試樣本,訓練樣本用于訓練神經網絡得到滿足設定迭代次數的模型參數,構建神經網絡預測模型。調用該模型對測試樣本進行預測,預測結果用來評價該模型。通過仿真調試,綜合考慮模型訓練時間和預測精度,最終確定的神經網絡模型結構如圖4 所示,包括1 個輸入層,2 個隱藏層,1 個輸出層。其中以形狀自感知穿刺針上5 組傳感單元中心波長漂移量Δλ作為輸入層輸入數據,該層有15 個神經元節(jié)點;第一隱含層和第二隱含層神經元節(jié)點數分別為31和10;輸出層包含5 個節(jié)點,即穿刺針變形曲線的多項式各項系數值及穿刺針變形平面與x-y平面的夾角θ。此外,激活函數、學習函數也是BP神經網絡模型的重要組成部分,本次神經網絡模型隱藏層、輸出層的激活函數均采用雙極性S函數(tansig),學習函數選取梯度下降的權值/閾值學習函數(learngdm)。
圖4 基于BP 神經網絡的穿刺針形狀重構算法Fig.4 Needle Shape reconstruction algorithm based on BP neutral network
輸入信號Δλ經第一隱含層后的輸出p1可以表示為:
p1經相鄰的第二隱含層后的輸出p2可表示為:
p2經相鄰的第二隱含層后的輸出u可表示為:
其中:w1,w2,w3分別為輸入層與第一隱含層、第一隱含層與第二隱含層、第二隱含層與輸出層之間的權值系數,兩個隱含層的權值系數,b1,b2,b3分別為其對應的偏置。
激活函數f()采用tansig 函數:
本次針對穿刺針平面變形進行測量,重構誤差分為穿刺針形狀曲線C上針尖處的絕對誤差和彎 曲方向角θ的絕對誤差[18]。上述33 組測 試樣本的兩類誤差如圖5 所示,形狀誤差最大值為0.90 mm,彎曲方向角最大誤差為5.03°。
圖5 測試樣本誤差Fig.5 Error of test set sample
為驗證上述神經網絡模型的性能,設計搭建了融合圖像處理技術的動態(tài)形狀重構性能測試系統。采用單目攝像機(索尼(中國)有限公司;型號:α7000;分辨率:3 840×2 160)記錄實驗過程穿刺針的整體形態(tài),采用光纖光柵解調儀作為接收FBG 反射光譜信息的裝置。形狀自感知穿刺針通過3D 打印零件與X-Y方向微調架連接,調整微調架可對穿刺針針尖處施加偏移量。為驗證穿刺針的動態(tài)響應性能,調整微調架以鋸齒波的變化趨勢變幅值施加位移,利用FBG 波長數據采集系統和攝像機分別記錄實驗過程中的FBG 波長和穿刺針的形狀信息,實驗裝置如圖6所示。
圖6 形狀自感知穿刺針動態(tài)測試實驗裝置Fig.6 Shape self-sensing needle dynamic test experimental setup
其中攝像機獲得的實驗視頻文件通過圖像識別算法可得到穿刺針的形狀數學表達。首先將視頻文件導入到MATLAB 中,實現視頻的分幀,得到每幀的實驗圖像;通過定區(qū)域剪裁去除部分背景,僅保留穿刺針所在的區(qū)域,以避免背景對下一步邊界識別的干擾,得到更準確的邊界曲線。由于實驗過程中照明情況不佳,導致穿刺針針體與背景(試驗臺)區(qū)分度較小,而canny 算子可充分考慮圖像梯度,具有較好的連續(xù)性和較準確的定位[19],故選擇了該算子。
調用MATLAB 中edge函數,設 定canny 算子低閾值為0.1,高閾值為0.2,得到實驗圖片序列的穿刺針邊界,通過三階多項式擬合可得穿刺針變形曲線,具體算法流程如圖7 所示。
圖7 基于canny 算法的穿刺針形狀提取Fig.7 Edge extraction of needle shape based on canny edge detection algorithm
圖8 經神經網絡預測輸出的形狀重構結果Fig.8 Shape reconstruction result by the neural network
圖8(a)是動態(tài)性能測試實驗過程中穿刺針形狀重構曲線與攝像機捕獲的實際形狀曲線上針尖的偏移量。圖8(b)是取圖8(a)中一段波谷(139 s)至波峰(167 s)段顯示神經網絡模型預測輸出的穿刺針空間形狀。圖8(c)分別顯示了動態(tài)性能測試實驗的形狀曲線誤差和彎曲方向角誤差,形狀曲線C最大誤差為0.84 mm,彎曲方向角θ最大誤差為1.02°。動態(tài)實驗結果說明所提出的神經網絡算法可以實現實時的形狀輸出。
本文提出了一種基于分布式FBG 傳感原理的穿刺針形狀感知傳感器結構和封裝方法,構建了穿刺針變形重構的神經網絡模型,用以監(jiān)測穿刺針的微量變形。通過實驗研究和數值分析,驗證了所設計的形狀自感知穿刺針可感知穿刺針微量彎曲變形、彎曲方向角,分析得到針尖處重構相對誤差小于0.90 mm,彎曲方向角最大誤差為5.03°。在動態(tài)性能測試實驗中,針尖處重構相對誤差小于0.84 mm,彎曲方向角最大誤差為1.02°,神經網絡模型的運行時間也可滿足手術過程中穿刺針位置實時顯示的要求。綜上所述,所提出的形狀自感知穿刺針及其形狀重構算法能夠實現穿刺針微量變形的測量,在機器人輔助/自主穿刺方面具有潛在的應用價值。但設計訓練得到的神經網絡模型魯棒性還有待提高,理論上通過增加訓練樣本數據可以得到精度更高、魯棒性更強的神經網絡模型。