李建民 ，張?jiān)鲇?，趙建廠 ，蘇 赫

(1. 天津大學(xué)機(jī)構(gòu)理論與裝備設(shè)計(jì)教育部重點(diǎn)實(shí)驗(yàn)室，天津 300354；2. 天津大學(xué)機(jī)械工程學(xué)院，天津 300354)

泌尿系統(tǒng)結(jié)石是一種世界范圍內(nèi)非常常見的疾?。y(tǒng)計(jì)數(shù)據(jù)顯示，泌尿系統(tǒng)結(jié)石的發(fā)病率呈上升趨勢[1-2]．近年來，為減輕泌尿外科醫(yī)生的手術(shù)負(fù)擔(dān)，提高手術(shù)質(zhì)量，降低輻射風(fēng)險(xiǎn)，機(jī)器人輔助輸尿管軟鏡術(shù)(robot-assisted flexible ureteroscopy)已被應(yīng)用于泌尿系統(tǒng)結(jié)石的手術(shù)中[3-5]．然而由于人體自然腔道約束的存在，輸尿管軟鏡繞軸向旋轉(zhuǎn)時不可避免地產(chǎn)生運(yùn)動偏差．精確控制輸尿管軟鏡末端的運(yùn)動可以有效減少手術(shù)并發(fā)癥，降低手術(shù)風(fēng)險(xiǎn)，同時這也是實(shí)現(xiàn)手術(shù)機(jī)器人自動化的重要步驟．

目前，國內(nèi)外的研究者針對醫(yī)用內(nèi)窺鏡的控制問題進(jìn)行了研究，提出了多種控制策略．Hong 等[6]設(shè)計(jì)了一種頭戴式主界面，通過外科醫(yī)生的頭部運(yùn)動來控制剛性內(nèi)窺鏡．然而，在手術(shù)過程中醫(yī)生多余的頭部運(yùn)動是不可避免的．Cao 等[7]提出利用瞳孔變化來控制內(nèi)窺鏡，設(shè)計(jì)了一種基于支持向量機(jī)(support vector machines，SVM)和概率神經(jīng)網(wǎng)絡(luò)(probabilistic neural network，PNN)的內(nèi)窺鏡機(jī)械臂控制系統(tǒng)，獲得了較高的眼球運(yùn)動分類精度．然而，在實(shí)際應(yīng)用中，算法很難判斷醫(yī)生的眼球運(yùn)動是否是有意義的．語音識別是另一種可行的控制方法[8]．但在外科手術(shù)過程中，外科醫(yī)生之間需要進(jìn)行必要的語言交流，這將影響語音指令對內(nèi)窺鏡的控制．以上針對內(nèi)窺鏡的控制方法均為開環(huán)控制，無法利用內(nèi)窺鏡的運(yùn)動信息，因此難以實(shí)現(xiàn)精確控制，無法用來消除輸尿管軟鏡末端的運(yùn)動偏差．同時，輸尿管軟鏡末端直徑約為 3 mm，空間狹小，無法安裝額外的傳感器以獲取運(yùn)動信息．

視覺反饋技術(shù)是實(shí)現(xiàn)輸尿管軟鏡末端運(yùn)動精確控制的一種可行方法[9]．Gao 等[10]提出了一種將圖像分割和卡爾曼濾波相結(jié)合的方法來實(shí)現(xiàn)術(shù)前內(nèi)窺鏡與外耳道的配準(zhǔn)工作．Wu 等[11]針對連續(xù)體機(jī)器人內(nèi)窺鏡的姿態(tài)調(diào)整問題，提出了一種無模型的視覺伺服控制方法．此方法利用雅可比優(yōu)化和凸點(diǎn)檢測來提高連續(xù)體機(jī)器人內(nèi)窺鏡的安全性和控制性能，但凸點(diǎn)檢測需要額外的激光標(biāo)記提供凸點(diǎn)區(qū)域．Ma 等[12]設(shè)計(jì)了一種自主式輸尿管軟鏡，利用視覺伺服技術(shù)跟蹤帶有綠色標(biāo)記物的手術(shù)器械，同時結(jié)合最優(yōu)控制法最小化輸尿管軟鏡的運(yùn)動空間，提高手術(shù)的安全性，與此類似的還有文獻(xiàn)[13]．然而，此方法只適用于輸尿管軟鏡視野中存在帶有特殊標(biāo)記物手術(shù)器械的情況．Zenteno 等[14]通過擬合虛擬圓柱 3 D 投影來估計(jì)內(nèi)窺鏡的位姿，實(shí)現(xiàn)了具有雙目攝像頭的胃鏡在無標(biāo)記點(diǎn)下的控制問題，然而對于單目攝像頭的輸尿管軟鏡，此方法并不適用．

針對輸尿管軟鏡末端繞軸向旋轉(zhuǎn)時存在運(yùn)動偏差的問題，本文提出了一種基于視覺反饋的輸尿管軟鏡末端運(yùn)動補(bǔ)償策略．該方法無需進(jìn)行輸尿管軟鏡的硬件修改或設(shè)計(jì)特殊的手術(shù)器械，而是依靠輸尿管軟鏡原有的成像系統(tǒng)獲取圖像信息，并進(jìn)行運(yùn)動補(bǔ)償．該運(yùn)動補(bǔ)償策略根據(jù)輸尿管軟鏡的成像特點(diǎn)，利用改進(jìn)的霍夫圓檢測(circle Hoff transformation，CHT)自動提取輸尿管軟鏡的視野作為感興趣區(qū)域(region of interest，ROI)，減少計(jì)算負(fù)擔(dān)，對輸尿管軟鏡所成圖像中特有的梳狀結(jié)構(gòu)(comb structure)進(jìn)行頻譜分析，根據(jù)其特點(diǎn)采用濾波的方法進(jìn)行消除，結(jié)合ORB(oriented FAST and rotated BRIEF)算法提取圖像信息，并通過求解前后兩關(guān)鍵幀之間的幾何關(guān)系得到輸尿管軟鏡末端角位移．最后通過模型實(shí)驗(yàn)驗(yàn)證了所提運(yùn)動補(bǔ)償策略的有效性．

1 輸尿管軟鏡術(shù)

輸尿管軟鏡術(shù)是利用輸尿管軟鏡經(jīng)尿道、膀胱、輸尿管等自然腔道至腎盂進(jìn)行手術(shù)的技術(shù)，包括向泌尿系統(tǒng)內(nèi)置入導(dǎo)絲和輸尿管軟鏡送達(dá)鞘、使用輸尿管軟鏡進(jìn)入各腎盞進(jìn)行檢查、激光碎石和取石籃取石等操作，因其治療效果好、并發(fā)癥少、病人住院時間短且恢復(fù)速度快，逐漸成為治療泌尿系統(tǒng)結(jié)石的首選方法[15]．然而，傳統(tǒng)輸尿管軟鏡術(shù)需要手術(shù)醫(yī)生長時間單手懸空持鏡操作，不符合人體工程學(xué)；且在碎石和取石過程中需要助手協(xié)助，學(xué)習(xí)曲線長，操作難度大[16]．

近年來興起的機(jī)器人輔助輸尿管軟鏡術(shù)可以有效解決以上問題．然而在手術(shù)過程中，由于人體自然腔道的約束，當(dāng)輸尿管軟鏡繞軸向旋轉(zhuǎn)時，其末端存在明顯的運(yùn)動偏差．輸尿管軟鏡作為一種欠自由度的醫(yī)用內(nèi)窺鏡，其末端只能在單平面內(nèi)進(jìn)行偏轉(zhuǎn)，且一般只具有一個自由度，如圖 1 所示，故手術(shù)時需要繞軸向旋轉(zhuǎn)才能到達(dá)各腎盞．

圖1 輸尿管軟鏡Fig.1 Flexible ureteroscope

為實(shí)現(xiàn)對輸尿管軟鏡末端繞軸向旋轉(zhuǎn)時的運(yùn)動補(bǔ)償，本文通過圖像處理技術(shù)自動提取輸尿管軟鏡的視野作為ROI，并對輸尿管軟鏡所成圖像中特有的梳狀結(jié)構(gòu)干擾進(jìn)行頻譜分析和消除，結(jié)合特征提取算法獲取圖像信息，進(jìn)而通過幾何關(guān)系求解得到輸尿管軟鏡末端角位移，之后將角位移信息反饋至運(yùn)動控制器，以控制機(jī)械臂運(yùn)動完成對輸尿管軟鏡的運(yùn)動補(bǔ)償.

2 輸尿管軟鏡圖像預(yù)處理

2.1 輸尿管軟鏡相機(jī)模型及標(biāo)定

輸尿管軟鏡的末端是一種典型的手-眼(eye-inhand)視覺探頭．此類型的視覺探頭只需要利用圖像域的信息即可估計(jì)末端的姿態(tài)．本文的相機(jī)模型如圖 2 所示．世界坐包含患者泌尿系統(tǒng)的三維信息，當(dāng)輸尿管軟鏡的末端在平面內(nèi)沿軸向旋轉(zhuǎn)時，相機(jī)坐標(biāo)與世界坐標(biāo)系 Zw軸平行．世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的變換關(guān)系[17]可以表示為

圖2 輸尿管軟鏡相機(jī)模型Fig.2 Camera model of the flexible ureteroscope

2.2 ROI提取

ROI 是指從待處理圖像中選定一部分區(qū)域，作為后續(xù)圖像處理分析重點(diǎn)．通過 ROI 提取排除不必要的干擾，減輕計(jì)算負(fù)擔(dān)．本文利用一種改進(jìn)的 CHT算法來提取輸尿管軟鏡的視野作為 ROI．CHT 是一種尋找圖像中特定圓的算法，由 Duda 等[19]提出，可將圖像空間轉(zhuǎn)換成三維參數(shù)空間．在 CHT 中，圖像空間中的圓可以表示為

為了降低由于參數(shù)空間過大帶來的計(jì)算負(fù)擔(dān)，本文采用 2-1 霍夫變換(21 HT)[20]提取輸尿管軟鏡的圓形視野．在計(jì)算過程中，21 HT 通過一個二維累加器來計(jì)算圓的中心，以一維直方圖統(tǒng)計(jì)半徑，將 CHT的三維參數(shù)空間縮小為二維參數(shù)空間，提高了計(jì)算速度．

在實(shí)際應(yīng)用中，為了減少噪聲并過濾冗余信息，在使用21 HT 之前對圖像進(jìn)行中值濾波預(yù)處理，并使用Canny 邊緣檢測算法[21]提取圖像中的邊緣．Canny邊緣檢測和基于 21 HT 的ROI 自動提取過程如圖3所示．

2.3 梳狀結(jié)構(gòu)消除

本文所研究的輸尿管軟鏡圖像是由多根表面帶有涂層的光纖采集的，光纖之間無法成像，因此會形成如圖 4 所示的梳狀結(jié)構(gòu)．圖 4(b)是圖像的局部放大，顯示了典型的梳狀結(jié)構(gòu)．圖像中的梳狀結(jié)構(gòu)不會隨著輸尿管軟鏡末端的運(yùn)動而移動，因此極大地干擾了圖像信息的提?。畬D 4(a)進(jìn)行傅里葉變換得到頻譜，如圖 4(c)所示．在傅里葉頻譜中可以觀察到 6個呈徑向?qū)ΨQ分布的高頻分量，其反映的是圖 4(b)中六邊形的梳狀結(jié)構(gòu)，而傅里葉頻譜中心的低頻部分則包含了圖像中的有用信息．

圖3 ROI的自動提取Fig.3 ROI automatic extraction

圖4 梳狀結(jié)構(gòu)的分析和消除Fig.4 Analysis and elimination of comb structure

為消除梳狀結(jié)構(gòu)這種高頻分量，同時盡量保留低頻部分，對圖像進(jìn)行高斯低通濾波處理．二維高斯分布可表示為

通過調(diào)整x、y 方向上的高斯核標(biāo)準(zhǔn)差σ 和高斯核的大小，選擇合適的高斯低通濾波器．圖4(d)為使用高斯低通濾波器對圖 4(a)濾波后的圖像，圖 4(e)為對應(yīng)的局部放大，圖 4(f)為經(jīng)過濾波處理后的傅里葉頻譜，可以觀察到徑向?qū)ΨQ分布的高頻分量幾乎被完全消除，而低頻分量則得到了較好的保留．

3 輸尿管軟鏡末端角位移計(jì)算

本文利用 ORB 算法[22]對預(yù)處理后的圖像進(jìn)行特征提取如圖 5(a)所示．ORB 算法對光照變化不敏感，魯棒性好，計(jì)算速度快．算法依靠 FAST 關(guān)鍵點(diǎn)檢測器對圖像特征進(jìn)行快速提取，以獲得大量關(guān)鍵點(diǎn)，并利用圖像金字塔改善尺度不變性，之后借助Harris 角點(diǎn)檢測器對關(guān)鍵點(diǎn)進(jìn)行排序和篩選．對篩選后關(guān)鍵點(diǎn)使用灰度質(zhì)心法計(jì)算方向，在以關(guān)鍵點(diǎn)為圓心，半徑為R 的局部區(qū)域中定義階矩

則局部區(qū)域質(zhì)心可定義為

關(guān)鍵點(diǎn)方向角為

使用 BRIEF 描述子對關(guān)鍵點(diǎn)進(jìn)行編碼．BRIEF描述子是由一組二進(jìn)制灰度測試形成的字符串，二進(jìn)制灰度測試可表示為

在局部區(qū)域p 中進(jìn)行n 次灰度測試可得

為使BRIEF 描述子具有旋轉(zhuǎn)不變性，利用式(7)中求得的方向角θ 所對應(yīng)的旋轉(zhuǎn)矩矩陣S 進(jìn)行旋轉(zhuǎn)得

改進(jìn)后的rBRIEF(rotation-aware brief)描述子可定義為

由于 rBRIEF 描述子是一種二進(jìn)制字符串，故使用基于漢明距離的暴力匹配進(jìn)行前后關(guān)鍵幀關(guān)鍵點(diǎn)的粗匹配．對待匹配的描述子進(jìn)行異或計(jì)算以量化其相似度

由暴力匹配得到的關(guān)鍵點(diǎn)對中存在誤匹配項(xiàng)，如圖 5(b)所示，本文利用 PROSAC(progressive sample consensus)算法[23]對粗匹配后的關(guān)鍵點(diǎn)對進(jìn)行進(jìn)一步篩選．PROSAC 算法是對 RANSAC 算法的改進(jìn)，其對離群點(diǎn)的過濾效果更好，計(jì)算效率更高．經(jīng)過PROSAC 算法篩選后的關(guān)鍵點(diǎn)對如圖 5(c)所示，誤匹配項(xiàng)已基本消除．

圖5 前后關(guān)鍵幀的特征提取及匹配Fig.5 Feature extraction and matching of key frames

當(dāng)輸尿管軟鏡末端在平面內(nèi)繞軸向旋轉(zhuǎn)時，平移矩陣t 為零，因此相比于基本矩陣，單應(yīng)矩陣更適用于描述此類型運(yùn)動前后兩關(guān)鍵幀之間的映射關(guān)系．單應(yīng)矩陣H 將前關(guān)鍵幀中射為后關(guān)鍵幀中

由式(14)展開可得

單應(yīng)矩陣具有8 個自由度，因此，可以通過4 個匹配點(diǎn)對來計(jì)算(任意 3 點(diǎn)非共線)．利用基于 SVD分解[24]的方法對單應(yīng)矩陣進(jìn)行求解，可得到輸尿管軟鏡末端繞軸向旋轉(zhuǎn)時的角位移．

4 運(yùn)動補(bǔ)償策略

圖6 基于視覺反饋的輸尿管軟鏡機(jī)器人運(yùn)動補(bǔ)償策略流程Fig.6 Flow chart of motion compensation strategy for flexible ureteroscope based on visual feedback

基于視覺反饋的輸尿管軟鏡機(jī)器人運(yùn)動補(bǔ)償策略流程如圖6 所示，控制目標(biāo)為使輸尿管軟鏡末端角位期望角位?。\(yùn)動補(bǔ)償策略的補(bǔ)償誤差可表示為設(shè)置補(bǔ)償誤差的閾值為 Et，計(jì)算補(bǔ)償誤差 Ec，若將Ec反饋至運(yùn)動控制器，控制電機(jī)驅(qū)動機(jī)器人機(jī)械臂，直尿管軟鏡末端運(yùn)動至期望位置．

選出2015年12月到2018年2月這一時間段我院接受并治療的74例不穩(wěn)定型心絞痛患者當(dāng)作本次研究的樣本。男性患者與女性患者分別48例、26例;患者的年齡最大70歲,最小42歲,平均年齡為(56±2.83)歲。

圖7 為所提運(yùn)動補(bǔ)償策略時序，其中圖像采集卡將相機(jī)曝光獲得的一幀圖像傳輸?shù)?PC 端需要33.33 ms，而本文所提輸尿管軟鏡末端角位移估計(jì)算法進(jìn)行一次計(jì)算約用時 21.32 ms，因此該運(yùn)動補(bǔ)償策略可以實(shí)現(xiàn)實(shí)時計(jì)算．

圖7 運(yùn)動補(bǔ)償策略時序Fig.7 Sequence diagram of motion compensation strategy

5 實(shí)驗(yàn)分析

5.1 實(shí)驗(yàn)平臺搭建

為驗(yàn)證所提運(yùn)動補(bǔ)償策略的可行性，進(jìn)行如圖8(a)所示的實(shí)驗(yàn)設(shè)計(jì)，并搭建如圖 8(b)所示的實(shí)驗(yàn)平臺．通過輸尿管軟鏡和相機(jī)曝光獲得的視覺信息，經(jīng)圖像采集卡傳輸至PC 端，其幀率為30 幀/s，圖像尺寸為640×360 像素．圖像處理和計(jì)算均在Lenovo ThinkStation 圖形工作站中進(jìn)行，中央處理器(central processing units，CPU)為 1.7 GHz Intel Xeon E5-2609八核處理器，顯卡為NVIDIA Quadro K2000，開發(fā)環(huán)境為 Visual Studio 2015，配置有 OpenCV3.4.1，使用CUDA10.0 對算法進(jìn)行加速．此外，通過電磁跟蹤系統(tǒng)NDI Aurora 獲取輸尿管軟鏡末端的運(yùn)動信息作為真實(shí)值，以驗(yàn)證所提運(yùn)動補(bǔ)償策略的補(bǔ)償效果．電磁跟蹤系統(tǒng)傳感器固定在輸尿管軟鏡末端，其安裝如圖8(c)所示．

5.2 性能測試

對本文所提輸尿管軟鏡末端角位移估計(jì)算法進(jìn)行連續(xù) 300 幀性能測試，記錄計(jì)算誤差和計(jì)算時間.由于 GPU 初始化，首次計(jì)算耗時 541.69 ms，之后耗時降低，計(jì)算時間曲線如圖 9(a)所示．藍(lán)色曲線為每次計(jì)算所需時間，紅色虛線為平均值．在連續(xù) 300 幀測試中，平均計(jì)算時間約為 21.32 ms，最長耗時27.04 ms．該計(jì)算速度可以實(shí)現(xiàn)對幀率為30幀/s 的視頻進(jìn)行的實(shí)時處理．圖 9(b)為輸尿管軟鏡末端角位移計(jì)算誤差的絕對值，在所測300 幀中平均誤差約為0.33°，最大誤差為 1.90°，統(tǒng)計(jì)結(jié)果顯示 95%的誤差小于 0.90°．

圖8 實(shí)驗(yàn)平臺搭建Fig.8 Experimental platform setup

圖9 性能測試Fig.9 Performance testing

5.3 模型實(shí)驗(yàn)及分析

本文利用輸尿管軟鏡機(jī)器人樣機(jī)對所提運(yùn)動補(bǔ)償策略的可行性進(jìn)行了如圖 10(a)所示的模型驗(yàn)證，利用以硅膠為材料的輸尿管模型模擬人體自然腔道對輸尿管軟鏡運(yùn)動的約束，實(shí)驗(yàn)中輸尿管軟鏡以 10°為步長從 0°分別旋轉(zhuǎn)至±180°．測試原理如圖 10(b)所示．初始時刻 t0角位移記為 θ0，t1時刻角位移記為θ1，則輸尿管軟鏡末端角位移θf=θ1-θ0，由式(16)計(jì)算補(bǔ)償誤差 Ec，并與設(shè)置的補(bǔ)償誤差閾值 Et進(jìn)行對比，輸尿管軟鏡繼續(xù)轉(zhuǎn)動，直至算此時輸尿管軟鏡末端角位移 θf與通過電磁追蹤系統(tǒng)獲得的真實(shí)值 θg之差的絕對值，作為所提補(bǔ)償策略的補(bǔ)償誤差 Δθ ．

圖10 輸尿管軟鏡機(jī)器人樣機(jī)測試Fig.10 Robot-assisted flexible ureteroscopy testing

使用本文所提運(yùn)動補(bǔ)償策略前輸尿管軟鏡末端角位移情況如圖 11(a)所示，紅色圓點(diǎn)為輸尿管軟鏡末端角位移值，藍(lán)線為理想狀態(tài)下期望角位移值與實(shí)際角位移值間的關(guān)系．可以看出，在不使用補(bǔ)償策略的情況下，輸尿管軟鏡末端角位移明顯小于期望角位移，并且成非線性關(guān)系．

應(yīng)用本文所提運(yùn)動補(bǔ)償策略后的實(shí)驗(yàn)結(jié)果如圖11(b)所示，輸尿管軟鏡末端的運(yùn)動偏差明顯減小，實(shí)際角位移值與期望角位移值較為接近．實(shí)驗(yàn)結(jié)果顯示，該運(yùn)動補(bǔ)償策略的平均補(bǔ)償誤差約為2.17°，最大補(bǔ)償誤差為 3.29°．本文所提輸尿管軟鏡運(yùn)動補(bǔ)償策略的補(bǔ)償誤差與文獻(xiàn)[8,13-14]誤差比較如表 1 所示，可以看出本文補(bǔ)償策略的誤差值小于各參考文獻(xiàn)誤差值．補(bǔ)償誤差產(chǎn)生的原因可能為：

圖11 模型實(shí)驗(yàn)結(jié)果Fig.11 Model experimental results

(1) 輸尿管軟鏡末端角位移估計(jì)算法的計(jì)算精度有限，本身存在一定誤差；

(2) 圖像傳輸與處理、數(shù)據(jù)計(jì)算和傳遞需要一定時間，在此期間內(nèi)驅(qū)動輸尿管軟鏡旋轉(zhuǎn)的電機(jī)持續(xù)轉(zhuǎn)動，產(chǎn)生一定誤差．

然而，本文所提輸尿管軟鏡運(yùn)動補(bǔ)償策略的補(bǔ)償誤差在可容忍范圍內(nèi)，模型實(shí)驗(yàn)結(jié)果表明該運(yùn)動補(bǔ)償策略可以明顯減少輸尿管軟鏡末端繞軸向運(yùn)動時的角位移偏差，有助于提高手術(shù)效率，降低手術(shù)風(fēng)險(xiǎn)．

表1 本文補(bǔ)償策略與文獻(xiàn)誤差比較Tab.1 Error comparison between the proposed compensation strategy and reference

6 結(jié) 語

本文針對當(dāng)前機(jī)器人輔助輸尿管軟鏡術(shù)在實(shí)施過程中出現(xiàn)的末端運(yùn)動偏差問題，提出了一種基于視覺反饋的運(yùn)動補(bǔ)償策略，并通過實(shí)驗(yàn)驗(yàn)證了該補(bǔ)償策略的可行性．該運(yùn)動補(bǔ)償策略無需進(jìn)行硬件修改，而是根據(jù)輸尿管軟鏡的成像特點(diǎn)，通過圖像處理技術(shù)自動提取輸尿管軟鏡的視野作為 ROI 以減輕計(jì)算負(fù)擔(dān)，對輸尿管軟鏡成像中特有的梳狀結(jié)構(gòu)干擾進(jìn)行了分析與消除，借助 ORB 算法提取圖像信息，對前后兩關(guān)鍵幀之間的幾何關(guān)系進(jìn)行計(jì)算與求解，從而獲得輸尿管軟鏡末端角位移信息，并將信息反饋至控制器以實(shí)現(xiàn)對輸尿管軟鏡末端的運(yùn)動補(bǔ)償，這對提高泌尿外科手術(shù)效率，降低手術(shù)風(fēng)險(xiǎn)，具有十分重要的意義.

未來的工作將對輸尿管軟鏡推進(jìn)和末端偏轉(zhuǎn)的控制策略進(jìn)行研究，實(shí)現(xiàn)輸尿管軟鏡的自動干預(yù)，同時對泌尿系統(tǒng)結(jié)石進(jìn)行識別與尺寸估計(jì)，完成結(jié)石的自動提取，以進(jìn)一步提升手術(shù)機(jī)器人的自動化水平．