張建勛，韓明慧，代 煜*

(1.南開(kāi)大學(xué) 人工智能學(xué)院，天津 300350； 2.南開(kāi)大學(xué) 機(jī)器人與信息自動(dòng)化研究所，天津 300350)

1 引 言

內(nèi)窺鏡是一種可以經(jīng)由狹窄通道進(jìn)入人體器官或者是工業(yè)設(shè)備內(nèi)部進(jìn)行觀測(cè)的儀器。其產(chǎn)生和發(fā)展突破了人眼的視覺(jué)限制，為人體內(nèi)醫(yī)療疾病的診斷和工業(yè)設(shè)備內(nèi)部缺陷的檢測(cè)提供了諸多便利。內(nèi)窺鏡的應(yīng)用場(chǎng)景中經(jīng)常出現(xiàn)多孔結(jié)構(gòu)。類(lèi)管道結(jié)構(gòu)的多次分支是形成多孔結(jié)構(gòu)的主要原因。在醫(yī)療領(lǐng)域，氣管進(jìn)入肺中層層分支形成支氣管，輸尿管進(jìn)入腎臟產(chǎn)生分支形成不同的腎盂和腎盞；在工業(yè)領(lǐng)域，使用內(nèi)窺鏡頻率較高的鍋爐供水管道和設(shè)備通風(fēng)排氣管道等管道設(shè)備也常常呈現(xiàn)出多分支的結(jié)構(gòu)。除此之外，工業(yè)檢測(cè)對(duì)象上的類(lèi)孔缺陷、塊狀銹斑等也與本文研究的多孔結(jié)構(gòu)的概念相似。單目?jī)?nèi)窺鏡雖然能獲取影像，但是在探頭尺寸的約束之下，其視野范圍非常有限，只能觀測(cè)到局部的二維圖像，在呈現(xiàn)多孔結(jié)構(gòu)的關(guān)鍵位置不利于分析和判斷。鑒于此，實(shí)現(xiàn)基于單目?jī)?nèi)窺鏡圖像的三維重建，將有助于在復(fù)雜管道結(jié)構(gòu)中獲取孔洞的位置和尺寸等信息。

從運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)算法(Structure from motion，SFM)已經(jīng)廣泛應(yīng)用于相機(jī)運(yùn)動(dòng)跟蹤和三維重建等研究中[1-4]，然而內(nèi)窺鏡的使用環(huán)境具有很強(qiáng)獨(dú)特性，對(duì)于傳統(tǒng)SFM算法的應(yīng)用存在以下缺陷：(1)受內(nèi)窺鏡直徑的限制，其輸出圖像的分辨率普遍較低；(2)人體器官內(nèi)和工業(yè)設(shè)備內(nèi)管道表面的紋理特征不明顯；(3)管道內(nèi)部、深孔等區(qū)域往往沒(méi)有良好的照明條件，因此內(nèi)窺鏡大多自帶光源進(jìn)行照明，容易出現(xiàn)照明不足或者過(guò)強(qiáng)的情況；(4)管道內(nèi)部常有氣泡、浮塵等漂浮雜質(zhì)[5]。國(guó)內(nèi)外關(guān)于內(nèi)窺鏡圖像的三維重建方面的研究已有一些成果。對(duì)于工業(yè)內(nèi)窺鏡，其三維成像的研究很少，郭俊鋒等[6]和楊東林等[7]均通過(guò)設(shè)計(jì)雙目光學(xué)系統(tǒng)獲得圖像的深度信息，這類(lèi)方法的缺點(diǎn)是需要改變內(nèi)窺鏡的現(xiàn)有結(jié)構(gòu)，并且增加了內(nèi)窺鏡探頭的直徑。相比之下，關(guān)于醫(yī)用內(nèi)窺鏡三維重建的研究較多。Ben-Hamadou等[8]利用內(nèi)窺鏡實(shí)現(xiàn)了膀胱表面重建，但是為了降低特征提取的難度，需要額外投射激光點(diǎn)作為特征點(diǎn)。Sun等[9]利用SFM算法在從胃鏡視頻中進(jìn)行表面重建，但是需要借助電磁跟蹤裝置來(lái)估計(jì)相機(jī)位姿。Visentini-Scarzanell等[10]在CT數(shù)據(jù)上訓(xùn)練卷積神經(jīng)網(wǎng)，實(shí)現(xiàn)了對(duì)支氣管鏡圖像的深度估計(jì)，但是這類(lèi)方法只能恢復(fù)單幅圖像的深度，不適用于重建完整的三維多孔結(jié)構(gòu)。Mahmoud等[11]在使用ORB-SLAM進(jìn)行稀疏重建的基礎(chǔ)上提出了一種對(duì)豬肝臟表面進(jìn)行稠密重建的方法，但重建對(duì)象表面的紋理密度會(huì)影響ORB特征點(diǎn)的密度，進(jìn)而影響相機(jī)位姿估計(jì)的準(zhǔn)確度。Turan等[12]改進(jìn)陰影恢復(fù)形狀算法用于胃腸表面重建，此方法假設(shè)表面沒(méi)有陰影區(qū)域且較為平滑，然而孔洞的存在會(huì)使表面梯度發(fā)生強(qiáng)烈的變化，灰度也會(huì)明顯降低，難以滿(mǎn)足算法的假設(shè)條件。以上現(xiàn)有工作的共同缺點(diǎn)是無(wú)法同時(shí)滿(mǎn)足以下兩個(gè)條件：不借助外部設(shè)備和工具且不改變內(nèi)窺鏡的硬件構(gòu)造；適用于弱紋理的多孔結(jié)構(gòu)。

考慮到以上問(wèn)題，本文提出了一種適用于低分辨率單目?jī)?nèi)窺鏡對(duì)多孔結(jié)構(gòu)進(jìn)行三維重建的完整方案，創(chuàng)新之處在于：

(1)引入重建前期的圖像預(yù)處理過(guò)程，基于加權(quán)引導(dǎo)濾波設(shè)計(jì)了多尺度圖像增強(qiáng)方法用于提升圖像的紋理細(xì)節(jié)，在不改變內(nèi)窺鏡結(jié)構(gòu)且不額外增加輔助工具的情況下提高弱紋理環(huán)境下特征點(diǎn)的密度。利用快速行進(jìn)算法(Fast Marching Method，F(xiàn)MM)修復(fù)漂浮雜質(zhì)和高強(qiáng)度照射引起的高亮區(qū)；

(2)在SFM過(guò)程中，提出了一種簡(jiǎn)易快速剔除離群點(diǎn)對(duì)的方法，從而提高了低分辨率圖像特征點(diǎn)匹配結(jié)果的準(zhǔn)確性；

(3)由于尚未發(fā)現(xiàn)有研究工作涉及單目視覺(jué)下多孔結(jié)構(gòu)的重建，本文提出了一種基于模板匹配和最小二乘擬合的三維多孔結(jié)構(gòu)提取方法。

2 多孔結(jié)構(gòu)三維重建方法和流程

2.1 基于加權(quán)引導(dǎo)濾波的多尺度圖像細(xì)節(jié)增強(qiáng)方法

引導(dǎo)濾波[13-15]是一種需要引導(dǎo)圖的局部線(xiàn)性濾波模型。當(dāng)其引導(dǎo)圖設(shè)置為原輸入圖像時(shí)，就成為了一種具有保持邊緣能力的濾波器。在此基礎(chǔ)上，Li等[16]提出了加權(quán)引導(dǎo)濾波算法，通過(guò)對(duì)圖像上邊緣強(qiáng)度的檢測(cè)，自適應(yīng)地調(diào)整引導(dǎo)濾波中的參數(shù)設(shè)置，消除了“偽邊緣”現(xiàn)象，進(jìn)一步提高了算法對(duì)圖像邊緣保持的能力。

本文基于加權(quán)引導(dǎo)濾波設(shè)計(jì)了內(nèi)窺鏡圖像增強(qiáng)流程如圖1所示。首先將原彩色圖像按照RGB三通道分解成三幅單道圖像Ix(Ir，Ig，Ib)。

圖1 圖像增強(qiáng)流程Fig.1 Flow chart of image enhancement

多尺度分解：對(duì)各通道的圖像進(jìn)行加權(quán)引導(dǎo)濾波，獲得反映圖片整體輪廓特征的結(jié)構(gòu)圖層：

Lx=F(Ix)，

(1)

其中F(·)代表加權(quán)引導(dǎo)濾波操作。然后使用原單通道圖Ix減去其結(jié)構(gòu)圖層圖像Lx得到各通道的紋理細(xì)節(jié)圖層：

Rx=Ix-Lx.

(2)

接著對(duì)Lx進(jìn)行相同的分解操作，得到不同尺度下的結(jié)構(gòu)圖層和細(xì)節(jié)圖層：

(3)

其中：i代表分解的層級(jí)，Nm為其最大值。

圖像重構(gòu)：使用以下線(xiàn)性增強(qiáng)模型，實(shí)現(xiàn)對(duì)圖像紋理細(xì)節(jié)的增強(qiáng)：

(4)

其中：Zx為增強(qiáng)后的輸出圖像，β為增強(qiáng)系數(shù)，用來(lái)拉伸各尺度下的細(xì)節(jié)圖層，使紋理更加突出。

最后將RGB三通道增強(qiáng)后的圖像疊加合并成紋理增強(qiáng)的彩色圖像。此方法通過(guò)對(duì)圖像的多尺度分解與重構(gòu)過(guò)程，實(shí)現(xiàn)了在增強(qiáng)圖像細(xì)節(jié)的同時(shí)保持邊緣特性不變。

2.2 基于FMM的圖像復(fù)原

本文利用FMM算法[17]去除由于漂浮雜質(zhì)反光和內(nèi)窺鏡自帶光源直射導(dǎo)致圖像中產(chǎn)生的高亮區(qū)塊，減少對(duì)特征提取和匹配的干擾。設(shè)計(jì)的圖像修復(fù)流程如圖2所示。經(jīng)2.1節(jié)紋理增強(qiáng)后的圖像作為待修復(fù)圖像，經(jīng)過(guò)二值化和形態(tài)學(xué)膨脹操作生成的圖像作為修復(fù)模板，輸入FMM算法模型中。此修復(fù)方法可以在不影響圖像原始紋理結(jié)構(gòu)的情況下實(shí)現(xiàn)對(duì)內(nèi)窺鏡圖像中高亮區(qū)塊的去除。

圖2 圖像修復(fù)流程Fig.2 Flow chart of image inpainting

2.3 引入離群點(diǎn)對(duì)檢測(cè)的特征匹配與稀疏重建

本文采用基于SIFT特征的SFM算法進(jìn)行稀疏重建，其一般包括特征匹配、相機(jī)位姿估計(jì)以及三維稀疏點(diǎn)云生成三個(gè)步驟。在特征匹配階段，一般使用Ratio Test算法提高匹配的正確率。然而內(nèi)窺鏡圖像相比于一般的相機(jī)圖像清晰度低，即使經(jīng)過(guò)Ratio Test仍然極易產(chǎn)生錯(cuò)誤的匹配點(diǎn)對(duì)。因此本文提出了一種進(jìn)行離群點(diǎn)對(duì)檢測(cè)的方法，用在Ratio Test之后，進(jìn)一步刪除可信度低的匹配點(diǎn)對(duì)，優(yōu)化匹配結(jié)果。

由于相機(jī)運(yùn)動(dòng)的平滑性，在同一次特征匹配結(jié)果中，每對(duì)匹配點(diǎn)在像素坐標(biāo)系的X方向上的像素距離值原則上不會(huì)出現(xiàn)過(guò)大的差異，Y方向上亦如此。本文方法基于此假設(shè)，檢測(cè)像素坐標(biāo)關(guān)系表現(xiàn)比較異常的點(diǎn)對(duì)。圖3所示為X坐標(biāo)約束下的離群點(diǎn)檢測(cè)算法，流程中，假設(shè)兩幅圖像通過(guò)初始匹配得到N對(duì)匹配特征點(diǎn)，算法統(tǒng)計(jì)了每個(gè)匹配點(diǎn)對(duì)中兩點(diǎn)在像素坐標(biāo)系的X方向上的差值，然后設(shè)計(jì)了搜索策略來(lái)搜索和定位離群點(diǎn)。多次實(shí)驗(yàn)表明閾值α在2～4之間取值時(shí)效果最佳。

圖3 離群點(diǎn)檢測(cè)流程Fig.3 Flow chart of outlier detection

將此流程圖中的X都改為Y即可同理得到Y(jié)坐標(biāo)約束下的離群點(diǎn)檢測(cè)流程。在X坐標(biāo)約束和Y坐標(biāo)約束下標(biāo)記出的離群點(diǎn)都視為錯(cuò)誤匹配結(jié)果，進(jìn)行剔除。通過(guò)離群點(diǎn)對(duì)的檢測(cè)與刪除，能夠有效地去除特征相似但是位置關(guān)系異常的匹配點(diǎn)對(duì)，為下一步的相機(jī)位姿估計(jì)提供準(zhǔn)確度更高的數(shù)據(jù)源。

2.4 三維多孔結(jié)構(gòu)提取方法

現(xiàn)有的關(guān)于孔結(jié)構(gòu)提取的研究均是基于雙目視覺(jué)，如解則曉[18]等通過(guò)尋找極線(xiàn)與圓孔邊緣的交點(diǎn)進(jìn)行立體匹配重建圓孔輪廓。然而關(guān)于從單目SFM重建中提取多孔結(jié)構(gòu)的研究尚未發(fā)現(xiàn)有報(bào)道，因此本文提出了一種基于模板匹配和最小二乘擬合的多孔結(jié)構(gòu)提取方法。設(shè)計(jì)具體流程如下：

2.4.1 重建孔洞邊緣三維點(diǎn)云

如圖4所示，使用由SFM流程恢復(fù)的相機(jī)位姿信息，建立每對(duì)相鄰關(guān)鍵幀之間的極線(xiàn)約束。pi為孔洞邊緣上一點(diǎn)，將pi與其對(duì)應(yīng)的極線(xiàn)上的每一個(gè)點(diǎn)進(jìn)行模板匹配，使用零均值歸一化互相關(guān)(Zero Mean Normalized Cross Correlation，ZNCC)匹配算法[19]計(jì)算相關(guān)度，相關(guān)度值最大的點(diǎn)視為與pi的匹配點(diǎn)。為了加快搜索過(guò)程，定義最小搜索深度dmin和最大搜索深度dmax：

(5)

其中dmean和σ分別代表當(dāng)前幀對(duì)應(yīng)稀疏點(diǎn)云的深度值的均值和方差。

圖4 模板匹配過(guò)程Fig.4 Process of template matching

在已知所有圓孔邊緣點(diǎn)pi與其匹配點(diǎn)的條件下，結(jié)合已恢復(fù)的相機(jī)位姿信息，使用三角測(cè)量法即可得到孔洞邊緣的三維點(diǎn)云Vcloud={P1，P2，P3，…}。

2.4.2 點(diǎn)云分割

由于點(diǎn)云Vcloud中包含多個(gè)圓孔，本文設(shè)計(jì)圖5所示算法流程對(duì)點(diǎn)云進(jìn)行分割。在實(shí)際應(yīng)用時(shí)，可將P1與Vcloud中其余點(diǎn)的最短距離的3倍作為閾值e的取值。

圖5 點(diǎn)云分割Fig.5 Point cloud segmentation

2.4.3 計(jì)算圓孔的位置、大小和方向

本小節(jié)試圖用三維空間圓去擬合每一個(gè)孔洞的三維邊緣點(diǎn)集，從而獲得孔洞的尺寸和空間位置關(guān)系。其中涉及到多次空間坐標(biāo)系的變換，下面給出了各輔助坐標(biāo)系的定義和變換公式的推導(dǎo)。

步驟1 如圖6所示，利用最小二乘法對(duì)一個(gè)孔洞的三維點(diǎn)云進(jìn)行平面擬合，得到擬合平面方程：

ax+by-z+c=0，

(6)

法向量[a，b，-1]的方向則代表當(dāng)前圓孔的方向。將所有點(diǎn)[x，y，z]投影到擬合平面上得到[xp，yp，zp]，變換關(guān)系如下：

(7)

圖6 坐標(biāo)變換Fig.6 Coordinate transformation

步驟2 對(duì)圓的擬合一般要在二維平面上進(jìn)行，因此需要將三維點(diǎn)坐標(biāo)降維轉(zhuǎn)換到二維平面上。創(chuàng)建一個(gè)新的坐標(biāo)系Oc-XcYcZc，該坐標(biāo)系的Zc軸與擬合平面的法線(xiàn)平行，Oc與O重合。假設(shè)坐標(biāo)系O-XYZ繞X軸旋轉(zhuǎn)θx角度，繞Y軸旋轉(zhuǎn)θy角度可變換到坐標(biāo)系Oc-XcYcZc。那么旋轉(zhuǎn)矩陣表示為：

(8)

θy=arctan(-a)，

(9)

通過(guò)Pc=R-1P將投影到擬合平面的上的三維點(diǎn)轉(zhuǎn)換到Oc-XcYcZc坐標(biāo)系下，轉(zhuǎn)換后所有點(diǎn)的Zc坐標(biāo)值相同，因此可以在XcOcYc平面上進(jìn)行基于最小二乘的圓擬合。擬合圓的半徑即為當(dāng)前圓孔的半徑，擬合圓的圓心坐標(biāo)經(jīng)過(guò)P=RPc變換回初始O-XYZ坐標(biāo)系下，作為當(dāng)前圓孔的位置。

對(duì)重建圖像序列中包含的每個(gè)圓孔，重復(fù)上述流程，提取出所有圓孔的三維結(jié)構(gòu)。

2.5 重建方案小結(jié)

本文所提出的方案的完整流程如圖7所示，現(xiàn)有的基于SFM的三維重建算法一般包括特征提取和匹配、相機(jī)位姿估計(jì)、稀疏三維點(diǎn)云生成三部分。但其在不借助輔助工具的前提下不能適應(yīng)內(nèi)窺鏡圖像和應(yīng)用場(chǎng)景的特點(diǎn)，本文改進(jìn)了現(xiàn)有的基于SFM的重建流程，使其能夠在低分辨率的內(nèi)窺鏡圖像上正常工作，并且最終提取出三維多孔結(jié)構(gòu)。改進(jìn)點(diǎn)如下：(1)使用基于加權(quán)引導(dǎo)濾波的多尺度圖像增強(qiáng)算法，突顯內(nèi)窺鏡圖像的紋理細(xì)節(jié)，降低特征提取難度；(2)引入基于FMM圖像復(fù)原算法，減小雜質(zhì)對(duì)特征匹配的干擾；(3)在初始特征匹配后提出了離群點(diǎn)對(duì)檢測(cè)算法，通過(guò)像素坐標(biāo)位置關(guān)系的差異排除錯(cuò)誤匹配結(jié)果；(4)提出了一種三維多孔結(jié)構(gòu)提取算法。

圖7 本文重建流程總結(jié)Fig.7 Summary of reconstruction process

3 實(shí)驗(yàn)結(jié)果與分析

本文通過(guò)兩組實(shí)驗(yàn)對(duì)提出的重建方法進(jìn)行驗(yàn)證。第一組實(shí)驗(yàn)使用工業(yè)內(nèi)窺鏡對(duì)3D打印的多孔半球面進(jìn)行重建，因模型參數(shù)已知，方便驗(yàn)證重建結(jié)果的準(zhǔn)確性。第二組實(shí)驗(yàn)使用醫(yī)用內(nèi)窺鏡對(duì)真實(shí)腎內(nèi)多孔結(jié)構(gòu)進(jìn)行重建，驗(yàn)證本文方法的可行性。兩種內(nèi)窺鏡均為單目?jī)?nèi)窺鏡。實(shí)驗(yàn)的軟件環(huán)境為Visual Studio 2015，64位Windows操作系統(tǒng)，C++語(yǔ)言編程，硬件采用Intel(R) Core(TM) i5-4590 CPU @ 3.30 GHz，8.00 GB內(nèi)存。

3.1 利用工業(yè)內(nèi)窺鏡的多孔半球面重建實(shí)驗(yàn)

本文設(shè)計(jì)了直徑為150 mm的多孔半球面，球面上的圓孔位置隨機(jī)分布，直徑取值為5～13 mm不等，如圖8(a)所示。在半球面上粘貼了密度較為稀疏的紋理圖。然后使用Anyty型號(hào)為3R-MFXS55的內(nèi)窺鏡對(duì)圖8(a)中標(biāo)號(hào)的8個(gè)圓孔進(jìn)行拍攝，得到分辨率為720×480 pixel的圖像序列。重建流程和結(jié)果見(jiàn)圖8(b)～圖8(h)。

圖8 多孔半球面重建過(guò)程和結(jié)果Fig.8 Process and result of reconstruction on porous hemisphere

3.1.1 圖像增強(qiáng)與復(fù)原結(jié)果分析

實(shí)驗(yàn)時(shí)參數(shù)設(shè)置為：Nm=3，β=2，α=3。對(duì)比圖8(b)和8(c)可以看出，使用本文方法進(jìn)行增強(qiáng)后的圖像紋理特征表現(xiàn)得更加明顯，很多細(xì)小的紋理細(xì)節(jié)被突顯出來(lái)，并且孔洞邊緣的灰度梯度得到了良好的保持，這有利于最后多孔結(jié)構(gòu)提取時(shí)對(duì)孔洞邊界的準(zhǔn)確定位。對(duì)比圖8(c)和8(d)中的黃色框標(biāo)記區(qū)域可見(jiàn)，使用本文的圖像復(fù)原算法使得高亮區(qū)塊得到了有效去除(彩圖見(jiàn)期刊電子版)。

圖9展示了未經(jīng)處理的原始圖像上的特征匹配結(jié)果，與圖8(e)中的圖像對(duì)比，能明顯看出經(jīng)過(guò)本文圖像增強(qiáng)和復(fù)原算法處理后的圖像上提取到的特征點(diǎn)數(shù)量相比于原始圖像有極大提高。

圖9 原始半球面圖像上的特征匹配結(jié)果Fig.9 Feature matching on original images of the hemisphere

3.1.2 離群點(diǎn)剔除算法結(jié)果分析

在圖8(e)中，對(duì)選取的相鄰關(guān)鍵幀圖像進(jìn)行SIFT特征點(diǎn)提取和匹配。初始的特征匹配連線(xiàn)圖中，正確匹配連線(xiàn)呈現(xiàn)出近似平行的狀態(tài)，且長(zhǎng)度接近。圖8(e)右下角為紅色邊框部分的放大圖，其中黑色線(xiàn)標(biāo)記了部分異常連線(xiàn)，它們對(duì)應(yīng)的是明顯的錯(cuò)誤匹配。由圖8(f)可見(jiàn)使用本文所提出的離群點(diǎn)對(duì)檢測(cè)方法，能有效地排除這些錯(cuò)誤匹配點(diǎn)對(duì)。為說(shuō)明本文離群點(diǎn)對(duì)剔除方法的優(yōu)勢(shì)，將本文算法與LOF算法[20]以及ORB-SLAM[21]中使用的旋轉(zhuǎn)角度直方圖統(tǒng)計(jì)算法進(jìn)行對(duì)比，如圖10所示，其中黃色圓圈標(biāo)記出了結(jié)果中仍然存在的明顯的錯(cuò)誤匹配點(diǎn)(彩圖見(jiàn)期刊電子版)。對(duì)比圖10和圖8(f)中的誤匹配剔除效果，并綜合考慮表1中各算法運(yùn)行的耗時(shí)，證明本文算法的性能最佳。

(b)旋轉(zhuǎn)角度直方圖算法結(jié)果

表1 半球面重建中離群點(diǎn)對(duì)剔除算法的時(shí)間效率對(duì)比

3.1.3 多孔結(jié)構(gòu)重建結(jié)果分析

為了驗(yàn)證本文方法的可靠性，重復(fù)進(jìn)行了10組完全獨(dú)立的重建實(shí)驗(yàn)，以下表格中展示的實(shí)驗(yàn)結(jié)果均為10次實(shí)驗(yàn)的統(tǒng)計(jì)數(shù)據(jù)。

對(duì)于位置分布關(guān)系的準(zhǔn)確性，分別統(tǒng)計(jì)了真實(shí)模型(圖8(a))和重建結(jié)果(圖8(h))中1號(hào)圓孔圓心與其他圓孔圓心的距離值，以此距離值的誤差大小作為衡量重建結(jié)果位置關(guān)系準(zhǔn)確性的一個(gè)指標(biāo)。由于單目重建出的三維結(jié)構(gòu)與真實(shí)三維結(jié)構(gòu)在尺寸上相差一個(gè)尺度因子，因此本文首先使用最小二乘法恢復(fù)尺度因子，基于此尺度因子，計(jì)算出重建結(jié)果在圓孔間距值上的相對(duì)誤差。由表2可見(jiàn)，8個(gè)圓孔重建的相對(duì)誤差都保持在10%之內(nèi)。

對(duì)于圓孔大小的準(zhǔn)確性，分別統(tǒng)計(jì)了多孔半球面和重建結(jié)果中各個(gè)圓孔的直徑，進(jìn)行對(duì)比。由表3可見(jiàn)，8個(gè)圓孔直徑的重建相對(duì)誤差也均在10%之內(nèi)，滿(mǎn)足實(shí)際應(yīng)用的需求。

表2 圓孔間距誤差

表3 圓孔直徑誤差

將文獻(xiàn)[18]所述圓孔邊緣點(diǎn)重建方法替換本文在2.4節(jié)提出的方案，得到對(duì)比實(shí)驗(yàn)結(jié)果，見(jiàn)表2和表3的最后一列。結(jié)合表4可見(jiàn)，相比于文獻(xiàn)[18]，本文所提出的基于模板匹配與最小二乘擬合的多孔結(jié)構(gòu)提取算法在輕微增加時(shí)間消耗的情況下，取得了較為明顯的準(zhǔn)確性的提升，總體性能更佳。對(duì)比實(shí)驗(yàn)的結(jié)果證明了本文方案更加適用于單目?jī)?nèi)窺鏡。

表4 圓孔結(jié)構(gòu)提取算法的時(shí)間效率對(duì)比

3.2 利用醫(yī)用內(nèi)窺鏡的腎內(nèi)多孔結(jié)構(gòu)重建實(shí)驗(yàn)

本實(shí)驗(yàn)所用圖像來(lái)自于北京民航總醫(yī)院完成的經(jīng)尿道輸尿管軟鏡鈥激光碎石取石手術(shù)，術(shù)中軟鏡經(jīng)患者尿道和輸尿管置入，到達(dá)腎臟并觀察如圖11(a)所示的腎內(nèi)管道結(jié)構(gòu)，所用軟鏡為奧林巴斯URF-V2型輸尿管電子鏡，圖像分辨率為640×480 pixel。本文從內(nèi)窺鏡視頻中截取了包含3個(gè)孔洞的片段，運(yùn)用提出的算法流程重建此多孔結(jié)構(gòu)，驗(yàn)證方法的可行性。

圖11 腎內(nèi)三維多孔結(jié)構(gòu)重建過(guò)程和結(jié)果Fig.11 Process and result of porous structure reconstruction in the kidney

圖11(b)～11(h)展示了根據(jù)本文提出的方案對(duì)真實(shí)軟鏡圖像序列進(jìn)行三維多孔結(jié)構(gòu)重建的過(guò)程和結(jié)果。腎盂和腎盞中的血管，以及結(jié)石在移動(dòng)過(guò)程中引起的出血，是重建中紋理的主要來(lái)源。

實(shí)驗(yàn)時(shí)參數(shù)設(shè)置與半球試驗(yàn)相同：Nm=3，β=2，α=3。圖12展示了未經(jīng)處理的原始圖像上進(jìn)行特征提取和匹配的結(jié)果，與圖11(e)中圖像對(duì)比，證明了本文所用圖像增強(qiáng)和復(fù)原算法能夠有效地提高特征點(diǎn)的數(shù)量。

表5 腎內(nèi)重建中離群點(diǎn)對(duì)剔除算法的時(shí)間效率對(duì)比

圖12 原始腎內(nèi)圖像上的特征匹配結(jié)果Fig.12 Feature matching on original intrarenal images

通過(guò)圖13與圖11(f)中結(jié)果對(duì)比，結(jié)合表5中展示的各算法的耗時(shí)，證明了本文提出的離群點(diǎn)檢測(cè)算法在真實(shí)腎內(nèi)圖像數(shù)據(jù)上依然表現(xiàn)出優(yōu)勢(shì)。由圖11所示重建結(jié)果可以看到，使用本文重建方案最終得到的三個(gè)孔的大小和位置關(guān)系都與內(nèi)窺鏡視頻所展示的內(nèi)容非常接近，驗(yàn)證了本文整體重建方法的可行性。

(a)LOF算法結(jié)果

(b)旋轉(zhuǎn)角度直方圖算法結(jié)果

4 結(jié) 論

由于現(xiàn)有基于單目視覺(jué)的三維重建方法在不借助外部輔助工具的前提下難以在內(nèi)窺鏡的應(yīng)用場(chǎng)景中運(yùn)行，本文提出了一種面向低分辨率單目?jī)?nèi)窺鏡圖像的三維多孔結(jié)構(gòu)重建方法。此方法具有以下特點(diǎn)：利用基于加權(quán)引導(dǎo)濾波的多尺度圖像增強(qiáng)方法，增強(qiáng)了圖像細(xì)節(jié)，克服了內(nèi)窺鏡本身成像清晰度低，且其應(yīng)用場(chǎng)景紋理特征弱的缺陷，有利于特征提?。灰牖贔MM的圖像修復(fù)算法用于修補(bǔ)圖像中的高亮區(qū)塊，減少了氣泡、漂浮雜質(zhì)、表面反光等因素對(duì)特征點(diǎn)提取的干擾；提出了一種離群點(diǎn)對(duì)檢測(cè)算法用于剔除錯(cuò)誤匹配，優(yōu)化特征點(diǎn)匹配結(jié)果，進(jìn)一步削弱了內(nèi)窺鏡圖像模糊對(duì)重建精度帶來(lái)的影響；最后，提出了基于模板匹配和最小二乘擬合的多孔結(jié)構(gòu)提取算法。多孔球面上的實(shí)驗(yàn)驗(yàn)證了整體算法流程的合理性和重建結(jié)構(gòu)的準(zhǔn)確性，重建結(jié)果中孔間距和孔直徑的相對(duì)誤差均小于10%。真實(shí)腎結(jié)石手術(shù)場(chǎng)景上的實(shí)驗(yàn)驗(yàn)證了本文方法的可行性。