曹政濤,黃文豐,寧志剛,廖祥云,熊雪穎,王 瓊

(1.南華大學(xué) 電氣工程學(xué)院,湖南 衡陽 421001; 2.中國科學(xué)院人機智能協(xié)同系統(tǒng)重點實驗室,中國科學(xué)院 深圳先進技術(shù)研究院,廣東 深圳 518055; 3.武漢大學(xué)中南醫(yī)院 醫(yī)學(xué)影像科, 湖北 武漢 473001)

0 引 言

由于內(nèi)窺鏡微創(chuàng)手術(shù)具有傷口小、出血量少、好愈合、住院時間短等優(yōu)點，已經(jīng)被廣泛應(yīng)用于肝膽外科、耳鼻喉科等多種手術(shù)類型中[1-2]。然而內(nèi)窺鏡手術(shù)場景存在一些缺陷，如視野受限、深度信息丟失、手術(shù)自由度低等，對于其中一些問題可以通過訓(xùn)練醫(yī)生手術(shù)技巧來解決，但對于內(nèi)窺鏡影像下深度的認(rèn)識卻很難通過經(jīng)驗判斷來得到精確的位置，于是很多學(xué)者開始著手于內(nèi)窺鏡場景下深度估計方法研究[3-5]，并在微創(chuàng)手術(shù)導(dǎo)航系統(tǒng)中得以應(yīng)用[6-8]。內(nèi)窺鏡微創(chuàng)手術(shù)可以利用手術(shù)導(dǎo)航系統(tǒng)構(gòu)建內(nèi)窺鏡手術(shù)場景信息，幫助醫(yī)生快速定位病變組織，避免誤觸碰人體關(guān)鍵結(jié)構(gòu)從而可以減少手術(shù)時間，降低手術(shù)風(fēng)險。

人體微創(chuàng)手術(shù)的內(nèi)窺鏡類型分為：單目內(nèi)窺鏡[9]、雙目內(nèi)窺鏡[10]、結(jié)構(gòu)光內(nèi)窺鏡[11]。雙目內(nèi)窺鏡和結(jié)構(gòu)光內(nèi)窺鏡復(fù)雜度高、體積大，在人體內(nèi)使用不便，因此，單目內(nèi)窺鏡仍是臨床上最常用的內(nèi)窺鏡。目前在單目內(nèi)窺鏡場景下的深度估計方法可以分為傳統(tǒng)的單目視覺算法和基于深度學(xué)習(xí)的方法?；趩文恳曈X算法，如同時定位與地圖映射(simultaneous localization and mapping, SLAM)[12]和運動恢復(fù)結(jié)構(gòu)(structure from motion, SFM)[13]等技術(shù)。SFM和SLAM將同一視頻序列或不同角度的圖像序列作為輸入，然后利用特征匹配和三角測量方法計算圖像深度和攝像機運動。由于不需要額外適配其他硬件設(shè)備且成本低廉，這些方法已經(jīng)被廣泛關(guān)注和研究，并且在胃鏡、腹腔鏡等多種內(nèi)窺鏡場景下實現(xiàn)了跟蹤和三維重建[14-16]，然而內(nèi)窺鏡圖像中的特征缺乏會導(dǎo)致這些方法產(chǎn)生稀疏和不均勻的重建。為了解決稀疏重建的問題，文獻[17]將視覺SLAM技術(shù)與激光掃描技術(shù)結(jié)合的方法用于稠密的人體組織重建，但是該方法重建的結(jié)果失去了很多細(xì)節(jié)信息，無法反應(yīng)組織表面特性。

基于深度學(xué)習(xí)的方法按照監(jiān)督形式可以分為完全監(jiān)督型學(xué)習(xí)方法和無監(jiān)督型學(xué)習(xí)方法。雖然完全監(jiān)督型網(wǎng)絡(luò)在一般場景可以得到較好的深度信息[18-20]，然而在內(nèi)窺鏡場景下使用該方法是非常困難的。這是因為在人體內(nèi)無法像一般場景一樣通過額外的硬件設(shè)備來獲取真實的深度圖。文獻[21]為了解決這個問題使用數(shù)字合成和電子計算機斷層掃描(computed tomograph,CT)渲染的方式生成相應(yīng)的真實深度圖，然而這種方法需要提供病人的CT數(shù)據(jù)，此外模擬的圖像可能會失去圖像原有的細(xì)節(jié)紋理，這對于本來就紋理稀疏的人體組織并不適用。由于有監(jiān)督學(xué)習(xí)方法的局限性，近幾年，無監(jiān)督學(xué)習(xí)方法也得到了廣泛的關(guān)注。X.Liu等[4]根據(jù)傳統(tǒng)SFM具有光照不變特性提出自監(jiān)督方法很好地解決了缺乏真實深度標(biāo)簽和光照變化問題，并在鼻腔視頻的實驗中取得了很好的效果。然而對于腹腔鏡場景下，一些較大肝臟器官,其組織表面紋理稀疏、深度變化不明顯，SFM只能產(chǎn)生有限的監(jiān)督數(shù)據(jù)。H.Luo等[22]提出了一種融合傳統(tǒng)立體先驗知識的無監(jiān)督學(xué)習(xí)深度估計方法，以傳統(tǒng)的立體方法生成深度標(biāo)簽，并結(jié)合卷積網(wǎng)絡(luò)生成左右視差圖，通過左右視差圖構(gòu)建視差一致性損失函數(shù)，但該方法只適用于雙目內(nèi)窺鏡深度估計。岑仕杰[23]等使用位姿估計網(wǎng)絡(luò)提供無監(jiān)督數(shù)據(jù)結(jié)合雙重注意力模塊對自然場景進行單目深度估計，然而該方法在位姿估計方面的性能不佳，錯誤的位姿估計將導(dǎo)致三維重建不準(zhǔn)確。

根據(jù)以上問題的分析，本文提出基于增量式SFM原理的半稠密COLMAP重建方法[24]來獲取監(jiān)督數(shù)據(jù)，采用具有動態(tài)卷積機制的SKNet (selective kernel networks,SKNet) 模型構(gòu)建自監(jiān)督單目內(nèi)窺鏡深度估計網(wǎng)絡(luò)模型。該方法既可以很好地解決監(jiān)督數(shù)據(jù)不足的問題，又可以增強訓(xùn)練網(wǎng)絡(luò)對一些紋理稀疏和深度信息變化不明顯的區(qū)域的特征提取能力。本文提出的創(chuàng)新點如下：

1)采用半稠密COLMAP方法解決監(jiān)督數(shù)據(jù)不足的問題，同時引入加權(quán)可靠度抑制和丟棄一些離群的3D點，相比于稠密的COLMAP重建方法，該方法并沒有引入過多的異常點，也不用手動對重建結(jié)果進行修飾；

2)在完全卷積網(wǎng)絡(luò)(fully convolutional DenseNets,FC-DenseNet)中加入了具有注意力機制的SKNet模型，輸入SKNet模型中的特征圖根據(jù)不同大小的卷積核動態(tài)分配其輸出的特征圖的權(quán)值，實現(xiàn)動態(tài)提取不同感受野下的特征信息。

1 單目內(nèi)窺鏡深度估計模型

1.1 模型概述

本文提出的基于改進的半稠密COLMAP與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的自監(jiān)督單目估計方法，改進了自監(jiān)督數(shù)據(jù)，不需要額外提供任何真實的深度標(biāo)簽。整個系統(tǒng)的內(nèi)窺鏡深度估計流程圖如圖1所示，首先進入圖像預(yù)處理階段，將同一視頻序列圖像送入COLMAP中進行圖像預(yù)處理，將重建點云進行投影變換得到半稠密深度圖，之后對半稠密深度圖進行加權(quán)處理，去除和抑制一些離群的深度值。在網(wǎng)絡(luò)訓(xùn)練階段，加入SKNet模型，提高網(wǎng)絡(luò)的特征提取能力，在應(yīng)用階段，只需單幀圖像就可以得到對應(yīng)圖像的密集深度圖。

圖1 單目內(nèi)窺鏡深度估計框架圖Fig.1 Monocular endoscope depth estimation frame diagram

1.2 加權(quán)半稠密深度圖

COLMAP是基于增量式SFM方法的全局重建方法，該方法只需輸入圖像、相機內(nèi)參、匹配方法便可生成3D點云。COLMAP可以進行稀疏重建和稠密重建，但這兩種方法產(chǎn)生的深度圖都無法較好地用于深度估計。稀疏重建產(chǎn)生的點云數(shù)據(jù)較少，只能得到稀疏深度圖。COLMAP稠密重建是在SFM稀疏重建的基礎(chǔ)上進行了深度圖的融合，雖然得到的是稠密重建，但是也引入了大量的干擾點和錯誤點，并且丟失了每個3D點與圖像幀的對應(yīng)關(guān)系。根據(jù)肝臟表面特征稀疏的特點，對COLMAP稀疏重建進行了改進，在特征提取和匹配時降低了特征提取和匹配的閾值,使其匹配到的特征點多于之前的N倍，再對引入的干擾點進行丟棄和抑制操作。加權(quán)半稠密深度圖生成過程如圖2所示，首先調(diào)整COLMAP稀疏重建在特征提取和匹配時的閾值，再將內(nèi)窺鏡視頻幀送入COLMAP中進行特征提取與匹配，然后利用已知的相機內(nèi)參和匹配的特征點進行半稠密重建即可得到點云數(shù)據(jù)、相機位姿、3D點與2D圖像的對應(yīng)關(guān)系。最后對3D點進行可靠度評估，對干擾點進行抑制或丟棄，并投影映射得到加權(quán)半稠密深度圖，3D點與2D圖像的對應(yīng)關(guān)系是指3D點可以由哪些圖像幀重建出來。

圖2 生成加權(quán)半稠密深度圖流程圖Fig.2 Generate weighted semi-dense depth map generation pipeline

(1)

其中，Wj是表示加權(quán)可靠度,為了減少半稠密重建中的異常點對有效區(qū)域的深度值的影響,對每個有效區(qū)域的深度值進行了加權(quán)處理,幀j的深度值加權(quán)可靠度Wj定義為：

(2)

其中，α表示用于重建的3D點的平均幀數(shù)，w表示每個點用于重建的幀數(shù)，?1,?2是給定的超參數(shù)。當(dāng)w∈(?2,+∞)時，則認(rèn)為該點絕對可靠。當(dāng)w∈(?1,?2)時，mn是用于表示重建3D點n投影到2D位置的累積視差的權(quán)重，mn越大，反映可靠度越高。當(dāng)w∈(0,?1)時，表示使用COLMAP得到的3D點云中，存在一些3D點與其相關(guān)的圖像幀過少，認(rèn)為該點是離群點，需要對其進行丟棄。

1.3 網(wǎng)絡(luò)結(jié)構(gòu)

1.3.1 自監(jiān)督方法

圖3 網(wǎng)絡(luò)訓(xùn)練總體流程圖Fig.3 Overall flowchart of network training

1.3.2 SK-FCDenseNet網(wǎng)絡(luò)

FC-DenseNet網(wǎng)絡(luò)[25]是由一條下采樣路徑、一條上采樣路徑和跳躍連接組成，跳躍連接通過重用特征圖來幫助上采樣路徑恢復(fù)空間細(xì)節(jié)信息。SKNet考慮到了分路卷積的權(quán)重，能夠使產(chǎn)生不同感受野的卷積核進行動態(tài)卷積。本文結(jié)合兩者的優(yōu)點提出了SK-FCDenseNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。使用了FC-DenseNet57層網(wǎng)絡(luò)架構(gòu)，在下采樣階段和上采樣階段都加入了SKNet模塊，SKNet可以根據(jù)不同的特征圖大小動態(tài)的分配卷積分路的權(quán)重，實現(xiàn)了讓網(wǎng)絡(luò)自己選擇合適的卷積核的操作。下采樣包含5個DB+TD+SK階段層，上采樣同樣也包含5個TU+SK+DB階段層，為了使網(wǎng)絡(luò)輸出適合深度預(yù)測任務(wù)，上采樣階段，將最后一卷積層通道數(shù)改為1，激活函數(shù)改為線性激活函數(shù)。

圖4 SK-FCDenseNet網(wǎng)絡(luò)圖Fig.4 SK-FCDenseNet network

1.3.3 雙分支SKNet模型

本文引入雙分支SKNet模型[26]，如圖5所示，首先將下采樣的特征圖X分別通過3×3的卷積和3×3的空洞的卷積(空洞卷積的感受野是5×5)得到U1和U2特征圖，然后將兩特征圖相加得U。U通過全局池化操作和全連接操作相繼得到c×1×1和z×1×1的特征向量，c×1×1維的特征向量表示特征通道的重要程度。輸出的是兩個矩陣a和b，其中矩陣b是冗余矩陣，在兩分支的情況下b=1-a，經(jīng)過softmax變換得到f1和f2，將這兩個值與U1、U2對應(yīng)相乘得到A1、A2模塊,最后將兩模塊相加進行信息融合得到A模塊，模塊A相比于最初的X經(jīng)過了信息的提煉，融合了多個感受野的信息。由于f1和f2相加等于1,因此能夠?qū)崿F(xiàn)對分支中的特征圖設(shè)置權(quán)重，因為不同的分支卷積核尺寸不同，因此實現(xiàn)了讓網(wǎng)絡(luò)自己選擇合適的卷積核，此外使用空洞卷積實現(xiàn)了在不增加參數(shù)量的情況下增大了卷積核的感受野。這種增加多個感受野的方法可以增加提取有效信息的方式，對一些紋理稀疏的肝臟表面有很好的特征提取效果。

圖5 雙分支SKNet模型Fig.5 Two-branch SKNet model

1.4 損失函數(shù)

本文采用了兩種損失函數(shù)，首先選用類似于L2范數(shù)的函數(shù)作為網(wǎng)絡(luò)的損失函數(shù)，用以約束加權(quán)半稠密深度圖和預(yù)測深度圖之間的像素差異來監(jiān)督訓(xùn)練，由于只計算半稠密深度圖中的有效深度值，所以該損失函數(shù)叫有效深度損失函數(shù)，該損失函數(shù)定義如下：

(3)

其中，Mx是稀疏掩膜，用來忽略訓(xùn)練數(shù)據(jù)中沒有深度的區(qū)域，N表示有效的像素總數(shù)。Mx定義為：

(4)

其中，x表示圖像幀j或圖像幀k。

由于使用半稠密深度圖存在一些無效的像素點，為了得到稠密的深度圖，使用了與文獻[4]相似的深度差值損失函數(shù)。在同一視頻序列，有足夠重疊的幀j和幀k，利用兩幀之間的幾何約束性可以補償兩個深度圖之間的差異性。深度差值損失的定義為：

(5)

總體損失，網(wǎng)絡(luò)的總損失函數(shù)如下圖所示，是兩種損失函數(shù)的加權(quán)組合：

L=λ1Ledl+λ2Ldcl

(6)

2 實驗結(jié)果與分析

2.1 實驗環(huán)境與數(shù)據(jù)集采集

實驗的軟件環(huán)境為Ubuntu18.04操作系統(tǒng)，該方法是PyTorch實現(xiàn)的。實驗的硬件配置主要包括GPU GeForce GTX1080Ti和Intel Xeon CPU E5-2637。COLMAP稀疏重建階段是在CPU上進行的，網(wǎng)絡(luò)訓(xùn)練階段是在圖形處理器(graphics processing unit，GPU)上進行的。

本文通過離體豬肝的內(nèi)窺鏡視頻數(shù)據(jù)集驗證算法的有效性和可行性。為了模擬人體環(huán)境，在數(shù)據(jù)采集時通過封箱模擬腹部黑暗環(huán)境，將內(nèi)窺鏡攝像頭插入箱中拍攝視頻，數(shù)據(jù)采集環(huán)境如圖6(a)、(b)所示。豬肝臟可分為尾狀葉、右葉、中右葉、中左葉和左葉，為了證明本算法的通用性，對不同區(qū)域的豬肝臟都進行了數(shù)據(jù)的采集，為了區(qū)分不同部位的豬肝臟影像，在數(shù)據(jù)采集時對豬肝臟的每個區(qū)域都進了標(biāo)記。本文對4個豬肝臟進行了豬肝臟影像采集，經(jīng)過后期篩選，每個豬肝臟每個區(qū)域有5到10組視頻，每組視頻長度為20 s左右，每秒幀數(shù)為60幀，其中1到2組用于測試，其余用于實驗，經(jīng)將采用處理的視頻幀大約共采集64 000張圖像。

如圖6所示，(c)、(d)展示了豬肝臟的左葉區(qū)域的COLMAP重建，為增大相機移動位姿，減輕COLMAP重建壓力，將視頻幀降采樣為每秒20幀。圖中展示的圖像序列為423張，在稀疏重建時，特征匹配點約為19萬個，3D點約為1.5萬個，進行半稠密重建時特征匹配點約為80萬個，3D點約為6萬個。COLMAP重建和生成加權(quán)半稠密深度圖階段每次只能處理一組視頻，網(wǎng)絡(luò)訓(xùn)練階段，將預(yù)處理得到的監(jiān)督數(shù)據(jù)按分組一同參與訓(xùn)練。

2.2 實驗參數(shù)設(shè)置

為了檢測算法的魯棒性，在訓(xùn)練過程中，采用了一些數(shù)據(jù)增強的方法，其中包括高斯噪聲、高斯模糊、隨機伽馬、隨機HSV(hue,saturation,value)偏移、隨機亮度、隨機對比度等。網(wǎng)絡(luò)參數(shù)采用K.He等[27]提出的初始化方法。損失函數(shù)采用隨機梯度下降法來收斂損失函數(shù)，并且動態(tài)設(shè)置學(xué)習(xí)率從1×10-3到1×10-4。兩幀之間的范圍是2到20，訓(xùn)練送入視頻幀的批次大小是 4?？刂萍訖?quán)可靠度的參數(shù)?1,?2為5和20。有效深度損失函數(shù)權(quán)值設(shè)置為5，深度差值損失函數(shù)在前20批次中權(quán)值設(shè)置為0.1，后80個批次權(quán)值設(shè)置為5，這樣做的目的是先使用有效深度快速擬合加權(quán)半稠密深度圖與預(yù)測深度圖之間的有效深度值，待函數(shù)收斂到一定程度，再對一定范圍內(nèi)兩幀之間深度圖進行約束，互相彌補一些缺失的像素點。

2.3 實驗結(jié)果與對比分析

為了展示算法的可行性與實驗結(jié)果的可靠性，采用了三種實驗對比方法。第一種，通過深度預(yù)測模型對測試圖像進行深度預(yù)測，生成預(yù)測深度圖和點云數(shù)據(jù)，之后將點云數(shù)據(jù)進行三維可視化，并通過不同角度展示重建結(jié)果。第二種，和已經(jīng)在該內(nèi)窺鏡深度估計領(lǐng)域取得較好結(jié)果的算法[4]進行實驗對比，通過對比深度圖、三維重建圖來說明本算法的可行性及優(yōu)越性。第三種，通過進行消融實驗，來判斷半稠密重建、加權(quán)半稠密深度圖以及SKNet模塊的有效性。由于本文算法沒有使用到任何標(biāo)記過的深度標(biāo)簽，所以在評估預(yù)測深度與真實深度之間的差異時，以稀疏深度圖和加權(quán)半稠密深度圖為真實深度圖，并僅在有效的像素位置和深度預(yù)測中的對應(yīng)位置上進行評估度量。在誤差分析方面采用絕對相對誤差(absolute relative error)：

(7)

準(zhǔn)確率是滿足如下不同閾值條件下的百分比：

(8)

本文通過深度預(yù)測模型對2個豬肝臟的四個不同的部分進行了深度預(yù)測，并對預(yù)測結(jié)果進行了三維可視化，其中可視化結(jié)果如圖7所示。圖中第一列是原圖，第二列到第五列表示重建結(jié)果不同角度的展示，從圖中可以看出，除邊緣和個別區(qū)域外，重建結(jié)果基本上還原了圖像的三維信息。

圖7 從不同角度展示豬肝臟的重建結(jié)果Fig.7 The reconstruction results of pig liver showed from different angles

與X.Liu等[4]從預(yù)測深度圖和三維重建進行對比研究，如圖8所示，采用來自同一視頻序列的圖像對深度預(yù)測模型進行測試。為了評估本文訓(xùn)練方法的有效性，跟X.Liu等人使用了相同的預(yù)處理方法，并且對稀疏COLMAP和半稠密COLMAP的方式都做了實驗，圖中第一列由訓(xùn)練圖像組成，第二列和第三列是X.Liu等人以稀疏深度圖為監(jiān)督信號預(yù)測的深度圖和三維重建結(jié)果，第四列和第五列是X.Liu等人以半稠密深度圖為監(jiān)督信號預(yù)測的深度圖和三維重建結(jié)果，第六列和第七列是通過本方法提出的加權(quán)半稠密深度圖作為監(jiān)督信號得到的預(yù)測深度圖和三維重建結(jié)果。

圖8 本方法與X.Liu等人的實驗結(jié)果對比Fig.8 Comparison of this method with the experimental results of X.Liu et al

由圖8中(a)～(d)組可知對于表面稀疏、深度變化不明顯的肝臟區(qū)域，稀疏COLMAP提取到的特征點不足以達(dá)到深度預(yù)測的要求，預(yù)測深度圖不能很好地表現(xiàn)出深度變化的情況，對應(yīng)的三維重建會有明顯的壓縮和呈現(xiàn)二維平面的情況。X.Liu等人的方法和本文的方法在使用半稠密COLMAP方式都取得了不錯的效果。由圖8中(e)～(g)組可知，X.Liu等人的方法從半稠密COLMAP方式中雖然可以獲取更多有效的監(jiān)督數(shù)據(jù)，但是對引入而來的干擾點控制不足，在深度圖的右下角區(qū)域出現(xiàn)了深度過低的情況，造成了三維重建結(jié)果右下角拉伸和凹陷，此外，對于左邊區(qū)域出現(xiàn)了深度值過高并且延伸的情況，最終導(dǎo)致三維重建結(jié)果畸變嚴(yán)重。而本文使用的SKNet模塊擁有不同的感受野，可以獲取更多特征信息，避免了過渡關(guān)注某一區(qū)域的信息，此外本文提出的加權(quán)可靠度可以有效的減少COLMAP重建中離群的3D點對預(yù)測深度圖的影響。

如表1所示，對本文方法有無SKNet模型的情況以及X.Liu等[4]的方法都做了評估度量實驗，從表中可以看出，不管是稀疏COLMAP重建還是半稠密COLMAP重建，引入SKNet模型深度估計效果都會有所提升，并且本方法的誤差率和準(zhǔn)確率都要好于X.Liu等[4]的方法。

表1 實驗誤差和準(zhǔn)確率對比Table 1 Comparison of experimental error and accuracy

為了證明加權(quán)可靠度去除干擾點的有效性，對加權(quán)可靠度進行消融實驗，在控制其他實驗條件不變的情況下僅改變加權(quán)可靠度Wj的有無。實驗結(jié)果如圖9所示，由于COLMAP處理階段放寬了特征提取和匹配的限制，引入了一些離群點，造成了某些區(qū)域深度預(yù)測出錯，如圖第二列和第三列標(biāo)注所示，在加入加權(quán)可靠度的情況下丟棄了這些異常點，預(yù)測深度圖和三維重建結(jié)果得到了明顯的改善。

圖9 加權(quán)可靠度實驗結(jié)果對比Fig.9 Comparison of weighted reliability experiment results

3 結(jié) 論

本文提出了一種基于半稠密COLMAP及動態(tài)注意力機制的單目內(nèi)窺鏡自監(jiān)督深度估計方法。以COLMAP產(chǎn)生的半稠密深度圖作為監(jiān)督信號，解決監(jiān)督數(shù)據(jù)不足的問題，加入了加權(quán)可靠度抑制干擾點對結(jié)果的影響干擾點。在特征提取階段引入SKNet模型，在增加了少許參數(shù)量的前提下，增強了一些低紋理區(qū)域特征提取的能力。實驗結(jié)果表明，對肝臟數(shù)據(jù)集實驗中，本方法取得了較好結(jié)果，并通過消融實驗證明了各個模塊的有效性。在下一步工作中，將本方法應(yīng)用于內(nèi)窺鏡手術(shù)導(dǎo)航系統(tǒng)中，實現(xiàn)實時的3D重建。