劉衛(wèi)朋，韓 達(dá),，李 楨，邊桂彬

(1.河北工業(yè)大學(xué) 人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300130；2.中國科學(xué)院自動化研究所 復(fù)雜系統(tǒng)管理與控制國家重點(diǎn)實(shí)驗室，北京 100190)

0 引言

白內(nèi)障是全球首位致盲性眼病。它會使視力下降，甚至導(dǎo)致失明。白內(nèi)障是由眼組織中的晶狀體蛋白質(zhì)變性而發(fā)生渾濁引起的癥狀。根據(jù)白內(nèi)障產(chǎn)生和發(fā)展的不同區(qū)域，可將其分為三類：核性白內(nèi)障，皮質(zhì)性白內(nèi)障和后囊膜下白內(nèi)障[1-4]。在所有的白內(nèi)障中，老年性白內(nèi)障是較為常見的眼科疾病，占視力致盲問題的25%～50%。白內(nèi)障已成為人們生存質(zhì)量的重大威脅，其危害程度緊隨腫瘤和心血管疾病。隨著社會老齡化程度加重，白內(nèi)障發(fā)病率逐年增長，如果這些白內(nèi)障患者無法及時接受適當(dāng)治療，會造成視力下降、病人的生活質(zhì)量下降，此外會繼發(fā)青光眼，造成不可逆的視神經(jīng)損傷，還能引起過敏性炎癥。世界衛(wèi)生組織(WHO)公布的統(tǒng)計數(shù)據(jù)表明，每年有超過1 500萬的白內(nèi)障致盲者。此外，僅在中國和印度就發(fā)現(xiàn)了因為白內(nèi)障致盲[5-7]的人數(shù)為1 800萬。

白內(nèi)障手術(shù)是用人工晶體替換患病變晶狀體的過程。首先，眼科醫(yī)生使用專用手術(shù)器械對眼球制作切口。下一個步驟是連續(xù)環(huán)形撕囊操作，這一步驟在整個手術(shù)中起著至關(guān)重要的作用。 第三，對眼球進(jìn)行水分離操作，該步驟旨在分離眼睛的組織和組織液。第四步是超聲乳化，它會破碎病變晶狀體。之后，進(jìn)行去核操作，在此步驟中將清除所有殘留物。下一個操作是注射粘彈劑，這一部分的目的是方便人工晶狀體的植入。在植入了人工晶狀體并調(diào)整位置之后，需要清潔眼球內(nèi)的輔助藥劑和其他處理后，手術(shù)結(jié)束。圖1中展示了白內(nèi)障手術(shù)的標(biāo)志性步驟。

圖1 白內(nèi)障手術(shù)的主要步驟

近年來，手術(shù)機(jī)器人成為高端醫(yī)療裝備的重要研究方向。高難度的手術(shù)可分解為醫(yī)生的一般手術(shù)操作及機(jī)器人的復(fù)雜精細(xì)操作，關(guān)鍵手術(shù)步驟由機(jī)器人輔助完成，醫(yī)生的手術(shù)操作難度明顯降低，手術(shù)精細(xì)度、安全性顯著提高。外科醫(yī)生和研究人員從飛速發(fā)展的計算機(jī)視覺和醫(yī)學(xué)影像處理技術(shù)中受益良多[8]。探索并測試了關(guān)于自主心臟手術(shù)機(jī)器人的理論。此外，在白內(nèi)障手術(shù)中探索撕囊術(shù)的邊界提取[9]以實(shí)現(xiàn)機(jī)器人手術(shù)[10]。研究了用于白內(nèi)障手術(shù)機(jī)器人機(jī)械臂虛擬約束的算法[11]。則通過深度學(xué)習(xí)方法實(shí)現(xiàn)了針對白內(nèi)障手術(shù)視頻高速分割。

為了實(shí)現(xiàn)機(jī)器人輔助白內(nèi)障手術(shù)操作，需要術(shù)中實(shí)時提取連續(xù)環(huán)形撕囊的邊界，為機(jī)器人運(yùn)動控制提供虛擬約束。如圖2(a)(d)所示，提取工作的主要挑戰(zhàn)在于邊界與周圍環(huán)境的對比度低。圖2列出了幾個典型的圖像，它們代表了手術(shù)期間發(fā)生的不同類型的干擾。第一種類型的干擾是由進(jìn)行手術(shù)時的燈光反射引起的，如圖2(b)所示。第二類干擾是由于撕囊過程中操作不準(zhǔn)確而導(dǎo)致邊界部分缺失，如圖2(c)所示。

第三類干擾是手術(shù)過程中由于氣體混入而產(chǎn)生的氣泡干擾，如圖2(e)所示。這3種不同類型的干擾增加了檢測邊界的難度。此外，肉眼不易識別的邊界和眼球內(nèi)組織等很容易導(dǎo)致錯誤檢測，如圖2(f)所示。

圖2 撕囊邊界檢測面臨的主要挑戰(zhàn)

為了更直觀地反映目標(biāo)邊界像素與圖像周圍背景之間的低對比度，本研究繪制了圖像的灰度值圖表，以說明將邊界檢測方法應(yīng)用于白內(nèi)障手術(shù)的撕囊邊界檢測時所面臨的挑戰(zhàn)，如圖3。

圖3 邊界像素與周圍像素灰度值對比

從圖像直觀得出，研究的目標(biāo)邊界與周圍圖像對比度較低，不易于直觀感受。這就給執(zhí)行白內(nèi)障手術(shù)的醫(yī)生提供了巨大的挑戰(zhàn)。而像素灰度折線圖則顯示待檢測像素值與周圍20像素內(nèi)像素差值較小，同樣不利于機(jī)器視覺的檢測和提取。

為了克服上述挑戰(zhàn)，本研究提出了特定的解決方法。首先，預(yù)處理可以顯著提高輸入圖像的對比度。接下來，提出了一種結(jié)構(gòu)檢測模型來檢測連續(xù)環(huán)形撕囊邊界。最后，本研究應(yīng)用的局部閾值和后處理能夠消除干擾和噪聲而不會影響邊界像素。

本文的主要貢獻(xiàn)歸納如下：

1)結(jié)合了預(yù)處理和結(jié)構(gòu)檢測模型的提取方案能夠在低對比度的情況下檢測出更精細(xì)的晶狀體前囊撕取邊界。

2)利用局部閾值和后期處理能夠檢測并消除小的干擾，而不會同時影響邊界像素。

3)該方案的魯棒性由3種不同干擾下的滿意結(jié)果所證實(shí)。

4)對所提方案的和已建立的檢測方案進(jìn)行比較和評估。

本文的其余部分安排如下。第1章具體解釋了具有準(zhǔn)確性和魯棒性撕囊邊界的結(jié)構(gòu)檢測模型和邊界提取方案。第2章介紹了一系列手術(shù)圖像的實(shí)驗結(jié)果和評估。最后，結(jié)論和討論將在第3章中進(jìn)行。

1 算法的闡述

提出的算法包括預(yù)處理、結(jié)構(gòu)檢測模型、局部閾值和后處理。首先，實(shí)施預(yù)處理以增加圖像的對比度并使其便于應(yīng)用模型。然后，建立結(jié)構(gòu)檢測模型以檢測白內(nèi)障手術(shù)圖像中撕囊邊界。接下來，在檢測到細(xì)節(jié)之后進(jìn)行局部閾值清除其中的干擾像素。最后，后處理可以消除干擾并獲得撕囊的邊界。算法的框架如圖4所示。

圖4 邊界檢測流程圖

2 算法的闡述

2.1 預(yù)處理

預(yù)處理過程的工作流程描述如下：將小波變換分解應(yīng)用于原始圖像，并獲得4個分別稱為低-低，低-高，高-低和高-高的子帶圖像。我們需要處理的照明因子僅存在于低-低子帶圖像中，并且可以通過奇異值分解來處理。借助此屬性，原始圖像可以同時通過一般直方圖均衡和自適應(yīng)直方圖均衡進(jìn)行處理[12]。通過應(yīng)用逆離散小波變換，可以將兩個分離通道的圖像重建為具有高對比度的最終圖像。

圖5列出了輸入圖像和相應(yīng)的響應(yīng)圖像的灰度直方圖和三維等高線圖，以說明預(yù)處理的有效性。

圖5 預(yù)處理前后效果對比

2.2 結(jié)構(gòu)檢測模型

在本節(jié)中，將建立邊界檢測模型以檢測撕囊邊界。

首先對輸入圖像與高斯濾波器進(jìn)行卷積，以便對其進(jìn)行平滑處理。

Ixx=I*Gσxx(x,y)

(1)

Iyy=I*Gσyy(x,y)

(2)

Ixy=I*Gσxy(x,y)=Iyx

(3)

其中:Gσxx(x,y)代表高斯函數(shù)Gσ(x,y)在x軸的二階偏導(dǎo)數(shù),Gσyy(x,y)代表高斯函數(shù)Gσ(x,y)在y軸的二階偏導(dǎo)數(shù),Gσxy(x,y)代表高斯函數(shù)Gσ(x,y)在x軸和y軸的二階偏導(dǎo)數(shù)。σ代表高斯函數(shù)Gσ(x,y)的尺度。

定義二階特征矩陣如下：

(4)

建立矩陣后，結(jié)構(gòu)檢測模型的原理可以描述如下:二階偏導(dǎo)數(shù)表示二維圖像中導(dǎo)數(shù)的變化情況；矩陣的兩個特征值表示圖像在兩個特征向量指示的方向上的各向異性。如果使用特征向量和特征值構(gòu)成橢圓，則橢圓可以表示某一點(diǎn)處的各向異性變化。結(jié)構(gòu)越線性，各向異性越強(qiáng)。顯然，圓具有最強(qiáng)的各向同性。如圖6所示。

圖6 特征值和特征向量及對應(yīng)點(diǎn)在圖像中結(jié)構(gòu)

特征矩陣的特征值可以更好地描述線狀結(jié)構(gòu)信息。根據(jù)該特性，高斯二階偏導(dǎo)數(shù)的目標(biāo)邊界及其響應(yīng)相對較大，而在均勻的背景中是均勻的，因此響應(yīng)較小。我們使用e1和e2表示矩陣特征矩的特征值，λ1和λ2作為對應(yīng)的兩個特征值，并假定|λ1|<|λ2|，然后定義兩個變量，分別命名為Rb和S，如下所示：

Rb=λ1/λ2

(5)

(6)

圖像中的像素是否為邊界像素可以通過Rb和S判定識別。根據(jù)上面討論的信息，我們得出結(jié)論:只有當(dāng)檢測到干擾像素時，Rb就能得到一個較大的值；如果λ1=0或者λ1非常小，此時Rb的值接近0。但是，當(dāng)檢測到是背景像素而非邊界像素時，S就會得到一個較小的值。考慮到特征矩陣的特性，不同的特征值將對應(yīng)不同的檢測結(jié)果。結(jié)合假設(shè)條件|λ1|<|λ2|，我們列出了其特征值的三中不同情況，如圖7所示。

圖7 不同特征值及其在圖像中對應(yīng)的不同結(jié)構(gòu)

結(jié)構(gòu)檢測模型的傳遞函數(shù)定義如下：

(7)

基于以上討論的特性，結(jié)構(gòu)檢測模型能夠檢測邊界像素，而與周圍背景無關(guān)。預(yù)處理后的輸入圖像及其對氣泡和反射光的響應(yīng)如圖8所示。

圖8 線狀結(jié)構(gòu)和塊狀結(jié)構(gòu)的識別

2.3 局部閾值處理

在本節(jié)中應(yīng)用局部閾值以消除在先前過程中錯誤檢測到的干擾。由于存在細(xì)小的血管和低對比度區(qū)域，我們可能會錯誤地將邊界像素檢測為非邊界像素。

為了正確區(qū)分邊界像素，通過使用滑動子窗口從應(yīng)用模型后的圖像中分割像素來應(yīng)用局部閾值。閾值設(shè)定如下：

Th(x,y)=m(x,y)+k·v(x,y)

(8)

m(x,y)和v(x,y)在式(8)中分別是滑動子圖像的均值和標(biāo)準(zhǔn)差?；瑒幼哟翱诘拇笮】梢宰杂蛇x擇，這里我們使用9×9；同時，k是一個預(yù)定的常數(shù)，當(dāng)k設(shè)置為1時將獲得最佳響應(yīng)結(jié)果。

當(dāng)在結(jié)構(gòu)檢測模型的響應(yīng)圖像上應(yīng)用局部閾值時，其對應(yīng)的算法為：

(9)

在上述過程中，原始圖像被轉(zhuǎn)換為二值圖像。在逐像素比較之后，如果滿足限定條件R(x,y)>Th(x,y)，則將像素標(biāo)記為白色，反之將其標(biāo)記為黑色。在此過程的步驟之后，大多數(shù)干擾像素已被消除。

3種典型類型的干擾和輸入圖像的結(jié)果在圖9中列出，可以得出結(jié)論，局部閾值消除了部分內(nèi)部干擾。

圖9 局部閾值應(yīng)用前后對比

2.4 后處理

采用后處理的目的在于去除一些非邊界像素并得到結(jié)果。這一過程盡可能需要消除干擾，并同時保留邊界像素。首先，應(yīng)用連接操作來連接分離的干擾像素。然后，使用收縮操作來使連接的干擾細(xì)化。最后，進(jìn)行清除操作以獲得最終結(jié)果。工作原理如圖10所示，白色和灰色邊框中的圖像部分被放大以顯示該算法工作過程，對應(yīng)解釋連接、細(xì)化和清除3種操作。首先，連接操作可以將單獨(dú)的干擾連接成連接的干擾，這可以方便地處理。處理過程如下：

圖10 后處理各操作及原理

Xk=(Xk⊕B)∩A;k=1,2,3···

(10)

式(10)表示找到集合中的單獨(dú)元素并使它們連接。X0是一個數(shù)組{1}，每個連接的元素中都包含元素1，而非連接元素都均為元素0。接下來，收縮操作可以減小干擾，并易于實(shí)施清除操作。定義如下：

A?{B}=((···((A?B1)?B2)···)?Bn,

{B}={B1,B2,···Bn}

(11)

式(11)用于細(xì)化A；它代表結(jié)構(gòu)元素序列的細(xì)化。最后，清除操作適于清除干擾。處理如下：

(12)

其中:X等于輸入圖像I，但所有對象的非接觸像素都已清除。

3 實(shí)驗結(jié)果與分析

3.1 數(shù)據(jù)集和相關(guān)參數(shù)設(shè)定

實(shí)驗數(shù)據(jù)來自手術(shù)的實(shí)時視頻。為了驗證所提出方法的性能，將手術(shù)視頻處理為單個圖像。最終獲得了不同的連續(xù)環(huán)形撕囊術(shù)的圖像并進(jìn)行了測試，以驗證所提出的方法。

在進(jìn)行對比實(shí)驗之前，必須正確地選擇一些關(guān)鍵參數(shù)。該方法有多個參數(shù)，實(shí)驗表明，其中只有3個參數(shù)對算法的檢測提取性能有重大影響。它們分別是：尺度大小σ，閾值系數(shù)k和滑動窗口的大小N×N。

針對不同的尺度σ進(jìn)行測試，以選擇其理想?yún)?shù)。根據(jù)實(shí)驗，如果σ設(shè)置得太小，邊界將無法很好地提取并且容易丟失；相反，如果σ設(shè)置得太大，一些干擾將被誤檢邊界像素。

滑動子圖像的大小也會影響檢測結(jié)果。子圖像的值設(shè)定過小會增加處理時間，從而增加系統(tǒng)負(fù)擔(dān)；子圖像尺寸值設(shè)定過大會導(dǎo)致不精確的檢測結(jié)果。

閾值系數(shù)k對局部閾值的過程有影響，從而影響檢測結(jié)果。如果k的值太小，將導(dǎo)致閾值過小，并錯誤地將背景像素識別為邊界像素；相反，如果將該值設(shè)置得太大，則會產(chǎn)生寬松的閾值，并且會丟失一些真實(shí)的邊界像素。

在圖11中，橫坐標(biāo)表示3種不同干擾情況下的測試情況，以縱坐標(biāo)表示測試20張圖像時，能夠檢測出80%邊界的數(shù)量。根據(jù)圖11(a)的直方圖可得尺度大小取σ=1將收到滿意的結(jié)果。從圖11(b)所示直方圖得出的結(jié)論是子圖像的大小取9×9將收到最佳響應(yīng)。如圖11(c)所示，在3種情況下，閾值系數(shù)取k=1性能良好且穩(wěn)定。

圖11 關(guān)鍵參數(shù)的設(shè)定對檢測過程的影響

3.2 定性評估

將結(jié)構(gòu)檢測方案與一些代表性的邊界檢測方案進(jìn)行了比較，以證明其有效性。分別在給定的圖像數(shù)據(jù)集中使用Canny[12]，Roberts[13]和Tensor Voting[14]。

Canny算子很容易在白內(nèi)障圖像中檢測到錯誤的檢測結(jié)果。其在圖12(b1)(b2)(b3)中的結(jié)果表明，盡管這一方法檢測到邊界，但同時保留了很多干擾。

圖12 不同方法所得結(jié)果及人工標(biāo)注數(shù)據(jù)

從圖12(c1)(c2)(c3)得出結(jié)論，Roberts檢測子的表現(xiàn)并不令人滿意。它的算法是依靠在對角線方向上兩個相鄰像素之間的差異近似邊緣幅度以檢測邊緣。與Canny檢測器的結(jié)果相比，檢測到的干擾減少了許多，但是檢測到的邊界會也同時減少。

圖12(d1)(d2)(d3)中的結(jié)果表明，Tensor Voting不適用于此處。它在邊界檢測領(lǐng)域，尤其是在低對比度圖像中，具有獨(dú)特的檢測優(yōu)勢。其原理是通過球張量和棒狀張量不斷迭代檢測邊界和缺失曲線。如圖中所見，它確實(shí)檢測到了Canny和Roberts都檢測不到的邊界像素，但由于其對干擾的響應(yīng)敏感特性，使得其將粘彈劑和眼內(nèi)組織也識別為邊界。

圖12(e1)(e2)(e3)展示了結(jié)構(gòu)檢測模型的檢測結(jié)果，可以得出，這一方案的性能優(yōu)于Canny算子，Roberts檢測子和Tensor Voting三種方法。如圖12所示，Canny可以很好地檢測邊界，但是容易導(dǎo)致錯誤檢測。Roberts的傾斜檢測功能使它容易將邊界附近的干擾像素識別為目標(biāo)像素，從而增加了誤報率。輔助藥物和眼內(nèi)組織對張量投票的迭代過程具有不可逆的影響，從而檢測了較多干擾。

3.3 定量評估

除去定性評估之外，實(shí)驗還進(jìn)行了定量評估，以將所提出的方法與上述3種代表性方法進(jìn)行比較。在這項研究中，列出了3個性能指標(biāo)，包括精確度(Pr)，召回率(Re)和F測度(Fm)，其定義如下：

(13)

(14)

(15)

其中:TP，F(xiàn)P和FN分別代表真陽性，假陽性和假陰性。Fm可以評估這些方法的整體性能。

根據(jù)計算的指標(biāo)，結(jié)果記錄在圖13中。如圖所示，該方法的精確度/召回率曲線高于Canny檢測器，Roberts檢測器和Tensor Voting方法，證明了該方法的準(zhǔn)確性和高計算效率。

圖13 不同方法所得結(jié)果定量對比

實(shí)驗同時記錄了每種方法的運(yùn)行時間，以證明該方法具有較高的計算效率。表1匯總了所有這些方法對尺寸為300×450像素的測試圖像的平均處理時間，以進(jìn)行比較。從表1可以得出結(jié)論，該方法具有較高的計算效率。

表1 不同方法耗時記錄

4 結(jié)果及討論

本次研究提出了一種新的邊界提取方案，用于白內(nèi)障圖像中的連續(xù)環(huán)形撕囊邊界檢測，并已通過從醫(yī)院收集的數(shù)據(jù)集驗證了其性能。所提出的模型可以提取連續(xù)環(huán)形撕囊的邊界，該邊界是在結(jié)構(gòu)檢測模型之后計算出來的，可以通過局部閾值和后處理來消除干擾。

實(shí)驗結(jié)果表明，在評價白內(nèi)障連續(xù)環(huán)形撕囊邊界方面，該方案比傳統(tǒng)的Canny算子，Roberts檢測子和Tensor Voting具有更好的檢測判別能力。通過應(yīng)用結(jié)構(gòu)檢測模型方案，即使在低對比度條件或不同類型的干擾情況下，也可以提取連續(xù)環(huán)形撕囊的邊界。

連續(xù)曲線撕囊的邊界可以為白內(nèi)障手術(shù)機(jī)器人提供必要的反饋信息。我們的工作可以增加對手術(shù)機(jī)器人虛擬固定裝置的約束。實(shí)驗結(jié)果表明，該方案魯棒性良好，F(xiàn)測度取得了0.915的結(jié)果。將圖像處理的結(jié)果用作機(jī)器人運(yùn)動控制的虛擬約束，可以使機(jī)器人操作更加安全，提高了操作的精度。

5 結(jié)束語

本文研究了白內(nèi)障連續(xù)環(huán)形撕囊邊界的提取方案，并且實(shí)現(xiàn)了在白內(nèi)障手術(shù)視頻中提取連續(xù)環(huán)形撕囊邊界這一目的。經(jīng)過實(shí)驗驗證，所提方法具有良好的可行性和效果，與多種圖像處理方案對比表明，在提取的精確度和準(zhǔn)確度上有大幅提升，能夠為手術(shù)醫(yī)師或機(jī)器人輔助手術(shù)操作提供良好的約束信息，提升手術(shù)的安全性和精準(zhǔn)度。