劉小燕 龔軍輝 李向東 武偉寧 彭同勝

1(湖南大學(xué)電氣與信息工程學(xué)院，長(zhǎng)沙 410082)2(向東智造醫(yī)療科技有限公司，江蘇 蘇州 215000)3(湖南工程學(xué)院電氣信息學(xué)院，湖南 湘潭 411101)

基于SURF算法的膠囊內(nèi)鏡冗余圖像快速篩除

劉小燕1*龔軍輝1,3李向東2武偉寧1彭同勝1

1(湖南大學(xué)電氣與信息工程學(xué)院，長(zhǎng)沙 410082)2(向東智造醫(yī)療科技有限公司，江蘇 蘇州 215000)3(湖南工程學(xué)院電氣信息學(xué)院，湖南 湘潭 411101)

膠囊內(nèi)鏡在檢查消化道全程中會(huì)產(chǎn)生數(shù)萬(wàn)幀有大量冗余的圖像數(shù)據(jù)，要從中找出有病灶的圖像，醫(yī)生需要耗費(fèi)大量的時(shí)間和精力逐幀仔細(xì)查看。因此，研究冗余圖像的自動(dòng)篩除對(duì)提高醫(yī)生的診療效率具有重要意義。但由于膠囊內(nèi)鏡圖像場(chǎng)景復(fù)雜多變，且存在氣泡、蠕動(dòng)等不確定因素，冗余圖像的自動(dòng)篩除仍是一個(gè)難題。采用SURF算法，提取膠囊內(nèi)鏡圖像的特征點(diǎn)及特征描述向量；將向量夾角作為兩幀連續(xù)圖像特征點(diǎn)之間的匹配度量，采用最大類間方差法實(shí)現(xiàn)對(duì)特征點(diǎn)對(duì)的自適應(yīng)識(shí)別；最后以匹配特征點(diǎn)數(shù)和分塊匹配度為指標(biāo)，計(jì)算圖像之間的相似度，篩除冗余圖像。對(duì)采集的128段膠囊內(nèi)鏡視頻段進(jìn)行冗余圖像篩除實(shí)驗(yàn)。結(jié)果表明，該方法能以平均0.06 s/幀的速度快速完成冗余圖像的自動(dòng)篩除，其召回率(recall)、準(zhǔn)確率(precision)和F-measure等3個(gè)性能指標(biāo)分別達(dá)到了81%、90%和85%，且該方法對(duì)消化道存在的蠕動(dòng)、氣泡及光照變化等不確定因素具有較強(qiáng)的魯棒性，具有良好的性能。

膠囊內(nèi)鏡；快建魯棒特征(SURF)；特征匹配；冗余圖像

引言

膠囊內(nèi)鏡 (capsule endoscopy，CE)是對(duì)人體消化道疾病進(jìn)行檢測(cè)和診斷的先進(jìn)方法之一，與傳統(tǒng)的插入式消化道內(nèi)鏡相比，CE具有無創(chuàng)傷、安全、可全程檢測(cè)等優(yōu)越性能[1-3]。膠囊內(nèi)鏡長(zhǎng)度約20 mm，直徑約10 mm，其內(nèi)部結(jié)構(gòu)如文獻(xiàn)[4-5]中插圖所示(見圖1(a))，主要由CMOS圖像傳感器、鏡頭、LEDs、ASIC發(fā)射器及電源等模塊構(gòu)成。膠囊內(nèi)鏡工作原理如圖1(b)所示，患者吞服膠囊內(nèi)鏡后，借助重力和胃腸道的自然蠕動(dòng)，內(nèi)鏡向前運(yùn)動(dòng)，依次經(jīng)過口腔、食道、胃、十二指腸、空腸、回腸、結(jié)腸等部位，最后由肛門自然排出體外。在此過程中，膠囊內(nèi)鏡對(duì)所經(jīng)過的消化道進(jìn)行全程攝像(2～3幀/s)，并通過無線傳輸方式將圖像保存在患者體外攜帶的數(shù)據(jù)記錄儀中。據(jù)統(tǒng)計(jì)，膠囊內(nèi)鏡在消化道內(nèi)的平均停留時(shí)間約8 h，全程可采集幾萬(wàn)幀至十幾萬(wàn)幀的彩色圖像[2, 6]。由于胃腸的蠕動(dòng)特點(diǎn)，所采集的圖像中往往存在大量相似度極高的冗余圖像，醫(yī)生從這些海量圖像中人工篩選出有病灶的圖像，通常需要2～3 h集中精力逐幀仔細(xì)查看篩選，勞動(dòng)強(qiáng)度大且效率不高[6-7]。因此，如何實(shí)現(xiàn)膠囊內(nèi)鏡冗余圖像的快速自動(dòng)篩除以提高醫(yī)生診斷效率，是計(jì)算機(jī)輔助診斷技術(shù)及醫(yī)學(xué)圖像處理研究領(lǐng)域的一個(gè)熱點(diǎn)問題[8]。

圖1 膠囊內(nèi)鏡內(nèi)部結(jié)構(gòu)和工作原理[4-5]。(a) 內(nèi)部結(jié)構(gòu)；(b)工作原理Fig.1 Internal structure and principle of capsule endoscopy[4-5]. (a) Internal structure; (b) Working principle

然而，膠囊內(nèi)鏡冗余圖像的自動(dòng)篩除目前仍屬于有待解決的難點(diǎn)問題，這是因?yàn)閮?nèi)鏡經(jīng)過了胃、十二指腸、結(jié)腸等不同消化道部位，所采集到的圖像場(chǎng)景復(fù)雜多變，在結(jié)構(gòu)、顏色、紋理等方面存在較大差異，且可能出現(xiàn)食物殘?jiān)?、氣泡、消化液、血液等諸多不確定因素(見圖2)，增加了篩除冗余圖像的處理與分析難度。

圖2 CE圖像中的復(fù)雜場(chǎng)景示例Fig.2 Examples of complex scenes in CE images

近年來，國(guó)內(nèi)外已有學(xué)者提出了一些膠囊內(nèi)鏡冗余圖像篩除方法(見表1)。Iakovidis等采用模糊C均值對(duì)圖像進(jìn)行聚類，再用非負(fù)矩陣分解提取具有代表意義的CE視頻關(guān)鍵幀[7]。Li等采用自適應(yīng)十字模式搜索的塊匹配(adaptive rood pattern search block matching，ARPS)及貝葉斯多尺度微分光流方法來檢測(cè)圖像在時(shí)域內(nèi)是否存在有較大的場(chǎng)景位移，并利用場(chǎng)景位移作為相似度來篩除冗余圖像[9]。Karargyris 等基于圖像模糊區(qū)域分割，采用全局圖策略在相鄰的圖像之間進(jìn)行配準(zhǔn)，通過計(jì)算分割區(qū)域相似度來評(píng)估冗余數(shù)據(jù)[10]。Lee等利用光流法和特征檢測(cè)對(duì)蠕動(dòng)進(jìn)行前向和后向的運(yùn)動(dòng)分析檢測(cè)和篩除冗余圖像[4]。劉洪、潘寧等基于BAME-SIFTFlow算法來篩除冗余圖像[6, 11]，即采用蜂群算法估計(jì)膠囊內(nèi)鏡的剛性運(yùn)動(dòng)參數(shù)(bee algorithm on motion estimation，BAME)，采用SIFTFlow算法[12]評(píng)估消化道的非剛性運(yùn)動(dòng)，用場(chǎng)景位移作為相似度來篩除冗余圖像。這些算法為解決膠囊內(nèi)鏡圖像冗余問題提供了可行的方法，但是，目前能達(dá)到的處理速度約為0.5 s/幀[4, 7]，對(duì)于具有數(shù)萬(wàn)幀的膠囊內(nèi)鏡視頻圖像，計(jì)算機(jī)處理時(shí)間將高達(dá)十幾小時(shí)，因此需研究一種更為高效的冗余圖像篩除算法。

表1 膠囊內(nèi)鏡冗余圖像自動(dòng)篩除相關(guān)研究

Tab.1 Literature reports on redundancy reduction in CE video

方法目的聚焦的消化道區(qū)域?qū)嶒?yàn)數(shù)據(jù)量/幀圖像分割+GlobalGraph[10]篩除冗余幀未明確說明2250模糊C均值+NMF[7]關(guān)鍵幀提取消化道全程約14000APRS+光流法[9]篩除冗余幀未明確說明約2000光流法+特征檢測(cè)[4]篩除冗余幀小腸 約30000BAME-SIFTFlow[6]篩除冗余幀消化道全程500

快速魯棒特征(speeded up robust features，SURF) 算法是一種高效穩(wěn)定的圖像匹配算法[13]。該算法能快速地提取圖像的特征點(diǎn)及其特征描述向量，且對(duì)圖像的尺度變換、光照、平移具有較強(qiáng)的魯棒性，在醫(yī)學(xué)、遙感圖像處理等領(lǐng)域有很多成功的應(yīng)用[14-15]。本研究根據(jù)膠囊內(nèi)鏡圖像場(chǎng)景復(fù)雜多變、不確定因素眾多等特點(diǎn)，采用SURF算法提取膠囊內(nèi)鏡圖像的特征點(diǎn)，并根據(jù)兩圖像之間匹配的特征點(diǎn)數(shù)量及分布特性來評(píng)估圖像之間的相似度，以達(dá)到快速有效篩除冗余圖像的目的。

1 材料與方法

1.1 SURF算法原理

Bay等于2006年在經(jīng)典的尺度不變特征變換(scale invariant feature transform，SIFT)[16-17]的基礎(chǔ)上，為提高計(jì)算效率，提出了SURF算法[13]。SURF算法主要利用了Hessian矩陣和非極大值抑制的方法精確定位特征點(diǎn)，并采用Harr小波提取特征點(diǎn)的主方向及特征描述向量，下面對(duì)其基本原理進(jìn)行簡(jiǎn)要說明。

設(shè)有一幅二維原始圖像I(x,y)，其尺度為σ的Hessian矩陣H(x, y,σ)[18]定義為

(1)

式中，Lxx(x, y, σ)、Lxy(x, y, σ)、Lyy(x, y, σ) 為原始圖像與二維高斯函數(shù)G(x, y, σ)的二階偏導(dǎo)的卷積，有

(2)

(3)

(4)

Hessian矩陣的行列式具有較準(zhǔn)確的位置和尺度的定位特性[19]，為了簡(jiǎn)化該行列式的計(jì)算，Bay等用一連續(xù)區(qū)域塊內(nèi)權(quán)值相同的盒子濾波器來近似二維高斯函數(shù)的二階導(dǎo)數(shù)[13]，如圖3所示。

圖3 離散高斯函數(shù)二階導(dǎo)數(shù)的近似(上為高斯函數(shù)的二階導(dǎo)數(shù);下為盒子濾波器)。(a) x方向；(b) xy方向；(c) y方向Fig.3 Approximation of discrete second-order Gaussian derivative (top row: the discrete second-order Gaussian derivatives; bottom row: box filter). (a) x direction; (b)xy direction; (c)y direction

盒子濾波器與塊圖像IB(x, y)的卷積Dxx為

(5)

式中，αk為盒子濾波器中第k塊的權(quán)值，B為盒子濾波器對(duì)應(yīng)的塊區(qū)域。由此，可將Hessian矩陣的Lxx(x,y,σ)、Lxy(x,y,σ)、Lyy(x,y,σ)用相應(yīng)尺度的Dxx、Dxy、Dyy代替，并近似計(jì)算Hessian矩陣的行列式det(Happorx)[13]，有

(6)

式中，Hessian矩陣行列式表示圖像在(x, y)點(diǎn)在尺度σ處的響應(yīng)值，遍歷所有像素便形成了這一尺度上檢測(cè)的響應(yīng)圖像。

保持圖像大小不變，不斷增大盒子濾波器尺度，計(jì)算出各尺度上檢測(cè)的響應(yīng)圖像，便構(gòu)成了SURF算法的多尺度空間，在此基礎(chǔ)上，采用三維非極大值抑制方法實(shí)現(xiàn)特征點(diǎn)的精確定位[20]。

為使檢測(cè)到的特征點(diǎn)的特征描述具有旋轉(zhuǎn)不變性，SURF算法在以特征點(diǎn)為圓心、半徑為6σ 的圓形鄰域內(nèi)，計(jì)算在x軸方向與y軸方向的Haar小波響應(yīng)。取特征點(diǎn)為圓心、角度為π/3扇形窗口以一定間隔旋轉(zhuǎn)，遍歷整個(gè)圓形鄰域計(jì)算該扇形窗口在x軸與y軸方向小波響應(yīng)的矢量和，取矢量最長(zhǎng)的方向?yàn)樵撎卣鼽c(diǎn)的主方向。確定特征點(diǎn)主方向后，以特征點(diǎn)為中心，選取一個(gè)區(qū)域大小為20σ?guī)е鞣较虻姆叫螀^(qū)域(見圖4)，將其分成4×4個(gè)5σ×5σ的子區(qū)域，分別計(jì)算每個(gè)子區(qū)域的Haar小波在相對(duì)于主方向的水平和垂直方向的響應(yīng)值dx、dy。最后統(tǒng)計(jì)每個(gè)子區(qū)域的響應(yīng)值∑dx、∑dy、∑|dx|、∑|dy|，得到每個(gè)子區(qū)域的描述為

(7)

因此，每個(gè)特征點(diǎn)可用一個(gè)64維的特征描述向量來描述，這個(gè)特征描述向量表示了特征點(diǎn)及其鄰域像素點(diǎn)的特征，具有尺度變化、旋轉(zhuǎn)等不變特性。

圖4 特征點(diǎn)描述Fig.4 Feature points description

1.2 基于SURF算法的膠囊內(nèi)鏡冗余圖像篩除

1.2.1 膠囊內(nèi)鏡冗余圖像篩除流程

基于以上所述的SURF算法，本研究提出了一種膠囊內(nèi)鏡冗余圖像的快速篩除方法(見圖5)，其主要處理過程如下：讀取CE視頻中兩幀連續(xù)圖像，分別作為模板幀和待評(píng)估幀；將彩色圖像轉(zhuǎn)化為灰度圖像以減少計(jì)算量；采用SURF算法分別提取模板幀及待評(píng)估幀圖像的特征點(diǎn)及特征描述向量；對(duì)兩幀圖像的特征點(diǎn)進(jìn)行匹配，根據(jù)匹配的特征點(diǎn)分塊計(jì)算模板幀與待評(píng)估幀的相似度，最后根據(jù)相似度來判斷待評(píng)估幀是否為冗余幀。

圖5 基于SURF算法的膠囊內(nèi)鏡冗余圖像篩除處理過程Fig.5 The framework of CE video redundancy reduction

1.2.2 膠囊內(nèi)鏡圖像特征點(diǎn)定位和提取

所處理的膠囊內(nèi)鏡彩色圖像原始尺寸為240像素×240像素，為提高處理速度，將彩色圖像轉(zhuǎn)換為灰度圖像，如圖6(a)～(b)所示。采用SURF算法檢測(cè)出該灰度圖像的特征點(diǎn)如圖6(c)所示，圖中白色圓圈圓心為定位后的特征點(diǎn)的坐標(biāo)，圓圈半徑表示檢測(cè)到的特征點(diǎn)的尺度。

圖6 檢測(cè)到的圖像特征點(diǎn)及其尺度(上為模版幀;下為待評(píng)估幀)。(a)原始的CE彩色圖像; (b)轉(zhuǎn)換的CE灰度圖像; (c)檢測(cè)到的CE圖像特征點(diǎn)Fig.6 Example of the detected feature points and related scales(The top row: template frame; The bottom row: candidate frame). (a)Original color CE image; (b)Gray CE image after conversion; (c)Detected feature points in CE image

1.2.3 膠囊內(nèi)鏡圖像特征點(diǎn)匹配及相似度計(jì)算

設(shè)SURF算法在模板幀上檢測(cè)到m個(gè)特征點(diǎn)，其中第i個(gè)特征點(diǎn)的64維特征描述向量表示為ti=(ti1,ti2,…,ti64)；在待評(píng)估幀上檢測(cè)到n個(gè)特征點(diǎn)，其中第j個(gè)特征點(diǎn)的64維特征描述向量表示為ej=(ej1,ej2,…ej64)。為尋找模板幀和待評(píng)估幀上最匹配的特征點(diǎn)，向量夾角被作為兩幀圖像特征點(diǎn)之間的匹配度量，向量夾角越小，表示待評(píng)估幀與模板幀的特征點(diǎn)對(duì)匹配度越高。待評(píng)估幀的特征點(diǎn)j與模板幀的特征點(diǎn)i之間的向量夾角cij計(jì)算式為

(8)

由此，可獲得待評(píng)估幀上的特征點(diǎn)j與模板幀中所有m個(gè)特征點(diǎn)匹配度的集合，記為(c1j，c2j,…,cmj)。遍歷待評(píng)估幀中每個(gè)特征點(diǎn)，可得到待評(píng)估幀中每個(gè)特征點(diǎn)的最小向量夾角集Cmin，有

(9)

圖7 最小向量夾角的特征點(diǎn)對(duì)及對(duì)應(yīng)直方圖。(a) 最小向量的夾角特征點(diǎn)對(duì); (b)直方圖Fig.7 Feature pairs and histogram of minimal vector angular. (a) Feature pairs of minimal vector angular; (b) Histogram

根據(jù)式(9)，可得到圖6中待評(píng)估幀與模板幀的最小向量夾角的特征點(diǎn)對(duì)，如圖7(a)所示。從圖中可以看出，由于內(nèi)鏡圖像場(chǎng)景的復(fù)雜性，有些特征點(diǎn)對(duì)并不匹配(誤配)，因此還需要進(jìn)一步識(shí)別，以提高可靠性。圖7(b)給出了最小向量夾角值的直方圖，可以看出，該直方圖在0.34和0.08處呈現(xiàn)明顯的雙峰特征，且對(duì)于誤配的特征點(diǎn)，其最小向量夾角值基本聚集在0.34附近。對(duì)于這種雙峰直方圖，可以借鑒圖像分割中的最大類間方差法來實(shí)現(xiàn)匹配特征點(diǎn)的自適應(yīng)識(shí)別。最大類間方差法是一種基于概率統(tǒng)計(jì)學(xué)的自適應(yīng)閾值分割算法[21]，在圖像處理中得到廣泛運(yùn)用，其基本原理是將圖像中的每一個(gè)灰度值作為可能的閾值，按灰度級(jí)將圖像分為前景和背景兩類，依次計(jì)算每一次分類后的類間方差，選取類間方差最大時(shí)的灰度級(jí)作為最佳閾值?；谶@一算法，首先選取一分割閾值，將最小向量夾角值的特征點(diǎn)對(duì)分為匹配特征點(diǎn)對(duì)及誤配特征點(diǎn)對(duì)兩類。假設(shè)這兩類特征點(diǎn)對(duì)所占的比例分別記為w、1-w，其向量夾角的均值分別為u0、u1，則Cmin中所有特征點(diǎn)對(duì)的向量夾角均值u可表示為

u=wu0+(1-w)u1

(10)

為使兩類特征點(diǎn)對(duì)的類間方差最大，建立目標(biāo)函數(shù)J為

(11)

取目標(biāo)函數(shù)最大時(shí)的閾值為最佳分割閾值。若集合Cmin中向量夾角值小于最佳分割閾值，則識(shí)別為匹配特征點(diǎn)對(duì)，否則識(shí)別為誤配特征點(diǎn)對(duì)。

正確識(shí)別匹配特征點(diǎn)對(duì)之后，需計(jì)算模板幀與待評(píng)估幀的相似度。一種較直接的方法就是以兩幀圖像中匹配特征點(diǎn)的總數(shù)n1作為相似度(在本研究實(shí)驗(yàn)中，n1在0～200范圍之間)。一般n1越大，表示待評(píng)估幀與模板幀越相似。但是，在某些情況下，匹配特征點(diǎn)在圖像中的分布并不均勻，有可能只集中在圖像的小塊區(qū)域內(nèi)，這種情況下就會(huì)造成誤判，因此需要一種合適的相似度判別方法。筆者根據(jù)膠囊內(nèi)鏡圖像匹配特征點(diǎn)的分布特性，將圖像等分為6個(gè)扇形子塊(見圖8)，分別考察每個(gè)扇形子塊的匹配特征點(diǎn)數(shù)，若該子塊內(nèi)存在匹配特征點(diǎn)，則認(rèn)為該子塊為匹配扇形子塊。一般匹配扇形子塊數(shù)(記為n2)越多，說明待評(píng)估幀與模板幀在總體上更為相似。綜合考慮匹配扇形子塊數(shù)及匹配特征點(diǎn)數(shù)，引入相似度計(jì)算，有

(12)

式中，λ表示匹配特征點(diǎn)總數(shù)在相似度判斷中的權(quán)重。

當(dāng)相似度大于設(shè)定的閾值Sc時(shí)，則將待評(píng)估幀判斷為冗余圖像。對(duì)于不同尺寸的圖像，其λ及S的取值有所差別。對(duì)于240像素×240像素的膠囊內(nèi)鏡圖像，一般取λ=0.1～0.3，Sc=1～2比較合適。

圖8 相似度計(jì)算示例(n1=23, n2=6, λ=0.2, S=5.6)Fig.8 Example of similarity calculation

1.2.4 算法的性能評(píng)估

目前，冗余圖像篩除算法的性能常采用召回率(recall)與準(zhǔn)確率(precision)兩個(gè)量化指標(biāo)[6,10,22]來評(píng)估，recall與precision指標(biāo)可表示為

(13)

(14)

一般來說，準(zhǔn)確率和召回率越高越好，但在某些情況下，這兩者相互制約的[23]。因此，本研究在precision和recall兩個(gè)指標(biāo)的基礎(chǔ)上，增加了F-measure指標(biāo)對(duì)算法的性能進(jìn)行評(píng)估。F-measure定義[23]如下：

(15)

F-measure值越高，表示算法的綜合性能越好。

為了評(píng)估所提出算法的準(zhǔn)確率等性能，首先由3名審查者對(duì)隨機(jī)抽取的視頻段進(jìn)行冗余幀的人工篩除。之后，將人工篩除結(jié)果與本算法的篩除結(jié)果應(yīng)用式(13)～(15)進(jìn)行計(jì)算，以檢驗(yàn)算法的準(zhǔn)確率等性能。

2 結(jié)果

對(duì)來自同一膠囊內(nèi)鏡采集的128段視頻(共計(jì)25 375幀240像素×240像素的彩色圖像)進(jìn)行了冗余圖像計(jì)算機(jī)自動(dòng)篩除實(shí)驗(yàn)(計(jì)算機(jī)主頻3.3GHzCPU、4GB內(nèi)存、華碩H61M-E主板、Matlab2013軟件平臺(tái))。實(shí)驗(yàn)中，首先將膠囊內(nèi)鏡視頻第1幀被讀入作為模板幀，第2幀作為待評(píng)估幀，應(yīng)用基于SURF算法的膠囊內(nèi)鏡的快速篩除方法，計(jì)算兩幀圖像的相似度S(取λ=0.2，Sc=1.6)。若S>Sc，則篩除該待評(píng)估幀，并讀入下一幀圖像作為待評(píng)估幀；若S≤Sc，則將該待評(píng)估幀作為模板幀。重復(fù)上述過程直到視頻結(jié)束，共從25 375幀膠囊內(nèi)鏡原始圖像中篩查出了10 902幀冗余圖像，數(shù)據(jù)縮減達(dá)43%，處理速度高達(dá)0.06s/幀。

圖9給出了不同消化道部位、在不同復(fù)雜場(chǎng)景下連續(xù)圖像的冗余篩除結(jié)果示例，示例中展示了典型的冗余圖像及存在蠕動(dòng)、氣泡變化、光照變化等復(fù)雜多變的冗余圖像。所篩除的冗余幀少則幾幀，多則上百幀，基于篇幅只展示了連續(xù)的兩幀；表中的S值是對(duì)應(yīng)的圖像幀與模板幀的相似度，根據(jù)計(jì)算結(jié)果，取相似度S>1.6的待評(píng)估幀判斷為冗余幀，判斷結(jié)果與人工觀察結(jié)論大致相同。從圖9可以看出，本研究所提出的方法不僅能有效篩除如場(chǎng)景(a)的典型冗余圖像，對(duì)如場(chǎng)景(b)中有消化道蠕動(dòng)、如場(chǎng)景(c)中有氣泡變化、如場(chǎng)景(d)中有光照變化等復(fù)雜多變的冗余圖像也具有較高魯棒性。

圖9 篩除的冗余圖像示例(每行從左至右分別為模版幀，連續(xù)兩幅篩除的冗余圖像和非冗余幀)。(a) 典型冗余圖像; (b) 存在蠕動(dòng)的冗余圖像; (c) 存在氣泡變化的冗余圖像; (d) 存在光照變化的冗余圖像Fig.9 Examples of screened redundant images (From left to right at each row: template frame, two successive redundant images and nonredundant image). (a) Typical redundant images; (b) Redundant images with peristalsis; (c) Redundant images with bubble changes; (d) Redundant images with illumination changes

為了評(píng)估所提冗余圖像篩除算法的recall、precision及F-measure性能指標(biāo)，對(duì)隨機(jī)抽取的10個(gè)視頻段(共計(jì)2 000幀圖像)進(jìn)行了冗余幀的計(jì)算機(jī)自動(dòng)篩除，共篩除出920幀冗余圖像，通過人工篩除的冗余幀共計(jì)1 017幀，之后，將人工篩除結(jié)果與本算法的篩除結(jié)果對(duì)比，并應(yīng)用本文1.2.4節(jié)中算法性能評(píng)估指標(biāo)式(13)～(15)計(jì)算，得到的性能指標(biāo)如表2所示?？梢钥闯觯舅惴ǖ膔ecall、precision及F-measure性能指標(biāo)分別達(dá)到了81%、90%及85%，效果良好。

表2 膠囊內(nèi)鏡冗余圖像篩除方法性能比較Tab. 2 Performance comparison of different algorithms for reducing redundancy in CE videos

注：/表示文獻(xiàn)中未給出相應(yīng)的數(shù)據(jù)。

Note：/indicates no available related data in literatures.

3 討論和結(jié)論

實(shí)驗(yàn)結(jié)果表明，所提出的膠囊內(nèi)鏡冗余圖像篩除算法在處理速度和準(zhǔn)確性等方面具有良好的性能。

表2給出了本算法與其他相關(guān)研究文獻(xiàn)中提出的方法[4,6-7,10,22]在數(shù)據(jù)縮減效果、處理速度、recall、precision及F-measure指標(biāo)上的比較結(jié)果。由于相關(guān)文獻(xiàn)中算法實(shí)現(xiàn)的一些細(xì)節(jié)及參數(shù)選擇在文獻(xiàn)中并沒有詳細(xì)具體說明，因此本研究參考Lee等的文獻(xiàn)[4]，將相關(guān)文獻(xiàn)中報(bào)導(dǎo)的算法性能數(shù)據(jù)與所提算法的性能進(jìn)行對(duì)比。

為提高處理速度，Iakovidis等將大小為370像素×370像素原圖像尺寸縮減為101像素×101像素，處理速度達(dá)到了0.3～0.5 s/幀[7]；Lee等則將圖像尺寸縮減至80像素×80像素，然后利用他們的方法篩除冗余圖像，處理速度能達(dá)到約0.5 s/幀[4]。與之相比，本研究在不縮減原圖像尺寸的基礎(chǔ)上達(dá)到了約0.06 s/幀的計(jì)算速度，在提高算法速度的同時(shí)，又盡可能地保留了原始圖像信息，這對(duì)醫(yī)生的后續(xù)診斷十分有益。

表2中顯示，衡量數(shù)據(jù)縮減效果的方法有兩種：一種是比較冗余圖像篩除前后醫(yī)生所需的診斷時(shí)間，具有一定的主觀性；另一種是計(jì)算篩除的冗余圖像幀數(shù)占總圖像幀數(shù)的百分比，較為客觀[4]。與表中其他相關(guān)文獻(xiàn)的數(shù)據(jù)比較，本算法得到的數(shù)據(jù)縮減較低。對(duì)隨機(jī)抽取的10個(gè)膠囊內(nèi)鏡視頻段(每視頻段為200幀)的人工篩除結(jié)果進(jìn)行了進(jìn)一步的分析，發(fā)現(xiàn)對(duì)不同視頻段，篩除的冗余幀數(shù)有很大的不同(從幾幀到近兩百幀)，因此在比較數(shù)據(jù)縮減效果的同時(shí)，應(yīng)結(jié)合recall、precision和F-measure指標(biāo)來評(píng)價(jià)篩除效果。從表2中可以看出，與已有文獻(xiàn)相比，本算法的precision和F-measure指標(biāo)較好，表明算法誤篩較少且綜合效果良好。

在所提出的方法中，彩色的膠囊內(nèi)鏡圖像被轉(zhuǎn)換為灰度圖像以提高算法的處理速度，但相比灰度圖像，彩色圖像含有更豐富的信息，因此結(jié)合SURF算法與顏色信息來篩除膠囊內(nèi)鏡的冗余圖像可能會(huì)得到更好的結(jié)果，這將是后續(xù)研究工作的一個(gè)重要方向。

膠囊內(nèi)鏡圖像的場(chǎng)景復(fù)雜多變，且存在氣泡、蠕動(dòng)、光照變化等不確定因素，因此冗余圖像的準(zhǔn)確、快速自動(dòng)篩除仍是一個(gè)難題。本研究根據(jù)膠囊內(nèi)鏡圖像的特點(diǎn)，提出了一種基于SURF的膠囊內(nèi)鏡冗余圖像的快速篩除方法。對(duì)膠囊內(nèi)鏡圖像的冗余篩除實(shí)驗(yàn)表明，該方法能有效地檢測(cè)出冗余圖像，數(shù)據(jù)縮減率達(dá)到43%。與現(xiàn)有方法相比，該方法對(duì)消化道存在的蠕動(dòng)、氣泡及光照變化等不確定因素具有較強(qiáng)的魯棒性，該方法的處理速度高達(dá)0.06 s/幀，F(xiàn)-measure、recall和precision等3個(gè)性能指標(biāo)分別達(dá)到了85%、81%、90%，性能良好，對(duì)于提高醫(yī)生的診療效率具有重要價(jià)值。

[1] Gong Feng, Swain P, Mills T. Wireless endoscopy [J]. Gastrointestinal Endoscopy, 2000, 51(6): 725-729.

[2] Iddan G, Meron G, Glukhovsky A, et al. Wireless capsule endoscopy [J]. Nature, 2000, 405-417.

[3] Koulaouzidis A, Iakovidis DK, Karargyris A, et al. Wireless endoscopy in 2020: Will it still be a capsule? [J]. World J Gastroentero, 2015, 21(17): 5119-5130.

[4] Lee HG, Choi MK, Shin BS, et al. Reducing redundancy in wireless capsule endoscopy videos [J]. Comput Biol Med, 2013, 43(6): 670-682.

[5] 馬麗黎，陳世耀，姚禮慶. 穿越腸道的照相機(jī)-膠囊內(nèi)鏡[EB/OL]. http://gi.cmt.com.cn/detail/22401.html, 2011-05-16 /2015-07-21.

[6] Liu Hong, Pan Ning, Lu Heng, et al. Wireless capsule endoscopy video reduction based on camera motion estimation [J]. J Digit Imaging, 2013, 26(2): 287-301.

[7] Iakovidis DK, Tsevas S, Polydorou A. Reduction of capsule endoscopy reading times by unsupervised image mining [J]. Comput Med Imaging Graph, 2010, 34(6): 471-478.

[8] Iakovidis DK, Koulaouzidis A. Software for enhanced video capsule endoscopy: challenges for essential progress [J]. Nat Rev Gastro Hepat，2015, 12(3): 172-186.

[9] Li Baopu, Meng MQ, Hu Chao. Motion analysis for capsule endoscopy video segmentation [C]//2011 IEEE International Conference on Automation and Logistics. Taipei: IEEE, 2011:46-51.

[10] Karargyris A, Bourbakis N. A video-frame based registration using segmentation and graph connectivity for Wireless Capsule Endoscopy [C]//Life Science Systems and Applications Workshop. Maryland: IEEE, 2009:74-79.

[11] 潘寧. 膠囊內(nèi)鏡圖像序列冗余數(shù)據(jù)篩查方法研究 [D]. 武漢：華中科技大學(xué), 2013.

[12] Liu Ce, Yuen J, Torralba A, et al. SIFT flow: Dense correspondence across different scenes [C]//Proceedings of the 10th European Conference on Computer Vision: Part III. Marseille: Springer, 2008:28-42.

[13] Bay H, Tuytelaars T, Gool LV. SURF: Speeded up robust features [M]//Computer Vision-ECCV 2006. Berlin: Springer-Verlag, 2006:404-417.

[14] 李秀艷, 劉鐵根, 鄧仕超, 等. 基于SURF算子的快速手背靜脈識(shí)別 [J]. 儀器儀表學(xué)報(bào), 2011, 32(4): 831-836.

[15] 吳一全, 沈毅, 陶飛翔. 基于NSCT 和 SURF 的遙感圖像匹配 [J]. 遙感學(xué)報(bào), 2014, 18(3): 618-629.

[16] Lowe DG. Distinctive image features from scale-invariant keypoints [J]. Int J Comput Vision, 2004, 60(2): 91-110.

[17] Lowe DG. Object recognition from local scale-invariant features [C]//Proceedings of the International Conference on Computer Vision (ICCV 1999). Corfu: IEEE, 1999:1150-1157.

[18] Mikolajczyk K, Schmid C. Indexing based on scale invariant interest points [C]// International Conference on Computer Vision (ICCV 2001). Montbonnot: IEEE, 2001:525-531.

[19] Lindeberg T. Feature detection with automatic scale selection [J]. Int J Comput Vision, 1998, 30(2): 79-116.

[20] Neubeck A, Van GL. Efficient non-maximum suppression [C]//Proceedings of the 18th International Conference on Pattern Recognition. Hong Kong: IEEE, 2006:850-855.

[21] Otsu N. A threshold selection method from gray-level histograms [J]. IEEE Trans Syst Man Cybern B, 1979, 9(1): 62-66.

[22] Lee HG, Choi MK, Lee SC. Motion analysis for duplicate frame removal in wireless capsule endoscope [C] //Society of Photo-Optical Instrumentation Engineers Conference Series. Florida: SPIE， 2011: 63-66.

[23] Nancy C. MUC-4 evaluation metrics [C]//The Fourth Message Understanding Conference. Virginia：MCL, 1992: 22-29.

Fast Reducing Redundancy in Capsule Endoscopy Video Based on SURF

Liu Xiaoyan1*Gong Junhui1,3Li Xiangdong2Wu Weining1Peng Tongsheng1

1(CollegeofElectricalandInformationEngineering,HunanUniversity,Changsha410082,China)2(SuzhouOIHMedicalScientificLTD.CO.,Suzhou215000,Jiangsu,China)3(CollegeofElectricalandInformationEngineering,HunanInstituteofEngineering,Xiangtan411101,Hunan,China)

Capsule endoscopy captures tens of thousands of images through the whole digestive system with a large number of redundant images. To determine abnormal images would consume considerable time and effort of medical doctors by checking each frame. Therefore, it is meaningful to screen out the redundant images automatically. In this paper, feature points and the corresponding feature vector was extracted in successive capsule endoscopy frames with SURF. Vector angular was applied to evaluate the matching degree between two feature points from the successive frames. Maximum between-class variance was used to identify the matched feature points adaptively. Finally, the quantity of matched feature points and block matching degree was used as the index to screen out redundant images. Experimental tests in captured 128 videos by capsule endoscopy demonstrate that the proposed approach has a rapid processing speed of 0.06 seconds/frame, with good performance in the recall, precision and F-measure index (81%, 90%, and 85%, respectively). Moreover, it shows good robustness to uncertainties such as peristalsis, illumination and bubbles.

capsule endoscopy；speeded up robust features (SURF)；feature matching；redundant images

10.3969/j.issn.0258-8021. 2016. 03.002

2015-07-31， 錄用日期:2015-12-18

國(guó)家自然科學(xué)基金(61374149)；教育部博士點(diǎn)基金(20130161110010)；湖南省自然科學(xué)基金(13JJA33)

TP391. 4

A

0258-8021(2016) 03-0264-08

*通信作者(Corresponding author)， E-mail: xiaoyan.liu @hnu.edu.cn