敬雪平，鄭秀娟，劉 凱

四川大學 電氣信息學院 自動化系，成都 610065

1 引言

醫(yī)用內(nèi)窺鏡作為一種重要的醫(yī)學診斷儀器，主要用于觀查人眼不能直接觀察或者不方便觀察的腔體內(nèi)組織或者結(jié)構(gòu)。內(nèi)窺鏡按照其應用場景可以分為消化道內(nèi)窺鏡、呼吸道內(nèi)窺鏡、腹膜腔內(nèi)窺鏡和血管內(nèi)窺鏡等，而按照成像構(gòu)造分類，則可以分為硬管式內(nèi)窺鏡、纖維式內(nèi)窺鏡、電子內(nèi)窺鏡。隨著數(shù)字成像技術(shù)的不斷發(fā)展，電子內(nèi)窺鏡逐漸取代了纖維內(nèi)窺鏡成為了主流，與纖維內(nèi)窺鏡相比，電子內(nèi)窺鏡的成像質(zhì)量好、光亮度強、外徑更細，更有利于細小病變的檢查和醫(yī)生的操作，同時能夠?qū)D像存儲起來，便于進一步的分析和診斷。

當前內(nèi)窺鏡圖像的診斷主要依賴人工閱片完成，然而日益增加的圖像數(shù)據(jù)也為人工閱片帶來極大挑戰(zhàn)。例如在使用膠囊內(nèi)窺鏡（Wireless Capsule Endoscope，WCE）進行食道檢查的過程中，每個病人會產(chǎn)生約55 000張圖像[1]，如此多的圖片如果人工檢視，將會極大地增加醫(yī)生的工作負擔。此外，由于醫(yī)生之間的個體差異，對于同一個病例，可能得出不同的診斷結(jié)果，往往還需要進行二次審查。

為了降低醫(yī)生的工作強度，同時為疾病的診斷提供有效的輔助診斷信息，以機器學習和圖像處理技術(shù)為基礎的計算機輔助診斷（Computer Aided Diagnosis，CAD）逐漸成為醫(yī)學領域的研究熱點[2]。在眼底疾病自動診斷方面，由Google公司研發(fā)的自動診斷方法在準確率上已經(jīng)超過了人類醫(yī)生的平均水平[3]。而在皮膚鏡圖片的診斷方面，Esteva等[4]人研發(fā)的自動算法在兩種癌癥的辨別上也達到了人類專家的水平。與此同時，在內(nèi)窺鏡圖像的輔助診斷方面，因為其巨大的市場潛力和較高的研發(fā)難度，也逐漸成為相關(guān)研究的熱點。

本文選取近10年內(nèi)窺鏡領域的計算機輔助診斷相關(guān)研究文獻展開綜述。分別介紹了基于人選特征（Hand-crafted Features）和卷積神經(jīng)網(wǎng)絡（Convolutional Neural Networks，CNN）的相關(guān)研究進展。

2 內(nèi)窺鏡圖像的特征選取

獲得合適的特征表達，是一個分類系統(tǒng)成功的關(guān)鍵。在卷積神經(jīng)網(wǎng)絡興起之前，根據(jù)圖像的特點和相關(guān)醫(yī)學經(jīng)驗，提出合適的人選特征往往是設計一個分類系統(tǒng)最大的難點。

傳統(tǒng)的內(nèi)窺鏡圖像處理研究主要集中于兩個方面：（1）圖像變換，即通過頻域變換、色彩空間變換等方式來充分適應和表達圖像的信息，以便于更好地分析和處理圖像；（2）圖像特征提取，通過提出新的特征算子或算子組合來提高和改進圖像分析算法。內(nèi)窺鏡圖像的顏色分布與自然圖像有較大差異，且不同病變的紋理差異較大，在常見的特征算子SIFT、SURF和HOG算子之外，更多的特異特征算子及其不同算子的組合相繼提出。其中利用頻域變換來獲得有效特征較為常見。

2.1 頻域變換

常見的圖像頻率域變換包括傅里葉變換、小波變換、曲波變換（Curvelet Transform）等，廣泛應用于圖像去噪、圖像壓縮、圖像融合等領域。頻率域變換能夠使得圖像的某些特征更加突出，從而更有利于特征的選擇。

Li等[5]通過曲波變換將腸道內(nèi)窺鏡圖像轉(zhuǎn)換到頻域，再利用局部二值模式（Local Binary Pattern，LBP）提取特征。曲波變換是良好的多尺度分析工具，同時LBP是一種強大的紋理描述算子，具有旋轉(zhuǎn)不變性和灰度不變性的特征。這兩種工具的組合能更加充分提取和利用病灶位置的紋理特征。

為了區(qū)分不同結(jié)腸癌的種類，Hafner等[6]通過二維離散傅里葉變換獲得腸道內(nèi)窺鏡圖像的頻域表達后，再通過篩選基于傅里葉級數(shù)矩陣的特征來更好地區(qū)分不同病變類型。由于用于分類的判別信息都是通過對圖像的進行頻域濾波得到的，因此關(guān)鍵問題轉(zhuǎn)變?yōu)闃?gòu)建適當?shù)念l域濾波器以得到合適的特征。

Yamaguchi等[7]則利用離散小波變換和分形維數(shù)來提取內(nèi)窺鏡圖像中癌變部位的特征。將原始圖像分解為4個分量，即RGB和亮度分量，并使用離散小波變換分別對這4個分量進行兩次變換，再使用方框計數(shù)法在每個小塊處計算分形維數(shù)，并根據(jù)分形維數(shù)檢測異常區(qū)域。其中分形維數(shù)主要用于衡量小區(qū)域的復雜度，他們認為一個異常區(qū)域與其他區(qū)域的復雜性會有所不同。

Charisis等[8]則將胃部內(nèi)窺鏡圖像進行曲波變換后，再利用遺傳算法有效地提取病變部位相關(guān)的形態(tài)學特征。

2.2 色彩空間變換

內(nèi)窺鏡圖像通常以RGB圖像的形式保存顯示，通過色彩空間變換，則可以在不同的色彩空間提取基于色彩的特征，這也是自然圖像處理中常見的方法之一。但由于內(nèi)窺鏡圖像色彩較為單一（主要以紅色分量為主）、亮度變化較大等特點，在設計內(nèi)窺鏡圖像的輔助診斷算法時，一些新的方案便被提出以適應上述特點。

Wang等[9]將消化道內(nèi)窺鏡圖像由RGB空間轉(zhuǎn)換到HSV空間后，再根據(jù)內(nèi)窺鏡圖像的特點將色調(diào)分量H和飽和度分量S重新加權(quán)，形成新的顏色分量，然后分別從顏色直方圖和紋理光譜中提取顏色特征和紋理特征。最后使用一個貝葉斯分類器來分類潰瘍、出血和癌癥圖像。他們指出內(nèi)窺鏡圖像的色彩分布和自然圖像不同，紅色分量很多，將其轉(zhuǎn)換到HSV空間中更有利于特征的提取。

為了在WCE圖像中檢測大腸息肉，Li等[10]則將腸道內(nèi)窺鏡圖像轉(zhuǎn)換到HSI空間。首先提出了基于色度直方圖的亮度不變顏色特征，使用縮放，平移和旋轉(zhuǎn)不變的澤爾尼克矩（Zernike Moments）作為形狀特征，通過這兩種特征的結(jié)合并使用多層感知器作為分類器來達到在海量圖片中檢測結(jié)腸息肉的目的。

為了獲取更充分的特征用于胃食管反流病的診斷，Huang等[11]在6個顏色空間中分別提取兩種算子（SIFT和CCH）來表征食管粘膜。

Yuan等[1]則在YCbCr空間中獲得了更好的顏色特征用于腸道出血檢測。為了充分利用WCE圖像的顏色信息，利用K-means算法對圖像像素進行聚類，獲得聚類中心，并以此生成圖像的色彩特征表示，接著通過支持向量機（SVM）和K最近鄰（KNN）算法來對WCE圖像進行分類。

2.3 其他方法

除了頻域變換和色彩空間變換外，其他的特征提取方案也被應用到內(nèi)窺鏡圖像處理當中。

Hiroyasu等[12]通過共生矩陣和游程長度矩陣共提取11個特征來評估早期胃癌的病變程度，其中6個特征來自共生矩陣，5個特征來自游程長度矩陣。整合這些特征值可以形成一個有效且具有代表性的特征向量，從而可以明顯地顯示從病變到正常區(qū)域的過渡。

3 基于卷積神經(jīng)網(wǎng)絡的內(nèi)窺鏡圖像處理方法

經(jīng)過數(shù)十年的發(fā)展，人工神經(jīng)網(wǎng)絡已經(jīng)被成功應用到多個領域，針對不同的應用場景也發(fā)展出了不同的種類。其中在機器視覺領域，卷積神經(jīng)網(wǎng)絡主要應用于圖像分類、去噪和分割等應用場景。在自然圖像分析取得巨大成功的同時，不少研究都嘗試將CNN引入到內(nèi)窺鏡圖像的分析當中。基于CNN的內(nèi)窺鏡圖像分析方法，主要是利用CNN強大的特征提取能力，取代先前的人選特征的方法，將CNN作為特征提取工具及分類器，來達到病變檢測和圖片分類的目的（參考表1）。

3.1 特征提取器

CNN具有強大的特征提取能力，通過有監(jiān)督學習（Supervised Learning），CNN能夠?qū)W習到足夠的特征，并將學到的特征進行組合。在前向傳播時，CNN卷積層的每個卷積核都會生成對應的特征圖，而卷積核的卷積操作就是一種特征提取的過程。但與手動設計特征不同的是，CNN的卷積核是在損失函數(shù)指導下，通過誤差反向傳播不斷更新，并由此獲得更好的特征提取效果。CNN的網(wǎng)絡結(jié)構(gòu)一般由卷積層、池化層（Pooling Layer）和全連接層組成。其中，卷積層一般用于特征提取，池化層用于減小特征規(guī)模，節(jié)約計算量，而全連接層則主要起到分類器的作用。但CNN的卷積層在特征提取的過程中也各具特點，比如靠前的卷積層更傾向于對邊緣、形狀、顏色等低階特征的提取，而靠后的卷積層則傾向于對高級語義特征的提取。基于這樣的特性，CNN的卷積層也被廣泛用作特征提取器，以獲得更好的特征表達。

Zhang等[13]利用CNN的特征提取能力，將訓練好的CNN網(wǎng)絡中生成的特征圖向量化后，再交由SVM分類器來進行分類，以此達到結(jié)腸息肉檢測的目的。如圖1所示，每個卷積核在輸入圖像或前一卷積層的輸出上做卷積運算后，都會生成相應的特征圖，每個卷積層產(chǎn)生的特征圖的數(shù)量與卷積核的數(shù)量一致，而網(wǎng)絡中卷積核的權(quán)重則來自用自然場景分類的卷積神經(jīng)網(wǎng)絡的卷積部分。

圖1 利用預訓練CNN卷積層進行特征提取示意圖

Tamaki等[14]也采用了CNN卷積層來提取圖像特征以進行結(jié)直腸腫瘤的分類。此外，通過在原圖像上截取大小不一的子圖的方式，使得獲得的紋理能夠更好地表達腫瘤的類型。

表1 基于卷積神經(jīng)網(wǎng)絡的內(nèi)窺鏡圖像處理方法

Chen等[15]利用多個CNN網(wǎng)絡級聯(lián)的方式來完成內(nèi)窺鏡圖像的分類，首先利用一個去噪網(wǎng)絡來篩查含有糞便、氣泡等不利于分類的圖像，并將這些圖像移除。接著將清晰圖像送給下一級的網(wǎng)絡進行分類。這種多網(wǎng)絡級聯(lián)的方法將不同的功能分配給不同的網(wǎng)絡，使得單個網(wǎng)絡的訓練變得容易。

Yu等[16]在消化道器官分類的研究中提出，利用超限學習機（Extreme Learning Machine）代替CNN網(wǎng)絡的全連接層能夠改善最終的分類效果。

Jia等[17]將CNN得到的特征和人工特征相結(jié)合，以達到更好的分類效果。其中人工特征使用基于K-means聚類的特征表示。他們指出，采用CNN特征和人選特征相結(jié)合的方式，更有利于在小的數(shù)據(jù)集上獲得更好的分類效果。在后續(xù)的工作中[18]，他們還發(fā)現(xiàn)訓練CNN網(wǎng)絡進行內(nèi)窺鏡圖像分類時，使用邊緣損失函數(shù)代替交叉熵損失函數(shù)能夠提高準確率。

3.2 數(shù)據(jù)增強

使用基于CNN的圖像處理方法，不可避免地要運用數(shù)據(jù)增強（Data Augmentation）的方法來擴大訓練集，從而提高網(wǎng)絡的泛化性能。

Sekuboyina等[19]通過隨機裁剪和顏色空間變換的方法來擴增數(shù)據(jù)集，對于不同種類病變圖像的數(shù)量不一致導致的類間不均衡，則利用合成過采樣的方法來解決。合成過采樣是通過插值的方式在樣本及其k個最近鄰樣本中生成新的樣本的方法。

同樣針對類間不均衡的問題，Zhang等[13]則采取了降采樣的方法，即減少數(shù)量較多類別的樣本數(shù)量。利用無線內(nèi)窺鏡設備收集的大量消化道圖片樣本中，包含病變的圖片樣本與不含病變的圖片樣本的數(shù)量往往相差巨大，而過多的正常樣本并不能提高分類器的性能，相反還會造成過擬合的發(fā)生，在這樣的情況下，通過降采樣的方式來改善類間不均衡是合理的。

此外，旋轉(zhuǎn)、亮度變化、模糊和添加噪聲等方式也可以用來獲得更多的訓練樣本[20]。

3.3 遷移學習

遷移學習是使用CNN進行圖像分析時的重要手段，能夠?qū)⑵溆糜谄渌康囊延柧毢玫腃NN模型，通過較少的訓練樣本進行微調(diào)（Fine-tune），來適應新的任務。在自然圖像領域，已經(jīng)擁有龐大的圖像數(shù)據(jù)集，比如ILSVRC，擁有1 000個類別的120萬幅圖像，而在醫(yī)學圖像領域，獲取如此大規(guī)模的數(shù)據(jù)集則幾乎是不可能的。因此，遷移學習提供了將在自然圖像領域取得成功的網(wǎng)絡應用到醫(yī)學圖像領域的橋梁。

Zhang等[13]使用遷移學習的方法，將在ILSVRC上訓練的CaffeNet通過1 930張內(nèi)窺鏡圖像進行微調(diào)，該組內(nèi)鏡圖像包括1 104個無息肉圖像、263個增生性息肉圖像和563個腺瘤性息肉圖像。

Tajbakhsh等[21]則通過比較遷移學習和從頭學習兩種方案在結(jié)腸息肉檢測等三種醫(yī)學圖像分析任務上的效果得出結(jié)論：使用遷移學習的方法獲得的CNN模型優(yōu)于從頭訓練得到的網(wǎng)絡模型。在最壞的情況下，二者的表現(xiàn)也至少相同。

Wimmer等[22]也開展了類似的研究來驗證遷移學習對利用CNN進行乳糜瀉自動診斷的影響。他們比較了不使用遷移學習和Fine-tune全連接層以及Fine-tune整個網(wǎng)絡三種策略，實驗結(jié)果證實，F(xiàn)ine-tune整個網(wǎng)絡能取得最好的結(jié)果。

4 結(jié)束語

基于醫(yī)學圖像的CAD系統(tǒng)可以輔助臨床醫(yī)生快速、準確、高效地做出診斷決策。然而，無論是人工提取特征，還是基于CNN的算法，都各有優(yōu)缺點。

手動提取特征具有主觀性，并且無法利用高維特征之間的關(guān)系所提供的有效信息，但是在樣本數(shù)量較少的情況下，結(jié)合臨床經(jīng)驗，人工設計特征依然是設計計算機輔助系統(tǒng)時最好的選擇?；贑NN的內(nèi)窺鏡圖像分析算法能夠自動地提取特征而無需人為設計，而且由于其在自然圖像處理領域取得的巨大成功，大量的經(jīng)驗和方法同樣可以被引入醫(yī)學圖像處理中。但是CNN的訓練往往需要在較大的數(shù)據(jù)集上進行，而收集一定規(guī)模的醫(yī)學圖像數(shù)據(jù)集往往是十分困難的，并且數(shù)據(jù)集的標記也需要具備相關(guān)資質(zhì)的醫(yī)生耗費大量的時間來完成。此外，CNN模型在圖像分類和目標檢測等領域取得巨大成功的同時，其可解釋性則一直被詬病。與手動提取特征不同，CNN中的特征是在反向傳播中自動學習到的，這些特征可以通過可視化方法表現(xiàn)出來，但其訓練和推導的過程則無法用數(shù)學手段予以解釋。CNN的“黑盒”特性也成了制約其被醫(yī)學界接受的關(guān)鍵因素。

利用CNN進行內(nèi)窺鏡圖像的處理和分析已經(jīng)逐漸取代手動提取特征的方法成為主流。早期的研究多將CNN作為特征提取器，將提取到的特征作為其他分類器（如SVM）的輸入，而近來相關(guān)的研究則更多專注于對新的網(wǎng)絡結(jié)構(gòu)的探索和應用（如VggNet、GoogleNet等）。目前，大量的研究都集中于內(nèi)窺鏡圖像的分類，關(guān)于病變定位和分割的研究則相對較少，而病變定位和分割對于疾病的監(jiān)測和細粒度的精細分析則至關(guān)重要。全卷積神經(jīng)網(wǎng)絡（Fully Convolutional Networks，F(xiàn)CN）模型已經(jīng)在自然圖像語義分割上取得了巨大的進步，相關(guān)模型在內(nèi)窺鏡圖像上的應用將會對內(nèi)窺鏡圖像的精細分析產(chǎn)生巨大的推動作用。

對于醫(yī)用內(nèi)窺鏡圖像的計算機輔助診斷來說，未來的發(fā)展可能有如下幾個方面：第一，更好的數(shù)據(jù)增強方法，在訓練數(shù)據(jù)有限的條件下，更好的數(shù)據(jù)增強方法將會有效提升網(wǎng)絡的泛化性能；第二，遷移學習技術(shù)的進一步發(fā)展，遷移學習的研究處于起步階段，在自然圖像上獲取的特征如何更好地應用于醫(yī)學圖像仍然值得進一步研究；第三，網(wǎng)絡結(jié)構(gòu)的改進，提出更有效的網(wǎng)絡結(jié)構(gòu)以更好地提取圖像包含的信息；第四，大型內(nèi)窺鏡圖像數(shù)據(jù)庫的建立，這是內(nèi)窺鏡圖像處理技術(shù)取得進一步發(fā)展的關(guān)鍵基礎。

隨著更多醫(yī)學圖像數(shù)據(jù)庫的建成和神經(jīng)網(wǎng)絡方法的繼續(xù)發(fā)展，可以預見，更多的基于CNN的內(nèi)窺鏡圖像輔助診斷系統(tǒng)將會為醫(yī)生提供更為準確高效的診斷信息。

[1]Yuan Y，Li B，Meng Q.Bleeding frame and region detection in the wireless capsule endoscopy video[J].IEEE Journal of Biomedical&Health Informatics，2015，20（2）：624-630.

[2]Doi K.Computer-aided diagnosis in medical imaging：Achievements and challenges[J].IEEE Transactions on Medical Imaging，2009，20（12）：1205-1208.

[3]Gulshan V，Peng L，Coram M，et al.Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs[J].Jama，2016，316（22）：2402.

[4]Esteva A，Kuprel B，Novoa R A，et al.Dermatologist-level classification of skin cancer with deep neural networks[J].Nature，2017，542（7639）：115.

[5]Li B，Meng Q H.Ulcer recognition in capsule endoscopy images by texture features[C]//World Congress on Intelligent Control and Automation，2008：234-239.

[6]Hafner M，Brunauer L，Payer H，et al.Computer-aided classification of zoom-endoscopical images using fourier filters[J].IEEE Transactions on Information Technology in Biomedicine A Publication of the IEEE Engineering in Medicine&Biology Society，2010，14（4）：958-970.

[7]Yamaguchi J，Yoneyama A，Minamoto T.Automatic detection of early esophageal cancer from endoscope image using fractal dimension and discrete wavelet transform[C]//International Conference on Information Technology-New Generations，2015.

[8]Charisis V S，Hadjileontiadis L J.Use of adaptive hybrid filtering process in Crohn’s disease lesion detection from real capsule endoscopy videos[J].Healthc Technol Lett，2016，3（1）：27-33.

[9]Wang B，Yang D.Computer-assisted diagnosis of digestive endoscopic images based on bayesian theory[C]//International Conference on Information Engineering and Computer Science，2009.

[10]Li B，F(xiàn)an Y，Meng M Q H，et al.Intestinal polyp recognition in capsule endoscopy images using color and shape features[C]//IEEE International Conference on Robotics and Biomimetics，2009.

[11]Huang C R，Chen Y T，Chen W Y，et al.Gastroesophageal reflux disease diagnosis using hierarchical heterogeneous descriptor fusion support vector machine[J].IEEE Transactions on Biomedical Engineering，2016，63（3）：588.

[12]Hiroyasu T，Hayashinuma K，Ichikawa H，et al.Endoscope image analysis method for evaluating the extent of early gastric cancer[C]//IEEE Symposium on Computational Intelligence for Multimedia，Signal and Vision Processing（CIMSIVP），2004.

[13]Zhang R，Zheng Y，Mak W C，et al.Automatic detection and classification of colorectal polyps by transferring low-level CNN features from non-medical domain[J].IEEE Journal of Biomedical& Health Informatics，2017（99）：1.

[14]Tamaki T，Yoshimuta J，Kawakami M，et al.Computeraided colorectal tumor classification in NBI endoscopy using local features[J].Medical Image Analysis，2013，17（1）：78-100.

[15]Chen H，Wu X，Tao G，et al.Automatic content understanding with cascaded spatial-temporal deep framework for capsule endoscopy videos[J].Neurocomputing，2017，229（C）：77-87.

[16]Yu J S，Chen J，Xiang Z Q，et al.A hybrid convolutional neural networks with extreme learning machine for WCE image classification[C]//IEEE International Conference on Robotics and Biomimetics，2015.

[17]Jia X，Meng Q H，Jia X，et al.Gastrointestinal bleeding detection in wireless capsule endoscopy images using handcrafted and CNN features[C]//International Conference of the IEEE Engineering in Medicine and Biology Society，2017.

[18]Jia X，Meng M Q.A deep convolutional neural network for bleeding detection in wireless capsule endoscopy images[C]//Conf Proc IEEE Eng Med Biol Soc，2016：639-642.

[19]Sekuboyina A K，Devarakonda S T，Seelamantula C S.A convolutional neural network approach for abnormality detection in Wireless Capsule Endoscopy[C]//IEEE International Symposium on Biomedical Imaging，2017.

[20]Li P，Li Z，Gao F，et al.Convolutional neural networks for intestinal hemorrhage detection in wireless capsule endoscopy images[C]//IEEE International Conference on Multimedia and Expo，2017.

[21]Tajbakhsh N，Shin J Y，Gurudu S R，et al.Convolutional neural networks for medical image analysis：Fine tuning or full training?[J].IEEE Transactions on Medical Imaging，2016，35（5）：1299.

[22]Wimmer G，Vécsei A，Uhl A.CNN transfer learning for the automated diagnosis of celiac disease[C]//International Conference on Image Processing Theory Tools and Applications，2017.

[23]Ribeiro E，Uhl A，Wimmer G，et al.Exploring deep learning and transfer learning for colonic Polyp classification[J].Computational&Mathematical Methods in Medicine，2016，2016：6584725.

[24]Jia X，Meng Q H.A study on automated segmentation of blood regions in wireless capsule endoscopy images using fully convolutional networks[C]//IEEE International Symposium on Biomedical Imaging，2017.

[25]Yu L，Hao C，Qi D，et al.Integrating online and offline 3D deep learning for automated polyp detection in colonoscopy videos[J].IEEE Journal of Biomedical&Health Informatics，2016（99）：1.

[26]Zhu R，Zhang R，Xue D.Lesion detection of endoscopy images based on convolutional neural network features[C]//International Congress on Image and Signal Processing，2015：372-376.