徐可文，許 波，吳 英，徐浩然

1.廣東財經(jīng)大學 信息學院，廣州 510320

2.暨南大學附屬第一醫(yī)院 超聲科，廣州 510630

隨著醫(yī)療成像設備的發(fā)展研制，醫(yī)學影像成為人類篩查與診斷疾病的重要手段[1]。超聲圖像[2]采用脈沖式的發(fā)射法，以其無創(chuàng)、實時、無放射性損害及低價等特點，已經(jīng)成為臨床疾病診斷的重要方法。超聲圖像還可以作為最常用的治療規(guī)劃及監(jiān)測治療反應和提供腫瘤關鍵信息的方法，有效克服了傳統(tǒng)臨床病理取樣、觸摸判斷和分析的難題。

超聲圖像往往會受到噪聲污染[3]，使得圖像質量降低，且灰度不均勻，對比度低，給病灶分割及疾病診斷帶來了很大的挑戰(zhàn)。傳統(tǒng)超聲圖像分析方法依賴醫(yī)生主觀判斷，對臨床經(jīng)驗要求極高，已不能滿足現(xiàn)代醫(yī)療模式向智能醫(yī)療快速發(fā)展的要求。因此對于超聲圖像來說，很有必要設計高效準確的自動化超聲圖像分析系統(tǒng)來輔助醫(yī)生進行疾病診斷，一方面可以減輕醫(yī)生的負擔，另一方面可以降低診斷的主觀性，從而使得診斷更加客觀與準確。

隨著醫(yī)學影像數(shù)據(jù)快速增長以及計算機性能的提升，機器學習[4]作為人工智能的一個重要分支，以其快速、客觀等優(yōu)勢，在醫(yī)學影像領域取得了突破性進展。它在減輕醫(yī)生負擔的同時，可提高疾病診斷的正確率，有望為臨床實踐帶來新變革[5-6]。

1 超聲圖像的研究現(xiàn)狀

超聲檢查是利用超聲波的物理特性與人體器官和組織聲阻抗和衰減特性的差異，以發(fā)射脈沖波和連續(xù)波的方式，產(chǎn)生不同的反射與衰減，從而形成超聲圖像，再由影像診斷醫(yī)生根據(jù)臨床經(jīng)驗對異常部位進行評估，結合患者癥狀、體征、過往病史等給出最終的判斷。

超聲圖像是臨床醫(yī)生對疾病進行判斷并做出治療方案和決策的重要依據(jù)。由于成像原理的限制，超聲圖像容易產(chǎn)生大量斑點與噪聲，導致圖像質量直線下降。然而圖像質量是進行圖像分析的關鍵因素，因此抑制斑點噪聲具有重大意義，許多研究者在此問題上付出了大量的努力。張聚等[7]提出了一種新型的基于小波和雙邊濾波的去噪算法。首先改進了小波閾值函數(shù)，然后利用貝葉斯最大后驗估計方法得到小波收縮算法，最后對小波域內的高頻信號分量進行去噪。實驗證明該方法可以有效抑制斑點噪聲，并在此基礎上保留圖像病灶邊緣信息。但該算法對于顆粒較大的斑點噪聲去噪效果較弱。胡蝶[8]基于視網(wǎng)膜中垂直信息通路機制，通過模擬雙極、神經(jīng)節(jié)細胞感受野的自適應機理，實現(xiàn)在去除醫(yī)學超聲圖像中斑點噪聲的同時保持圖像細節(jié)不被模糊，有效地提升醫(yī)生的診斷準確率。肖磊等[9]提出了一種基于Canny算子的邊緣切線擴散醫(yī)學超聲圖像去噪算法，將超聲圖像分為邊緣區(qū)和非邊緣區(qū)，并改進了現(xiàn)有的擴散方法，使擴散方向只沿圖像邊緣方向進行，使圖像濾波和圖像細節(jié)保護這一矛盾問題達到一個很好的平衡。與其他算法相比，該算法在運行效率上也得到很大的提升，但它是針對超聲圖像提出的，適用范圍有一定的局限性，且沒有達到完全的自適應。

超聲圖像分割是超聲圖像分析的關鍵[10]。超聲圖像一般由感興趣區(qū)域（Region of Interest，ROI）和背景區(qū)域構成。ROI區(qū)域通常包含有價值的診斷信息，可以為臨床醫(yī)生診斷或進行病理學研究提供依據(jù)，所以將ROI 區(qū)域從超聲圖像中分離出來是圖像分割的重點。常見的傳統(tǒng)分割方法[11]有基于閾值的分割方法、基于邊緣的分割方法和基于區(qū)域的分割方法等。傳統(tǒng)的分割方法大都方法簡單，效率高，并且能很好地適應某些數(shù)據(jù)，但是當邊界灰度及紋理特征不明顯時，傳統(tǒng)方法就很難達到理想效果。近十多年來，研究人員針對臨床需求，結合各個時期的圖像處理技術進行了持續(xù)研究，從不同的方面提出了解決方案。夏平等[12]針對存在大量斑點噪聲、目標邊緣弱化的超聲圖像，提出了一種復小波域中混合概率圖模型的超聲醫(yī)學圖像分割算法，采用雙數(shù)復小波變換提取高頻特征信息，通過構建混合概率圖模型建立了當前節(jié)點的標號與其祖先節(jié)點及同層鄰域節(jié)點之間的聯(lián)系，有效地獲取超聲影像中的有用信息，實現(xiàn)了超聲影像的有效分割，但該方法沒能得到最優(yōu)解。葉紅梅等[13]針對血管內超聲（Intravscular Ultrasound，IVUS）圖像動脈壁邊界分割進行了研究，對單幀IVUS圖像提取極值區(qū)域，經(jīng)面積篩選后得到候選區(qū)域，并將區(qū)域的局部二值模式特征、灰度差異和邊緣周長的乘積作為篩選矢量在候選區(qū)域中提取代表管腔和介質的兩個極值區(qū)域，并進行輪廓的橢圓擬合化，完成分割。實驗表明該算法提取內外膜的性能和精度都有所提高，并具有很強的魯棒性，但極值區(qū)域篩選標準矢量還有待改進。Zhuang 等[14]提出了一種基于分數(shù)布朗運動（Fractional Brownain Motion，F(xiàn)BM）模型的超聲圖像分割技術。首先使用基于模糊的技術增強超聲圖像，然后使用FBM模型獲得用于分割的分形特征。在頸動脈超聲圖像上的實驗結果表明，從分形長度獲得的分割輸出是優(yōu)越的，該方法可與其他最新分割技術相媲美，尤其適合容易出現(xiàn)斑點噪聲和偽影的超聲圖像。

超聲圖像的異常檢測與分類[15]是疾病診斷的核心任務。傳統(tǒng)方法是依靠影像科醫(yī)生進行人工檢測，但醫(yī)療數(shù)據(jù)日益增加，且人工檢測容易受主觀因素影響而造成誤診，因此開發(fā)自動化異常檢測系統(tǒng)是時代所需。研究者們給出了多種用于超聲圖像的自動檢測方法。Li 等[16]提出了一種專為醫(yī)學影像設計的目標檢測自適應方法，它無須特定的自適應訓練，在小型數(shù)據(jù)集上表現(xiàn)良好，當源域和目標域之間數(shù)據(jù)分布不一致時，目標檢測自適應方法能夠獲得較高的定位準確度和較快的速度。鄒致超[17]在少樣本的情況下，利用共享權值的方式進行多任務學習，實現(xiàn)乳腺超聲圖像語義分割及良惡性判斷，進而更好地輔助醫(yī)師進行乳腺癌的診斷。該方法在數(shù)據(jù)集較小的情況下能夠充分挖掘樣本包含的特征信息，提高模型分類和語義分割的效果。姜怡孜[18]在傳統(tǒng)基于稀疏表示的分類器（Sparse Representation based Classifier，SRC）字典的基礎上進行擴展，實現(xiàn)對肝臟超聲圖像進行病變判斷。該方法不僅能保證字典的冗余性，而且使得字典具有緊湊的內部結構，分類準確率達98.76%，特異性達98.15%，實現(xiàn)了很高的分類準確率，但該實驗提取的特征不夠完善，還有許多典型的病理特征沒有被量化為數(shù)字特征。

2 機器學習在超聲圖像中的應用

2.1 傳統(tǒng)的機器學習算法在超聲圖像中的應用

傳統(tǒng)的機器學習算法對于小數(shù)據(jù)量的超聲圖像數(shù)據(jù)集效果較為明顯，常用的傳統(tǒng)機器學習算法有支持向量機（Support Vector Machine，SVM）[19]、聚類算法[20]等。許多研究者采用傳統(tǒng)的機器學習算法在有限樣本下對超聲圖像進行了研究與探討。

張昕[21]利用支持向量機的方法對乳腺圖像樣本特征進行分類，然后采用交叉檢驗方式對核函數(shù)的參數(shù)進行選擇，達到了理想的效果。但不足的是該實驗是在小樣本基礎上進行的，難以將它應用到海量數(shù)據(jù)集上。付燕等[22]提出基于SVM 的肝臟B 超圖像紋理分類方法，首先提取肝臟B超圖像的空域和頻域的紋理特征，運用SVM分類，尋找最佳特征組合。該方法精度高，性能穩(wěn)定，平均準確率達96.67%，對于肝炎、肝血管瘤等彌漫性肝臟疾病具有一定的應用價值，而對其他非彌漫性的疾病有一定的局限性。王萌[23]提出一種基于改進SVM算法的超聲圖像分割算法，采用分區(qū)域特征匹配方法進行超聲圖像的分塊融合性檢測和特征塊匹配，根據(jù)超聲紋理的規(guī)則性特征分量進行病理邊緣特征提取，利用提取的精度作為約束條件，優(yōu)化SVM分割過程，進行超聲圖像分割過程的自適應分類，實現(xiàn)對超聲圖像的快速分割。

黃志標等[24]提出了一種基于像素聚類的超聲圖像分割算法，有效解決了超聲圖像低分辨率影響分割精度及基于模型的分割算法需要大樣本訓練集的問題。其適應于分割任意形狀的超聲圖像，有利于更準確地計算各種心臟功能參數(shù)。由于超聲圖像各個區(qū)域有差異，將圖像分為各個子區(qū)域，但對子區(qū)域進行聚類分析還有待研究。

表1 給出了傳統(tǒng)的機器學習算法在超聲圖像應用中的算法及模型對比。

2.2 深度學習在超聲圖像中的應用

深度學習[28]是機器學習的一個分支，它能夠直接處理原始數(shù)據(jù)，揭示樣本數(shù)據(jù)的內在規(guī)律和表示層次，被廣泛應用于計算機視覺[29]、數(shù)據(jù)挖掘[30]、自然語言處理[31]等領域。在贏得2012年ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC）之后，深度學習脫穎而出，在計算機視覺領域的應用也引起廣泛關注。很多研究者逐漸把目光投向于醫(yī)學圖像處理領域。當前醫(yī)學超聲圖像應用最廣泛的模型有卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡、深度置信網(wǎng)絡等，它們常用于超聲圖像的分割、檢測、分類、配準等任務。

Ying 等[32]提出了基于級聯(lián)卷積神經(jīng)網(wǎng)絡的超聲圖像甲狀腺結節(jié)分割方法，從分割過程和模型結構兩方面對甲狀腺結節(jié)的分割進行了研究，并通過實驗驗證，準確率大約為96%，在邊緣分割的精細度方面還有一定的探索空間。Zeimarani 等[33]提出了一種基于深度卷積神經(jīng)網(wǎng)絡新型乳腺超聲圖像分類方法，進行圖像增強和正則化后，準確性和AUC 分別提高到92.01%和0.971 6。獲得的結果超過了其他基于手動特征選擇的機器學習方法，證明了所提方法在US 成像中對腫瘤進行分類的有效性。付貴山[34]針對乳腺超聲圖像，設計了基于CNN的分類器，對于正負樣本不均衡的問題，使用兩種方式對損失函數(shù)進行優(yōu)化，準確率分別達82.22%、86.00%，都有效地提高了準確率和靈敏度。陳思文等[35]將分別經(jīng)過線性、非線性對比度拉伸、直方圖均衡化、直方圖閾值化以及自適應對比度增強算法處理后的數(shù)據(jù)用于AlexNet模型，分別對5種算法進行測試與比較，最終得到準確率與AUC值較高的自適應對比度增強（Adaptive Contrast Enhancement，ACE）算法，但如何將實驗與臨床診斷結合，還需進一步探討。

深度學習在血管檢測方面也得到很好的應用，Smistad 等[36]提出了一種使用深度卷積神經(jīng)網(wǎng)絡檢測B型超聲圖像中血管的新方法，使用GPU 對圖中的每個像素進行橢圓擬合，從而識別圖片中血管的大小和位置，對于血管的旋轉與變形，也具有很強的魯棒性，對麻醉和導管放置有一定的指導意義，但該方法更適用于動脈血管的檢測，對于靜脈血管的檢測具有一定的局限性。李巖等[37]提出了一種基于全卷積網(wǎng)絡的超聲血管分割方法。通過對全卷積網(wǎng)絡使用對稱網(wǎng)絡連接，深度提取圖像特征，優(yōu)化數(shù)據(jù)增強方式，并引入遷移學習，緩解數(shù)據(jù)量過少的問題。實驗表明該方法能夠精確地分割出血管區(qū)域，尤其適用于小型數(shù)據(jù)集。

表1 傳統(tǒng)機器學習算法及模型對比

深度學習在超聲圖像領域還有很多應用，表2對已有的相關研究的數(shù)學模型及結果等進行了比較。

2.3 遷移學習在超聲圖像中的應用

深度學習能取得的主要性能改善，在很大程度上依賴于大樣本訓練數(shù)據(jù)集。然而，與其他領域的大規(guī)模與公開可用的數(shù)據(jù)集（如ImageNet 數(shù)據(jù)集有超過百萬的標注圖像）相比，當前醫(yī)學超聲領域內公開可用的數(shù)據(jù)集仍然很有限。有限的數(shù)據(jù)集已成為深度學習方法在醫(yī)學超聲圖像分析中進一步應用的瓶頸。為解決小樣本數(shù)據(jù)集的問題，目前研究人員最常用的方法之一是進行跨數(shù)據(jù)集（模態(tài)內或模態(tài)間）學習，即遷移學習[40]。

吳英等[44]使用主動遷移學習的算法對同一個病灶的多個乳腺腫瘤超聲圖像進行標記，實現(xiàn)了在多個相似圖像之間進行數(shù)據(jù)共享和遷移，分類準確率高達97.67%。李巖等[37]提出了一種全卷積深度遷移網(wǎng)絡的聯(lián)合分割算法，通過添加遷移學習模型等方法有效地利用已有數(shù)據(jù)進行數(shù)據(jù)拓展，緩解醫(yī)學圖像數(shù)據(jù)過少的影響。結果表明該研究方法能在超聲血管圖像上取得較好的分割性能，能準確地分割出血管區(qū)域，使小型數(shù)據(jù)集很好地適應了深度神經(jīng)網(wǎng)絡。肖婷[45]針對乳腺超聲圖像樣本較少的現(xiàn)狀，基于深度特征的遷移學習方法，運用基于大規(guī)模自然圖像數(shù)據(jù)集預訓練的深度卷積神經(jīng)網(wǎng)絡模型對其進行微調，以提取乳腺腫瘤超聲圖像的多種特征并輸出分類結果。Banzato等[46]利用深層神經(jīng)網(wǎng)絡進行遷移學習，從狗的超聲圖像中檢測彌漫性變性肝病，獲得100%的靈敏度和82.8%的特異性。Phillip等[47]基于兩種卷積神經(jīng)網(wǎng)絡的遷移學習方法對腹部超聲圖像進行分類，其中基于CaffeNet網(wǎng)絡的遷移學習方法準確率達到77.3%，基于VGGNet 網(wǎng)絡的遷移學習方法準確率達到了77.9%，都比放射科醫(yī)生的準確率要高。但此次實驗數(shù)據(jù)不均衡，對結果會有一定的影響。

表3 給出了遷移學習算法在超聲圖像應用中的算法及模型對比。

3 未來研究展望

機器學習在醫(yī)學影像領域具有至關重要的作用，在多種疾病的影像輔助診斷中展現(xiàn)出優(yōu)勢，如精度高、速度快、穩(wěn)定性強、可重用性高等[47]。但機器學習在醫(yī)學影像領域還存在著一些挑戰(zhàn)，如缺少標準統(tǒng)一的標注數(shù)據(jù)、適用性不強等。針對以上問題，機器學習在醫(yī)學影像中的應用未來可能會有以下研究方向。

3.1 設計輕量型網(wǎng)絡模型

目前各類輕量級網(wǎng)絡方法很多，但機器學習在超聲圖像中的應用仍面臨運算復雜度及成本偏高的問題，會導致模型訓練和預測耗費大量的時間，無法快速驗證想法和改善模型?？臻g復雜度決定了模型的參數(shù)數(shù)量。由于維度的限制，模型的參數(shù)越多，訓練模型所需的數(shù)據(jù)量就越大，而現(xiàn)實生活中的數(shù)據(jù)集通常不會太大，這會導致模型的訓練更容易過擬合。

表2 深度學習算法及模型對比

為解決此類問題，采用的降低復雜度的主流方法有：（1）卷積降維，如在InceptionV1 模型中通常會通過添加1×1的卷積，將輸入通道數(shù)先降低到一個較低的范圍，再進行真正的卷積，時間復雜度降低至原來的1/3以下，而參數(shù)量僅增加了5%；（2）在全連接層進行最大池化，使全連接層的復雜度不再與輸入圖像尺寸有關，運算量和參數(shù)量都得以大規(guī)模削減；（3）在保證感受野大小不變的情況下，使用兩個低維的卷積核區(qū)代替高維的卷積核。

因此可以針對超聲圖像提出一個新的輕量級的網(wǎng)絡模型，降低運算復雜度與運算成本，給更多的超聲圖像識別帶來新的突破，也為更多的患者帶來新的希望。

3.2 深度遷移學習

深度學習常被運用于醫(yī)學影像分析領域，數(shù)據(jù)依賴性高是它面臨的嚴峻問題之一[48]。與其他領域的大規(guī)模公共可用的數(shù)據(jù)集（如ImageNet 數(shù)據(jù)集有超過百萬的標注圖像[49]）相比，超聲圖像數(shù)據(jù)集中圖像數(shù)量有限，各個醫(yī)院數(shù)據(jù)難以集中，導致超聲圖像數(shù)據(jù)難以實現(xiàn)大規(guī)模統(tǒng)一。有限且不統(tǒng)一的醫(yī)學超聲圖像成為機器學習在超聲圖像領域應用的一大障礙。

而遷移學習放寬了訓練數(shù)據(jù)必須與測試數(shù)據(jù)獨立同分布的假設，可借助現(xiàn)有數(shù)據(jù)集對網(wǎng)絡進行源域訓練，再將源域訓練好的網(wǎng)絡模型遷移到目標域中[50]。因此可以將深度學習與遷移學習結合，通過遷移對所傳輸?shù)淖泳W(wǎng)絡進行微調以適應新的數(shù)據(jù)，再利用深度學習深度挖掘特征。圖1 所示的基于深度遷移學習的超聲圖像分析模型是作者的初步設想。

從圖1中可以看出，利用深度遷移學習將在其他類型圖像中所學得的知識運用于超聲圖像的分析與處理領域，能夠有效地解決超聲圖像小規(guī)模數(shù)據(jù)集問題。相信在不久的將來，該方法將會被廣泛運用。

圖1 基于深度遷移學習的超聲圖像分析模型

3.3 生成對抗網(wǎng)絡

在醫(yī)學圖像領域，主要存在兩個問題：標簽的稀缺和數(shù)據(jù)的缺乏。一般情況下，標簽手動標記過程過于復雜且難以獲得海量統(tǒng)一的超聲圖像數(shù)據(jù)?；诒O(jiān)督學習的深度神經(jīng)網(wǎng)絡對于這些問題具有挑戰(zhàn)性。生成對抗網(wǎng)絡[51]（Generative Adversarial Networks，GAN）是一種無監(jiān)督的學習方式，可理解圖像數(shù)據(jù)基礎結構，生成具有生物學變化的醫(yī)學圖像。

生成對抗網(wǎng)絡的生成器與判別器仍然是基于深度神經(jīng)網(wǎng)絡結構，且訓練的數(shù)值不穩(wěn)定，還是依靠傳統(tǒng)的評估指標來評估GAN的重建質量。因此生成對抗網(wǎng)絡仍存在生成的圖像可信度低、不穩(wěn)定培訓、缺乏可靠評估指標等特點。

針對以上問題，可以研究更好的網(wǎng)絡模型機制，加強超聲圖像數(shù)據(jù)之間的關聯(lián)與映射，通過嚴格的實驗來解決GAN的穩(wěn)定性問題，構建標準化的GAN超聲圖像評估體系。相信在未來，通過改善GAN 存在的這些問題，GAN 一定能為超聲圖像的識別、分割、判別做出巨大的貢獻。

3.4 影像組學

文字、圖像、視頻等不同模態(tài)的數(shù)據(jù)可以表達不同層次的信息?；颊叩幕拘畔⑷缟眢w狀況、遺傳病史等文字信息、二維超聲圖像信息、三維超聲動態(tài)視頻等影像數(shù)據(jù)都具有各自的醫(yī)療診斷優(yōu)點。影像組學就是將不同模態(tài)的信息進行融合，實現(xiàn)特征提取以及模型的建立，對海量數(shù)據(jù)信息進行進一步的挖掘、運用、預測和分析來輔助醫(yī)學診斷。更直觀地理解為將數(shù)據(jù)影像信息轉化為深層次的特征來進行量化研究。它將超聲圖像、基因、患者信息和臨床大數(shù)據(jù)信息等有效信息進行融合，并對這些數(shù)據(jù)進行建模，使數(shù)據(jù)進行快速流轉，利用大數(shù)據(jù)挖掘技術定量腫瘤異質性，并使用深度學習等算法，對超聲圖像進行判斷及預測，實現(xiàn)精準診療決策，提高患者的生存期。

影像組學在醫(yī)學圖像方面已經(jīng)取得了不錯的進展，但在臨床實踐方面仍存在一定的困難，主要原因是其缺乏權威的標準，使影像組學的可重復性得不到認可，使用不同儀器、不同掃描參數(shù)以及患者的不同狀態(tài)都可能會造成干擾。因此，可以通過國際合作建立統(tǒng)一標準的影像組學工作流和公開、透明的數(shù)據(jù)共享平臺，以實現(xiàn)影像組學的可重復性。結合現(xiàn)有的深度學習技術及大數(shù)據(jù)存儲技術，相信在未來，影像組學可為醫(yī)學影像提供更加安全便捷的服務。

4 總結

本文首先分析了傳統(tǒng)醫(yī)學影像分析領域的不足，從超聲圖像的去噪、分割、檢測、分類等方面介紹了超聲圖像的研究現(xiàn)狀。然后綜述了近年來機器學習在超聲圖像領域的研究和應用進展。最后指出了基于機器學習在醫(yī)學影像領域開展研究所面臨的困難與挑戰(zhàn)，并對未來研究方向進行了展望，以期為機器學習在醫(yī)學影像領域的進一步研究與應用提供參考和研究思路。