邢文娜,寧睿
(西安航空職業(yè)技術學院,陜西西安 710089)
在醫(yī)療領域中,隨著互聯(lián)網、機器學習等高新技術的介入,醫(yī)療數(shù)據呈指數(shù)級增長。醫(yī)療數(shù)據被廣泛應用于藥品研發(fā)、臨床診斷等諸多領域,這對于提高醫(yī)院資源利用、降低醫(yī)療成本與提高醫(yī)療效率具有重要的意義。
群體醫(yī)療數(shù)據分析是指對一個特定區(qū)域內的群體進行醫(yī)療數(shù)據分析,從而得出規(guī)律性的結論。有效、精確的分析結果不但可以輔助診斷、優(yōu)化醫(yī)療資源配置,還可以監(jiān)控群體健康水平,輔助管理決策。在高職院校中,有大量的集體生活群體,對其進行規(guī)律性的醫(yī)療數(shù)據監(jiān)控,可以有效保障群體的健康水平,及時發(fā)現(xiàn)各類疫情或某種原因引起的群體健康事件。數(shù)值型的醫(yī)療數(shù)據監(jiān)控起來較為簡單,而難點在于圖形數(shù)據的有效分析與監(jiān)控。
計算機斷層掃描(CT)是診斷疾病的有效方法,醫(yī)生可以通過CT 直觀地檢查患者的身體結構并有效地分析病情。實際治療中醫(yī)生會對每個患者采集數(shù)百個醫(yī)學圖像,處理與分析大量醫(yī)學圖像數(shù)據是一個較大的挑戰(zhàn),而這些圖像數(shù)據則能反映出眾多的有效信息。
文中提出了一種基于卷積自動編碼器神經網絡(CANN)的深度學習架構[1],用于肺結節(jié)的分類。首先利用原始圖像補丁進行無監(jiān)督的特征學習,而將少量標記數(shù)據用于有監(jiān)督的微調參數(shù),然后從輸入圖像中提取特征表示。實驗結果表明,所提出的方法可以有效地通過數(shù)據驅動的方法提取圖像特征,并更快地標注醫(yī)學數(shù)據[2]。
文中基于深度學習架構的目標函數(shù)F由多層組成,而不是簡單的f:X?Y中從X到Y的直接映射[3]。具體而言,第一層L1接收輸入圖像x,最后一層LN是輸出層。中間層包括3 個池化層與一個全通連接層[4],結構如圖1 所示。
圖1 自動編碼器神經網絡CANN架構
從原始CT 圖像分割的圖片區(qū)域被輸入到CANN,將其用于分類。神經網絡中卷積層的參數(shù)由自動編碼器無監(jiān)督學習確定,少量標記的數(shù)據用于微調CANN 的參數(shù)并訓練分類器。該節(jié)主要探討此次設計的CANN 結構、參數(shù)設置與訓練方法[5]。
具體地,從原始CT 圖像劃分的圖片區(qū)域可表示為x∈X,X?Rm×d×d,其中m表示圖片輸入通道的數(shù)量,d×d表示輸入圖像的尺寸[6]。標記的數(shù)據表示為y∈Y,Y?Rn,其中n代表輸出分類的數(shù)量。通過CANN 模型從訓練中推導出目標函數(shù)[7],即f:X?Y和參數(shù)集θ。
此次的訓練數(shù)據包括兩個數(shù)據集,即未標記的數(shù)據集UD={x∣x∈X}與已標記的數(shù)據集D={x,y∣x∈X,y∈Y}。需要說明的是,UD用于無監(jiān)督訓練[8],D用于有監(jiān)督的微調與分類器訓練。
深度學習中,監(jiān)督方法可用于數(shù)據驅動的特征學習,其中連接權重通過正向與反向傳播算法進行更新[9]。與有監(jiān)督的方法相比,無監(jiān)督的方法可以直接接收未標記的輸入數(shù)據,有效地減少標記數(shù)據的工作量[10]。
文中提出了一種用于無監(jiān)督學習的自動編碼器方法,自動編碼器提取輸出數(shù)據以重建輸入數(shù)據,并將其與原始輸入數(shù)據進行比較[11]。經過足夠多次迭代后,成本函數(shù)達到了最優(yōu),這意味著重構的輸入數(shù)據能夠在最大程度上近似原始輸入數(shù)據。
輸入數(shù)據I表示m維向量I∈Rm。輸出數(shù)據代碼是n維向量code∈Rn[12]。標準自動編碼器包括3 個主要步驟:
1)編碼[13]。通過code=f(I)=σ(w·I+b)將輸入數(shù)據I轉換為隱藏層編碼,其中w∈Rm×n且b∈Rn,σ是激活函數(shù),此次使用Sigmod 與雙曲正切函數(shù)。
2)解 碼[14]。根據編碼,通過式重構輸入值O′,其中
3)計算平方誤差Lrecon(I,O′)=‖I-O′‖3,即誤差成本函數(shù)[15]。通過優(yōu)化成本函數(shù)來實現(xiàn)最小平方誤差,如式(1)所示。
自動編碼器的無監(jiān)督特征學習如圖2 所示。
圖2 自動編碼器的無監(jiān)督特征學習
卷積自動編碼器將局部卷積連接與自動編碼器相結合,從特征圖的輸入到輸出的卷積轉換過程稱為卷積解碼器[16]。通過逆卷積運算重建輸出值,以及標準自動編碼器無監(jiān)督貪婪訓練,可以計算編碼與解碼操作的參數(shù)。卷積自動編碼器布局中的操作,如圖3 所示。
圖3 自動編碼器結構
圖3 中,f(·)代表卷積編碼操作;f′(·)代表卷積解碼操作。輸入要素映射x∈Rn×l×l,可從輸入層或上一層獲取,其中包含n個特征圖,每個特征圖的大小為l×l像素。卷積自動編碼器操作包括m個卷積內核,輸出層輸出m個特征圖。當從輸入圖層生成輸入特征圖時,n表示輸入通道數(shù)。當輸入要素從上一層映射時,n表示前一層的輸出要素映射的數(shù)量。卷積核的大小為d×d,其中d≤l。
通過隨機梯度下降(SGD)將權重與誤差降至最低,并優(yōu)化卷積自編碼器層。訓練后的參數(shù)用于輸出特征圖,然后將其傳輸?shù)缴窠浘W絡下一層。
與常見的CNN 相似,卷積層連接到池化層,在CANN 中卷積自編碼器層之后是最大池化層,如式(7)所示。
每個輸入特征圖根據池化區(qū)域的大小,分為n個無重疊區(qū)域。其中,代表第j個特征圖的第i個區(qū)域,代表第j個輸出特征圖的第i個神經元,輸入要素圖的數(shù)量等于池化層中輸出要素圖的數(shù)量。池化操作后,可以減少特征圖中的神經元,從而降低計算復雜度。
用于根據特征進行分類的Softmax 分類層位于多個卷積自動編碼器層、最大池化層與全連接層后。文中將CT 圖像分為兩類。具體而言,來自分類器的代表結節(jié)與無結節(jié)的概率。
此外,在有監(jiān)督的訓練網絡中,成本函數(shù)為交叉熵L,如式(9)所示。SGD 用于最小化交叉熵L,y是樣本數(shù)據的標簽。
1)卷積自動編碼器
卷積層使用50 000 個樣本無監(jiān)督學習訓練自動編碼器,通過代價函數(shù)計算梯度并通過SGD 優(yōu)化參數(shù)。具體執(zhí)行時,每100 個樣本包含在一個小批次中,每個批次的迭代次數(shù)為50。因此,每層的迭代次數(shù)為50×N/100。
2)全連接層和分類器
全連接層的輸入來自最后一個池化層,Softmax分類器的500 個神經元輸出興趣特征。此次使用1 800 個帶標簽的數(shù)據分類訓練,每個包含50個小批量樣本。
圖4 為訓練樣本數(shù)量對CANN 與MCCNN 的分類精度影響。結果表明,對于CANN 與MCCNN 方法,當數(shù)目均達到2 900 時,性能是最優(yōu)的。隨著數(shù)量增加到1 500 或1 600,CANN 呈現(xiàn)出性能向好的趨勢。
圖4 訓練樣本規(guī)模實驗
文中將CANN、自動編碼器(AE)、卷積神經網絡CNN 與MCCNN 的分類性能與數(shù)據集D2 進行了比較,結果如表1 所示;變化率對比如圖5 所示。
表1 分類性能比較
圖5 變化實驗
CNN 與MCCNN 使用了與CANN 相同的卷積架構。所提方法的準確率、精確度、召回率、F1 與AUC分別為92%、91%、91%、91%與0.97。AE 方法使用相同的未標記訓練數(shù)據庫,并在同一數(shù)據庫上對其進行測試。由表1 可知,CNN 與MCCNN 方法的分類性能均低于所提方法。評估證明,無監(jiān)督的特征學習與有監(jiān)督的微調相結合可以顯著提高性能。
圖像相似性判斷用于檢索相似的結節(jié),以供醫(yī)生參考。相似性判斷與結節(jié)分類必須考慮多個特征,例如結節(jié)的形態(tài)、密度、大小、邊緣等。圖像的相似度與分類如圖6 所示。
圖6 圖像相似度實驗
評估證明,無監(jiān)督的特征學習與有少量訓練集的有監(jiān)督微調可以獲得更優(yōu)的性能。
文中研究了兩種代表性的方法來輔助醫(yī)療圖像數(shù)據分析。基于分割與手工特征提取的方法費時費力,而數(shù)據驅動方法可避免結節(jié)分割中重要信息的丟失。但由于標記的醫(yī)學數(shù)據的稀缺性,這兩種方法的可行性較差。
因此,文中提出了一種用于數(shù)據驅動特征學習的基于CANN 的方法。其中,對網絡進行無監(jiān)督的訓練,并帶有大量的未標記補丁,少量的標記數(shù)據用于微調網絡結構。將所提出的方法應用于肺結節(jié)的識別、分類和相似性檢查,解決了興趣位置ROI 標記與標記數(shù)據不足的耗時問題,并通過綜合實驗驗證了該方法的優(yōu)越性。