摘要:隨著人們日常生活中肺部疾病風險的增加,肺部病變篩查變得至關重要。通過CT圖像快速輔助診斷肺炎可以有效遏制病情。針對現(xiàn)有的肺部CT圖像輔助診斷方法存在數(shù)據(jù)標記量大、訓練數(shù)據(jù)耗時長以及對醫(yī)療設備計算量和內存要求高等問題,提出基于K-means與寬度學習的肺炎圖像分類算法。該算法引入K-means使寬度學習系統(tǒng)更好地提取肺部CT圖像特征,緩解隨機獲得節(jié)點權值的性能局限,建立與典型特征學習相關的寬度學習模型,并將算法針對公開數(shù)據(jù)集進行相關實驗。實驗結果表明,該模型較深度學習模型的計算量大大減小,在訓練速度方面有明顯優(yōu)勢,同時也保證了較好的分類結果,極大地降低了診斷時間;在數(shù)據(jù)有限的情況下,改進后的方法與現(xiàn)有主流方法相比獲得了更加精確的肺炎診斷結果,提出的算法更適于嵌入醫(yī)學設備等資源有限的硬件系統(tǒng)中。
關 鍵 詞:肺炎診斷; CT圖像; K-means; 寬度學習氧化鈷; 納米結構; 電容器; 電催化
中圖分類號:TP391.41
文獻標志碼:A
doi:10.3969/j.issn.1673-5862.2024.04.008
Pneumonia image classification algorithm based on K-means and broad learning
CUI Song1,2, LYU Yan1,2, CHEN Lanfeng1,2CHENG Liying1,2, GU Liru1, YAN Min1, GUAN Wenyin1, WANG Xiaowei1, ZHANG Zhimei1
(1. College of Physical Science and Technology, Shenyang Normal University, Shenyang 110034, China)(1. College of Physical Science and Technology, Shenyang Normal University, Shenyang 110034, China; 2.
Key Laboratory of Intelligent Computing in Medical Image, Ministry of Education, Shenyang 110003, China)
Abstract:As the risk of lung diseases increases in people′s daily lives, screening for lung lesions has become critical. The rapid auxiliary diagnosis of pneumonia through CT images can effectively curb the disease. In view of the existing lung CT image-assisted diagnosis methods have problems such as large amounts of data labeling, long training data consumption, and high computational and memory requirements for medical equipment, this paper proposes a pneumonia image classification algorithm based on K-means and Broad learning. This algorithm introduces K-means to enable the broad learning system to better extract lung CT image features, alleviate the performance limitations of randomly obtaining node weights, establish a broad learning model related to typical feature learning, and target the algorithm to public data sets Related experiments were conducted. Experimental results show that this model requires significantly less calculations than the deep learning model and has obvious advantages in training speed. It also ensures better classification results and greatly reduces the diagnosis time; in the case of limited data, The improved network achieves more accurate pneumonia diagnosis results compared with existing mainstream methods. Therefore, the algorithm proposed in this article is more suitable for embedding into resource-limited hardware systems such as medical equipment.
Key words:pneumonia diagnosis; CT image; K-means; broad learning
肺炎被認為是最有影響力的肺部疾病之一[1],其傳播范圍廣泛[2],不及時診斷容易導致危重病癥。在醫(yī)療負擔日益加重的情況下,快速準確的診斷有助于減緩疾病的傳播,對于控制病情至關重要。胸部CT掃描可以發(fā)現(xiàn)肺炎感染引起的肺部表現(xiàn)的磨玻璃影(ground-glass opacity,GGO)或雙側斑片狀影等特征[3],已被證實可作為一種快速準確的肺炎篩查方法[4]。根據(jù)肺炎的CT圖像進行輔助診斷的任務中,為了克服深度學習模型訓練用時長、對數(shù)據(jù)集要求較高等問題,本文探索了基礎BLS(broad learning system)在CT圖像分類任務上的應用效果,在分析其實驗結果的基礎上,提出一種基于寬度學習的快速分類方法,使模型在較短的計算時間內達到滿意的精度。由于寬度學習模型較為簡單,不能很好地處理具有高度相似性的CT圖像,因此本文在基礎快速診斷模型的基礎上,提出了一種基于K-means與寬度學習的肺炎圖像分類算法。
1 肺炎輔助診斷技術
在醫(yī)學圖像處理領域,AI可以有效地對不同的醫(yī)學圖像進行分類,輔助醫(yī)生進行診斷,有效地降低誤診率。目前已經有許多基于深度學習的方法被用于肺部疾病的研究。Gozes等[5]將不同維度的深度模型與臨床醫(yī)學結合起來,實現(xiàn)了肺炎的自動化診斷,在270個切片上評估了檢測切片級冠狀病毒的能力。Pathak等[6]提出了一種用于肺炎診斷的深度模型,從852次CT掃描中創(chuàng)建了一個實驗數(shù)據(jù)集,并使用先進的監(jiān)督學習方法對結果進行討論。Mortani等[7]使用邏輯回歸和隨機森林解釋特征以實現(xiàn)大型多中心隊列中的肺炎自動化診斷,并在包含2 446個胸部CT掃描的數(shù)據(jù)集上進行實驗。Wang等[8]利用CNN提取特定圖形特征用于肺炎CT圖像篩查,分析了2名放射科醫(yī)生檢查的1 065張具有代表性的圖像,在小規(guī)模數(shù)據(jù)集的情況下,檢測準確率達到了89.5%。當前基于小規(guī)模數(shù)據(jù)集的肺炎檢測研究仍占很大比例,但如果沒有高質量的數(shù)據(jù),深度學習模型將無法更好地發(fā)揮作用[9-10]。
在設計模型的策略上,雖然許多不同類型的深度學習方法為肺炎的診斷帶來了新的思路,表明了深度模型在各種應用中具有強大的功能,DCNN的卷積層非常適合從圖像中提取圖像特征,但由于各自的局限性,也面臨著不可避免的挑戰(zhàn),如需要巨大的數(shù)據(jù)支持、更高的并行編程技能以及更多更好的硬件支持才能實現(xiàn)算法的實時性。此外,大多數(shù)深度學習算法不具備增量學習的能力。由于疾病的不斷變化,模型需要基于更新的數(shù)據(jù)集進行重新訓練,致使檢測結果延遲從而導致感染的傳播和醫(yī)療成本的增加。小規(guī)模數(shù)據(jù)集可以減輕模型和硬件設備的負擔,但如何利用小規(guī)模數(shù)據(jù)實現(xiàn)更好的模型性能仍然是一個有待解決的問題。
本文針對上述在肺炎分類中遇到的樣本有限且標注困難、CT圖像具有全局相似和局部差異的典型特征、診斷過程復雜且效率低下、現(xiàn)有診斷模型對硬件設備要求較高等一系列問題,利用寬度學習系統(tǒng)設計輕量化的快速輔助診斷模型,并針對肺部CT圖像的特點引入K-means的特征提取算法,將CT圖像的顯著信息與全局信息有效結合以緩解寬度學習系統(tǒng)的局限性,實現(xiàn)肺炎的快速診斷。
2 基于K-BLS的肺炎圖像分類算法
2.1 寬度學習理論的基礎
寬度學習系統(tǒng)具有特殊的網(wǎng)絡結構,能夠充分考慮不同層次的特征。整個網(wǎng)絡由輸入、特征節(jié)點、增強節(jié)點和輸出組成。寬度學習系統(tǒng)結構如圖1所示。傳統(tǒng)的神經網(wǎng)絡學習需要在訓練過程中調整隱層的權重。神經網(wǎng)絡作為黑盒程序通常不為用戶所知,缺乏理論可解釋性。而BLS的隱層節(jié)點的參數(shù)可以按照任意連續(xù)的概率分布隨機生成,利用隨機隱層權值將原始樣本映射到由這些向量構成的判別特征空間中,這種隨機機制可以為BLS提供更加快速的訓練過程。該網(wǎng)絡在原有結構的基礎上還可以有相應的變體,包括矩陣乘法節(jié)點、模糊規(guī)則、流形嵌入、嶺多項式、多核函數(shù)、小波函數(shù)等。
本文選擇訓練效率較高且具有通用逼近能力的BLS。首先根據(jù)任意連續(xù)概率分布隨機生成隱層節(jié)點權值,對原始數(shù)據(jù)進行特征映射,將其映射到更高效的特征空間。然后將得到的特征節(jié)點映射為增強節(jié)點,進行寬度上的結構擴展。最后將所有映射的特征節(jié)點和增強節(jié)點連接到輸出中,利用偽逆的嶺回歸來尋找所需的連接權值,取得分類結果。寬度學習作為一種扁平化結構可以使輸入數(shù)據(jù)和輸出數(shù)據(jù)直接相關,通過增強節(jié)點的非線性映射,可以提高整個網(wǎng)絡的擬合能力和穩(wěn)定性。
2.2 K-means模塊
K-means算法是最經典的基于分區(qū)的聚類方法,被廣泛應用于許多領域,在圖像處理中具有良好的學習和特征表示能力[11]。K-means聚類算法采用迭代思想,其目標是將樣本數(shù)據(jù)分成k類[12],構造k個向量的字典來恢復樣本xi∈RM,i=1,…,N。隨機初始化k個樣本中心點,不斷迭代優(yōu)化聚類中心點,得到k個質心μi,使以下近端問題最小化,表達式如式(1)。
K-means的訓練過程如下:
1)輸入歸一化:對于每個輸入x(i)減去強度的平均值并除以標準偏差,表達式如式(2)。
其中,(i)是未標準化的圖像塊;“mean”和“var”是(i)元素的平均值和方差。在分母添加了常數(shù)項10是為了避免除0,同時抑制噪聲。
2)ZCA白化處理:對圖像進行白化處理表達式如式(3)和式(4)所示。
其中:cov是輸入的協(xié)方差;eig是輸入的特征值分解(eigenvalue decomposition);εzca是一個常數(shù)(本文設為0.1)。ZCA白化可以消除聚類質心之間的相關性。
3)循環(huán)運算直至收斂:不斷優(yōu)化x(i)和D直至收斂。
4)使用學習到的特征提取器f(x;D)計算圖像塊的表示。將函數(shù)f應用于許多子塊來定義整個圖像的(單層)表示,特征向量f(x;D)表示為式(5)。
式中D(j)為第j個簇類質心;dj為圖像塊x與第j個簇類質心的距離;k為聚類質心的個數(shù)。映射完成后,每個圖像塊都被轉換成一個k維向量。
2.3 基于K-means與寬度學習的圖像分類算法
本文提出的K-BLS算法模型包括3個部分,首先對輸入數(shù)據(jù)預處理以剔除干擾區(qū)域,然后引入K-means算法進行特征提取,彌補寬度學習系統(tǒng)應用于復雜圖像時的局限性,最后將特征數(shù)據(jù)輸送到寬度學習模塊,自適應選擇特征進行高效的診斷,整體框架描述如圖2所示。
醫(yī)學圖像的預處理可以幫助減少系統(tǒng)任務、提高準確率,消除不必要的信息,本方法中將數(shù)據(jù)中每個切片大小裁剪到固定大小,以占用較少內存量的同時不丟失肺部感興趣信息,而不是直接將整個切片縮小到指定尺寸,然后剔除肺實質以外的區(qū)域,預處理操作可以完全去除多余的干擾。每步的處理結果如圖3所示,詳細的預處理步驟如下:
1)將患者的每個切片裁剪到指定大小:在拍攝CT時,輸入的圖像包含一些不必要的信息。因此,預處理對于消除這些不需要的信息至關重要。將CT數(shù)據(jù)中每個切片的大小裁剪為固定值,可以減少內存的使用。
2)對切片進行二值化處理:將256個亮度等級的灰度圖像上的像素點的灰度值設置為0或255,使其變成可以反映圖像整體和局部特征的二值化圖像。
3)尋找每個切片的最大連通域:連通域是相同像素值的相鄰像素組成的集合,將每個連通域設置一個標記,就完成了連通域分析。在本步驟中,對標記好的連通域取最大連通域,去除其他小面積連通域。
4)填充連通域內孔洞:對最大連通域內部的黑色像素部分(孔洞)進行填充操作。
5)去除對應二值化后的切片中的無關區(qū)域:將孔洞填充后的圖像與原灰度圖相乘,保留填充區(qū)域內的原有灰度圖像信息,實現(xiàn)干擾區(qū)域的剔除。
通過這種方法,可以使背景為零,并消除肺實質外區(qū)域的干擾。圖3顯示了預處理所涉及的不同步驟。圖3中(a)為輸入切片樣本,(b)為二值化圖像,(c)為最大連通分量,(d)為填充圖像,(e)為輸入圖像對應部分。
3 實驗結果與分析
本文在CC-CCII數(shù)據(jù)集上對算法進行實驗并對算法的有效性和快速性進行分析。
3.1 實驗參數(shù)設置
參數(shù)設置涉及特征提取的K-means和寬度學習系統(tǒng)2個部分,K-means質心個數(shù)k=1 500,迭代次數(shù)為50。寬度學習中超參數(shù)較少,主要有特征窗口的數(shù)量(N1)、每個特征窗口內的節(jié)點數(shù)(N2)和增強節(jié)點數(shù)(N3)。在實驗中對于寬度學習節(jié)點數(shù)量的設置,本文采用網(wǎng)格搜索的方式,確定最優(yōu)節(jié)點數(shù)N1=100,N2=8,N3=2 000。
3.2 有效性分析
將本文提出算法與現(xiàn)有的主流方法進行分類能力的比較,包括2個版本的堆疊自動編碼器SAE(stacked autoencoder)[13]和SDA(stacked denoising autoencoders)[14],DBN(deep belief networks)[15],基于多層感知器的方法(multi-layer perceptron,MLP)[16],DBM(deep boltzmann machine)[17],2種基于極限學習機(exteme learning machine,ELM)的多層結構,分別記為MLELM(multi-layer extreme learning machine)[18]和HELM(hierarchical exgteme learning machine)[19]。除了HELM和MLELM外,上面提到的所有方法都是深度結構,是基于反向傳播對超參數(shù)進行調優(yōu)的,將反向傳播的初始學習率設置為0.1,每個學習周期的衰減率設置為0.95,基于ELM網(wǎng)絡的MLELM的正則化參數(shù)分別設置為10-1、103和108,HELM的懲罰參數(shù)設置為108,上述方法和本文提出的K-BLS的測試準確率和訓練時間見表1。
根據(jù)表1數(shù)據(jù)可以得到如下結論:
1)基礎寬度學習模型在CC-CCII數(shù)據(jù)集的測試準確率只有69.58%,但訓練時間非???,僅需要68.13 s。與其他模型對比發(fā)現(xiàn),此實驗條件下的DBM訓練速度是用時最長的,是BLS的1 542.51倍,用時較短的是HELM,是BLS的3.57倍,所以BLS在訓練速度上有較大優(yōu)勢。
2)本文提出的K-BLS在測試準確率上與基礎BLS相比有了較大提升,達到了79.86%,但由于K-means 迭代處理圖像的過程比較耗時,K-means方法的引入使K-BLS模型的訓練時間增加到了442.85 s,但仍在可接受的范圍之內。K-BLS的訓練速度是DBM的1/237.31,接近HELM的2倍。雖然K-BLS在訓練時間上與MLELM和HELM模型相比不占優(yōu)勢,但對應的測試準確度有大幅提升,因此K-BLS與其他算法模型綜合比較仍然占明顯的優(yōu)勢。
4 結語
本文提出了一種基于寬度學習改進的肺炎圖像分類算法(K-BLS)。在算法設計中采用了傳統(tǒng)機器學習算法與寬度學習方法結合的方式,傳統(tǒng)的K-means算法從特征提取的角度,彌補了寬度學習對具有全局相似性的肺部CT圖像進行特征映射的局限,而寬度學習系統(tǒng)的使用極大緩解了模型訓練速度慢、參數(shù)量大計算量重的問題。本文模型能夠很好地結合二者的優(yōu)勢,減少數(shù)據(jù)的計算量以及降低對醫(yī)療設備內存的要求,更適于嵌入醫(yī)療設備。通過實驗結果驗證了K-BLS在圖像分類的訓練速度和測試準確度上均有一定優(yōu)勢,提升了模型的整體性能,能夠快速準確地對肺部CT圖像進行分類診斷,對篩查和診斷肺部病變具有重要的臨床應用意義。但由于寬度學習的架構特點,使得其在某些特定的場景下面臨提取特征不足的風險,如何更好地提升寬度學習的特征提取能力仍是有待進一步研究的問題。
參考文獻:
[1]MILLER M.2019 novel coronavirus COVID-19(2019-ncov)data repository:Johns Hopkins university center for systems science and engineering[J].Bull-Assoc Can Map Libr Arch,2020,164:47-51.
[2]WU Z Y,MCGOOGAN J M.Characteristics of and important lessons from the coronavirus disease 2019(COVID-19)outbreak in China:Summary of a report of 72 314 cases from the Chinese Center for Disease Control and Prevention[J].JAMA,2020,323(13):1239-1242.
[3]HUANG C L,WANG Y,LI X W,et al.Clinical features of patients infected with 2019 novel coronavirus in Wuhan,China[J].The Lancet,2020,395:497-506.
[4]FANG Y C,ZHANG H Q,XIE J C,et al.Sensitivity of chest CT for COVID-19:Comparison to RT-PCR[J].Radiology,2020,296(2):E115-E117.
[5]GOZES O,F(xiàn)RID-ADAR M,GREENSPAN H,et al.Rapid AI development cycle for the coronavirus(COVID-19)pandemic:Initial results for automated detection amp; patient monitoring using deep learning ct image analysis[J/OL].[2024-02-16].https:∥arxiv.org/abs/2003.05037v2.
[6]PATHAK Y,SHUKLA P K,TIWARI A,et al.Deep transfer learning based classification model for COVID-19 disease[J].IRBM,2022,43(2):87-92.
[7]MORTANI BARBOSE E J,GEORGESCU B,CHAGANTI S,et al.Machine learning automatically detects COVID-19 using chest CTs in a large multicenter cohort[J].Eur Radiol,2021,31(11):8775-8785.
[8]WANG S,KANG B,MA J L,et al.A deep learning algorithm using CT images to screen for corona virus disease(COVID-19)[J].Eur Radiol,2021,31:6096-6104.
[9]GUDIGAR A,RAGHAVENDRA U,NAYAK S,et al.Role of artificial intelligence in COVID-19 detection[J].Sensors,2021,21(23):8045.
[10]SUBRAMANIAN N,ELHARROUSS O,AL-MAADEED S,et al.A review of deep learning-based detection methods for COVID-19[J/OL].[2024-02-08].https:∥www.ncbi.nlm.nih.gov/pmc/articles/PMC8798789.
[11]COATES A,Ng A Y.Learning feature representations with k-means[M]∥Neural Networks:Tricks of the Trade,2nd Edition.Berlin:Springer,2012:561-580.
[12]劉亞瓊.基于寬度學習系統(tǒng)的圖像分類方法研究[D].重慶:重慶大學,2021.
[13]HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313:504-507.
[14]VINCENT P,LAROCHELLE H,BENGIO Y,et al.Extracting and composing robust features with denoising autoencoders[C]∥Proceedings of the 25th International Conference on Machine Learning.Helsinki:ICML,2008:1096-1103.
[15]HINTON G E,OSINDERO S,TEH Y W.A fast learning algorithm for deep belief nets[J].Neural Comput,2006,18(7):1527-1554.
[16]BISHIP C M.Pattern recognition and machine learning(information science and statistics)[M].New York:Springer,2007.
[17]SALAKHUTDINOV R,LAROCHELLE H.Efficient learning of deep Boltzmann machines[C]∥Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics.Sardinia:JMLR,2010:693-700.
[18]CAMBRIA E,HUANG G B,KASUN L L C,et al.Extreme learning machines[trends amp; controversies][J].IEEE Intell Syst,2013,28(6):30-59.
[19]TANG J X,DENG C W,HUANG G B.Extreme learning machine for multilayer perceptron[J].IEEE TNNLS,2015,27(4):809-821.
【責任編輯:孫 可】