畢 珂 ,王 茵
1. 同濟大學附屬上海市肺科醫(yī)院超聲科,上海 200433;
2. 同濟大學附屬同濟醫(yī)院病理科,上海 200065
超聲作為醫(yī)學實踐中常用的影像學技術(shù)之一,一直被應(yīng)用于臨床一線,尤其是在甲狀腺、乳腺、心血管和婦產(chǎn)等領(lǐng)域具有獨特的優(yōu)勢。與其他影像學方法相比,超聲具有實時成像、無創(chuàng)傷和無電離輻射的優(yōu)點。但是在醫(yī)師能夠正確解讀超聲圖像之前,需要經(jīng)過大量的培訓,且學習周期長、學習難度大,不同操作者對圖像的解讀具有差異性。
計算機輔助診斷(computer aided diagnosis,CAD)在超聲中的應(yīng)用應(yīng)運而生。早在20世紀60年代,就已有計算機數(shù)字圖像分析的報道[1],而近年來興起的深度學習技術(shù)正在加速CAD的推廣和應(yīng)用。
傳統(tǒng)CAD技術(shù)需要人工進行特征提取,然后將特征向量化后進行機器學習[2]。這種訓練方法易于理解,因為其結(jié)果是依據(jù)輸入的特征運算的,可以有效提高訓練的效率和準確率,降低運算的復雜度,但該方法的局限性也十分明顯,對大量數(shù)據(jù)的特征提取需要的人力成本較高,且可能出現(xiàn)人為偏倚,另外還存在一些潛在的特征不能被機器主動發(fā)現(xiàn)的問題[3]。
超聲圖像中的常見特征有形態(tài)、紋理、反向散射回波和特征描述符等[4]。
形態(tài)特征的范圍較廣,是超聲圖像人工解讀的通用特征,其中最常見的是縱橫比和邊緣光整度。
1.1.1 縱橫比
縱橫比是腫瘤良惡性分類中的重要指標。惡性病灶由于其侵襲性和對營養(yǎng)的掠奪性,呈縱向生長,縱橫比多>1,而良性病灶多呈橫向的膨脹性生長,縱橫比<1[5-8]。
1.1.2 邊緣光整度
邊緣光整度反映病灶與周圍組織的關(guān)系,惡性病灶多無包膜或包膜不完整,與周圍組織分界模糊,邊緣不光整,而良性病灶通常擁有完整的包膜結(jié)構(gòu),邊緣光整度高。這一特征可以被量化并納入CAD的計算過程中[9]。
紋理是影像學CAD中常用的特征之一,它將人眼觀察到的圖像經(jīng)過運算而量化[10],反映其中呈規(guī)律性變化的排列特征,不斷重復的、局部一致的、隨機出現(xiàn)的圖像灰度分布特點可以被用于對圖像內(nèi)容的區(qū)分[11-13]。該特征具有良好的抗噪能力,被廣泛用于對各種圖像的識別和場景的分類,但其只注重局部特征的分析和提取,不能兼顧整體圖像特征,且該方法是對排列特征的描述,不能反映圖像中物體的本質(zhì)屬性。
常用的紋理分析方法有統(tǒng)計法、結(jié)構(gòu)法和頻譜法。
1.2.1 統(tǒng)計法
統(tǒng)計法利用像素的灰階和相對位置建立“灰階共生矩陣”,計算反映圖像均勻性的“二階矩”、反映隨機性的“熵”、反映相鄰像素差異的“對比度”,進而對比不同類圖像的差異[14]。該方法最易被理解和接受,技術(shù)難度較低。
1.2.2 結(jié)構(gòu)法
結(jié)構(gòu)法將圖像中復雜的紋理結(jié)構(gòu)視為一些簡單紋理單元的有序排列,確定了紋理單元和排列方法就可以輕松地將圖像量化,從而進行統(tǒng)計對比[15]。
1.2.3 頻譜法
常用的獲取圖像頻譜的方法為“傅里葉變換”和“蓋伯變換”。若頻譜中出現(xiàn)明顯的峰值,即對應(yīng)一個明顯的紋理,其強度、方向和周期性可作為圖像識別的分類指標;另外,除去峰值的非周期性信息也可以被利用。
具有“數(shù)字顯微鏡”之稱的小波變換是另一種常用的方法,這種方法更適用于處理自然科學領(lǐng)域中的非平穩(wěn)信號[16]。小波指的是一種能量在很短的時間內(nèi)非常集中的波,它能量很小,以某一點為中心波動,可以是不規(guī)則或不對稱的,但各方向的積分最終為零。按行和列可以對圖像進行反復多次的小波分解和重構(gòu),這一過程可以不斷突出其中最具代表性的波,從而達到濾過雜波獲得小波特征的效果。
超聲成像是依據(jù)超聲波的反射實現(xiàn)的,除此之外,散射、折射也會形成獨特的圖像特征。學者們依據(jù)不同組織的反向散射回波特征建立多種模型,再將模型應(yīng)用于圖像的分析中,對比模型參數(shù)進行組織類型的分類。其中Nakagami模型和K分布模型已經(jīng)在超聲CAD中得到了廣泛的應(yīng)用[17-18]。
特征描述符這類特征是根據(jù)診斷經(jīng)驗人為規(guī)定的,是特定病種診斷中醫(yī)師關(guān)注的特點,例如乳腺影像報告和數(shù)據(jù)系統(tǒng)(Breast Imaging Reporting and Data System,BI-RADS)和甲狀腺影像報告和數(shù)據(jù)系統(tǒng)(Thyroid Imaging Reporting and Data System,TI-RADS)中提及的形狀、內(nèi)部回聲、后方回聲變化及鈣化等[19]。
1943年,McCulloch和Pitts[20]最早提出了人工神經(jīng)網(wǎng)絡(luò)、人工神經(jīng)元的概念和模型。經(jīng)過半個多世紀的發(fā)展與完善,2006年Hinton等[21]的深度學習網(wǎng)絡(luò)突破諸多瓶頸,實現(xiàn)了強大的特征學習能力。
深度學習是將普通的事物特征抽象化(將低級別特征轉(zhuǎn)化為高級別特征),從而實現(xiàn)對特征進行描述、識別和分類的一種機器學習技術(shù)。深度學習無監(jiān)督的學習方式、特征數(shù)據(jù)較強的代表性,都極大地推動了它在圖像識別、語義分析和疾病診斷等多個領(lǐng)域的發(fā)展。
與傳統(tǒng)CAD不同的是,深度學習可以不依據(jù)人工提取的特征進行后續(xù)的圖像處理。有學者[22]指出,深度神經(jīng)網(wǎng)絡(luò)提取的特征有時比人類設(shè)計的特征更有效。大量超聲CAD模型的成果構(gòu)建和優(yōu)秀的診斷能力也證明了這一點。
超聲是乳腺、甲狀腺等淺表器官最常用的影像學診斷方法,高分辨率的圖像、多模式的成像方法、便捷的操作性能使超聲成為一線診斷方法。超聲方面的CAD技術(shù)開發(fā)的也較早,基于BI-RADS、TI-RADS特征描述符的傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)分類[6-8]和新型的棧式深度多項式網(wǎng)絡(luò)集成學習框架[23]均有應(yīng)用報道,其準確率可達到90.90%~97.50%[23-24]。
頸動脈是超聲檢測動脈硬化程度最常用的區(qū)域,其內(nèi)中膜厚度是重要的指標。為了更快速、準確地獲知其厚度,有學者應(yīng)用深度學習中的自動編碼器算法進行圖像分割,從而實時獲取精準的內(nèi)中膜厚度數(shù)據(jù),誤差僅為(5.79± 34.42)μm[25]。另外,卷積神經(jīng)網(wǎng)絡(luò)模型對斑塊的脂質(zhì)核心、纖維帽、鈣化灶的檢測與臨床評估具有90%的相關(guān)性[26]。
超聲診斷的肝臟疾病包括彌漫性和局限性病變。肝纖維化作為彌漫性疾病的代表一直備受關(guān)注,Meng等[27]利用深度卷積神經(jīng)網(wǎng)絡(luò)(VGGNet和FCNet)將纖維化程度分為正常、早期和晚期三級,獲得了93.90%的準確率。Liu等[28]將彈性成像等量化數(shù)據(jù)加入分類特征中,將診斷準確率提高到了96.80%。
除了上述成果之外,更多領(lǐng)域的超聲CAD應(yīng)用結(jié)果也逐漸被報道。Hetherington等[29]將超聲CAD應(yīng)用于椎間位置的檢測,從而輔助麻醉進針位置的選?。籅urlina等[30]對肌炎、皮肌炎的超聲圖像CAD技術(shù)進行了研究,獲得了76.2%的分類準確率;Yu等[31]將超聲CAD技術(shù)用在胎兒標準平面的分析中,得到了比傳統(tǒng)方法高的準確率(93.03%)。還有更多的應(yīng)用范圍和技術(shù)手段正在探索和應(yīng)用中。
本研究總結(jié)并分析了超聲CAD技術(shù)國內(nèi)外的相關(guān)文獻,分別介紹了CAD的原理和其在超聲醫(yī)學中的應(yīng)用現(xiàn)狀。
對于傳統(tǒng)CAD技術(shù)而言,特征的人工提取對最終的性能影響最大。其中,紋理特征是最早采用的一種特征,但由于該特征很難被人眼直接解讀,需要通過軟件轉(zhuǎn)換,因此很難被接受和推廣。而形態(tài)特征因其直觀性被逐漸應(yīng)用,該特征可以將現(xiàn)有經(jīng)驗和診斷指南納入運算,再結(jié)合其他的特征描述符進一步提高診斷性能。但傳統(tǒng)CAD技術(shù)的局限性也很突出,大量的人力成本和自主探索能力的不足使其難以跟上現(xiàn)代醫(yī)學快速發(fā)展的步伐。
隨著深度學習技術(shù)的發(fā)展,新型CAD技術(shù)實現(xiàn)了利用深度學習網(wǎng)絡(luò)自主探索和提取特征,并且只需人工進行簡單的修正和校對即可完成大批量的工作。新型CAD技術(shù)極大地提高了學習效率,并實現(xiàn)了對人類未知領(lǐng)域的探索。但該技術(shù)仍有不足,類似黑匣子的深度學習網(wǎng)絡(luò)很難用人類語言解讀,給人工干預造成了極大的困難。
目前,超聲CAD的相關(guān)研究十分豐富,從淺表器官到深部臟器,圖像識別到功能探索都已有相關(guān)報道,并獲得了較好的研究成果。但這些研究都存在著標準不統(tǒng)一、數(shù)據(jù)樣本較小等不足。 綜上所述,超聲CAD技術(shù)的發(fā)展十分迅速,將會是未來超聲醫(yī)學重要的趨勢之一。隨著技術(shù)的不斷更新發(fā)展,多維度、多模式、多參數(shù)的影像學CAD系統(tǒng)日益強大,將極大地改善現(xiàn)有的臨床工作流程,有望達到醫(yī)學工學相結(jié)合、人腦電腦相融合的更高境界。