謝新林，肖毅，續(xù)欣瑩*

（1.太原科技大學(xué) 電子信息工程學(xué)院，太原 030024； 2.先進控制與裝備智能化山西省重點實驗室（太原科技大學(xué)），太原 0 30024； 3.太原理工大學(xué) 電氣與動力工程學(xué)院，太原 030024）（?通信作者電子郵箱xuxinying@tyut.edu.cn）

基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類算法

謝新林1，2，肖毅3，續(xù)欣瑩3*

（1.太原科技大學(xué) 電子信息工程學(xué)院，太原 030024； 2.先進控制與裝備智能化山西省重點實驗室（太原科技大學(xué)），太原 0 30024； 3.太原理工大學(xué) 電氣與動力工程學(xué)院，太原 030024）（?通信作者電子郵箱xuxinying@tyut.edu.cn）

肺結(jié)節(jié)分類是早期肺癌診斷的重要任務(wù)?；谏疃葘W(xué)習(xí)的肺結(jié)節(jié)分類方法雖然能夠取得良好的分類精度，但存在模型復(fù)雜和可解釋性差的問題。為此，提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類算法。首先，將注意力殘差卷積cell作為搜索空間的基本單元，并使用偏序剪枝方法作為搜索策略來構(gòu)建神經(jīng)網(wǎng)絡(luò)架構(gòu)以搜索3D分類網(wǎng)絡(luò)，從而達到網(wǎng)絡(luò)性能和搜索速度的平衡。其次，在網(wǎng)絡(luò)中構(gòu)建了多尺度通道和空間注意力模塊來提高特征描述和類別推理的可解釋性。最后，采用堆疊法將搜索到的網(wǎng)絡(luò)架構(gòu)進行多模型的融合，從而獲取精準(zhǔn)的肺結(jié)節(jié)良惡性分類預(yù)測結(jié)果。實驗結(jié)果表明，在肺結(jié)節(jié)分類常用數(shù)據(jù)集LIDC-IDRI上，所提算法與最新肺結(jié)節(jié)分類算法相比具有較好的分類性能和較快的收斂，且所提算法的特異性和精確率分別達到95.37%和93.42%，能夠?qū)崿F(xiàn)良惡性肺結(jié)節(jié)的準(zhǔn)確分類。

肺結(jié)節(jié)分類；神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索；注意力模塊；多模型融合；深度學(xué)習(xí)

0 引言

全世界范圍內(nèi)肺癌導(dǎo)致的死亡病例越來越多，僅2018年就報告了超過200萬例確診肺癌病例，其中死亡人數(shù)達到170萬人以上［1］。肺結(jié)節(jié)是肺癌的早期表現(xiàn)，肺結(jié)節(jié)的精確診斷和早期發(fā)現(xiàn)能夠極大提高患者的存活率。肺結(jié)節(jié)分類，即肺結(jié)節(jié)良惡性識別，作為肺結(jié)節(jié)精確診斷的重要任務(wù)，具有重要的研究價值和社會意義。計算機斷層掃描（Computed Tomography， CT）［2］作為有效和可靠的肺癌檢查方式，能夠直觀地描述病灶的形態(tài)特征。但肺癌的診斷依賴于大量的圖像數(shù)據(jù)，且肺結(jié)節(jié)形態(tài)特征復(fù)雜、易受無關(guān)組織和器官的干擾，單靠醫(yī)生進行人工診斷不僅費時費力而且存在誤診和漏診的風(fēng)險。

傳統(tǒng)的肺結(jié)節(jié)分類算法大都基于手工提取的特征進行肺結(jié)節(jié)類別的預(yù)測，但該類方法因特征表示能力的局限性導(dǎo)致分類錯誤率較高。近幾年，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法被廣泛地應(yīng)用于肺結(jié)節(jié)良惡性的判斷，并顯著地推動了早期肺癌的精確診斷。然而，手動設(shè)計復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)非常耗費計算資源，且嚴(yán)重依賴研究人員的先驗知識。此外，現(xiàn)有的基于深度學(xué)習(xí)的肺結(jié)節(jié)分類方法參數(shù)較多，且無法很好地解釋每個參數(shù)的含義以及模型的運行機制，可解釋性較差。

基于上述問題，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類算法。本文所提算法的主要工作在于：1）提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類方法，將卷積cell作為組成網(wǎng)絡(luò)架構(gòu)的基本單元，并采用偏序枝剪進行網(wǎng)絡(luò)架構(gòu)的尋優(yōu)。2）將通道注意力和空間注意力機制加入到卷積cell中，構(gòu)建多尺度通道和空間注意力模塊來提高不同尺度語言信息的提取效果。3）構(gòu)建了一種基于堆疊法的多模型融合策略，融合搜索到的多個網(wǎng)絡(luò)模型和支持向量機（Support Vector Machine， SVM）分類器，以達到更加精確的分類效果。

1 相關(guān)工作

肺結(jié)節(jié)分類的準(zhǔn)確率很大程度上影響醫(yī)生的診斷結(jié)果，傳統(tǒng)的基于機器學(xué)習(xí)的肺結(jié)節(jié)分類方法首先構(gòu)造手工特征，然后基于手工特征進行分類模型的學(xué)習(xí)。例如，李祥霞等［3］將提取的形態(tài)和紋理特征點輸入隨機游走算法中來分割肺結(jié)節(jié)，并使用隨機森林算法預(yù)測良惡性；強彥等［4］提出了雙向隸屬度模糊支持向量機算法進行肺結(jié)節(jié)良惡性分類，并通過計算樣本與中心點的距離得到每個類別的隸屬度；高峰等［5］使用Bootstrap算法集成支持向量機的分類結(jié)果構(gòu)造高精度的分類器；張婧等［6］提出了基于規(guī)則的方法篩選候選結(jié)節(jié)，然后計算形態(tài)和紋理特征用于肺結(jié)節(jié)分類模型的學(xué)習(xí)。該類方法受限于低水平手工設(shè)計特征的表示能力和分類器模型的學(xué)習(xí)能力，很難獲得高水平的分類精度。

近年來，基于深度學(xué)習(xí)的肺結(jié)節(jié)分類方法受到了廣泛的關(guān)注。其中，Shen等［7］提出了一種采用多裁剪池化層的深度卷積網(wǎng)絡(luò)，并通過裁剪出的不同特征圖的結(jié)節(jié)特征信息來實現(xiàn)肺結(jié)節(jié)良惡性分類建模；Xie等［8］提出了一種融合紋理、形狀和深度學(xué)習(xí)特征的分類模型來實現(xiàn)肺結(jié)節(jié)分類；Xie等［9］還提出了一種基于多視圖知識協(xié)作的胸部CT肺結(jié)節(jié)分類算法，將三維結(jié)節(jié)用9個二維視圖來表示，并使用3種圖像塊來表征結(jié)節(jié)的特征進行肺結(jié)節(jié)良惡性分類。然而，基于深度學(xué)習(xí)的肺結(jié)節(jié)分類方法需要大量的專業(yè)知識和設(shè)計經(jīng)驗，且存在參數(shù)多和模型運行機制可解釋性差等問題。

2 本文所提分類算法

針對現(xiàn)有基于深度學(xué)習(xí)的方法存在的參數(shù)多且模型可解釋性差等問題，本文提出了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類算法，如圖1所示。本文所提算法使用神經(jīng)架構(gòu)搜索（Neural Architecture Search， NAS）技術(shù)設(shè)計網(wǎng)絡(luò)，并在網(wǎng)絡(luò)中構(gòu)建多尺度注意力模塊，最后將搜索到的網(wǎng)絡(luò)框架進行多模型融合。具體的實現(xiàn)過程如下。

圖1 基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類算法框架Fig. 1 Framework of lung nodule classification algorithm based on neural network architecture search

2.1 多尺度注意力模塊構(gòu)建

本文采用多尺度通道和空間注意力機制（Multi-Scale Spatial and Channel Attention Mechanism， MS-SCAM）同時關(guān)注通道注意力和空間注意力。給定特征圖F，輸入通道注意力模塊得到一維通道注意力向量，通道注意力表征了每個通道的重要性。輸入空間注意力模塊得到3D空間注意力向量，用來表征每個位置的重要性。

整個過程的計算如下。

通道注意力：

空間注意力：

其中：G（F）為全局通道注意力；L（F）為本地通道注意力；S（F）為空間注意力。

2.2 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索機制

2.2.1 搜索空間

遵循神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索方法中微型搜索空間［10］的思路，本文將注意力殘差卷積cell作為基本單元來構(gòu)造搜索空間。為了搜索到性能更好的網(wǎng)絡(luò)架構(gòu)，本文通過堆疊cell的數(shù)量增加網(wǎng)絡(luò)的深度。在注意力殘差卷積cell的構(gòu)建中，每個cell的內(nèi)部結(jié)構(gòu)是由n個節(jié)點構(gòu)成的有向圖，如圖2所示。其中，前兩個節(jié)點為輸入，中間的個節(jié)點為中間節(jié)點，最后有一個為輸出節(jié)點。

圖2 注意力殘差卷積cell示意圖Fig. 2 Schematic diagram of attention residual convolution cell

前兩層cell的輸出作為第k層cell的兩個輸入，其中和代表第k層cell的第1個節(jié)點和第2個節(jié)點。

輸出節(jié)點為中間節(jié)點的concat連接：

當(dāng)上一層的輸出與當(dāng)前層的輸出通道數(shù)相同時，直接將上層輸出輸入到多尺度通道和空間注意力模塊。當(dāng)通道數(shù)不同時，首先對上一層輸出進行上采樣，使其與當(dāng)前層的輸出具有相同的通道數(shù)。通過注意力殘差卷積cell，當(dāng)前層輸出的特征將包含更豐富的語義信息。

如圖1所示，本文預(yù)先設(shè)定的基于注意力殘差卷積cell的搜索空間的6個實現(xiàn)階段分別為：第1～5階段以若干個注意力殘差卷積cell與多尺度通道和空間注意力模塊對輸入特征圖進行卷積，第6階段使用全局平均池化層和全連接層生成最終的分類預(yù)測。由于第1～2階段在較大的特征圖上提取低級特征，網(wǎng)絡(luò)層數(shù)過多會加重架構(gòu)搜索的負(fù)擔(dān)。

為了提高網(wǎng)絡(luò)的搜索效率，本文在前兩個階段僅使用兩個卷積層，即Conv1和Conv2。在第3～5階段，每個階段都由L、M和N個殘差塊組成，其中L、M和N是整數(shù)。殘差塊由兩個卷積層和一個多尺度通道和空間注意力模塊組成，后面殘差塊的通道數(shù)一般大于前面殘差塊的通道數(shù)。

2.2.2 搜索策略

本文使用搜索空間偏序枝剪（Partial Order Pruning， POP）策略［11］，以獲得搜索速度和性能的均衡。POP策略的核心是偏序關(guān)系，搜索空間中架構(gòu)之間的偏序關(guān)系，通過這種關(guān)系定義結(jié)構(gòu)之間的先后順序。偏序是集合論中的概念，在集合中若x比y更淺更窄則x為y的前序，前序具有更快的速度和更低的精度。

在具體的實現(xiàn)過程中，本文通過以下限制條件來降低搜索空間的復(fù)雜度：

所有候選模型不超過9個殘差塊，并且每個殘差塊不超過128個通道。經(jīng)過枝剪的搜索空間迭代搜索得到網(wǎng)絡(luò)架構(gòu)，并依據(jù)準(zhǔn)確率更新搜索空間，直到搜索到準(zhǔn)確率和速度均衡的架構(gòu)。

2.3 多模型融合

由于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索過程的隨機性，每次搜索到的模型性能也會存在差異。為了盡可能在有限的計算資源條件下獲得性能最優(yōu)的模型，本文提出了一種多模型融合的算法。具體的實現(xiàn)過程如圖3所示。

圖3 多模型融合算法流程Fig. 3 Flow chart of multi-model fusion algorithm

首先針對搜索的每一個網(wǎng)絡(luò)架構(gòu)分別訓(xùn)練網(wǎng)絡(luò)模型，然后根據(jù)模型測試結(jié)果篩選效果較好的幾個模型［12-13］作為基本框架。

2.3.1 基于加權(quán)投票的多模型融合

為了改善模型的測試結(jié)果，本文采用投票法對多個網(wǎng)絡(luò)搜索架構(gòu)進行模型融合。首先，以訓(xùn)練搜索到的5個性能較好的網(wǎng)絡(luò)模型作為基本模型，對于每個網(wǎng)絡(luò)返回的肺結(jié)節(jié)良性和惡性類別的概率預(yù)測，分別針對良性和惡性每個類別計算每個模型分類概率的加權(quán)平均值。權(quán)重根據(jù)模型測試的F1分?jǐn)?shù)計算，按照加權(quán)平均概率投票進行模型融合，權(quán)重計算式如下：

對于惡性和良性兩個類別分別計算出5個模型的加權(quán)平均概率Pmalignant和Pbenign，計算式為式（9）、（10）所示，通過投票表決取所得加權(quán)平均概率較高的類別為最終分類結(jié)果。

2.3.2 基于堆疊法的多模型融合

為了構(gòu)建基于堆疊法的多模型融合肺結(jié)節(jié)分類方法，本文構(gòu)建了兩層的堆疊模型。第一層對所有神經(jīng)架構(gòu)搜索模型在初始訓(xùn)練數(shù)據(jù)集上訓(xùn)練，并采用10折交叉驗證，將預(yù)測結(jié)果作為輸入第二層的訓(xùn)練數(shù)據(jù)集進行訓(xùn)練，二級分類器使用SVM模型。

如圖4所示，基于堆疊法的多模型融合的步驟為：1）5個性能較好的搜索架構(gòu)模型均在訓(xùn)練數(shù)據(jù)集上進行訓(xùn)練，進行10折交叉驗證，其中9折為訓(xùn)練集，1折為驗證集；2）將訓(xùn)練集上每一折的預(yù)測結(jié)果拼接為由5個變量組成的新的訓(xùn)練集；3）在測試集上對10折測試結(jié)果取平均值，每個模型的預(yù)測結(jié)果拼接為由5個變量組成的新的測試集；4）在新的訓(xùn)練集上進行訓(xùn)練，使用SVM分類器預(yù)測結(jié)果作為最終分類結(jié)果，得到訓(xùn)練好的完整的網(wǎng)絡(luò)模型。第二層模型采用的SVM分類器通過網(wǎng)格搜索法確定最優(yōu)的參數(shù)C和γ。

圖4 基于堆疊法的多模型融合步驟Fig. 4 Steps of multi-model fusion based on stacking

3 實驗與結(jié)果分析

3.1 數(shù)據(jù)集和參數(shù)配置

本文選用的數(shù)據(jù)集為符合LUNA16相關(guān)設(shè)置的LIDC-IDRI數(shù)據(jù)集［7］。LUNA16是LIDC-IDRI數(shù)據(jù)集的子集，該子集刪除了切片厚度大于3 mm，切片間距不一致或丟失的CT掃描，還刪除了小于3 mm的帶標(biāo)注結(jié)節(jié)，其中包含了888例病例圖像。根據(jù)LIDC-IDRI數(shù)據(jù)集的注釋，直徑等于或大于3 mm的結(jié)節(jié)最多由4位放射科醫(yī)生勾勒出輪廓，且每個結(jié)節(jié)按良惡性程度被劃分為5個等級（1～5，其中1表示惡性程度最低，5表示惡性程度最高）。

本文數(shù)據(jù)集選取平均評分小于3的結(jié)節(jié)為良性肺結(jié)節(jié)，平均評分大于3的結(jié)節(jié)為惡性肺結(jié)節(jié)，并且刪除平均評分為3的結(jié)節(jié)，共包含1 004個肺結(jié)節(jié)，其中有554個良性結(jié)節(jié)和450個惡性結(jié)節(jié)，并使用其中900個樣本作為訓(xùn)練集，另外104個樣本作為驗證集。

實驗環(huán)境的硬件配置為PR2720G服務(wù)器，包含型號為Intel Xeon E5-2620的32核CPU，64 GB內(nèi)存，12 GB顯存的TITAN Xp GPU；軟件配置為在Ubuntu 18.04系統(tǒng)及Pytorch框架Python3.6環(huán)境下運行。

3.2 評價指標(biāo)

本文采用準(zhǔn)確率（Accuracy， Acc.）、敏感性（Sensitivity， Sens.）、特異性（Specificity， Spec.）、精確率（Precision， Pre.）、AUC和F1值等常用的圖像分類評估標(biāo)準(zhǔn)作為評價指標(biāo)，以全面評價本文所提算法的分類性能。

準(zhǔn)確率表示總的樣本數(shù)中類別預(yù)測正確的樣本數(shù)所占的比例：

敏感性又稱召回率（Recall），表征的是正樣本里預(yù)測正確的比例：

特異性表示負(fù)樣本里預(yù)測正確的比例：

精確率表示預(yù)測樣本中預(yù)測正確的樣本占該預(yù)測樣本總數(shù)的比例：

AUC是接收器工作特性曲線下的面積，反映的是分類器的分類能力。F1值是精確率和召回率的平均值：

3.3 注意力機制對算法性能的影響

在LIDC-IDRI數(shù)據(jù)集上，驗證MS-SCAM模塊、注意力殘差卷積cell和集成策略對算法性能的影響。

首先，本文使用神經(jīng)架構(gòu)搜索（NAS）技術(shù)，從網(wǎng)絡(luò)架構(gòu)中刪除MS-SCAM模塊，并使用常規(guī)的卷積cell作為搜索空間的基本單元，然后以搜索到的最佳網(wǎng)絡(luò)架構(gòu)作為基準(zhǔn)模型。

之后，依次加入MS-SCAM模塊、注意力殘差卷積cell和集成策略來構(gòu)建分類網(wǎng)絡(luò)模型，具體的分類性能如表1所示，加粗?jǐn)?shù)據(jù)表示最好的分類結(jié)果。

表1 不同策略下的消融實驗結(jié)果 單位：%Tab. 1 Ablation experimental results under different strategies unit：%

由表1可知，加入MS-SCAM模塊和集成策略（integrated）后使F1值比加入前分別提高了1.41個百分點和2.01個百分點，同時加入兩者使F1值提高了2.09個百分點。實驗結(jié)果表明，本文所提算法框架中的MS-SCAM模塊和集成策略可以提高基準(zhǔn)模型的性能，有助于獲得高的肺結(jié)節(jié)分類準(zhǔn)確率。

其次，為了驗證MS-SCAM模塊的作用，本文首先刪除了MS-SCAM模塊進行網(wǎng)絡(luò)模型訓(xùn)練，然后依次在第3～5階段添加MS-SCAM模塊來觀察分類性能的變化。加入不同數(shù)量MS-SCAM模塊后模型的分類性能如表2所示。

表2 MS-SCAM模塊數(shù)對分類性能的影響 單位：%Tab. 2 Influence of number of MS-SCAM modules on classification performance unit：%

由表2可以看出，添加了MS-SCAM模塊的第3～5階段效果最佳，表明本文添加了MS-SCAM模塊能夠提高分類算法的分類精度。

此外，本文還驗證了MS-SCAM模塊中通道注意力和空間注意力的順序?qū)λ惴ㄐ阅艿挠绊?，并分別構(gòu)建了“通道注意力+空間注意力”和“空間注意力+通道注意力”兩種不同的模塊，模塊結(jié)構(gòu)如圖5所示，驗證結(jié)果如表3所示。

表3 通道注意力和空間注意力順序?qū)Ψ诸愋阅艿挠绊?單位：%Tab. 3 Influence of order of channel attention and spatial attention on classification performance unit：%

圖5 通道注意力和空間注意力順序設(shè)置示意圖Fig. 5 Schematic diagram of order setting of channel attention and spatial attention

由表3可知，“通道注意力+空間注意力”設(shè)置方式在除特異性外的所有性能評價指標(biāo)上均得到了更好的結(jié)果，表明“通道注意力+空間注意力”構(gòu)造的MS-SCAM模塊具有更好的分類性能，能夠提高肺結(jié)節(jié)的分類精度。原因在于通道注意力主要聚焦于輸入圖像的有效特征，空間注意力主要聚焦于輸入圖像有效特征的豐富性。

3.4 神經(jīng)架構(gòu)搜索對算法性能的影響

本文以文獻［14］提出的去掉CBAM模塊后的搜索空間作為基本搜索空間，記為NASpure，依次替換殘差卷積cell構(gòu)造搜索空間和使用偏序枝剪策略進行架構(gòu)搜索，結(jié)果如表4所示。

由表4可知，相較于NASpure，使用殘差卷積cell替換普通的卷積作為搜索空間基本單元，模型準(zhǔn)確率、敏感性、特異性、精確率、AUC和F1分?jǐn)?shù)分別提高了0.51、0.99、1.50、0.81、1.76和1.97個百分點；使用偏序枝剪搜索策略使得模型準(zhǔn)確率、敏感性、特異性、精確率、AUC和F1分?jǐn)?shù)分別提高了0.24、0.55、0.87、0.35、0.40和1.15個百分點；同時使用殘差卷積cell和偏序枝剪搜索策略使得模型準(zhǔn)確率、敏感性、特異性、精確率、AUC和F1分?jǐn)?shù)分別提高了0.53、2.82、4.01、1.87、3.02和2.51個百分點。因此，本文所提殘差卷積cell和偏序枝剪搜索策略能夠提升基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類算法的精度。

3.5 多模型融合策略對算法性能的影響

為了盡可能在有限的計算資源條件下獲得性能最優(yōu)的模型，本文采用多模型融合的方式來實現(xiàn)肺結(jié)節(jié)的高精度分類。為了驗證不同的多模型融合策略對算法分類性能的影響，本文分別基于加權(quán)投票和堆疊法進行分類性能的對比，實驗結(jié)果如表5所示。

表4 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索設(shè)置對分類性能的影響 單位：%Tab. 4 Influence of neural network architecture search setting on classification performance unit：%

由表5可知，基于堆疊法的多模型融合策略取得了比基于加權(quán)投票法的多模型融合策略更好的效果。盡管加權(quán)投票法在參數(shù)量這一指標(biāo)上具有優(yōu)勢，但整體評價性能上堆疊法更有優(yōu)勢。

3.6 與最新方法的性能比較

為了驗證本文所提算法的有效性，將其與六種最新的肺結(jié)節(jié)分類算法進行對比：Autoencoder［15］采用自動編碼器網(wǎng)絡(luò)提取肺結(jié)節(jié)特征，用二叉決策樹對結(jié)節(jié)良惡性進行分類；MC-CNN（Multi-Crop Convolutional Neural Networks）［7］采用多裁剪池化層的深度卷積網(wǎng)絡(luò)，并通過裁剪出的不同特征圖的結(jié)節(jié)特征信息來實現(xiàn)肺結(jié)節(jié)良惡性分類建模；Local-Global［16］利用全局特征提取器分析結(jié)節(jié)的形狀和大小，利用局部特征提取器分析結(jié)節(jié)的密度和結(jié)構(gòu)；DeepLung［17］設(shè)計了一個三維快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)進行結(jié)節(jié)檢測，提出了具有三維雙路徑網(wǎng)絡(luò)特征的梯度提升機進行結(jié)節(jié)分類；NAS-lung（Neural Architecture Search lung）［14］使用神經(jīng)架構(gòu)搜索自動搜索3D網(wǎng)絡(luò)架構(gòu)，在卷積網(wǎng)絡(luò)中使用注意力模塊，該模型對準(zhǔn)確性和速度進行了較好的權(quán)衡，是具有部分可解釋的分類模型；MV-KBC（Multi-View Knowledge-Based Collaboration）［9］基于多視圖知識協(xié)作的胸部CT肺結(jié)節(jié)分類算法，將三維結(jié)節(jié)用9個二維視圖來表示，并使用3種圖像塊來表征結(jié)節(jié)的特征進行肺結(jié)節(jié)良惡性分類。各肺結(jié)節(jié)分類算法在LIDC-IDRI數(shù)據(jù)集上的性能對比如表6所示。其中，參數(shù)，。

表5 多模型融合策略對分類性能的影響Tab. 5 Influence of multi-model fusion strategy on classification performance

表6 LIDC-IDRI數(shù)據(jù)集上不同分類算法的性能對比Tab. 6 Performance comparison of different classification algorithms on LIDC-IDRI dataset

由表6可知，本文所提算法在特異性、精確率度量指標(biāo)上均取得了最好的分類結(jié)果，驗證了本文所提肺結(jié)節(jié)分類算法的可靠性較高，能更加精確地預(yù)測良惡性類別。此外，在準(zhǔn)確率、敏感性和F1分?jǐn)?shù)等度量指標(biāo)上，本文所提算法均取得了第2的分類精度；同時，較少的模型參數(shù)也使得本文所提算法的輕量化構(gòu)建成為可能，實現(xiàn)了性能和速度的平衡。

4 結(jié)語

針對基于深度學(xué)習(xí)方法的肺結(jié)節(jié)分類模型存在的結(jié)構(gòu)復(fù)雜和可解釋性較差等問題，本文構(gòu)建了一種基于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的肺結(jié)節(jié)分類算法。該算法通過多尺度注意力模塊、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索和多模型融合三個主要實現(xiàn)環(huán)節(jié)的構(gòu)建，實現(xiàn)了輕量化、精度高、收斂快的肺結(jié)節(jié)分類。本文在廣泛使用的LIDC-IDRI數(shù)據(jù)集上對三個主要實現(xiàn)環(huán)節(jié)進行了實驗，實驗結(jié)果表明本文所提算法框架各子模塊能夠助力分類精度的提升。此外，將本文所提算法與當(dāng)前最新肺結(jié)節(jié)分類方法在標(biāo)準(zhǔn)的度量指標(biāo)上進行了對比，同樣驗證了本文所提輕量化網(wǎng)絡(luò)模型能夠產(chǎn)生高精度的分類結(jié)果。后續(xù)工作將重點圍繞更加輕量化的實時分類網(wǎng)絡(luò)模型構(gòu)建展開深入研究。

[1] BRAY F， FERLAY J， SOERJOMATARAM I， et al. Global cancer statistics 2018： GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries ［J］. CA： A Cancer Journal for Clinicians， 2018， 68（6）： 394-424.

[2] 中華醫(yī)學(xué)會呼吸病學(xué)分會肺癌學(xué)組，中國肺癌防治聯(lián)盟專家組.肺結(jié)節(jié)診治中國專家共識（2018年版）［J］.中華結(jié)核和呼吸雜志，2018，41（10）：763-771.（Lung Cancer Group of Chinese Thoracic Society of Chinese Medical Association， Expert Group of China Lung Cancer Prevention and Treatment Alliance. Interpretation of Chinese expert consensus on the diagnosis and treatment of pulmonary nodules （2018 version） ［J］. Chinese Journal of Tuberculosis and Respiratory Diseases， 2018， 41（10）： 763-771.）

[3] 李祥霞，李彬，田聯(lián)房，等.基于放射影像組學(xué)和隨機森林算法的肺結(jié)節(jié)良惡性分類［J］.華南理工大學(xué)學(xué)報（自然科學(xué)版），2018，46（8）：72-80.（LI X X， LI B， TIAN L F， et al. Classification of benign and malignant pulmonary nodules based on radiomics and random forests algorithm ［J］. Journal of South China University of Technology （Natural Science Edition）， 2018， 46（8）： 72-80.）

[4] 強彥，裴博，趙涓涓，等.模糊支持向量機在肺結(jié)節(jié)良惡性分類中的應(yīng)用［J］.清華大學(xué)學(xué)報（自然科學(xué)版），2014，54（3）：354-359.（QIANG Y， PEI B， ZHAO J J， et al. Classification on pulmonary nodules based on a fuzzy support vector machine ［J］. Journal of Tsinghua University （Science and Technology）， 2014， 54（3）： 354-359.）

[5] 高峰，代美玲，祁瑾.基于Bootstrap-異質(zhì)SVM集成學(xué)習(xí)的肺結(jié)節(jié)分類方法［J］.天津大學(xué)學(xué)報（自然科學(xué)與工程技術(shù)版），2017，50（3）：321-327.（GAO F， DAI M L， QI J. Classification of lung nodules by ensemble learning based on Bootstrap-heterogeneous SVM ［J］. Journal of Tianjin University （Science and Technology）， 2017， 50（3）： 321-327.）

[6] 張婧，李彬，田聯(lián)房，等.結(jié)合規(guī)則和SVM方法的肺結(jié)節(jié)識別［J］.華南理工大學(xué)學(xué)報（自然科學(xué)版），2011，39（2）：125-129，147.（ZHANG J， LI B， TIAN L F， et al. Lung nodule recognition combining rule-based method and SVM ［J］. Journal of South China University of Technology （Natural Science Edition）， 2011， 39（2）： 125-129， 147.）

[7] SHEN W， ZHOU M， YANG F， et al. Multi-crop convolutional neural networks for lung nodule malignancy suspiciousness classification ［J］. Pattern Recognition， 2017， 61： 663-673.

[8] XIE Y T， ZHANG J P， XIA Y， et al. Fusing texture， shape and deep model-learned information at decision level for automated classification of lung nodules on chest CT ［J］. Information Fusion， 2018， 42： 102-110.

[9] XIE Y T， XIA Y， ZHANG J P， et al. Knowledge-based collaborative deep learning for benign-malignant lung nodule classification on chest CT ［J］. IEEE Transactions on Medical Imaging， 2019， 38（4）： 991-1004.

[10] ELSKEN T， METZEN J H， HUTTER F. Neural architecture search： a survey ［J］. Journal of Machine Learning Research， 2019， 20： 1-21.

[11] LI X， ZHOU Y M， PAN Z， et al. Partial order pruning： for best speed/accuracy trade-off in neural architecture search ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019：9137-9145.

[12] 慧影醫(yī)療科技（北京）有限公司.一種基于多模型融合的肺結(jié)節(jié)檢測方法及系統(tǒng)：中國，201910399988.6［P］.2019-08-30.（Huiying Medical Technology （Beijing） Company Limited. A multi-model fusion-based method and system for detecting lung nodules： China，201910399988.6 ［P］. 2019-08-30.）

[13] LI F， CHENG D N， LIU M H. Alzheimer’s disease classification based on combination of multi-model convolutional networks ［C］// Proceedings of the 2017 IEEE International Conference on Imaging Systems and Techniques. Piscataway： IEEE， 2017： 1-5.

[14] JIANG H L， SHEN F H， GAO F， et al. Learning efficient， explainable and discriminative representations for pulmonary nodules classification ［J］. Pattern Recognition， 2021， 113： Article No.107825.

[15] KUMAR D， WONG A， CLAUSI D A. Lung nodule classification using deep features in CT images ［C］// Proceedings of the 2015 12th Conference on Computer and Robot Vision. Piscataway： IEEE， 2015：133-138.

[16] AL-SHABI M， LAN B L， CHAN W Y， et al. Lung nodule classification using deep local-global networks ［J］. International Journal of Computer Assisted Radiology and Surgery， 2019， 14（10）： 1815-1819.

[17] ZHU W T， LIU C C， FAN W， et al. DeepLung： deep 3D dual path nets for automated pulmonary nodule detection and classification ［C］// Proceedings of the 2018 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2018： 673-681.

Lung nodule classification algorithm based on neural network architecture search

XIE Xinlin1，2， XIAO Yi3， XU Xinying3*

（1.School of Electronic Information Engineering，Taiyuan University of Science and Technology，Taiyuan Shanxi030024，China；2.Shanxi Key Laboratory of Advanced Control and Equipment Intelligence（Taiyuan University of Science and Technology），Taiyuan Shanxi030024，China；3.College of Electrical and Power Engineering，Taiyuan University of Technology，Taiyuan Shanxi030024，China）

Lung nodule classification is an important task in the diagnosis of early-stage lung cancer. Although the lung nodule classification methods based on deep learning can achieve good classification accuracy， they have the problems of complex model and poor interpretability. Therefore， a lung nodule classification algorithm based on neural network architecture search was proposed. Firstly， the attention residual convolution cell was regarded as the basic unit of the search space， and the partial order pruning method was used as the search strategy to construct the neural network architecture for searching 3D classification network， thereby achieving the balance between network performance and search speed. Then， the multi-scale channels and spatial attention modules were constructed in the network to improve the interpretability of feature description and categorical inference. Finally， the stacking method was used to merge the searched network architectures with multiple models to obtain accurate prediction results of classification of benign and malignant lung nodules. Compared with the state-of-the-art lung nodule classification methods， the proposed algorithm has better classification performance and faster convergence on the widely-used lung nodule classification dataset LIDC-IDRI. Moreover， the proposed algorithm has the specificity and precision reached 95.37% and 93.42% respectively， showing it can achieve accurate classification of benign and malignant lung nodules.

lung nodule classification; neural network architecture search; attention module; multi-model fusion; deep learning

A

TP391.4

1001-9081（2022）05-1424-07

10.11772/j.issn.1001-9081.2021050813

2021?05?17；

2021?09?26；

2021?11?26。

國家自然科學(xué)基金資助項目（62006169）；山西省自然科學(xué)基金資助項目（201901D211304）。

謝新林（1990—），男，山西運城人，講師，博士，CCF會員，主要研究方向：醫(yī)學(xué)圖像處理、粗糙集； 肖毅（1996—），男，江西贛州人，碩士研究生，主要研究方向：醫(yī)學(xué)圖像處理； 續(xù)欣瑩（1979—），男，山西忻州人，教授，博士，主要研究方向：計算機視覺、粒計算。

This work is partially supported by National Natural Science Foundation of China （62006169），Natural Science Foundation of Shanxi Province （201901D211304）.

XIE Xinlin， born in 1990， Ph. D.， lecturer. His research interests include medical image processing， rough set.

XIAO Yi， born in 1996， M. S. candidate. His research interests include medical image processing.

XU Xinying， born in 1979， Ph. D.， professor. His research interests include computer vision， granular computing.