張欣培，周堯，章毅

（四川大學(xué) 計(jì)算機(jī)學(xué)院, 四川 成都 610065）

產(chǎn)前超聲檢查是監(jiān)測胎兒在母體內(nèi)生長情況的重要步驟，在傳統(tǒng)產(chǎn)前超聲檢查的過程中，臨床醫(yī)生利用超聲設(shè)備獲得胎兒各個(gè)部位的二維超聲標(biāo)準(zhǔn)切面，并在此基礎(chǔ)上測量各種體征數(shù)據(jù)，以評(píng)估胎兒在母體內(nèi)的發(fā)育情況，預(yù)測早產(chǎn)的風(fēng)險(xiǎn)。但產(chǎn)前超聲檢查用到的切面種類多、不同切面的主要結(jié)構(gòu)和復(fù)雜程度都不一樣，使用傳統(tǒng)方式手動(dòng)獲取切面會(huì)面臨很多問題，如：1)標(biāo)準(zhǔn)切面的獲取難度大，對(duì)超聲醫(yī)生的臨床經(jīng)驗(yàn)依賴度極高；2) 因不同超聲醫(yī)生專業(yè)水平的差異，獲取到的標(biāo)準(zhǔn)切面結(jié)果可能不同，切面圖像的規(guī)范性得不到保障；3) 臨床工作效率低，易使孕婦受檢時(shí)間過長，引起不良反應(yīng)。近年來，隨著深度神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析領(lǐng)域的發(fā)展與應(yīng)用，為解決傳統(tǒng)方法的弊端，研究人員逐漸將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用到胎兒超聲切面圖像的自動(dòng)識(shí)別任務(wù)中，輔助醫(yī)生進(jìn)行診斷。

Maraci等[1]采用動(dòng)態(tài)紋理分析和支持向量機(jī)(SVM)算法[2]對(duì)產(chǎn)婦孕中期的超聲檢查視頻的每幀圖像進(jìn)行標(biāo)準(zhǔn)切面識(shí)別。SVM算法是一種利用高維映射來解決機(jī)器學(xué)習(xí)中線性不可分問題的算法，但在數(shù)據(jù)量過大時(shí)，其魯棒性和準(zhǔn)確率無法得到保證，所以SVM算法的性能是有限的。隨著大數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，各種深度神經(jīng)網(wǎng)絡(luò)方法被應(yīng)用在胎兒超聲切面圖像識(shí)別任務(wù)中。Baumgartner等[3]首次提出了基于圖像級(jí)別標(biāo)簽的弱監(jiān)督方法，使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)胎兒標(biāo)準(zhǔn)切面圖像進(jìn)行實(shí)時(shí)自動(dòng)檢測，其F1評(píng)價(jià)指標(biāo)達(dá)到了0.791 8，且在回溯幀檢索中的準(zhǔn)確率達(dá)到了90.09%。Maraci等[4]使用條件隨機(jī)場模型從超聲檢查視頻的每一幀圖像對(duì)胎兒心臟切面進(jìn)行檢測。條件隨機(jī)場模型[5]是一種判別式模型，在觀測序列的基礎(chǔ)上對(duì)目標(biāo)序列進(jìn)行建模，可以通過超聲視頻的每一幀及其前后幀所提供的序列化信息來檢測胎兒心臟切面，但此方法在訓(xùn)練時(shí)的收斂速度極慢。Ryou等[6]提出了一種基于隨機(jī)森林的矢狀面胎兒全域定位方法，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)胎兒頭部、身體和非胎兒切面進(jìn)行識(shí)別。Cheng等[7]用基于卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)模型對(duì)胎兒腹部二維超聲切面進(jìn)行識(shí)別，分別使用兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)CaffeNet[8]、VGGNet[9]進(jìn)行對(duì)比實(shí)驗(yàn)，基于CaffeNet的遷移學(xué)習(xí)模型達(dá)到了平均77.3%的準(zhǔn)確率，基于VGGNet的遷移學(xué)習(xí)模型達(dá)到了77.9%的準(zhǔn)確率。

近年來，越來越多的研究人員將深度神經(jīng)網(wǎng)絡(luò)應(yīng)用于臨床輔診任務(wù)中。隨著計(jì)算機(jī)硬件設(shè)備的不斷發(fā)展，在圖形處理器（GPU）上訓(xùn)練各種深度神經(jīng)網(wǎng)絡(luò)已不是一件難事。但龐大神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練過程中的計(jì)算資源占用量是巨大的，不可避免地耗費(fèi)大量時(shí)間開銷對(duì)輸入數(shù)據(jù)進(jìn)行處理，極大限制了實(shí)際應(yīng)用時(shí)的運(yùn)行效率。同時(shí)，在目前的研究和應(yīng)用中，多使用預(yù)訓(xùn)練模型針對(duì)不同任務(wù)進(jìn)行微調(diào)，該方式極易造成參數(shù)冗余的問題，增加不必要的時(shí)間開銷，難以提高實(shí)時(shí)分析能力；且在實(shí)際部署時(shí)，深度神經(jīng)網(wǎng)絡(luò)模型占用大量內(nèi)存，對(duì)終端設(shè)備的計(jì)算資源需求高。

針對(duì)以上問題，本文提出改進(jìn)的兩階段知識(shí)蒸餾方法，在保留分類性能的同時(shí)提升模型的實(shí)時(shí)分析能力。首先，根據(jù)胎兒超聲切面圖像的特征，調(diào)研和使用幾種主流分類模型進(jìn)行實(shí)驗(yàn)，綜合考量其計(jì)算資源占用量和分類性能，選擇Resnet8和Resnet101分別作為學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)。再者，通過第1階段，使用預(yù)訓(xùn)練好的教師網(wǎng)絡(luò)的隱藏層信息初始化學(xué)生網(wǎng)絡(luò)的中間層，將Resnet101模型的隱藏層輸出作為Resnet8模型中間層訓(xùn)練的標(biāo)簽信息，使學(xué)生網(wǎng)絡(luò)的中間層獲得初始化的先驗(yàn)權(quán)重；最后，通過第2階段進(jìn)行知識(shí)蒸餾，將教師網(wǎng)絡(luò)的負(fù)樣本標(biāo)簽蘊(yùn)含的軟標(biāo)簽信息“蒸餾”，作為此階段訓(xùn)練的監(jiān)督信息。通過以上方法得到的學(xué)生網(wǎng)絡(luò)模型，在分類性能的各項(xiàng)指標(biāo)上超過教師網(wǎng)絡(luò)模型，且其計(jì)算資源占用量大幅降低，模型被有效壓縮，加快了實(shí)際應(yīng)用時(shí)的分析速度。

1 胎兒超聲切面分類與網(wǎng)絡(luò)壓縮

1.1 胎兒超聲切面分類

針對(duì)醫(yī)學(xué)超聲圖像分類任務(wù)的特點(diǎn)，分別選取 MobileNetV2、MobileNetV3small、Resnet8、VGG16、Resnet34和Resnet101模型。前3個(gè)模型屬于輕量級(jí)模型，適合從中選擇合適的學(xué)生網(wǎng)絡(luò)；后3個(gè)模型參數(shù)數(shù)量較多，適合作為教師網(wǎng)絡(luò)的選項(xiàng)，其參數(shù)量對(duì)比如表1所示。由表1可得，前3個(gè)模型與后3個(gè)模型相比，參數(shù)數(shù)量更少，具有更輕量級(jí)的特征。基于此，設(shè)計(jì)對(duì)比實(shí)驗(yàn)從前3個(gè)模型中選擇合適的學(xué)生網(wǎng)絡(luò)，從后3個(gè)模型中選擇合適的教師網(wǎng)絡(luò)。MobileNetV1是Andrew等[10]提出的一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用深度可分離卷積減少了參數(shù)數(shù)量，從而降低計(jì)算量，提高計(jì)算效率。這種神經(jīng)網(wǎng)絡(luò)模型適合部署到移動(dòng)端或嵌入式系統(tǒng)中，但其不足之處在于該網(wǎng)絡(luò)是一種較簡單的單通道結(jié)構(gòu)，在任務(wù)中的準(zhǔn)確率等性能表現(xiàn)往往不能達(dá)到預(yù)期目標(biāo)。隨著Res-Net和DenseNet等網(wǎng)絡(luò)的提出，研究人員驗(yàn)證了卷積層輸出的復(fù)用對(duì)提升網(wǎng)絡(luò)性能的有效性，MobileNetV2[11]應(yīng)運(yùn)而生，引入具有線性瓶頸的逆殘差結(jié)構(gòu)模塊，一定程度改善了原有MobileN-etV1模型的不足。MobileNetV3[12]是該系列的最新版本，包含MobileNetV3Small和MobileNet-V3Large兩種模型，結(jié)合自動(dòng)機(jī)器學(xué)習(xí)技術(shù)以及人工微調(diào)構(gòu)建了更輕量級(jí)的模型。本文所述的Resnet8模型是對(duì)Resnet18模型進(jìn)行改造而形成的層數(shù)和參數(shù)數(shù)量更少的輕量級(jí)模型，由7層卷積層與1層全連接層構(gòu)成。由表1可知，在評(píng)價(jià)計(jì)算資源占用量指標(biāo)的參數(shù)數(shù)量上，Resnet8模型比其他兩個(gè)輕量級(jí)模型具有一定優(yōu)勢。

表1 不同分類模型參數(shù)量對(duì)比Table 1 Parameter comparison of different models

1.2 知識(shí)蒸餾方法

近年來，隨著大數(shù)據(jù)和深度神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，在強(qiáng)大的GPU上訓(xùn)練各種復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型已不是一件難事。但在實(shí)際部署時(shí)，因用戶端終端設(shè)備的運(yùn)算能力有限，使得復(fù)雜模型的部署變得困難；在實(shí)際應(yīng)用方面，深度神經(jīng)網(wǎng)絡(luò)需要巨大的時(shí)間開銷對(duì)輸入數(shù)據(jù)進(jìn)行處理，極大限制了實(shí)時(shí)分析能力?；诖耍芯咳藛T逐漸將目光放在模型壓縮領(lǐng)域的各項(xiàng)研究上來。知識(shí)蒸餾作為模型壓縮的一大分支，也不斷取得各項(xiàng)進(jìn)展。Bucilua等[13]首次提出模型壓縮的概念，這種方法能將有效信息從深度神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)移到訓(xùn)練淺層模型，而不會(huì)顯著降低原有模型的精度。Romero等[14]提出FitNet，不僅利用教師網(wǎng)絡(luò)最后一層神經(jīng)元的輸出信息，還利用了其中間層信息，成功訓(xùn)練了較原有教師網(wǎng)絡(luò)更深但更窄的學(xué)生網(wǎng)絡(luò)。Hinton等[15]正式將這種學(xué)習(xí)模式定義為“知識(shí)蒸餾”，并提出了帶溫度系數(shù)T的Softmax函數(shù)。通過此函數(shù)將教師網(wǎng)絡(luò)的負(fù)樣本信息輸出的概率分布“蒸餾”出來，以對(duì)學(xué)生網(wǎng)絡(luò)的訓(xùn)練提供額外的監(jiān)督信息。他們?cè)贛NIST數(shù)據(jù)集上進(jìn)行初步試驗(yàn)，證明了帶溫度系數(shù)T的Softmax函數(shù)對(duì)深度神經(jīng)網(wǎng)絡(luò)模型精度提高的有效性；并分別在語音數(shù)據(jù)集和大型數(shù)據(jù)集JFT上進(jìn)行對(duì)比實(shí)驗(yàn)，證明了知識(shí)蒸餾對(duì)模型精度提高和模型壓縮的有效性。受課程學(xué)習(xí)(curriculum learning)的啟發(fā)，Jin等[16]發(fā)現(xiàn)由學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)間的結(jié)構(gòu)差異而造成蒸餾失敗的問題，并針對(duì)此提出了路由約束提示學(xué)習(xí)方法。2019年P(guān)huong等[17]從理論上論述了知識(shí)蒸餾中學(xué)生網(wǎng)絡(luò)具有快速收斂的泛化邊界的原因，解釋了知識(shí)蒸餾的工作原理。2020年Ji等[18]分別從風(fēng)險(xiǎn)界、數(shù)據(jù)效率和不完美的老師3個(gè)角度進(jìn)一步對(duì)廣義神經(jīng)網(wǎng)絡(luò)上的知識(shí)蒸餾方法進(jìn)行了理論解釋。目前的知識(shí)蒸餾方法已擴(kuò)展到師生學(xué)習(xí)[14]、相互學(xué)習(xí)[19]、輔助教學(xué)[20]、終身學(xué)習(xí)[21]和自主學(xué)習(xí)[22]等模式。通過知識(shí)蒸餾訓(xùn)練后的學(xué)生網(wǎng)絡(luò)，能保留甚至超過教師網(wǎng)絡(luò)的性能，網(wǎng)絡(luò)結(jié)構(gòu)比教師網(wǎng)絡(luò)更簡單，減少了冗余參數(shù)，能有效提高實(shí)時(shí)分析性能，緩解終端部署和實(shí)際應(yīng)用的困難。

雖然現(xiàn)有知識(shí)蒸餾方法已經(jīng)取得了良好的效果，但也具有一定局限性。神經(jīng)網(wǎng)絡(luò)的隱藏層特征表達(dá)往往蘊(yùn)含了豐富的有用信息，現(xiàn)有方法僅依托于神經(jīng)網(wǎng)絡(luò)最后一層神經(jīng)元輸出信息，提供的監(jiān)督信息是有限的?？紤]到隱藏層特征表達(dá)和映射對(duì)深度神經(jīng)網(wǎng)絡(luò)模型的影響，在傳統(tǒng)知識(shí)蒸餾方法中融入隱藏層的特征表達(dá)，將在一定程度上為學(xué)生網(wǎng)絡(luò)提供更豐富的監(jiān)督信息。首先，在第1階段，通過對(duì)學(xué)生網(wǎng)絡(luò)預(yù)先進(jìn)行訓(xùn)練，使其學(xué)到教師網(wǎng)絡(luò)隱藏層豐富的特征表達(dá)，獲得優(yōu)于原始學(xué)生網(wǎng)絡(luò)中間層的權(quán)重信息；第2階段，對(duì)已學(xué)習(xí)到教師網(wǎng)絡(luò)隱藏層特征表達(dá)的學(xué)生網(wǎng)絡(luò)進(jìn)行知識(shí)蒸餾。同時(shí)，考慮到在教師網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)產(chǎn)生很多中間模型（anchor points[16]），應(yīng)使用結(jié)構(gòu)相似的神經(jīng)網(wǎng)絡(luò)模型作為學(xué)生網(wǎng)絡(luò)，以便于學(xué)生網(wǎng)絡(luò)從其中間模型更好地進(jìn)行特征學(xué)習(xí)，從而提升知識(shí)蒸餾的效率。基于此，本文使用師生學(xué)習(xí)模式，提出改進(jìn)的兩階段知識(shí)蒸餾方法。

1.2.1 知識(shí)蒸餾方法

眾所周知，基于深度神經(jīng)網(wǎng)絡(luò)的分類任務(wù)都具有共同的特征：神經(jīng)網(wǎng)絡(luò)最后一層神經(jīng)元的輸出信息都會(huì)通過一個(gè)Softmax函數(shù)，如式(1)所示，將輸出信息變成概率分布，才能與標(biāo)簽信息求其極大似然值，此種經(jīng)過Softmax層直接輸出的信息被稱為硬標(biāo)簽信息。

式中：qi是教師網(wǎng)絡(luò)輸出每一類的概率分布；zi是最后一層的神經(jīng)元的輸出信息。

但由于Softmax函數(shù)只輸出概率分布的獨(dú)熱編碼，會(huì)均一化所有負(fù)樣本標(biāo)簽的信息，將負(fù)樣本標(biāo)簽的概率都還原為0，弱化了負(fù)樣本標(biāo)簽的概率信息對(duì)模型訓(xùn)練的影響。對(duì)此，Hinton等[15]提出帶溫度系數(shù)T的Softmax函數(shù)，如式(2)所示，此種經(jīng)過溫度系數(shù)T的輸出信息被稱為軟標(biāo)簽信息。最后一層神經(jīng)元的輸出信息通過帶溫度系數(shù)T的Softmax函數(shù)后，能“蒸餾”出負(fù)樣本標(biāo)簽的概率信息，為學(xué)生網(wǎng)絡(luò)的訓(xùn)練提供更為豐富的“暗知識(shí)”，使學(xué)生網(wǎng)絡(luò)不只接受正樣本標(biāo)簽的監(jiān)督訓(xùn)練。

式中：qi是教師網(wǎng)絡(luò)輸出每一類的軟標(biāo)簽；zi是最后一層的神經(jīng)元的輸出信息；T為溫度系數(shù)。根據(jù)不同的溫度蒸餾出的知識(shí)占比不同，需進(jìn)行對(duì)比實(shí)驗(yàn)選出最適合的溫度系數(shù)T。實(shí)驗(yàn)數(shù)據(jù)圖片在不同溫度系數(shù)T下的預(yù)測概率如圖1所示。

圖1 不同溫度系數(shù)T下的概率分布Fig.1 Probability distribution with different parameter T

知識(shí)蒸餾方法基于軟標(biāo)簽信息，在給定教師網(wǎng)絡(luò)的條件下，使用教師網(wǎng)絡(luò)最后一層神經(jīng)元的輸出信息經(jīng)過帶溫度系數(shù)T的Softmax函數(shù)，將其預(yù)測的所有類別的概率分布“蒸餾”，作為知識(shí)蒸餾的監(jiān)督信息，指導(dǎo)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練。此方法為學(xué)生網(wǎng)絡(luò)的訓(xùn)練提供了來自教師網(wǎng)絡(luò)的先驗(yàn)知識(shí)，本質(zhì)上是在學(xué)生網(wǎng)絡(luò)的訓(xùn)練中加入一種新的正則化機(jī)制。具體流程圖如圖2所示。

圖2 知識(shí)蒸餾網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Network structure of knowledge distillation

最終損失函數(shù)表達(dá)式為

式中：α為蒸餾強(qiáng)度；T為溫度系數(shù)；φ為KL散度；為學(xué)生網(wǎng)絡(luò)經(jīng)過帶溫度系數(shù)T的Softmax層的權(quán)重矩陣；為教師網(wǎng)絡(luò)的權(quán)重矩陣； ψ 為交叉熵；Ws為學(xué)生網(wǎng)絡(luò)的硬標(biāo)簽信息；Ylabel為輸入圖像的標(biāo)簽信息。

1.2.2 改進(jìn)的兩階段知識(shí)蒸餾方法

在第1階段，旨在提取教師網(wǎng)絡(luò)隱藏層的特征表達(dá)，將其作為此階段訓(xùn)練的監(jiān)督信息，以此來指導(dǎo)學(xué)生網(wǎng)絡(luò)的中間層權(quán)重的初始化，使其學(xué)習(xí)到教師網(wǎng)絡(luò)的隱藏層特征表達(dá)。第1階段流程如圖3所示。

圖3 第1階段網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Network structure of the first stage

為獲得基于教師網(wǎng)絡(luò)隱藏層特征表達(dá)的學(xué)生網(wǎng)絡(luò)，Ws需凍結(jié)學(xué)生網(wǎng)絡(luò)的最后一層殘差連接層、池化層以及全連接層，僅訓(xùn)練學(xué)生網(wǎng)絡(luò)的第一層至中間層h的權(quán)重矩陣。訓(xùn)練集D={(x1,y1),(x2,y2),···,(xi,yi)}， 其 中 ，xi∈x? Rs×s×c即 通 道 數(shù) 為c的輸入大小為s×s的圖像數(shù)據(jù)，yi∈(0,5)即輸入的圖像數(shù)據(jù)的標(biāo)簽信息，在本文中代表屬于編號(hào)為0~5的6類標(biāo)簽；即教師網(wǎng)絡(luò)隱藏層前g層的特征表達(dá)；即學(xué)生網(wǎng)絡(luò)中間前h層的特征表達(dá)。為解決教師網(wǎng)絡(luò)前g層輸出特征與學(xué)生網(wǎng)絡(luò)前h層輸出特征表達(dá)的維度不匹配問題，加入隨機(jī)初始化權(quán)重的卷積回歸層。最終通過最小化損失函數(shù)來優(yōu)化和卷積回歸層，其表達(dá)式為

式中：μ為教師網(wǎng)絡(luò)隱藏層函數(shù)；υ為學(xué)生網(wǎng)絡(luò)中間層函數(shù)；r為卷積回歸函數(shù)。為保證教師網(wǎng)絡(luò)隱藏層輸出特征和學(xué)生網(wǎng)絡(luò)卷積回歸層輸出特征維度一致，μ函數(shù)和r函數(shù)應(yīng)具有相同的非線性性質(zhì)。

經(jīng)過第1階段訓(xùn)練的學(xué)生網(wǎng)絡(luò)模型已經(jīng)具有基于教師網(wǎng)絡(luò)隱藏層特征表達(dá)的中間層權(quán)重信息，類比教師教授學(xué)生知識(shí)的環(huán)節(jié)，相當(dāng)于學(xué)生已經(jīng)在教師布置的預(yù)習(xí)任務(wù)中獲得了一定量的知識(shí)儲(chǔ)備，為接下來的教師教學(xué)打下基礎(chǔ)，即為第2階段的知識(shí)蒸餾訓(xùn)練做鋪墊。在第2階段，使用知識(shí)蒸餾方法再次對(duì)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過最小化損失函數(shù)去優(yōu)化學(xué)生網(wǎng)絡(luò)模型，不斷迭代，直至其損失函數(shù)值收斂。

1.2.3 學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)結(jié)構(gòu)

綜合各種分類模型在胎兒超聲切面數(shù)據(jù)集上的性能，考慮到分類性能與計(jì)算資源占用量之間的平衡，將Resnet8作為學(xué)生網(wǎng)絡(luò)模型，其層數(shù)淺、參數(shù)量少，具體參數(shù)如表2所示；將ResNet101作為教師網(wǎng)絡(luò)模型，其層數(shù)深、參數(shù)量大，具體參數(shù)如表3所示。二者都具有良好的分類性能，且二者具有相同的殘差結(jié)構(gòu)，可以方便學(xué)生網(wǎng)絡(luò)學(xué)習(xí)教師網(wǎng)絡(luò)的特征表達(dá)。

表2 學(xué)生模型網(wǎng)絡(luò)參數(shù)Table 2 Network parameters of student module

表3 教師模型網(wǎng)絡(luò)參數(shù)Table 3 Network parameters of teacher module

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)在GPU深度神經(jīng)網(wǎng)絡(luò)集成計(jì)算平臺(tái)上進(jìn)行，操作平臺(tái)為Ubuntu，使用的GPU為Nvidia GeForce RTX 3090Ti，顯存為 24 GB，使用的深度神經(jīng)網(wǎng)絡(luò)框架為PyTorch。

2.2 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)采用的數(shù)據(jù)是胎兒超聲切面數(shù)據(jù)集，由BCNatal收集，涵蓋了來自兩個(gè)醫(yī)學(xué)中心共計(jì)12 400張?zhí)撼暻忻鎴D像，圖像格式為PNG，均做了匿名處理。此數(shù)據(jù)集包含了6類切面類型，各類型切面圖像概覽如圖4所示。胎兒超聲切面圖像作為產(chǎn)前檢查的重要依據(jù)，均由專業(yè)的超聲科閱片醫(yī)師進(jìn)行手動(dòng)標(biāo)注，每類切面的臨床意義其數(shù)據(jù)分布情況如表4所示，其中“其他類型”的存在可以提高模型對(duì)于不同類別在有干擾情況下的準(zhǔn)確率。

圖4 胎兒超聲切面概覽Fig.4 Examples of fetal ultrasound section images

表4 數(shù)據(jù)集分布情況Table 4 Component distribution of datasets

本實(shí)驗(yàn)將此數(shù)據(jù)集劃分為訓(xùn)練集和測試集，其比例約為4∶1，具體分布情況如表5所示。為滿足不同分類模型對(duì)輸入圖像大小的限制，預(yù)先將圖像進(jìn)行了拉伸縮放的預(yù)處理方式，將其調(diào)整為像素尺寸。同時(shí)，為了提高彩超圖像在基于ImageNet預(yù)訓(xùn)練模型上的泛化能力，對(duì)原始超聲圖像進(jìn)行歸一化等預(yù)處理。

表5 實(shí)驗(yàn)數(shù)據(jù)集分布情況Table 5 Experimental component distribution of datasets

2.3 實(shí)驗(yàn)步驟

2.3.1 胎兒超聲切面分類實(shí)驗(yàn)

針對(duì)本文所述的胎兒超聲切面分類任務(wù)的特點(diǎn)，使用不同深度神經(jīng)網(wǎng)絡(luò)分類模型進(jìn)行實(shí)驗(yàn)，并評(píng)估各種模型在胎兒超聲切面數(shù)據(jù)集上的準(zhǔn)確率及其損失函數(shù)值。在MobileNetV2、MobileN-etV3Small、Resnet8、VGG16、Resnet34、Resnet101模型上進(jìn)行分類實(shí)驗(yàn)。此階段的學(xué)習(xí)率為1×10?6，并設(shè)置Warmup機(jī)制，首先使用較大的學(xué)習(xí)率進(jìn)行訓(xùn)練，然后逐漸逼近實(shí)驗(yàn)設(shè)置的學(xué)習(xí)率；本實(shí)驗(yàn)中的損失函數(shù)使用交叉熵函數(shù)，優(yōu)化方法采用自適應(yīng)梯度下降法(adam)算法，此方法較隨機(jī)梯度下降（SGD）算法能取得更優(yōu)的效果。

2.3.2 改進(jìn)的兩階段知識(shí)蒸餾實(shí)驗(yàn)

本方法對(duì)現(xiàn)有知識(shí)蒸餾方法進(jìn)行改進(jìn)，先進(jìn)行第1階段訓(xùn)練，將教師網(wǎng)絡(luò)隱藏層的輸出信息作為監(jiān)督信息，將其遷移到學(xué)生網(wǎng)絡(luò)的中間層，使學(xué)生網(wǎng)絡(luò)的中間層獲得教師網(wǎng)絡(luò)的隱藏層特征表達(dá)作為監(jiān)督信息訓(xùn)練的初始權(quán)重。在第2階段，使用知識(shí)蒸餾方法對(duì)既得學(xué)生網(wǎng)絡(luò)模型進(jìn)行二次訓(xùn)練，整體訓(xùn)練流程為

1) 將實(shí)驗(yàn)所用數(shù)據(jù)集進(jìn)行預(yù)處理和數(shù)據(jù)集劃分，分別用于訓(xùn)練和測試；

2) 將訓(xùn)練集輸入Resnet101模型，訓(xùn)練教師網(wǎng)絡(luò)，使用測試集測試其分類性能，并保存性能最好的Resnet101模型作為教師網(wǎng)絡(luò)；

3) 固定教師網(wǎng)絡(luò)模型參數(shù)，將其隱藏層的輸出信息作為學(xué)生網(wǎng)絡(luò)中間層知識(shí)遷移的監(jiān)督信息；

4) 凍結(jié)學(xué)生網(wǎng)絡(luò)的最后3層參數(shù)，即全連接層、最后池化層、和最后一層殘差網(wǎng)絡(luò)層。為解決教師網(wǎng)絡(luò)中間層輸出特征和學(xué)生網(wǎng)絡(luò)中間層輸出特征維度不一致的問題，需在學(xué)生網(wǎng)絡(luò)中間層的最后添加一個(gè)卷積回歸層。

5) 在第1階段，將訓(xùn)練集輸入學(xué)生網(wǎng)絡(luò)，使用步驟3)獲得的教師網(wǎng)絡(luò)隱藏層特征表達(dá)作為監(jiān)督信息，訓(xùn)練學(xué)生網(wǎng)絡(luò)中間層Wpre和Wr。使用Lhint作為損失函數(shù)，通過反向傳播算法不斷迭代優(yōu)化式(4)，最小化其損失函數(shù)值，直到收斂。保存此階段訓(xùn)練的學(xué)生網(wǎng)絡(luò)模型。

6) 用知識(shí)蒸餾方法對(duì)步驟5)獲得的學(xué)生網(wǎng)絡(luò)模型進(jìn)行二次訓(xùn)練。將學(xué)生網(wǎng)絡(luò)直接訓(xùn)練的輸出作為硬標(biāo)簽信息，結(jié)合教師網(wǎng)絡(luò)最后一層神經(jīng)元的輸出經(jīng)過帶溫度系數(shù)T的Softmax層后的軟標(biāo)簽信息，將二者加權(quán)求和作為監(jiān)督信息，最小化LKD來優(yōu)化學(xué)生網(wǎng)絡(luò)的權(quán)重參數(shù)。通過反向傳播算法迭代式(3)，最小化損失值，直到收斂。同時(shí)計(jì)算各種性能指標(biāo)，保存性能最佳的學(xué)生網(wǎng)絡(luò)模型。

7) 用訓(xùn)練好的學(xué)生網(wǎng)絡(luò)模型進(jìn)行預(yù)測，測試其各項(xiàng)性能指標(biāo)。

2.4 評(píng)價(jià)指標(biāo)

針對(duì)本任務(wù)，使用多個(gè)評(píng)價(jià)指標(biāo)，即準(zhǔn)確率(Acc)、宏精確率(MacroPre)、宏召回率(MacroRecall)、宏F1-score值(MacroF1)和前向傳播時(shí)的計(jì)算力(FLOPs）。Acc即預(yù)測正確的樣本類別占總樣本的比例，體現(xiàn)了模型的預(yù)測能力。精確率在二分類中即正確預(yù)測為該類別的占全部預(yù)測為該類別的比例，在多分類中，對(duì)每個(gè)標(biāo)簽分別計(jì)算其精確率，再對(duì)其取算數(shù)平均(Macro)，得到MacroPre；召回率在二分類中即正確預(yù)測為該類別的樣本數(shù)占全部實(shí)際為該樣本的比例，在多分類中，對(duì)每個(gè)標(biāo)簽分別計(jì)算其召回率，再對(duì)其取算數(shù)平均，得到MacroRecall；F1值在二分類中，即對(duì)精確率和召回率的評(píng)估，在多分類中，對(duì)于每個(gè)標(biāo)簽，分別計(jì)算其F1值，然后對(duì)其取算數(shù)平均，得到MacroF1。以上參數(shù)數(shù)值越大，分類模型的性能越好。FLOPs(fLoating point operations)，即浮點(diǎn)運(yùn)算數(shù)，衡量模型復(fù)雜度，體現(xiàn)了模型的運(yùn)算能力。

分別計(jì)算每一類的 Prei、Recalli、F1的公式為

對(duì)既得的每一類的Pre和Recall以及F1，再使用Macro算法。先分別求出每個(gè)類別對(duì)應(yīng)的值，再對(duì)其求算數(shù)平均值：

Acc可計(jì)算為

式中：TPi、TNi、FPi、FNi分別代表第i類別的正陽性、正陰性、假陽性和假陰性。

卷積核 FLOPs 的計(jì)算為

式中：H、W和Cin分別是輸入特征圖的高度、寬度和通道數(shù)；K是卷積核寬度 (假定卷積核長寬相等)，Cout是輸出通道數(shù)。全連接層 FLOPs 的計(jì)算為

式中：I是輸入維數(shù)；O是輸出維數(shù)。

在本文中，為了凸顯本方法的有效性，還關(guān)注各個(gè)模型的網(wǎng)絡(luò)深度、顯存占用量、GPU占用率、損失值、模型文件大小等性能指標(biāo)。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 胎兒超聲切面分類實(shí)驗(yàn)

使用不同的分類模型，在相同的訓(xùn)練集和驗(yàn)證集上進(jìn)行對(duì)比訓(xùn)練，從其計(jì)算資源占用情況、準(zhǔn)確率和損失值來衡量其分類性能。其中損失值為交叉熵函數(shù)的輸出，體現(xiàn)了分類模型的預(yù)測值和真實(shí)值之間的概率分布情況，本實(shí)驗(yàn)中選用損失值低于0.1的指標(biāo)作為分類器取得了好的效果的基準(zhǔn)，具體情況如表6所示。

表6 各神經(jīng)網(wǎng)絡(luò)模型性能對(duì)比Table 6 Experimental results with different neural network methods

由表6可知，在準(zhǔn)確率性能的表現(xiàn)上，Resnet101模型較VGG16模型提升了2.98%個(gè)百分點(diǎn)，較Resnet34模型提升了4.35%，較Resnet8模型提升了5.28%，取得了最優(yōu)的準(zhǔn)確率性能表現(xiàn)。在計(jì)算資源占用量方面，Resnet101模型的網(wǎng)絡(luò)深度是Resnet8模型的近12倍，相比其他兩個(gè)較大的模型也增加了近3~5倍，訓(xùn)練時(shí)的顯存占用量和GPU占用率和FLOPs也是最高的。綜上所述，充分表明Resnet101模型具有最好的分類性能的同時(shí)，其計(jì)算資源占用量也最龐大，適合作為教師網(wǎng)絡(luò)進(jìn)行后續(xù)實(shí)驗(yàn)，以驗(yàn)證知識(shí)蒸餾方法能否在保留其分類性能的情況下將模型壓縮，并達(dá)到提升實(shí)時(shí)性分析能力的目的。

在學(xué)生網(wǎng)絡(luò)的選擇方面，應(yīng)考慮模型本身的參數(shù)數(shù)量和計(jì)算資源占用情況，盡量減少冗余參數(shù)；同時(shí)，學(xué)生網(wǎng)絡(luò)本身的分類準(zhǔn)確率也是重要指標(biāo)之一，不能為了壓縮模型的大小，使得分類性能得不到保證。由表6可得，輕量級(jí)模型MobileNetV2、MobileNetV3Small和 Resnet8模型都具有較好的基本分類性能，但MobileNetSmall在準(zhǔn)確率上的表現(xiàn)卻不如其他兩個(gè)模型。對(duì)比MobileNetV2和Resnet8的各項(xiàng)性能指標(biāo)，雖然前者在準(zhǔn)確率性能指標(biāo)上超過后者1.05%，但其顯存占用量是后者的近8倍，在GPU占用率和FLOPs等性能上也處于劣勢。Resnet8模型有較好的分類性能，其在訓(xùn)練時(shí)的計(jì)算資源占用量是更輕量級(jí)的，最終得到的模型文件大小較前兩者也是最小的?；诖耍疚木C合考慮準(zhǔn)確率和計(jì)算資源占用量，同時(shí)假設(shè)與教師網(wǎng)絡(luò)模型具有相同殘差結(jié)構(gòu)的Resnet8模型，能更好地學(xué)習(xí)到以Resnet101網(wǎng)絡(luò)特征表達(dá)作為監(jiān)督信息的“知識(shí)”，選用Resnet8模型作為學(xué)生網(wǎng)絡(luò)，如表7所示。

表7 學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)計(jì)算資源占用Table 7 Occupation of computational resource of student and teacher models

綜上所述，Resnet101模型在胎兒超聲切面分類任務(wù)中具有最優(yōu)異的分類性能，較Resnet8模型具有5.28%的準(zhǔn)確率指標(biāo)提升。綜合各種分類模型在胎兒超聲切面數(shù)據(jù)集上的性能，考慮到分類性能與計(jì)算資源占用量之間的平衡，將Resnet8作為學(xué)生網(wǎng)絡(luò)，將ResNet101作為教師網(wǎng)絡(luò)，此二者都具有良好的分類性能，且具有相同的殘差結(jié)構(gòu)，可以方便學(xué)生網(wǎng)絡(luò)學(xué)習(xí)教師網(wǎng)絡(luò)的隱藏層特征表達(dá)，提高泛化能力。學(xué)生網(wǎng)絡(luò)模型和教師網(wǎng)絡(luò)模型在訓(xùn)練時(shí)的資源占用情況對(duì)比如表8。

表8 不同溫度系數(shù)T的性能對(duì)比Table 8 Experimental results with different parameter T

由表8可知，Resnet8模型較Resnet101模型的訓(xùn)練參數(shù)量減少了近4 210萬，在訓(xùn)練時(shí)的顯存占用和GPU使用率上也更具優(yōu)勢，模型文件大小也縮小近43倍，占用的計(jì)算資源不再冗余，F(xiàn)LOPs縮小了近198倍，提升了實(shí)際部署的可行性。

3.2 溫度參數(shù)T對(duì)比實(shí)驗(yàn)

使用不同的溫度系數(shù)T進(jìn)行對(duì)比實(shí)驗(yàn)，選擇5、10、20、30、40作為實(shí)驗(yàn)的溫度參數(shù)T，其分類可視化混淆矩陣如圖5所示。

圖5 不同溫度系數(shù)T的知識(shí)蒸餾分類混淆矩陣Fig.5 Confusion matrix of knowledge distillation classification with different parameter T

比較學(xué)生網(wǎng)絡(luò)在不同溫度系數(shù)T的訓(xùn)練結(jié)果，選擇最合適的T作為整個(gè)實(shí)驗(yàn)中的溫度系數(shù)T。由表9可得，當(dāng)溫度系數(shù)T=5時(shí)，學(xué)生網(wǎng)絡(luò)在準(zhǔn)確率、宏準(zhǔn)確率、宏召回率、宏F1值等性能指標(biāo)相比其他溫度系數(shù)T得到的模型是最具優(yōu)勢的。同時(shí)，在溫度系數(shù)T=5的情況下，通過現(xiàn)有知識(shí)蒸餾方法訓(xùn)練的學(xué)生網(wǎng)絡(luò)模型與學(xué)生網(wǎng)絡(luò)單獨(dú)訓(xùn)練時(shí)得到的模型的性能相比，各項(xiàng)性能都得到了提升，較原有學(xué)生網(wǎng)絡(luò)的準(zhǔn)確率提升5.16%，并不斷逼近教師網(wǎng)絡(luò)模型的準(zhǔn)確率，在宏精確率和宏F1值上都超過了教師網(wǎng)絡(luò)模型，漲幅分別為1.19%和0.07%，且其計(jì)算資源占用量遠(yuǎn)小于原始教師網(wǎng)絡(luò)?；诖?，選擇T=5作為實(shí)驗(yàn)中的溫度參數(shù)T。

表9 不同優(yōu)化方法的性能對(duì)比Table 9 Performance comparison of different models

3.3 改進(jìn)的兩階段知識(shí)蒸餾方法實(shí)驗(yàn)

3.3.1 第1階段有效性實(shí)驗(yàn)

Resnet8模型與Resnet8+stage1模型相比，前者是Resnet8模型直接訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)模型；而后者是經(jīng)過改進(jìn)的兩階段知識(shí)蒸餾方法第1階段的Resnet8模型，再直接訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)模型。由圖6可知，Resnet8+stage1模型在除“其他類型”切面圖像外的各個(gè)分類的成功樣本數(shù)較Resnet8模型增加3~20例不等。由表9可知，Resnet8+stage1模型較Resnet8模型在準(zhǔn)確率上提升了1.53%，宏召回率提高3.92%，宏F1值提高2.2%，僅在宏精確率上降低0.07%。以上實(shí)驗(yàn)結(jié)果充分表明了改進(jìn)的兩階段知識(shí)蒸餾方法的第1階段訓(xùn)練的必要性和有效性，具有相同殘差結(jié)構(gòu)的學(xué)生網(wǎng)絡(luò)在第1階段的訓(xùn)練中，從教師網(wǎng)絡(luò)的隱藏層特征表達(dá)能學(xué)習(xí)到有用的權(quán)重信息。

圖6 混淆矩陣對(duì)比Fig.6 Confusion matrix with different methods

3.3.2 第2階段有效性實(shí)驗(yàn)

Resnet8+stage1模型與Resnet8+Hint模型相比，前者是經(jīng)過改進(jìn)的兩階段知識(shí)蒸餾方法第1階段的Resnet8模型，再直接訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)模型；后者是經(jīng)過改進(jìn)的兩階段知識(shí)蒸餾方法的學(xué)生網(wǎng)絡(luò)模型。由圖7可知，Resnet8+Hint模型較Resnet8+stage1模型，在每個(gè)類別正確的分類樣本數(shù)的最大增幅達(dá)到了27.2%（腹部類切面圖像）；由表9可知，Resnet8＋Hint模型較Resnet8+stage1模型的各項(xiàng)指標(biāo)性能有了大幅提升，準(zhǔn)確率提升4.84%，宏精確率提升5.63%，宏召回率提升6.3%，宏F1值提升8.21%，以上實(shí)驗(yàn)結(jié)果充分表明改進(jìn)的兩階段知識(shí)蒸餾方法的第2階段訓(xùn)練的有效性。

圖7 混淆矩陣對(duì)比Fig.7 Confusion matrix with different methods

3.4 傳統(tǒng)和改進(jìn)的知識(shí)蒸餾方法對(duì)比

Resnet8+KD模型與Resnet8＋Hint模型相比，前者是經(jīng)過傳統(tǒng)知識(shí)蒸餾方法訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)模型，后者是經(jīng)過改進(jìn)的兩階段知識(shí)蒸餾方法訓(xùn)練得到的學(xué)生網(wǎng)絡(luò)模型。由圖8可知，Resnet8+Hint模型的主要提升在于“胎兒股骨”和“胎兒胸腔”切面的分類結(jié)果上，而Resnet8+KD模型在這兩類上的分類性能是次與前者的。由表9可知，Resnet8＋Hint模型的準(zhǔn)確率較Resnet8+KD模型提升1.21%，宏精確率提升了0.4%，宏召回率提升了1.83%，宏F1值提升了1.18%，以上各項(xiàng)性能指標(biāo)的提升都充分證明了改進(jìn)的兩階段知識(shí)蒸餾方法的有效性。

圖8 混淆矩陣對(duì)比Fig.8 Confusion matrix with different methods

經(jīng)過改進(jìn)的兩階段知識(shí)蒸餾方法的學(xué)生網(wǎng)絡(luò)模型在各項(xiàng)分類指標(biāo)都取得了大幅提升，較原有學(xué)生網(wǎng)絡(luò)模型，準(zhǔn)確率提升6.37%，其他各項(xiàng)性能也得到了明顯提升。較傳統(tǒng)知識(shí)蒸餾方法訓(xùn)練的學(xué)生網(wǎng)絡(luò)模型，準(zhǔn)確率提升1.21%，且在準(zhǔn)確率指標(biāo)上超過教師網(wǎng)絡(luò)模型1.09%。實(shí)驗(yàn)表明，在改進(jìn)的兩階段知識(shí)蒸餾方法的第1階段，與教師網(wǎng)絡(luò)具有相同殘差結(jié)構(gòu)的學(xué)生網(wǎng)絡(luò)能以教師網(wǎng)絡(luò)的隱藏層特征表達(dá)作為監(jiān)督信息，獲得良好的中間層初始權(quán)重，為第2階段知識(shí)蒸餾打下了良好基礎(chǔ)。同時(shí)，使用層數(shù)淺、參數(shù)量較少的學(xué)生網(wǎng)絡(luò)，可以有效避免模型因?qū)訑?shù)過深、參數(shù)量過大產(chǎn)生的過擬合問題，提升了模型的泛化能力，在保留分類性能的同時(shí)成功將模型參數(shù)量進(jìn)行壓縮。綜上所述，充分表明了改進(jìn)的兩階段知識(shí)蒸餾方法在提升學(xué)生網(wǎng)絡(luò)模型各項(xiàng)性能的有效性。

4 結(jié)束語

針對(duì)醫(yī)學(xué)圖像的特點(diǎn)，考慮到深度神經(jīng)網(wǎng)絡(luò)模型在實(shí)際應(yīng)用時(shí)的實(shí)時(shí)性能，本文提出了一種用于胎兒超聲切面識(shí)別的改進(jìn)的兩階段知識(shí)蒸餾方法。利用兩種結(jié)構(gòu)相似，但計(jì)算量相差較大的殘差網(wǎng)絡(luò)，即Resnet8作為學(xué)生網(wǎng)絡(luò)，Resnet101作為教師網(wǎng)絡(luò)，通過現(xiàn)有知識(shí)蒸餾方法和改進(jìn)的兩階段知識(shí)蒸餾方法在胎兒超聲切面數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分別達(dá)到97.38%和98.59%的準(zhǔn)確率，后者在各項(xiàng)分類的性能指標(biāo)上都取得了突破，由此可以得出改進(jìn)的兩階段知識(shí)蒸餾方法優(yōu)于現(xiàn)有知識(shí)蒸餾方法的結(jié)論。通過對(duì)比實(shí)驗(yàn)，表明改進(jìn)的兩階段知識(shí)蒸餾方法的第1階段，在具有相同殘差結(jié)構(gòu)的學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)之間進(jìn)行隱藏層特征遷移的必要性和有效性。通過改進(jìn)的兩階段知識(shí)蒸餾方法得到的學(xué)生網(wǎng)絡(luò)模型Resnet8+Hint在準(zhǔn)確率和各項(xiàng)性能上遠(yuǎn)超原有學(xué)生網(wǎng)絡(luò)模型，在分類性能方面超過了教師網(wǎng)絡(luò)模型，在計(jì)算資源占用量方面，大幅降低了對(duì)計(jì)算資源的需求，同時(shí)加快了實(shí)際應(yīng)用時(shí)的分析速度，表明本文所述的改進(jìn)的兩階段知識(shí)蒸餾方法的有效性。