王嘉慶，梅禮曄，張俊華

（云南大學 信息學院，昆明 650500）

0 概述

醫(yī)學上通常將人類骨骼年齡（以下稱為骨齡）作為其生物學年齡，與出生年齡相比，骨齡能更準確地反映人體成熟度。在臨床醫(yī)學中，骨齡評估廣泛應用于兒童成長預測與相關疾病輔助診斷，是研究兒童內分泌、遺傳因子和生長障礙的一種常用手段［1-3］。

目前臨床通常采用G&P 方法［4］或TW 方法［5］通過左手（非慣用手）骨X射線圖像進行骨齡人工評估。G&P方法又稱圖譜法，該方法主要通過觀察遠端指骨、中間指骨以及腕部的各種形狀骨樣，將特定感興趣區(qū)域（Region of Interest，RoI）的圖像特征與標準圖譜中各年齡段圖像特征進行對比來評估骨齡。TW 方法又稱計分法，該方法主要通過分析骨骺/干骨后端感興趣區(qū)域（Epiphysis/Metaphysis Region of Interest，E/MRoI）以及腕骨感興趣區(qū)域（Carpal Region of Interest，CRoI）等20 個感興趣區(qū)域（Region of Interest，RoI）并分別評分，然后將所有RoI 分數(shù)相加得到骨成熟度總評分來評估骨齡。然而G&P 方法和TW 方法耗時較長，以G&P 方法和TW 方法中TW2 方法為例，經(jīng)驗豐富的醫(yī)生使用這兩種方法分別需耗費1.4 min 和7.9 min［6］。此外，上述方法均受醫(yī)生主觀因素影響，評估所得骨齡通常存在誤差，其中，G&P 方法的平均誤差為0.96 歲，TW2 方法的平均誤差為0.74 歲［7］。

目前自動化骨齡檢測方法大部分按照TW 方法的原理對手骨X 射線圖像的RoI 特征進行自動化提取。21 世紀初，PIETKA 等人［8-9］提出基于自組織指骨距離提取的E/MRoI 分割方法，并用模糊分類器進行TW 級分配，通過評估360 張0 歲～6 歲兒童的手骨X 射線圖像得到骨齡平均絕對誤差（Mean Absolute Error，MAE）為2.41 歲，經(jīng)改進分類器處理后得到MAE 為1.93 歲。2007 年，GERTYCH 等人［10］采用模糊邏輯的骨齡評估方法在1 400 張0 歲～18 歲兒童手骨X 射線圖像公共數(shù)據(jù)集上進行評估，得到骨齡MAE 為2.15 歲。2016 年，SEOK 等人［11］提出一種決策規(guī)則的評估方法，在135 張未公布年齡的X 射線圖像非公開數(shù)據(jù)集上評估得到骨齡均方誤差（Mean Square Error，MSE）為0.19 歲。文獻［12］提出一種BoneXpert 方法，融合G&P 方法和TW 方法建立統(tǒng)一模型進行自動年齡評估，利用生成模型和活動外觀模型自動分割手部和腕部的15 根骨骼，然后根據(jù)骨骼的形狀、強度與紋理特征確定其G&P 或TW2 骨齡，在1 559 張7 歲～17 歲兒童的手骨X 射線圖像非公開數(shù)據(jù)集上評估得到G&P 和TW2 骨齡的MSE 為0.42 歲和0.80 歲。2017 年，SPAMPINATO 等人［13］提出一種基于深度學習的骨齡評估方法BoNet，在0 歲～18 歲涵蓋所有種族和性別的手骨X 射線圖像公共數(shù)據(jù)集上進行自動化骨齡評估，得到骨齡MAE 為0.8 歲。

在上述研究中，除了基于深度學習的自動化骨齡評估方法，其他方法均基于G&P 方法或TW 方法中的E/MRoI 和CRoI 對手骨X 射線圖像進行分割提取圖像幾何物理特征，并計算出圖像特征來評估骨齡，然而將臨床特征直接作為計算機視覺或機器學習分析處理的對象極大限制了自動化骨齡評估的泛化能力。此外，骨齡評估還存在實驗數(shù)據(jù)集不公開、數(shù)據(jù)量較少、針對特定性別或種族，以及大部分受試者因年齡較小骨骼尚未定型等問題，其中BoneXpert方法對圖像質量要求較高。以上因素導致實驗結果不能真實反映自動化評估方法的性能，且評估方法不易驗證與推廣。

針對上述自動化骨齡評估方法存在的問題，本文提出一種基于深度學習的X 射線圖像自動骨齡評估方法，建立改進的端到端深度學習網(wǎng)絡Inception ResNet V2，減少特征提取復雜度與局限性，在不借助任何先驗信息的情況下，將手骨X 射線圖像簡單預處理后作為神經(jīng)網(wǎng)絡的輸入，通過改進卷積神經(jīng)網(wǎng)絡自動提取手骨X 射線圖像深層特征進行識別和分類，并采用分層K折交叉驗證法對網(wǎng)絡進行訓練。

1 基于深度學習的骨齡檢測方法

深度學習與傳統(tǒng)簡單學習的區(qū)別在于，前者通過多層網(wǎng)絡結構自主學習和表征數(shù)據(jù)特征［14］，而后者需要人工提取特征信息。人工提取的特征通常不準確或者不能很好地表征事物本質，難以取得理想的學習效果。與傳統(tǒng)簡單學習相比，深度學習的效果更優(yōu)異且對數(shù)據(jù)特征的提取更準確。卷積神經(jīng)網(wǎng)絡是深度學習在圖像領域的成功應用之一［15］。

近年來，深度卷積神經(jīng)網(wǎng)絡已成為圖像識別性能優(yōu)化的關鍵，其中具有代表性的是2014 年ImageNet ILSVRC 圖像識別競賽的冠軍模型GoogleNet［16-17］，其以相對較低的計算成本獲得良好的識別精度。GoogleNet 深度學習架構中較先進的Inception V3、Inception V4、Inception ResNet V1 以及Inception ResNet V2 網(wǎng)絡［18］的檢測錯誤率與參數(shù)量如表1 所示?？梢钥闯觯琁nception ResNet V2 網(wǎng)絡的Top-1 和Top-5 錯誤率均低于GoogleNet 系列的其他網(wǎng)絡，因此，本文將Inception ResNet V2 作為基礎網(wǎng)絡用于骨齡評估。

表1 不同網(wǎng)絡的檢測錯誤率與參數(shù)量Table 1 Detection error rate and parameter quantity of different networks

1.1 優(yōu)化的Inception ResNet V2 網(wǎng)絡

Inception ResNet V2 網(wǎng)絡的原始結構由Stem 模塊、Inception-ResNet模塊、Reduction 模塊以及Softmax 層組成。Inception-ResNet 模塊使用1×1 卷積和降維的方法減少參數(shù)量，在增加網(wǎng)絡深度的同時使用Shortcut 可有效避免梯度消失的問題，提高識別速度并加快收斂。

使用Inception ResNet V2 網(wǎng)絡進行骨齡評估的具體過程為：利用深度卷積神經(jīng)網(wǎng)絡進行特征學習，將手骨X 射線圖像的低層特征和高層特征進行融合，同時重復利用手骨特征有效性，并刪減Inception ResNet V2 網(wǎng)絡中Softmax 層以優(yōu)化Inception ResNet V2 網(wǎng)絡結構，如圖1 所示（彩色效果參見《計算機工程》官網(wǎng)HTML 版）。

圖1 優(yōu)化的Inception ResNet V2 網(wǎng)絡結構Fig.1 Optimized structure of Inception ResNet V2 network

1.1.1 優(yōu)化的Inception 模塊

Inception 模塊使用多層感知器代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡中的通用線性結構，多層感知器具有良好的非線性分類能力，在分類精度和收斂速度方面具有更好的效果，適用于骨齡評估等非線性分類問題。Inception 模塊原始結構如圖2（a）所示，該模塊利用1×1、3×3、5×5 卷積核和3×3 最大池化操作擴展網(wǎng)絡的深度與寬度，將不同規(guī)模卷積核的結果聯(lián)合濾波獲得輸出，以提取更豐富的手骨X 射線圖像深層特征?？紤]到5×5 卷積核需要大量計算，采用3×3 卷積核代替5×5 卷積核［19］對Inception 模塊進行優(yōu)化，獲得Inception-A 模塊，其結構如圖2（b）所示。為進一步減少計算量，引入非對稱卷積核，使用1×n卷積核與n×1 卷積核代替n×n卷積核，在卷積核感受野不變的情況下節(jié)約計算資源。非對稱卷積核在中等大小的特征圖上分類精度更高，經(jīng)過測試得到卷積優(yōu)化后的Inception-B 模塊和Inception-C 模塊，其結構分別如圖2（c）和圖2（d）所示。

圖2 原始模塊和卷積優(yōu)化后的Inception 模塊結構Fig.2 Structure of original module and convolution optimized Inception modules

1.1.2 殘差連接的Inception 模塊

Inception 模塊的引入使網(wǎng)絡寬度與深度增加，卷積優(yōu)化后的Inception 模塊可降低計算量并提取到手骨X 射線圖像不同層次的特征，有利于提高骨齡預測精度，但也會造成梯度消失或梯度爆炸等問題。因此，通過在卷積優(yōu)化后的Inception 模塊中加入殘差連接［20］結構可解決卷積神經(jīng)網(wǎng)絡深度增加帶來的副作用，殘差連接結構如圖3 所示。

圖3 殘差連接結構Fig.3 Residual connection structure

殘差連接結構的輸入和輸出關系表示為：

其 中，xl為殘差塊的輸入，xl+1、xl+2和xL分別為xl后第1 層、第2 層和第L層殘差塊的輸出，F(xiàn)(·) 為激活函數(shù)，w為卷積操作。

根據(jù)反向傳播算法中的鏈式法則，損失函數(shù)c關于xl的梯度表示為：

在殘差連接結構中，當更新某個節(jié)點的參數(shù)時，由于xL=F(x)+xl，因此鏈式求導后即使數(shù)值再小，其左側1 的存在使原鏈式求導中連乘運算變?yōu)檫B加運算，從而保證該節(jié)點參數(shù)更新時不出現(xiàn)梯度消失或梯度爆炸現(xiàn)象。

利用殘差連接結構的優(yōu)勢，將改進后的Inception 模塊與殘差連接結合［17］分別得到Inception-ResNet-A 模塊、Inception-ResNet-B 模塊和Inception-ResNet-C 模塊，其結構如圖4 所示。

圖4 3 種模塊的結構Fig.4 Structure of three modules

1.2 損失函數(shù)的選取

本文采用固定學習率訓練優(yōu)化后的Inception ResNet V2 網(wǎng)絡，考慮到固定學習率下網(wǎng)絡模型不易收斂，采用MSE 損失函數(shù)。由于MSE 損失梯度隨損失減小而降低，當梯度下降即將結束時不易錯過最小值，因此訓練網(wǎng)絡采用MSE 損失函數(shù)較其他損失函數(shù)所得效果更精確。

將骨齡評估損失定義為手骨X 射線圖像評估所得骨齡讀數(shù)與標簽（真實）值的均方誤差，計算公式為：

其中，N為樣本數(shù)，ytrue為骨齡真實值，ypred為骨齡預測值。MSE 值越大，表示骨齡預測結果越差。

1.3 評價指標

對于骨齡數(shù)值回歸預測結果，本文采用平均絕對誤差作為評價指標，MAE 值越小，說明預測精度越高，計算公式為：

2 實驗與結果分析

2.1 數(shù)據(jù)集

本文實驗數(shù)據(jù)集采用一種骨骼年齡自動基準測量的公共綜合X 射線數(shù)據(jù)集Digital Hand Atlas Database System。該數(shù)據(jù)集包含1 391 張18 歲以下兒童左手骨X 射線圖像，涵蓋亞洲人、非洲人、高加索人、西班牙人4 個種族，每張圖像都由醫(yī)學專家提供骨齡值，兒童的種族、年齡、性別分布情況如表2所示。由于該數(shù)據(jù)集為公共數(shù)據(jù)集，適用性較強，涵蓋種族數(shù)量多、年齡范圍廣，因此其訓練的網(wǎng)絡可應用于各年齡段及各種族的骨齡評估，在一定程度上彌補了目前自動骨齡評估方法的不足。

表2 數(shù)據(jù)集中兒童的種族、年齡和性別分布情況Table 2 Race,age and gender distribution of children in the dataset

2.2 數(shù)據(jù)預處理

利用深度學習處理圖像時，需采用大量數(shù)據(jù)進行訓練，然而數(shù)據(jù)集樣本不足，因此，需擴增數(shù)據(jù)集樣本數(shù)量。由于不能改變手骨X 射線圖像RoI 特征的原始樣貌，因此未選用隨機拉伸等數(shù)據(jù)增強方法，而是通過將圖像上下翻轉180°使數(shù)據(jù)集圖像數(shù)量擴大為原來的兩倍。然后對數(shù)據(jù)增強后的手骨X 射線圖像進行Z-Score 標準化處理，經(jīng)過處理的數(shù)據(jù)均值為0，標準差為1，最終將不同量級的數(shù)據(jù)轉化為統(tǒng)一度量，從而提高數(shù)據(jù)可比性并削弱數(shù)據(jù)解釋性。

2.3 改進的交叉驗證方法

本文實驗所用數(shù)據(jù)集包括亞洲人、非洲人、高加索人和西班牙人4 個種族，不同種族手骨X 射線圖像的特征區(qū)域存在差異。采用標準K折交叉驗證法（見圖5（a））將數(shù)據(jù)集按順序分為K等份，對于每一次模型的訓練測試（共K次），都有（K-1）份做訓練集，剩下1 份做測試集，K次訓練測試后共得到K個結果，對該結果取平均值作為最終結果。由于此方法按順序將數(shù)據(jù)集劃分等份，可能存在樣本類別分配不均衡造成驗證效果無意義，因此本文實驗采用分層K折交叉驗證法（見圖5（b））對數(shù)據(jù)分層采樣，確保訓練集和測試集中樣本類別的比例與原始數(shù)據(jù)集相同，避免分類不均衡，以彌補標準K折交叉驗證法的不足，使實驗結果更準確。

圖5 2 種交叉驗證方法Fig.5 Two cross validation methods

2.4 實驗平臺

本文實驗在安裝Windows10 系統(tǒng)的GPU 計算平臺上進行，采用Intel?CoreTMi7-8700K CPU、16 GB×2內存以及NVIDIA GeForce GTX 1080Ti GPU，所有程序通過以Tensorflow 為后端的開源框架Keras 及其Python 接口實現(xiàn)。

2.5 訓練策略

本文采用MSE 損失函數(shù)和Adam 優(yōu)化算法［21］訓練模型，批量大小設置為32，初始學習速率為0.1，以每次縮小為原速率1/5 或1/10 的速率依次遞減進行學習速率調參，并在取得較高骨齡評估精度時通過微調學習速率取得最優(yōu)結果。使用骨齡標簽值作為模型訓練目標，在增強后的數(shù)據(jù)集上使用分層5 折交叉驗證法評估網(wǎng)絡模型對骨齡的預測精度，每折進行200 次迭代，并計算骨齡預測值和骨齡真實值的MAE 作為模型輸出。

2.6 結果分析

神經(jīng)網(wǎng)絡權值的變化基于損失梯度的調整，而學習速率控制神經(jīng)網(wǎng)絡權值變化的速度。若學習速率過高，則梯度降幅較大，易越過最優(yōu)解；若學習速率過低，則梯度降幅較小，將會延長收斂時間。在采用改進的Inception ResNet V2 網(wǎng)絡進行骨齡評估過程中，為取得最優(yōu)學習速率，本文在不同學習速率下進行實驗，所得結果如圖6所示?？梢钥闯?，改進的Inception ResNet V2網(wǎng)絡在評估骨齡過程中，當學習速率小于0.005時MAE值開始收斂，并在學習速率為0.001 時MAE 達到最小值，得到模型訓練后的最優(yōu)結果。

圖6 改進Inception ResNet V2 網(wǎng)絡在不同學習速率下的MAE 值Fig.6 MAE values of improved Inception ResNet V2 network at different learning rates

為驗證本文提出的改進Inception ResNet V2 網(wǎng)絡（以下稱為本文網(wǎng)絡）的檢測性能，將其與基于深度學習的BoNet［13］骨齡評估網(wǎng)絡（以下稱為BoNet 網(wǎng)絡）在同一數(shù)據(jù)集上進行對比。BoNet 網(wǎng)絡由5 個卷積層和位于第4個卷積層后的1個變形層組成，由含有2 048個神經(jīng)元的全連接層與用于估計的單神經(jīng)元組成回歸網(wǎng)絡。在對比實驗中，本文網(wǎng)絡采用分層K折交叉驗證法，BoNet 網(wǎng)絡采用標準K折交叉驗證法，結果如表3所示。可以看出，本文網(wǎng)絡的MAE 值較BoNet 網(wǎng)絡更低，骨齡預測精度更高。由此可見，在包括多個種族、不同年齡和性別的公共數(shù)據(jù)集上，本文方法能提取更具區(qū)分性的特征，對骨骼圖像的識別率更高，具有較好的魯棒性與泛化能力。

表3 2 種網(wǎng)絡的MAE 值Table 3 MAE values of two networks

2.7 預測精度對比

為驗證Inception ResNet V2 網(wǎng)絡在骨齡評估方面的優(yōu)異性能，對比Inception V3、Inception V4、Inception ResNet V1 網(wǎng)絡（上述網(wǎng)絡均已刪去Softmax 層以便骨齡評估）的骨齡評估情況，采用MSE 損失函數(shù)和MAE指標并利用分層K折交叉驗證法進行實驗，批處理圖像數(shù)量為32，通過調參得到各網(wǎng)絡的最優(yōu)學習速率，不同網(wǎng)絡的學習速率調參結果如圖7 所示。結合圖6 可以看出，Inception V3、Inception V4、Inception ResNet V1與Inception ResNet V2 網(wǎng)絡的最優(yōu)學習速率分別為0.001 0、0.010 0、0.000 5 和0.001 0。4 種網(wǎng)絡在最優(yōu)學習速率下所得MAE 值如表4 所示。

圖7 不同網(wǎng)絡的學習速率調參結果Fig.7 Results of parameter adjustments of learning rate of different networks

表4 4 種網(wǎng)絡在最優(yōu)學習速率下的MAE 值Table 4 MAE values of four networks at optimal learning rates

可以看出，Inception 系列網(wǎng)絡的骨齡預測精度均優(yōu)異于BoNet 網(wǎng)絡，說明Inception 系列模塊在手骨X 射線圖像特征提取上具有優(yōu)異的效果。Inception ResNet V1 在Inception V3 的基礎上加入殘差連接結構，Inception ResNet V2 在Inception V4 的基礎上加入殘差連接結構，Inception V4 在Inception V3 基礎上對網(wǎng)絡進行優(yōu)化，與Inception V3 相比，Inception V4 的網(wǎng)絡結構更精簡且Inception 模塊更多，上述網(wǎng)絡中前者的MAE 值均低于后者，骨齡預測精度更高。以上實驗結果表明，殘差網(wǎng)絡的連接結構對骨齡評估有正向促進作用。殘差網(wǎng)絡結構使深度神經(jīng)網(wǎng)絡在前向傳播時的輸入信號從任意層直接傳播到高層，在一定程度上解決網(wǎng)絡退化問題，且深度神經(jīng)網(wǎng)絡在反向傳播時的錯誤信號可不經(jīng)過任何中間權重矩陣變換直接傳播到低層，在一定程度上緩解梯度彌散問題，從而提升網(wǎng)絡模型對手骨X線圖像特征的處理性能，得到更高的預測精度。

3 結束語

本文提出一種基于深度學習的改進Inception ResNet V2 網(wǎng)絡骨齡評估方法。通過去除Softmax 層優(yōu)化深度卷積神經(jīng)網(wǎng)絡結構，在Inception 模塊中加入非對稱卷積核和殘差連接結構提高分類精度，擴展數(shù)據(jù)集避免深度學習算法出現(xiàn)過擬合現(xiàn)象，采用分層K折交叉驗證法對數(shù)據(jù)均衡采樣。實驗結果表明，與采用BoNet 網(wǎng)絡的方法相比，該方法骨齡預測精度更高，具有較好的魯棒性和泛化能力。后續(xù)將對卷積神經(jīng)網(wǎng)絡的特征提取區(qū)域進行可視化研究，并與G&P 方法和TW 方法的特征提取區(qū)域進行對比，進一步提高本文方法的骨齡評估性能。