郭子昇, 王吉芳, 蘇 鵬

(北京信息科技大學(xué) 機(jī)電工程學(xué)院, 北京 100192)

骨骼年齡作為生物學(xué)年齡, 骨齡的預(yù)測在眾多領(lǐng)域具有重要意義. 在未成年生長發(fā)育診斷中, 骨齡預(yù)測是研究青少年女性初潮、兒童基因生長障礙的一種常用方法[1]; 在競技賽事中, 骨齡作為最權(quán)威的評價指標(biāo),常用來甄別運(yùn)動員年齡以輔助選拔[2]; 在刑偵案件中,骨齡預(yù)測是法醫(yī)學(xué)年齡鑒定工作的主要方法[3]; 在考古領(lǐng)域中, 骨齡預(yù)測對種族、生活環(huán)境、面貌復(fù)原等的研究具有重要借鑒意義[4]; 目前國內(nèi)醫(yī)學(xué)影像專業(yè)醫(yī)師缺口巨大, 醫(yī)學(xué)影像誤診漏診率偏高, 診斷速度有限,因此, 建立一個能夠智能化精準(zhǔn)預(yù)測骨齡的分類器具有十分重要的意義.

傳統(tǒng)骨齡預(yù)測方式主要依賴于人工對手骨X 光片的解讀, 專家通過人為觀察非慣用手(常為左手)部位的X 光片得出個體骨齡, 由于已形成較為統(tǒng)一的標(biāo)準(zhǔn),且非慣用手部的不同骨齡骨骼結(jié)構(gòu)差別及生長規(guī)律差異較大, 便于觀察區(qū)分, 因此在骨齡預(yù)測領(lǐng)域上常對人體手骨進(jìn)行分析. 目前骨齡的人工預(yù)測方法有計(jì)數(shù)法、圖譜法[5]和計(jì)分法[6]. 傳統(tǒng)計(jì)數(shù)法誤差大, 并易對人體產(chǎn)生損害; G-P (Greulich and Pyle)圖譜法規(guī)范且精度高, 但需要復(fù)雜的專業(yè)知識及人力儲備; TW (Tanner and Whitehouse)計(jì)分法具有明確的量化概念, 準(zhǔn)確度高, 可重復(fù)性較強(qiáng), 但缺點(diǎn)是需要掌握相關(guān)知識及進(jìn)行繁瑣的操作, 人工預(yù)測的方法耗時普遍較長.

近年來自動化骨齡檢測也有較大發(fā)展. Seok 等人[7]于2016 年提出一種決策規(guī)劃評估方法, 在135 張未公布年齡的手骨X 射線圖像非公開數(shù)據(jù)集上評估得到骨齡均方差(mean square error, MSE)為0.19 歲; Spampinato等人[8]于2017 年提出的一種骨齡評估方法BoNet, 在0–18 歲涵蓋所有種族和性別的手骨X 射線圖像公共數(shù)據(jù)集上進(jìn)行自動化骨齡評估, 得到骨齡MAE (平均絕對誤差)為0.8 歲.

上述G-P 方法或TW 方法中的參考值皆對手骨射線圖像進(jìn)行分割提取并計(jì)算出圖像特征來評估骨齡,然而將臨床特征直接作為機(jī)器學(xué)習(xí)分析處理的對象大大限制了自動化骨齡預(yù)測的泛化能力. 傳統(tǒng)的機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的區(qū)別在于, 前者通過已有知識把原始數(shù)據(jù)預(yù)處理成各種特征, 然后對特征進(jìn)行分類, 此分類效果依賴于特征的選取, 不能很好地表征樣例本質(zhì), 導(dǎo)致訓(xùn)練效果欠佳; 后者通過多層網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行表征學(xué)習(xí)(feature representation learning)和表征數(shù)據(jù)特征[9],其比傳統(tǒng)機(jī)器學(xué)習(xí)對數(shù)據(jù)特征的提取更準(zhǔn)確.

此外, 在進(jìn)行模型的訓(xùn)練及預(yù)測中, 醫(yī)學(xué)骨骼圖像的單通道、小對比度、復(fù)雜紋理、細(xì)粒度圖像識別等特征有別于自然圖像特征; 骨齡數(shù)據(jù)集的不公開及規(guī)模小; 針對特定性別或種族的骨質(zhì)差異等問題都會影響骨齡預(yù)測的泛化能力, 因此針對上述人工或自動化骨齡預(yù)測方法存在的種種問題, 本文提出一種基于深度學(xué)習(xí)的手骨X 射線骨齡分類器, 對骨齡預(yù)測精度提高的效果顯著.

1 基于深度學(xué)習(xí)的骨齡預(yù)測方法

深度卷積神經(jīng)網(wǎng)絡(luò)對圖像識別性能更加優(yōu)異, 近年來相繼出現(xiàn)了AlexNet、VGGNet、GoogleNet、ResNet、MobileNet 等深度網(wǎng)絡(luò)結(jié)構(gòu), 其中輕量級網(wǎng)絡(luò)MobileNet 系列更具代表性. 該系列網(wǎng)絡(luò)利用深度卷積構(gòu)造, 可以平衡延遲和準(zhǔn)確性之間的關(guān)系, 又引入了倒殘差結(jié)構(gòu), 可以適應(yīng)不同尺寸的圖像并在低精度計(jì)算下具有更強(qiáng)的魯棒性, 該網(wǎng)絡(luò)結(jié)構(gòu)與其他常用分類模型相比, 擁有更優(yōu)秀的計(jì)算性能. MobileNetV3 為該系列最新網(wǎng)絡(luò)結(jié)構(gòu), 由Howard 等人[10]于2019 年提出,該網(wǎng)絡(luò)增添了互補(bǔ)搜索技術(shù)組合, 通過硬件架構(gòu)搜索(NAS)與NetAdapt 相結(jié)合的方式, 開展了網(wǎng)絡(luò)設(shè)計(jì)和自動搜索算法在互補(bǔ)利用方面的研究以用來提高整體技術(shù)水平, 較前代相比擁有更強(qiáng)大的計(jì)算能力. 表1 列出了5 種較流行的深度學(xué)習(xí)網(wǎng)絡(luò)模型, 可以看出MobileNet系列網(wǎng)絡(luò)的準(zhǔn)確率大都高于的其他網(wǎng)絡(luò), Top-1 錯誤率大都低于其他網(wǎng)絡(luò), 需求參數(shù)(parameters)和多層疊加(mult-adds) (除SqueezeNet)均小于其他網(wǎng)絡(luò), 同時輕量級的神經(jīng)網(wǎng)絡(luò)為可移動智能骨齡預(yù)測奠定基礎(chǔ), 因此本文將MobileNetV3 作為基礎(chǔ)網(wǎng)絡(luò)用于構(gòu)建骨齡分類器.

表1 較流行的深度學(xué)習(xí)網(wǎng)絡(luò)模型性能對比

1.1 旋轉(zhuǎn)不變LBP 紋理增強(qiáng)處理層

對骨齡的預(yù)測應(yīng)用上, 基于深度學(xué)習(xí)的自動骨齡預(yù)測仍面臨很大的挑戰(zhàn), 手骨X 光圖像與卷積神經(jīng)網(wǎng)絡(luò)通常處理的自然圖像有著很大區(qū)別, 對手骨X 光片的紋理特征提取及增強(qiáng)有利于深度學(xué)習(xí)的網(wǎng)絡(luò)模型使用更少的特征數(shù)據(jù)來更集中的表征全圖特征, 剔除無效特征信息, 減少無關(guān)特征干擾, 從而提升訓(xùn)練、測試的準(zhǔn)確率. 旋轉(zhuǎn)不變LBP 紋理增強(qiáng)處理層的引入, 可以擺脫一些如平移不變性的假設(shè)在骨齡數(shù)據(jù)集中不再滿足等難點(diǎn); 同時還可解決手骨X光圖像的辨識特征僅體現(xiàn)在局部的紋理差異、特征粒度較為細(xì)化, 導(dǎo)致模型獲取這些細(xì)粒度特征并分類的難度較大等難點(diǎn)[11].

LBP (local binary pattern, 局部二值模式)是用于提取全局圖像的局部紋理特征, 增強(qiáng)區(qū)域紋理特征以加深后期網(wǎng)絡(luò)注意力機(jī)制的訓(xùn)練效果, 并縮減整個圖片像素的值, 使訓(xùn)練、預(yù)測速度加快.

利用LBP 算子對手骨X 光片進(jìn)行閾值處理, 以每3×3 網(wǎng)格的窗口中心像素為閾值, 把相鄰網(wǎng)格的像素值與其對比, 若中心像素值較大, 則標(biāo)記為0, 反之為1,得到的8 位二進(jìn)制數(shù)即窗口中心像素點(diǎn)的LBP 值, 此為該區(qū)域的紋理特征信息, 如圖1 所示.

圖1 手骨X 光片紋理特征信息的提取

對手骨X 光片紋理特征信息進(jìn)行直方圖轉(zhuǎn)化:

其中, (xc,yc)表示中心像素,ic表示中心像素灰度值,ip表示P點(diǎn)像素灰度值,s表示符號函數(shù),p表示鄰域P個采樣點(diǎn)中第p個采樣點(diǎn).

通過上述變換, 將手骨X 光片圖像可轉(zhuǎn)換成具有相鄰點(diǎn)之間差值關(guān)系的集合, 但原始LBP 算子只涵蓋中心與相鄰共9 個網(wǎng)格的像素值區(qū)域, 如果將上述涵蓋區(qū)擴(kuò)展到任意區(qū)域, 把正方形區(qū)域替換為半徑為R的圓形區(qū)域, 就能滿足在提取不同尺度紋理特征時擁有灰度不變性、旋轉(zhuǎn)不變性的優(yōu)勢. 圓形LBP 算子如圖2 所示, 其區(qū)域半徑為R, 內(nèi)含P個采樣點(diǎn).

圖2 不同采樣數(shù)與半徑的LBP 算子

對比圖2, 可以看出當(dāng)P=8,R=1 時, 圓形LBP 與原始LBP 一致, 在P=16,R=2 時, 圓形邊界上的點(diǎn)可能不是整數(shù)或正好落在某個像素格子內(nèi), 或位于交界處,因此使用雙線性插值法來計(jì)算該點(diǎn)的像素值. 圓形LBP 算子的計(jì)算公式如下:

其中,R表示采樣半徑,P表示第P個采樣點(diǎn),p表示采樣數(shù)目,

經(jīng)過LBP 與圓形LBP 算子處理可以得到圖片灰度不變性與多尺度紋理特征穩(wěn)定性這些特點(diǎn), 為了擺脫因圖像旋轉(zhuǎn)而得到的不同LBP 值影響紋理特征的讀取要求, 還需要加入旋轉(zhuǎn)不變性因子, 即不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的LBP 值, 取其最小值作為該鄰域的LBP 值, 對LBP 的結(jié)果進(jìn)行二進(jìn)制編碼,并做循環(huán)位移, 取所有結(jié)果中最小的值, 公式如下:

依據(jù)上述方法, 本文對原始數(shù)據(jù)集RSNA 進(jìn)行紋理特征的提取并分別進(jìn)行LBP (LBP-RSNA_bone)增強(qiáng)、圓形LBP (circular-_LBP-RSNA_bone)增強(qiáng)、旋轉(zhuǎn)不變LBP (rotation_invariant_LBP-RSNA_bone)增強(qiáng)處理, 得到手骨X 光片紋理特征, 如圖3 所示. 可以看出對手骨X 光片進(jìn)行紋理增強(qiáng)處理后的紋理特征清晰可見, 以此使用更少的數(shù)據(jù)量來更好的表征圖像的全局信息, 從而加快運(yùn)算速度與更好的配合下文的深度學(xué)習(xí)注意力機(jī)制進(jìn)行驗(yàn)證.

圖3 手骨X 光片的LBP 處理

1.2 引入注意力機(jī)制的輕量級網(wǎng)絡(luò)模型設(shè)計(jì)

為了實(shí)現(xiàn)全智能化識別手骨X 光片的信息, 本文根據(jù)TW 計(jì)分法在1972 年正式定制TW2 標(biāo)準(zhǔn), 引入一種自動框選感興趣區(qū)域的注意力機(jī)制, 該標(biāo)準(zhǔn)包含骨骺、骨骺端、骨干等20 個感興趣區(qū)域[6], 引入該注意力機(jī)制的改進(jìn)網(wǎng)絡(luò)依據(jù)此標(biāo)準(zhǔn), 根據(jù)其圖像的特征,進(jìn)行自動搜索特定區(qū)域, 將資源分配傾向于更為關(guān)鍵的特征. 在不同維度對圖像及隱藏層中特征映射進(jìn)行注意力聚焦, 首先對原始輸入圖像進(jìn)行逐層的空間區(qū)域?qū)W習(xí), 輸出若干個具有辨識能力的子區(qū)域, 再將子區(qū)域反饋進(jìn)多個辨識卷積網(wǎng)絡(luò)中, 對子區(qū)域內(nèi)的特征分配注意力取得更好的分類, 使區(qū)域選擇得到優(yōu)化.

引入注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型如圖4 所示,其主要包含空間網(wǎng)絡(luò)變壓器[12]和多個識別網(wǎng)絡(luò).

圖4 注意力模型網(wǎng)絡(luò)架構(gòu)圖

1)空間網(wǎng)絡(luò)變壓器, 其作為一種空間注意力機(jī)制輸出多個子區(qū)域, 其將特征映射作為輸入, 輸出更加具有辨識能力的特征映射. 空間網(wǎng)絡(luò)變壓器作用于輸入圖像, 在輸入圖像中學(xué)習(xí)到若干信息密集的子區(qū)域, 對于手骨X 光片, 該操作給輸入高分辨率圖像提供支持,在該類圖像中截取出適中分辨率子圖, 這相當(dāng)于將原圖像在骨齡評定關(guān)鍵部位放大, 局部信息可以更加清晰地展現(xiàn), 從而提取表達(dá)能力更強(qiáng)的特征, 為后續(xù)識別網(wǎng)絡(luò)的進(jìn)一步處理提供基礎(chǔ).

2)識別網(wǎng)絡(luò), 其通過在特征映射后的隱藏層加入壓縮激活塊[13], 加入壓縮激活塊不改變網(wǎng)絡(luò)輸出的維度, 設(shè)網(wǎng)絡(luò)架構(gòu)中有N個識別網(wǎng)絡(luò), 每個網(wǎng)絡(luò)輸入一張手骨X 光片子圖像, 輸出一個D維向量, 將所有網(wǎng)絡(luò)的輸出連結(jié)成一個N×D維向量, 輸入到一個全連接層中, 之后由Softmax 層輸出最終骨齡值. 本實(shí)驗(yàn)中依據(jù)TW2 計(jì)分法等對手骨骨齡預(yù)測建議的感興趣區(qū)域, 對N和D分別設(shè)置為9 和512. 識別網(wǎng)絡(luò)對特征映射在通道維度進(jìn)行特征再校準(zhǔn), 從而將模型注意力集中于信息密集的通道上, 壓縮激活塊使用了全局平均匯聚層和兩層全連接層, 因此該結(jié)構(gòu)中包含訓(xùn)練參數(shù)較少,可以方便、高效的加入MobileNet 系列網(wǎng)絡(luò)架構(gòu)中并引入較少的計(jì)算負(fù)擔(dān), 以滿足輕量化的網(wǎng)絡(luò)架構(gòu)并提升網(wǎng)絡(luò)的泛化效果.

1.3 骨齡預(yù)測分類器設(shè)計(jì)

基于MobileNetV3 Large 網(wǎng)絡(luò)結(jié)構(gòu), 設(shè)計(jì)具有可引入注意力機(jī)制和旋轉(zhuǎn)不變LBP 紋理增強(qiáng)處理層的模型RIL-MobileNetV3 Large, 在頂層引入紋理特征增強(qiáng)處理層, 即對原始數(shù)據(jù)集進(jìn)行旋轉(zhuǎn)不變LBP 處理, 并于底層加入測試集輸入的X 光片旋轉(zhuǎn)不變LBP 處理層, 以便于驗(yàn)證的統(tǒng)一, 在池化層后引入本文設(shè)計(jì)好的自動框選感興趣區(qū)域的注意力機(jī)制, 設(shè)計(jì)的骨齡預(yù)測分類器如圖5 所示.

圖5 RIL-MobileNetV3 Large 骨齡預(yù)測分類器

為了避免過擬合, 將訓(xùn)練時間放大與縮小, 通過使平均絕對誤差(MAE) 最小化對分類器尋優(yōu), 利用optimizers. Adam 優(yōu)化器對網(wǎng)絡(luò)進(jìn)行訓(xùn)練; 構(gòu)建分類器模型, 分配給每個骨齡不同類別, 在數(shù)據(jù)集中, 骨齡是以月份表示的, 因此本文截取1–228 月骨齡的數(shù)據(jù)集,以12 個月為一歲, 共取19 類, 即0–18 歲, 故倒數(shù)第二層變成具有19 個輸出概率的Softmax 層, 該層輸出概率的向量, 其中每一類的概率都在范圍[0, 1]中取值,最后一層概率向量乘以不同骨齡的向量[1, 2, 3, …,19], 由此, 模型輸出骨齡的單個預(yù)測值.

1.4 評價指標(biāo)

對于骨齡數(shù)值回歸預(yù)測結(jié)果, 本文采用MAE和accuracy (準(zhǔn)確率)作為綜合評價指標(biāo), 其中當(dāng)預(yù)測值與真實(shí)值完全吻合, 即MAE為0 時為完美模型,MAE越小, 說明預(yù)測精度越高, 計(jì)算公式如下:

其中,N表示樣本數(shù),ytrue表示骨齡真實(shí)值,ypred表示骨齡預(yù)測值.

2 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

2.1 數(shù)據(jù)集

研究采用北美放射學(xué)會舉辦的骨齡挑戰(zhàn)賽公開數(shù)據(jù)集RSNA, 其包含12611 個訓(xùn)練圖像, 1425 個驗(yàn)證圖像和200 個測試圖像, 大多為1–228 月的骨齡X 光片數(shù)據(jù)集, 顯而易見測試集過小, 且開發(fā)階段驗(yàn)證集、測試集標(biāo)簽混亂, 為使其對骨齡預(yù)測的強(qiáng)針對性訓(xùn)練與擴(kuò)大測試集, 本實(shí)驗(yàn)按照原始數(shù)據(jù)集csv 文件截取訓(xùn)練集前1376 張圖片作為測試集, 其余圖片為訓(xùn)練集;為了防止標(biāo)簽混亂導(dǎo)致的訓(xùn)練及測試精度降低, 以便于骨齡的預(yù)測標(biāo)準(zhǔn)化, 本文依據(jù)原始csv 文件骨齡編號按12 個月為一歲依次歸為19 類csv 文件, 分別對測試集、訓(xùn)練集圖像按新編csv 文件歸為0–18 歲共計(jì)19 類, 并進(jìn)行后續(xù)訓(xùn)練預(yù)測實(shí)驗(yàn).

2.2 數(shù)據(jù)處理

為驗(yàn)證本文對手骨X 光片的骨齡預(yù)測可以使用更少的數(shù)據(jù)量來最好的表征圖像特征, 以此加快運(yùn)算速度與高效配合注意力機(jī)制, 對原始數(shù)據(jù)集進(jìn)行紋理特征的提取并分別按順序進(jìn)行LBP、圓形LBP、旋轉(zhuǎn)不變LBP 紋理增強(qiáng)處理, 得到包含清晰紋理信息的LRSNA、CL-RSNA、RIL-RSNA 數(shù)據(jù)集.

2.3 實(shí)驗(yàn)平臺

本實(shí)驗(yàn)搭建于x64 處理器的Windows 10 操作系統(tǒng), 實(shí)驗(yàn)仿真環(huán)境采用谷歌開發(fā)的TensorFlow 2.1.0 框架, 以Python 3.7 作為編程語言, PyCharm 2019.3.3 為編輯器, CPU 使用Intel(R)Core(TM)i7-9750H, GPU 使用Inter(R)UHD Graphics 630, 運(yùn)行內(nèi)存為8 GB, 所有程序通過以TensorFlow 為后端的開源框架Keras 及其Python 接口實(shí)現(xiàn).

2.4 訓(xùn)練策略

實(shí)驗(yàn)采用改進(jìn)模型RIL-MobileNetV3 Large 進(jìn)行訓(xùn)練, 在增強(qiáng)后的RIL-RSNA 數(shù)據(jù)集上分別進(jìn)行了20、30、40、50、80 和120 輪訓(xùn)練, 每次喂入分類器8 張圖片, 類別數(shù)為19, 初始學(xué)習(xí)率為0.0001 并逐步調(diào)優(yōu), 訓(xùn)練圖像采用三通道, 并調(diào)整圖片的寬高皆為224. 設(shè)置縮放因子1/255 以增強(qiáng)模型泛化能力, 并配置optimizers.Adam 優(yōu)化器, 結(jié)合fit_generator 訓(xùn)練方式進(jìn)行訓(xùn)練以節(jié)約內(nèi)存, 最后計(jì)算骨齡預(yù)測值和骨齡真實(shí)值A(chǔ)ccuracy 作為模型輸出, 并結(jié)合在測試集上計(jì)算的MAE 值, 綜合判斷分類器性能.

2.5 結(jié)果分析

將新編好的原圖數(shù)據(jù)集RSNA、LBP 紋理增強(qiáng)處理數(shù)據(jù)集L-RSNA、圓形LBP 紋理增強(qiáng)處理數(shù)據(jù)集CL-RSNA、旋轉(zhuǎn)不變LBP 紋理增強(qiáng)處理數(shù)據(jù)集RILRSNA 分別在引入自動框選感興趣區(qū)域注意力機(jī)制的MobileNetV3 Large 網(wǎng)絡(luò)中訓(xùn)練50 輪, 將訓(xùn)練結(jié)果進(jìn)行對比, 實(shí)驗(yàn)結(jié)果如表2 所示.

由表2 可知, 用紋理增強(qiáng)處理后的數(shù)據(jù)集進(jìn)行訓(xùn)練, 較原數(shù)據(jù)集的預(yù)測誤差下降較多, 其中旋轉(zhuǎn)不變LBP 處理對骨齡預(yù)測誤差下降最大, 說明端對端逐層監(jiān)督式學(xué)習(xí)方法受原始圖片背景中無關(guān)信息影響較大,經(jīng)手骨紋理增強(qiáng)處理后, 可以用更少的數(shù)據(jù)量來更精確的表征圖像信息, 從而擴(kuò)大訓(xùn)練準(zhǔn)確率, 并縮小平均絕對誤差MAE, 由此可知引入旋轉(zhuǎn)不變LBP 紋理增強(qiáng)層具有提高訓(xùn)練準(zhǔn)確率與縮小平均誤差的顯著作用.

表2 數(shù)據(jù)處理層對比實(shí)驗(yàn)結(jié)果

在采用引入自動框選感興趣區(qū)域注意力機(jī)制和旋轉(zhuǎn)不變LBP 紋理增強(qiáng)層的RIL-MobileNetV3 Large 網(wǎng)絡(luò)進(jìn)行骨齡預(yù)測過程中, 神經(jīng)網(wǎng)絡(luò)權(quán)值變化基于損失梯度的調(diào)整, 而學(xué)習(xí)率控制神經(jīng)網(wǎng)絡(luò)權(quán)值的變化速度,為取得最優(yōu)學(xué)習(xí)率, 本文在不同學(xué)習(xí)率及多次訓(xùn)練輪數(shù)下進(jìn)行實(shí)驗(yàn), 所得結(jié)果如圖6 所示, 當(dāng)進(jìn)行40 輪訓(xùn)練, 學(xué)習(xí)率設(shè)為0.0001 時, 梯度增幅變大, 收斂時間加快, 訓(xùn)練集準(zhǔn)確率為91.80%, 損失率為23.41%; 當(dāng)學(xué)習(xí)率設(shè)為0.0005 時, 梯度增幅較小, 將會延長收斂時間,故分別進(jìn)行40、80 輪訓(xùn)練, 80 輪時訓(xùn)練集準(zhǔn)確率較高為94.04%, 此時損失率為16.74%;

圖6 骨齡評估模型多次訓(xùn)練結(jié)果對比可視化

由圖7 可以看出, 當(dāng)學(xué)習(xí)率設(shè)為0.00075 時, 梯度增幅繼續(xù)變小, 收斂時間繼續(xù)延長, 故進(jìn)行120 輪訓(xùn)練,訓(xùn)練集準(zhǔn)確率為93.32%, 損失率為20.46%, 此時的準(zhǔn)確率低于學(xué)習(xí)率為0.0005 訓(xùn)練80 輪時的準(zhǔn)確率94.02%, 繼續(xù)取學(xué)習(xí)率0.0001 和0.00005 進(jìn)行訓(xùn)練時,準(zhǔn)確率曲線走勢的收斂速度明顯加快, 在訓(xùn)練80 輪時得到的訓(xùn)練集曲線和測試集曲線基本粘合成一條, 此時的準(zhǔn)確率為94.20%, 損失率為16.74%. 因此, 采用改進(jìn)的RIL-MobileNetV3 Large 網(wǎng)絡(luò)在預(yù)測骨齡過程中, 學(xué)習(xí)率設(shè)為0.0001, 訓(xùn)練次數(shù)設(shè)為80, 此時可快速得到極佳的預(yù)測效果, 且使用測試集在該網(wǎng)絡(luò)預(yù)測骨齡的MAE值為0.35 歲, 表明可以達(dá)到非常低的平均預(yù)測誤差.

圖7 骨齡評估模型最佳訓(xùn)練結(jié)果可視化

2.6 預(yù)測精度對比

為驗(yàn)證本文提出改進(jìn)RIL-MobileNetV3 Large 網(wǎng)絡(luò)的檢測性能, 將其與基于深度學(xué)習(xí)的其他骨齡預(yù)測網(wǎng)絡(luò)在同一數(shù)據(jù)集上進(jìn)行對比, 對比試驗(yàn)結(jié)果如表3.

表3 骨齡分類器對比實(shí)驗(yàn)結(jié)果

可以看出, 本文改進(jìn)網(wǎng)絡(luò)的MAE值較其他網(wǎng)絡(luò)更低, accuracy 值較其他網(wǎng)絡(luò)更高, 由此可見, 在引入自動框選感興趣區(qū)域注意力機(jī)制和旋轉(zhuǎn)不變LBP 紋理增強(qiáng)處理層的骨齡分類器能提取不同骨齡更具區(qū)分性的特征, 對骨齡預(yù)測準(zhǔn)確度更高, 具有非常好的魯棒性與泛化能力.

3 結(jié)論與展望

針對手骨X 光片數(shù)據(jù)集圖像的單通道、小對比度、復(fù)雜紋理、細(xì)粒度圖像識別等特征提取難, 導(dǎo)致影響骨齡預(yù)測準(zhǔn)確度等問題, 提出了一種同時引入注意力機(jī)制和旋轉(zhuǎn)不變LBP 紋理增強(qiáng)處理層的改進(jìn)模型, 作為骨齡預(yù)測分類器. 其基于輕量級神經(jīng)網(wǎng)絡(luò)MobileNet系列融合處理紋理特征的旋轉(zhuǎn)不變LBP 算子處理層,通過處理層將手骨X 光片數(shù)據(jù)集的紋理特征進(jìn)行提取并增強(qiáng), 使更細(xì)致紋理特征的手骨信息作為網(wǎng)絡(luò)輸入端, 減少無關(guān)特征影響, 提高訓(xùn)練的準(zhǔn)確率; 同時又對卷積網(wǎng)絡(luò)引入一種注意力機(jī)制, 在不借助任何先驗(yàn)信息的情況下, 把引入紋理增強(qiáng)處理層處理后的圖像作為網(wǎng)絡(luò)的輸入, 再通過引入注意力機(jī)制的輕量級神經(jīng)網(wǎng)絡(luò), 進(jìn)行自動定位、學(xué)習(xí)提取處理后的手骨X 光片圖像中具有高識別能力的區(qū)域特征、深層特征并完成識別和分類. 最后通過在RSNA 數(shù)據(jù)集上進(jìn)行訓(xùn)練及預(yù)測, 結(jié)果表明該分類器較傳統(tǒng)方法具有更高的骨齡預(yù)測精度. 消除了在臨床環(huán)境中人工進(jìn)行繁瑣的數(shù)據(jù)集查找需求, 智能化的骨齡分類器提高骨齡預(yù)測精確度并大大節(jié)省了時間, 對青少年生長發(fā)育、刑偵案件、體育賽事、考古等領(lǐng)域的骨齡評估具有重要協(xié)助意義,為建立標(biāo)準(zhǔn)化的可移動骨齡分類器, 推動實(shí)現(xiàn)便捷準(zhǔn)確快速的智能化骨齡預(yù)測提供重要借鑒意義.