占夢軍,張世杰,陳虎,寧剛,鄧振華
(1.四川大學華西基礎(chǔ)醫(yī)學與法醫(yī)學院,四川 成都 610041;2.四川大學視覺合成圖形圖像技術(shù)國防重點學科實驗室,四川 成都 610065;3.四川大學計算機學院,四川 成都 610065;4.四川大學華西第二醫(yī)院放射科,四川 成都 610041)
骨齡評估是通過對骨骼的發(fā)育特征進行識別,從而獲得對骨骼發(fā)育程度的定量評估。骨齡指標在預防醫(yī)學、臨床醫(yī)學、體育科學等領(lǐng)域有著廣泛的應用價值[1]。此外,骨齡鑒定作為確定刑事責任年齡的證據(jù)之一,能夠較真實地反映犯罪嫌疑人的生物學年齡,在司法審判中亦具有重大意義[2]。
傳統(tǒng)的骨齡評估均是由專家根據(jù)標準對待測X線片進行評定,由于不同專家的認識程度不一,應用這些方法評估骨齡的主觀性較強,容易受人為主觀因素的影響。目前,人工評定骨齡的缺點主要有以下幾點[3-8]:(1)可重復性差。不同專家對同一張X線片的判定結(jié)果會產(chǎn)生一定的差異,同一位專家在不同時期對同一張X線片的判定結(jié)果亦可能不同。因此,該方法不利于骨齡的客觀評估。(2)難以普及。人工評定骨齡需要評定人員具有較強的專業(yè)知識,往往需要經(jīng)過長期的培訓以及經(jīng)驗的積累才能較為準確地判斷骨齡。(3)耗時費力。由于要對手腕部多塊骨骼進行評估,人工處理所需要的時間較長。上述諸多因素決定了將計算機視覺、數(shù)字圖像處理、模式識別等與骨齡評估相結(jié)合,實現(xiàn)骨齡自動化評估,使評估的過程和結(jié)果更加客觀和真實、效率更高成為一種現(xiàn)實需要。
因此,研究出新的骨齡評估方法,尤其是實現(xiàn)骨齡的自動化評估,使得骨齡評定達到簡單、快速、準確、可重復性強的要求,也就成了國內(nèi)外眾多同行的研究熱點。當前,骨齡評估方法已經(jīng)過專家人工評估、計算機輔助評估以及傳統(tǒng)機器學習評估3個階段的發(fā)展,正朝著結(jié)合計算機視覺、數(shù)字圖像處理、模式識別以及人工智能的方向發(fā)展[3-8]。本文綜述了近年來國內(nèi)外在骨齡自動化評估方面的相關(guān)研究與進展,以期為相關(guān)研究人員提供參考與思路,為骨齡自動化評估指明研究方向。
在身體的各個部位中,由于手腕部對全身骨發(fā)育的代表性最高,手腕部有眾多不同類型的骨化中心,易于拍攝,且所需照射劑量小。因此,在骨齡評估中,手腕部骨發(fā)育成熟度評估方法的應用更為廣泛[9-10]。
目前,國內(nèi)外傳統(tǒng)人工評定骨齡的方法主要有兩種。(1)圖譜法。1937年由TODD首創(chuàng),后美國學者GREULICH和PYLE在TODD制定的手腕部圖譜的基礎(chǔ)上,于1950年依據(jù)美國30年代中上社會階層白人兒童研制出手腕部骨骼成熟系列性X線圖譜,并于1959年進行修改,該圖譜即為G-P圖譜,在國際上具有較高的權(quán)威性。圖譜法評定骨齡較為簡便、直觀,且易于掌握。因此,目前各國應用較廣泛,但其易受到觀察者內(nèi)部和觀察者間變異性的影響。有研究[11]結(jié)果顯示,應用該方法評估骨齡,觀察者間的差異范圍為0.07~1.25歲,觀察者內(nèi)的差異為0.11~0.89歲。(2)計分法。TANNER和WHITEHOUSE于1962年以50年代英國倫敦中產(chǎn)階層兒童2 700人(其中一次性橫向觀察2 200人,縱橫結(jié)合觀察500人)為研究對象,研制出了判定骨齡的TW1計分方法,后于1975年修改成TW2標準,又于2000年進一步修改成TW3標準[12]。1988年,國家體育運動委員會委托河北省體育科學研究所,根據(jù)我國兒童骨骼發(fā)育的特點,在TW2標準的基礎(chǔ)上修訂了適合我國青少年兒童骨骼發(fā)育的骨齡評估標準——《中國人手腕骨發(fā)育標準(CHN法)》(TY/T 001—1992),該方法同屬計分法。為適應新時代我國青少年兒童生長發(fā)育的需要,又于2002年重新修訂上述標準,并于2005年初步完成骨齡標準的修訂,該骨齡評估標準即為2006年開始實施發(fā)布的《中國青少年兒童手腕骨成熟度及評價方法》(TY/T 3001—2006)[13]。計分法通過選定一組特定的感興趣區(qū)域(region of interest,ROI),將這些ROI分為骨骺/干骺端 ROI(epiphysis/metaphysis ROI,EMROI)和腕骨ROI(carpal ROI,CROI),并分析每個具體區(qū)域的發(fā)育程度,根據(jù)每個ROI的發(fā)育將其分為不同的發(fā)育階段,每個階段都有對應于種族和性別而變化的數(shù)值得分。通過計算所有ROI的總得分,查表獲得骨成熟度總得分對應的骨齡值。該方法具有明確的量化概念,評定骨齡的結(jié)果較為精確,但此方法比較繁瑣,且評定人員需要經(jīng)過專門的培訓才可進行較準確的評定。
為更好地適應我國法醫(yī)學骨齡鑒定的需要,21世紀初,公安部物證鑒定中心和司法鑒定科學研究院先后對當代中國漢族青少年骨發(fā)育情況進行了廣泛系統(tǒng)的研究,重點研究了肢體六大關(guān)節(jié)、鎖骨胸骨端、骨盆等全身多部位骨骺閉合程度與年齡之間的相關(guān)性,并先后建立了骨齡鑒定的“數(shù)學模型推導法”[14]和“青少年骨發(fā)育標準圖譜法”[15]。這種骨發(fā)育程度的評估是建立在當代中國青少年骨關(guān)節(jié)骨骺出現(xiàn)及骨骺閉合分級的基礎(chǔ)之上,因而能夠較為精確地反映我國當代青少年不同年齡骨發(fā)育的變化特征。
1992年,TANNER和GIBBONS設(shè)計了一種基于手腕部TW-RUS法的計算機輔助骨齡評分(computer assisted skeletal age scores,CASAS)系統(tǒng)[16]。操作者將每個骨骺依次置于攝像機下方,通過系統(tǒng)將X線片傳至計算機,在計算機屏幕上查看待測骨骼圖像,通過與屏幕上顯示的TW階段的標準骨骼模板匹配來校正X線片的位置,并對骨骼的發(fā)育等級進行評定。這個過程由計算機自動完成,不需要人工操作。圖像隨后被數(shù)字化,并由大量的數(shù)學系數(shù)表示。然后將這些系數(shù)與由TW標準每個階段生成的系數(shù)進行比較,找到匹配最接近的。由于是定量的比較,所以該系統(tǒng)產(chǎn)生的發(fā)育階段評分是連續(xù)的,從而代替了以往方法中按A、B、C、D等離散的評分方法。因此,在縱向研究中,隨著年齡的增長,骨骼成熟度評分的進展更平穩(wěn)。此外,該研究表明,評估者對骨齡重復評估的差異平均約為0.25個等級,CASAS系統(tǒng)的可靠性明顯高于通常的人工方法。但該方法仍需人工幫助操作,尚未達到完全自動化評估。
1999年,SATO等[17]根據(jù)對第三指骨的分析,為日本兒童提出了一種計算機輔助骨骼成熟度評估系統(tǒng)(computer-aided skeletal maturity assessment system,CASMAS)。該方法根據(jù)第三指的近側(cè)、中間和遠側(cè)骨骺至干骺端的距離以及骨骺相對于干骺端的寬度進行骨齡評估,當所有骨骺完全閉合時對橈骨骨骺進行評估。該系統(tǒng)骨齡評估的結(jié)果在2~15歲較準確,但對于非常小的兒童以及15歲以上的青少年,結(jié)果并不那么準確。這是因為骨骺在幼兒中還沒有開始發(fā)育,在年齡較大的青少年中已經(jīng)閉合,這個問題在一定程度上限制了該系統(tǒng)的應用。
1998—1999年,第四軍醫(yī)大學[18]和上海第二醫(yī)科大學[4]相繼研制出了計算機輔助骨齡評估系統(tǒng)。該系統(tǒng)通過將X線片傳輸?shù)接嬎銠C,醫(yī)生可以在電腦端很快將待測X線片與標準X線片進行比較,并判斷發(fā)育等級,計算機根據(jù)醫(yī)生評估的發(fā)育等級,能夠?qū)崿F(xiàn)自動查表給出骨骼發(fā)育的總體得分。雖然這些工作并沒有完全替代人工骨齡評估實現(xiàn)骨齡的自動化評估,僅僅是提供了一種自動查表和計算的功能,但避免了繁瑣的人工查表過程以及因疲勞而引起的計算錯誤等,大大提高了骨齡評估的速度和準確性。
評估手腕骨骨齡的常用方法是先勾勒出骨邊緣輪廓,然后從輪廓中提取特征。對于腕骨,由于邊緣對比度低、X線圖像存在噪聲或軟組織重疊,導致很難發(fā)現(xiàn)骨邊界。1995年,RUCCI等[19]通過使用一個訓練好的神經(jīng)網(wǎng)絡(luò)提取圖像的特征從而克服了這個問題。該方法在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中使用了一個注意力聚焦器和一個骨分類器。注意力聚焦器實現(xiàn)像素處理,在像素處理過程中鏈接了一個隱藏的神經(jīng)網(wǎng)絡(luò)以創(chuàng)建一個輸出,該輸出是與圖像骨骼質(zhì)心相關(guān)的X值和Y值。該研究用56張低質(zhì)量的X線圖像和16張額外的圖像對該方法進行了測試。結(jié)果表明,準確度分別為65%和97%,標準差為0.85歲。該方法將神經(jīng)網(wǎng)絡(luò)作為一種強有力的技術(shù)引入圖像處理中,結(jié)果顯示神經(jīng)網(wǎng)絡(luò)是一種有用的分類技術(shù)。然而,神經(jīng)網(wǎng)絡(luò)系統(tǒng)最主要的缺點是其“黑盒子”性質(zhì)(即不知道神經(jīng)網(wǎng)絡(luò)是如何以及為什么會產(chǎn)生某種輸出結(jié)果)。
2001年,中國臺灣國立“清華大學”[20]開發(fā)出的骨齡自動化評估系統(tǒng),相對于計算機輔助骨齡評估系統(tǒng)來說,已經(jīng)有了較大的突破。他們首先尋找腕骨的ROI,基本定位出所有骨塊的大概位置,再根據(jù)腕骨各骨塊之間的灰度直方圖信息,得到腕骨各骨塊之間的粗略分割線。然后在原圖像上進行閾值化,通過圖像的灰度信息得到實際的骨塊邊緣,從而提取需要分析的骨塊。再對分割出來的每個骨塊計算相應參數(shù)并與數(shù)據(jù)庫中已有的信息進行匹配,得到各骨塊的相應發(fā)育等級。最后他們分別通過最小距離、貝葉斯分類器和神經(jīng)網(wǎng)絡(luò)3種方法對各骨塊的發(fā)育等級進行分類,均取得了不錯的效果。但該系統(tǒng)使用的算法要求各腕骨骨塊間不能緊密相連,否則難以分割開各骨塊,因此該骨齡評估系統(tǒng)僅適用于7~8歲以下的兒童。
2002年,NIEMEIJER[21]基于TW2方法開發(fā)了一個利用主動形狀模型(active shape model,ASM)對第三指中節(jié)指骨進行分類的自動化系統(tǒng)。該模型使用均值對象、變異模式描述和協(xié)方差矩陣進行統(tǒng)計測量。在這種方法中,由放射科醫(yī)生對第三指骨進行指定,計算機通過使用主動形狀模型分割骨骼。通過將待測骨骼的ROI像素大小與標準樣本圖像的像素大小進行匹配,將相似性最高的圖像所對應的骨齡作為待測圖像的骨齡值。與人工骨齡評估相比,該骨齡評估系統(tǒng)的準確率是73%~80%。但該系統(tǒng)主要有兩個方面的缺陷:(1)僅適用于TW方法中的E-I階段;(2)僅適合對年齡范圍在9~17歲的人群進行年齡評估。
2003年,王珂等[22]基于中國人手腕骨發(fā)育標準CHN法研制了一種骨齡自動化評估方法,該方法包括對手腕骨X線圖像中骨骼邊緣的自動提取和骨骼成熟度的自動分級。該研究應用主動形狀模型,結(jié)合了特定的先驗知識,提出多模板多訓練集的方案,改善了邊緣檢測的效果。通過考察一系列形狀幾何信息并結(jié)合灰度信息,將CHN標準中有關(guān)的文字描述轉(zhuǎn)化為數(shù)字特征,采取多層次分步驟的方法用于最終的骨齡自動評估,結(jié)果表明骨齡評估的正確率和穩(wěn)定性均有所提高。
2008年,LIU等[23]基于橈骨、尺骨和短指骨(radius,ulna and short finger bones,RUS)和腕骨的兩個幾何特征,利用人工神經(jīng)網(wǎng)絡(luò)開發(fā)了一個骨齡評估的計算機系統(tǒng)。該系統(tǒng)使用一個巨大的樣本數(shù)據(jù)庫,并將粒子群算法應用于骨骼分割。該方法使用兩個分類器進行骨齡估計:第一個分類器用于RUS,第二個分類器用于9歲以下樣本的腕骨。將該系統(tǒng)與人工評估結(jié)果進行比較,發(fā)現(xiàn)該系統(tǒng)具有較小的標準差。與以往的系統(tǒng)相比,該系統(tǒng)的優(yōu)點在于其降低了腕骨系統(tǒng)的可變性。
BoneXpert系統(tǒng)是2009年提出并在歐洲開始商業(yè)化應用的一種骨齡自動化評估軟件[24]。該系統(tǒng)基于形狀驅(qū)動的主動外觀模型(active appearance model,AAM)和TW RUS法進行骨齡評估。形狀和強度特征使得主動外觀模型具有很好的魯棒性。該系統(tǒng)采用Gobar濾波器,對一組超過3000個骨輪廓的圖像進行旋轉(zhuǎn)和縮放,然后使用線性回歸技術(shù)選擇圖像特征的30個系數(shù),將其反饋送入主動外觀模型。雖然該系統(tǒng)的可用性仍在進一步的評估中,但初步測試表明性能是合理的,使用G-P圖譜法的誤差為0.42歲,使用TW2法的誤差為0.80歲。對于質(zhì)量較差的圖像,該系統(tǒng)的拒絕率為1%左右,但在某些情況下,對橈骨和尺骨的拒絕率增加到18%。該方法的特點在于其利用X線圖像與線性生長之間的關(guān)系進行骨齡評估。利用BoneXpert系統(tǒng)進行骨齡評估的標準偏差為0.50歲,表明骨齡自動化評估的可重復性已發(fā)生了巨大的飛躍。
2010年,北京航空航天大學董娜等[25]依據(jù)我國常用的骨齡評估方法CHN法,提取手部X線圖像的骨骺特征作為骨齡特征參數(shù),運用支持向量機(support vector machine,SVM)進行骨齡識別,提出了一個基于手部X線圖像骨齡自動評估算法,并設(shè)計和實現(xiàn)了一個骨齡自動評估系統(tǒng)。該評估系統(tǒng)僅采用從地壇醫(yī)院和兒童醫(yī)院收集的1~16歲的X線手部圖像64幅,每歲3幅圖像,對分類算法進行測試,其中訓練集48幅,驗證集16幅,但利用該X線數(shù)據(jù)庫建立的SVM分類器效果仍然欠理想。雖然驗證結(jié)果顯示91%的圖像識別結(jié)果與專家識別結(jié)果相一致,但其余的圖像由于年齡較小、圖像噪聲較大等原因仍存在一定的誤差,需經(jīng)人工調(diào)整特征點后才能夠準確分類。
2014年,王亞輝等[5]通過收集我國140例11~19周歲青少年左側(cè)腕關(guān)節(jié)X線正位片,將尺、橈骨遠端骨骺分為5個發(fā)育等級,并運用SVM實現(xiàn)尺、橈骨遠端骨骺發(fā)育分級的自動化評估,建立了尺、橈骨遠端骨骺5個發(fā)育分級的SVM分類模型。該研究利用核函數(shù)處理骨骺圖像特征與所對應的骨骺發(fā)育分級的非線性關(guān)系問題,使得該模型在骨齡自動化識別中有較高的準確性。SVM是一種在統(tǒng)計學習理論的基礎(chǔ)上發(fā)展起來的機器學習方法,具有適用于小樣本量的數(shù)據(jù)挖掘且訓練速度高等優(yōu)點,但在準確率上一直存在難以突破的瓶頸,對于要求準確率高的任務,難以達到任務要求[26]。其次,對于小樣本量的骨骼影像圖片,SVM難以更深入地挖掘其深部的有效特征。
2012年,MANSOURVAR等[27]基于直方圖技術(shù)開發(fā)了一種全自動化骨齡評估系統(tǒng)。該系統(tǒng)使用基于內(nèi)容的圖像檢索(content-based image retrieval,CBIR)方法進行圖像處理,并利用圖像庫和相似性度量進行骨齡評估。這種方法提供了一種新的圖像處理技術(shù)來評估骨齡,認為骨骼的每張X線圖像是唯一的,并且也具有唯一對應的圖像直方圖。在進行骨齡評估時,創(chuàng)建X線片的相應圖像直方圖,并將其與存儲在數(shù)據(jù)庫中的標準圖像的直方圖進行比較。該方法通過將待測圖像的直方圖與標準圖像的直方圖進行比較,匹配最相似的圖像來估計骨骼的年齡,克服了以往研究的分割問題。該系統(tǒng)骨齡評估的誤差為0.17歲,表明該方法是一種可靠的骨齡評估方法。但是,該系統(tǒng)對質(zhì)量差或骨結(jié)構(gòu)異常的圖像評估結(jié)果不可靠。
實際上,上述研究方法基本都是通過先人工提取特征再使用傳統(tǒng)分類器進行分類,并不能算是真正實現(xiàn)了骨齡的完全自動化評估。2016年,意大利卡塔尼亞大學SPAMPINATO等[6]首次將深度學習算法應用到骨齡自動評估領(lǐng)域,同時利用遷移學習的方法創(chuàng)建了3種基于ImageNet上預訓練的卷積神經(jīng)網(wǎng)絡(luò)模型和一種基于從零開始訓練專門針對手部X線片的特定卷積神經(jīng)網(wǎng)絡(luò)(BoNet)用于骨齡自動化評估。通過將預處理的圖像用于網(wǎng)絡(luò)模型訓練,經(jīng)深度學習網(wǎng)絡(luò)自動學習并進行特征提取,最終實現(xiàn)自動化輸出骨齡值。研究結(jié)果顯示,BoNet模型的輸出骨齡值與人工讀片之間的平均絕對誤差(mean absolute error,MAE)僅0.79歲。雖然遷移學習同樣能達到較高的準確性(微調(diào)GoogLeNet骨齡評估的MAE為0.82歲),但以骨齡預測為目的的從零訓練算法效果更優(yōu)。該研究首次在公共數(shù)據(jù)集上測試了深度學習在骨齡自動化評估中的性能,并將其源代碼公開發(fā)布,為今后類似的研究提供了一個有價值的參考基準。
2017年,哈佛大學醫(yī)學院LEE等[7]同樣基于遷移學習的方法,研發(fā)出了一套全自動的深度學習骨齡評估系統(tǒng),包含興趣區(qū)域的分離,影像圖片的標準化及預處理,骨齡自動評估以及一鍵生成結(jié)構(gòu)化放射學報告。該研究使用的數(shù)據(jù)集包含5~18歲的X線片共8 325張,其中女性4 278張,男性4 047張。利用GoogLeNet作為分類卷積神經(jīng)網(wǎng)絡(luò)的框架進行微調(diào)學習,微調(diào)卷積神經(jīng)網(wǎng)絡(luò)在測試集圖像中的結(jié)果顯示,女性的準確率為57.32%,男性的準確率為61.40%。利用女性X線片估計骨齡,1歲誤差范圍內(nèi)的準確率可以達到90.39%,2歲誤差范圍內(nèi)的準確率可以達到98.11%;利用男性X線片估計骨齡,1歲誤差范圍內(nèi)的準確率可以達到94.18%,2歲誤差范圍內(nèi)的準確率可以達到99.00%。女性的均方根誤差(root mean squared error,RMSE)為0.93歲,男性為0.82歲。作者進一步使用遮擋的方法創(chuàng)建注意力熱圖,揭示訓練模型使用哪些特征來進行骨齡估計,研究系統(tǒng)對手部骨骼的哪些區(qū)域更為敏感。研究結(jié)果發(fā)現(xiàn),這些熱點區(qū)域與人類專家人工評估骨齡時的關(guān)注區(qū)域基本一致。雖然該系統(tǒng)極大地提高了工作流程和骨齡評估的速度,但也有其局限性。該研究由于0~4歲的圖片樣本較少,因此未將0~4歲的兒童考慮到該系統(tǒng),限制了該自動化骨齡評估系統(tǒng)的廣泛適用。后期通過向數(shù)據(jù)庫中逐漸添加更多的影像圖片,有望使該系統(tǒng)的應用覆蓋所有年齡段的人群。
2018年,斯坦福大學放射科LARSON等[8]基于G-P圖譜法通過使用一個深度殘差網(wǎng)絡(luò)結(jié)構(gòu)建立了一個骨齡自動化識別的深度學習模型,并采集帕卡德兒童醫(yī)院和科羅拉多州兒童醫(yī)院共14 036張左手X線片用于模型訓練和驗證。該研究通過一個200張圖像的測試集比較模型估計值與參考標準骨齡之間的RMSE和MAE,以評估該模型相對于人類評估者的性能。利用公開可用的Digital Hand Atlas數(shù)據(jù)集中的1377張片子組成的第二個測試集與既往自動化模型報告的性能進行比較。結(jié)果表明,深度學習神經(jīng)網(wǎng)絡(luò)模型和專家的骨齡估計值之間的平均差異為0歲,平均RMSE和MAE分別為0.63歲和0.50歲。該深度學習模型在Digital Hand Atlas數(shù)據(jù)集中測試的RMSE為0.73歲,既往模型報告的RMSE為0.61歲。他們認為,基于卷積神經(jīng)網(wǎng)絡(luò)的骨齡自動化評估模型具有類似于當前使用特征提取技術(shù)獲得最先進的自動化模型的精確度。但該模型不能有效預測2歲以下幼兒的骨齡,這可能與該年齡組相對較少的訓練集圖像以及G-P圖譜法對這個年齡組進行骨齡評估并不那么準確有關(guān)[28]。
2018年,司法鑒定科學研究院王亞輝團隊[3]將深度學習運用于維吾爾族青少年左手腕關(guān)節(jié)數(shù)字化X線圖像識別中,探索該方法在法醫(yī)學骨齡鑒定中的應用價值,初步實現(xiàn)了骨齡的自動化評估。該研究在我囯新疆維吾爾自治區(qū)采集13.0~19.0歲維吾爾族男性青少年245例、女性青少年227例的左手腕關(guān)節(jié)DR圖像,將預處理后的圖像作為研究對象,并應用遷移學習的方法,將AlexNet作為圖像識別的回歸模型。該模型的試驗結(jié)果表明,誤差范圍在±1.0歲及±0.7歲以內(nèi)的訓練集準確率,女性分別為80.5%和74.8%,男性分別為81.4%和75.6%。誤差范圍在±1.0歲及±0.7歲以內(nèi)的測試集準確率,女性分別為79.4%和66.2%,男性分別為79.5%和71.2%。該研究的局限性是樣本量相對有限,不利于深度學習神經(jīng)網(wǎng)絡(luò)有效地學習圖像的深層圖像特征,導致該模型的泛化能力較低、穩(wěn)定性較差,因此,骨齡評估的準確率還有進一步提升的空間,如果后期繼續(xù)增加樣本量以及改進網(wǎng)絡(luò)結(jié)構(gòu)及網(wǎng)絡(luò)算法,有望進一步提高骨齡評估的準確率。
從計算機輔助骨齡評估,到傳統(tǒng)機器學習評估,再到當前的深度學習運用,雖然骨齡自動化評估的方法發(fā)生了巨大變化,骨齡自動化評估的精度也得到了極大的提高,但從文獻的回顧可以看出,近20余年國內(nèi)外骨齡自動化評估幾乎均是基于左手腕關(guān)節(jié)的系列研究。直到2018年11月,四川大學LI等[29]首次通過回顧性收集1 875例10~25歲人群的骨盆X線片,將深度學習運用于骨盆X線片進行骨齡自動化評估。通過將深度學習自動化評估骨齡的結(jié)果與直接使用骨化分期方法進行骨齡評估的三次回歸模型結(jié)果進行比較,并計算兩種模型的骨齡估計值與實際年齡間的MAE和RMSE,從而評估深度學習模型的性能。結(jié)果顯示,所有測試樣本(10~25歲)使用深度學習模型自動估計的骨齡值與實際年齡之間的MAE和RMSE分別為0.94和1.30歲。此外,采用同樣的測試樣本對深度學習模型與現(xiàn)有的三次回歸模型進行測試,深度學習模型的MAE和RMSE分別為0.89和1.21歲,而現(xiàn)有三次回歸模型的MAE和RMSE分別為1.05和1.61歲。該研究結(jié)果表明,利用深度學習對骨盆X線片進行自動化骨齡評估的性能已達到人工采用骨化分級進行骨齡評估的方法,并進一步為青少年骨盆發(fā)育與人工智能技術(shù)相結(jié)合的研究提供了新思路。
隨著社會的不斷發(fā)展,對骨齡評估的需求也呈現(xiàn)出極大的增長。由于傳統(tǒng)骨齡評估方法的諸多局限性,必將促使骨齡評估逐步向自動化轉(zhuǎn)變。通過對當前骨齡自動化評估研究的回顧可以看出,傳統(tǒng)機器學習都集中在改善ROI提取上。ROI提取的目的是將X線片按照某一特征分為不同的階段,以更好地適應分類器進行分類,從而自動化輸出骨齡值。不同方法中使用的ROI不同,如腕骨、掌指骨、橈骨和尺骨骨骺均可以作為ROI。這就是為什么多種手腕部算法都存在X線圖像特殊區(qū)域的分割問題,ROI的提取階段顯示,當前自動化系統(tǒng)的主要挑戰(zhàn)是圖像分割。
深度學習是機器學習的一種重要技術(shù)手段,該算法模擬了大腦的神經(jīng)連接結(jié)構(gòu),通常包含多個連接層,各層之間在數(shù)學上相互關(guān)聯(lián)。全自動骨齡評估多年來一直是計算機視覺和放射學研究的目標,現(xiàn)有的大多數(shù)自動化評估方法都是基于人工提取手腕部ROI,再采用不同的計算機算法分割特定的骨骼,最后用傳統(tǒng)的分類器進行分類或回歸。而深度學習則是將圖像作為一個整體進行處理,不需要任何預處理來提取特定的ROI,能夠自動從ROI提取重要特征,很好地克服了以往研究中圖像分割的問題。
深度學習已在骨齡評估領(lǐng)域成功應用,其研究結(jié)果已達到人工閱片評估同樣的水平,甚至優(yōu)于人工,提示利用深度學習輔助進行骨齡評估乃至獨立于人工進行自動評估具有巨大的研究潛力。相對于國外,我國的骨齡深度學習自動評估研究較為落后,目前缺乏大樣本訓練集建立的深度學習算法。因此,我們應首先通過收集大樣本數(shù)據(jù)集,采用深度學習的方法建立漢族群體的骨齡自動化評估系統(tǒng),并逐步建立其他少數(shù)民族種族特異性骨齡自動化評估系統(tǒng),深度挖掘深度學習在骨齡自動化評估中的巨大潛力。其次,當前骨齡自動化評估系統(tǒng)幾乎均是基于正常人群左手X線片建立的模型。對于因意外事故受傷而導致手部缺損以及手部骨骼發(fā)育異常的人群還沒有一個很好的解決辦法。此外,法醫(yī)學骨齡鑒定的目的與臨床上對青少年兒童骨齡測定的目的不同,法醫(yī)學骨齡鑒定更注重的是判斷被鑒定人是否滿14、16、18周歲這幾個法律年齡節(jié)點的準確性,但此時左手腕關(guān)節(jié)大多已閉合,利用左手腕關(guān)節(jié)進行骨齡自動化評估可能不再適用。因此,今后不應局限于左手的單一研究,有必要將深度學習運用到其他骨骺閉合較晚的骨骼中,建立單一的或多部位骨骼的混合骨齡自動化評估系統(tǒng),可以用來解決這些問題,并可能獲得更好的輸出結(jié)果。最后,目前國內(nèi)外學者主要運用深度學習對X線片進行骨齡自動化研究,這可能主要是因為拍攝左手X線片測骨齡的人群較多,樣本采集較容易,且骨骼在X線片上的影像較清晰,很適合用于圖像識別。隨著深度學習在骨齡自動化評估中的深入研究,今后還可以考慮將深度學習運用到CT、MRI圖像中進行自動化研究,并逐步將該方法推廣至法醫(yī)影像學等其他研究領(lǐng)域,如影像資料的同一認定等。