秦 臻， 戴修斌， 謝理哲

1.南京郵電大學(xué)通信與信息工程學(xué)院，南京210003

2.南京郵電大學(xué)地理與生物信息學(xué)院，南京210023

3.南京醫(yī)科大學(xué)口腔疾病江蘇省重點(diǎn)實(shí)驗(yàn)室，南京210096

X射線頭影測(cè)量圖像分析技術(shù)是現(xiàn)代口腔正畸、正頜治療和頜面部手術(shù)的基礎(chǔ)[1].該技術(shù)首先標(biāo)記出X 射線頭影測(cè)量圖像中牙頜及顱面的19 個(gè)結(jié)構(gòu)特征點(diǎn)位置，然后測(cè)量并計(jì)算這些標(biāo)志點(diǎn)之間的角度、距離或比例，再與正常人相關(guān)數(shù)據(jù)進(jìn)行分析比對(duì)以擬定治療計(jì)劃[2-6].由此可見(jiàn)，結(jié)構(gòu)特征點(diǎn)的定位準(zhǔn)確率對(duì)口腔疾病的臨床診斷、治療、手術(shù)決策有著重要的影響.

口腔臨床通常以醫(yī)生手動(dòng)標(biāo)記方式定位X射線頭影測(cè)量圖像中的結(jié)構(gòu)特征點(diǎn)，然而這種定位方式不僅費(fèi)時(shí)費(fèi)力，而且醫(yī)生臨床經(jīng)驗(yàn)、個(gè)人精力和所受壓力的差異性也會(huì)直接影響到結(jié)構(gòu)特征點(diǎn)定位的準(zhǔn)確性[7].因此，發(fā)展準(zhǔn)確的X射線頭影測(cè)量圖像結(jié)構(gòu)特征點(diǎn)自動(dòng)定位方法具有重要的臨床價(jià)值.

目前，學(xué)者們已開(kāi)始關(guān)注X射線頭影測(cè)量圖像中結(jié)構(gòu)特征點(diǎn)的自動(dòng)定位問(wèn)題.例如：文獻(xiàn)[8]基于隨機(jī)森林模型的相似圖譜估計(jì)結(jié)構(gòu)特征點(diǎn)可能位置；文獻(xiàn)[9]從圖像中獲得Haar-like特征并訓(xùn)練出關(guān)于特征點(diǎn)的隨機(jī)森林（random forest, RF）分類器用于X射線頭影測(cè)量圖像中結(jié)構(gòu)特征點(diǎn)的自動(dòng)定位，然后采用游戲最優(yōu)化方法（game-theoretic optimization, GTO）達(dá)成了外觀模型和形狀模型的一致性，最后按照獲得的結(jié)構(gòu)特征點(diǎn)進(jìn)行測(cè)量分析；文獻(xiàn)[10]結(jié)合隨機(jī)森林方法和稀疏形狀結(jié)構(gòu)訓(xùn)練出可以定位結(jié)構(gòu)特征點(diǎn)的回歸預(yù)測(cè)模型；文獻(xiàn)[11]將基于隨機(jī)森林的回歸投票方法和局部條件模型相結(jié)合并提出了一種X射線頭影測(cè)量結(jié)構(gòu)特征點(diǎn)的自動(dòng)定位系統(tǒng).

為了進(jìn)一步提高定位準(zhǔn)確率，本文提出了基于上下文感知雙層回歸森林模型的X射線頭影測(cè)量圖像結(jié)構(gòu)特征點(diǎn)自動(dòng)定位方法.該方法首先以訓(xùn)練圖像中采樣點(diǎn)的外觀特征及采樣點(diǎn)到當(dāng)前目標(biāo)特征點(diǎn)的偏移向量為輸入，訓(xùn)練第1 層回歸森林模型；然后將第1 層回歸森林模型作用于訓(xùn)練圖像，從而獲得目標(biāo)特征點(diǎn)的偏移向量和偏移距離圖；接著從偏移距離圖中提取采樣點(diǎn)的上下文特征，并結(jié)合已有的外觀特征訓(xùn)練獲得第2層回歸森林模型.當(dāng)獲得新的X射線頭影測(cè)量圖像時(shí)，將訓(xùn)練好的兩層回歸森林模型依次作用于待檢測(cè)圖像，即可獲得圖像中每個(gè)像素關(guān)于目標(biāo)特征點(diǎn)的偏移向量；最后利用回歸投票方法[12]即可從偏移向量中計(jì)算出該特征點(diǎn)的坐標(biāo).為了提高定位效率和準(zhǔn)確率，本文還采用多分辨率方式進(jìn)行模型訓(xùn)練和目標(biāo)特征點(diǎn)定位.

1 方法介紹

本文提出的基于上下文感知雙層回歸森林模型的X射線頭影測(cè)量圖像結(jié)構(gòu)特征點(diǎn)自動(dòng)定位方法主要分為訓(xùn)練階段和測(cè)試階段兩部分，其總體流程如圖1 所示.在訓(xùn)練階段，針對(duì)每個(gè)目標(biāo)特征點(diǎn)分別采用多分辨率方式訓(xùn)練基于上下文感知雙層回歸森林模型的檢測(cè)器；在測(cè)試階段，將已訓(xùn)練的檢測(cè)器作用于新獲得的待檢測(cè)圖像，生成圖像中每個(gè)像素關(guān)于目標(biāo)特征點(diǎn)的坐標(biāo)偏移向量后利用回歸投票算法獲得目標(biāo)點(diǎn)的坐標(biāo).

1.1 訓(xùn)練上下文感知雙層回歸森林模型

本文通過(guò)訓(xùn)練上下文感知雙層回歸森林模型來(lái)獲得特征點(diǎn)檢測(cè)器.針對(duì)某一個(gè)目標(biāo)特征點(diǎn)的檢測(cè)器訓(xùn)練包括以下步驟：

步驟1從訓(xùn)練圖像中隨機(jī)選取N個(gè)采樣點(diǎn).

步驟2計(jì)算每個(gè)采樣點(diǎn)的隨機(jī)Haar-like 特征作為該點(diǎn)外觀特征，并將隨機(jī)Haar-like特征定義為[13]

式中，PI(X)表示圖像I 中以采樣點(diǎn)X 為中心點(diǎn)的圖像塊，Z 表示Haar-like 特征二維平面函數(shù)的數(shù)量，ph∈{?1,1}表示第h 個(gè)二維平面函數(shù)的極性, ah∈R2表示第h 個(gè)二維平面函數(shù)的中心位置，sh表示第h 個(gè)二維平面函數(shù)的尺寸.改變Z、ph、ah、sh這4個(gè)參數(shù)可以產(chǎn)生一系列隨機(jī)Haar-like 特征，如圖2 所示.

圖1 本文方法流程圖Figure 1 The flowchart of the proposed method

圖2 本文所用Haar-like特征Figure 2 Haar-like features used in this paper

步驟3以采樣點(diǎn)的隨機(jī)Haar-like 特征及采樣點(diǎn)到目標(biāo)特征點(diǎn)的坐標(biāo)偏移向量為輸入訓(xùn)練第1 層回歸森林模型，使得該模型能夠?qū)W習(xí)像素點(diǎn)外觀特征和該點(diǎn)到目標(biāo)特征點(diǎn)的坐標(biāo)偏移向量之間的非線性連接.

步驟4將訓(xùn)練獲得的第1 層回歸森林模型作用于訓(xùn)練圖像，以便預(yù)測(cè)訓(xùn)練圖像每個(gè)像素到目標(biāo)特征點(diǎn)的坐標(biāo)偏移向量，再用L2 范數(shù)從坐標(biāo)偏移向量中計(jì)算得到偏移距離.對(duì)于二維坐標(biāo)偏移向量w = [w1, w2]，基于L2 范數(shù)的偏移距離為一旦計(jì)算出每個(gè)像素到目標(biāo)特征點(diǎn)的偏移距離，即可形成每幅訓(xùn)練圖像對(duì)應(yīng)的第1 層偏移距離圖，如圖4 中的(a)和(b)所示；

步驟5利用式(1)從第1 層偏移距離圖中計(jì)算采樣點(diǎn)的上下文特征，并將其與步驟2 獲得的采樣點(diǎn)外觀特征組合后作為新的輸入訓(xùn)練第2 層回歸森林模型；然后將訓(xùn)練好的第2 層回歸森林模型作用于訓(xùn)練圖像，即可估計(jì)出訓(xùn)練圖像中每個(gè)像素到目標(biāo)特征點(diǎn)的二維坐標(biāo)偏移向量.

通過(guò)L2 范數(shù)可將步驟5 獲得的坐標(biāo)偏移向量轉(zhuǎn)換成第2 層偏移距離圖，如圖3 中的(c)和(d)所示.分別比較圖3 中的(a)和(c)、圖3 中的(b)和(d)可以發(fā)現(xiàn)：與第1 層偏移距離圖相比，加入上下文特征后獲得的第2 層偏移距離圖質(zhì)量得到了明顯的改善.

所有19 個(gè)目標(biāo)特征點(diǎn)的檢測(cè)器均可按照以上訓(xùn)練步驟獲得.

圖3 不同特征點(diǎn)的第1 層和第2 層偏移距離圖對(duì)比Figure 3 Comparison between the first-layer and the second-layer deviation distance maps for the two different landmarks

1.2 特征點(diǎn)定位

使用訓(xùn)練好的檢測(cè)器即可定位新獲得X 射線頭影測(cè)量圖像中的特征點(diǎn).首先，根據(jù)式(1)計(jì)算待檢測(cè)圖像中每個(gè)像素點(diǎn)的外觀特征；然后將這些外觀特征作為輸入，從而使第1層回歸森林模型輸出所有像素點(diǎn)關(guān)于當(dāng)前目標(biāo)特征點(diǎn)的第1 層坐標(biāo)偏移向量；接著從L2 范數(shù)計(jì)算得到的第1 層偏移距離圖中提取上下文特征，并將這些特征和已獲得的外觀特征一起作為第2 層回歸森林的輸入數(shù)據(jù)，進(jìn)一步得到第2 層坐標(biāo)偏移向量；最后用回歸投票方法[13]求得目標(biāo)特征點(diǎn)的坐標(biāo).

1.3 基于多分辨率的模型訓(xùn)練和特征點(diǎn)定位

為了減少計(jì)算時(shí)間并提高檢測(cè)準(zhǔn)確率，可以借助多分辨率方式實(shí)現(xiàn)1.1 和1.2 節(jié)中所述模型訓(xùn)練和特征點(diǎn)定位.對(duì)于多分辨率模型訓(xùn)練而言，在最低分辨率下進(jìn)行模型訓(xùn)練時(shí)，采樣點(diǎn)將從整幅圖像范圍內(nèi)選取；隨著圖像分辨率的逐漸升高，當(dāng)前分辨率下用于訓(xùn)練的采樣點(diǎn)只從上一個(gè)較低分辨率圖像所獲目標(biāo)特征點(diǎn)位置附近選取.當(dāng)基于多分辨率的訓(xùn)練過(guò)程結(jié)束時(shí)，可以針對(duì)每一個(gè)結(jié)構(gòu)特征點(diǎn)獲得一系列不同分辨率下的檢測(cè)器.

在測(cè)試初始階段，根據(jù)訓(xùn)練階段設(shè)定的不同分辨率對(duì)待定位圖像進(jìn)行重采樣；然后將不同分辨率下的檢測(cè)器作用于相應(yīng)分辨率下的重采樣圖像，可獲得不同分辨率下所有像素點(diǎn)關(guān)于當(dāng)前目標(biāo)點(diǎn)的坐標(biāo)偏移向量.在最低分辨率情況下，本文利用回歸投票方法使得重采樣圖像中每一像素都能給可能的目標(biāo)點(diǎn)所在位置投票，則得票最多的像素點(diǎn)即為最低分辨率下的目標(biāo)特征點(diǎn)；而在更高分辨率下，并不是測(cè)試圖像中所有像素均參與回歸投票, 而只有從上一較低分辨率條件下獲得特征點(diǎn)位置附近的像素點(diǎn)才參與.

采用多分辨率的方式可以避免圖像中遠(yuǎn)離目標(biāo)特征點(diǎn)的像素參與回歸投票過(guò)程，不但提高了計(jì)算效率，而且減少了無(wú)關(guān)像素對(duì)定位結(jié)果的干擾.

2 實(shí)驗(yàn)結(jié)果和討論

本文所用實(shí)驗(yàn)數(shù)據(jù)來(lái)自2015年IEEE ISBI 公共數(shù)據(jù)集[15]，該數(shù)據(jù)集包含訓(xùn)練和測(cè)試圖像各150 幅，每幅圖像的像素尺寸為0.1 mm×0.1 mm，圖像大小為1 935×2 400.從訓(xùn)練圖像中選取50 幅圖像作為訓(xùn)練集，從測(cè)試圖像中選取100 幅圖像作為測(cè)試集.實(shí)驗(yàn)數(shù)據(jù)中所用19個(gè)結(jié)構(gòu)特征的位置和名稱分別如圖4 和表1 所示.

圖4 X 射線頭影測(cè)量圖像中的結(jié)構(gòu)特征點(diǎn)Figure 4 Anatomical landmarks in a cephalometric X-Ray image

實(shí)驗(yàn)中所用參數(shù)設(shè)置如下：回歸森林算法所用決策樹(shù)數(shù)目為100，每棵決策樹(shù)的最大深度為15，每個(gè)葉節(jié)點(diǎn)中的最大訓(xùn)練樣本為5，每個(gè)采樣點(diǎn)的特征數(shù)設(shè)為1 000.設(shè)Haar-like 特征二維平面函數(shù)的數(shù)量Z 為{1, 2}，尺寸sh設(shè)為{3,5}，圖像塊PI大小等于30×30.

為了定量評(píng)估特征點(diǎn)定位精度，本節(jié)將采用通用的兩組評(píng)價(jià)標(biāo)準(zhǔn).第1 組評(píng)價(jià)標(biāo)準(zhǔn)為平均徑向誤差（mean radial error, MRE）和標(biāo)準(zhǔn)差（standard deviation, SD）[16]，可分別定義為

表1 X 射線頭影測(cè)量圖像中結(jié)構(gòu)特征點(diǎn)的描述Table 1 Description of anatomical landmarks in a cephalometric X-Ray image

式中，Ri表示第i 個(gè)圖像檢測(cè)結(jié)果與真實(shí)值的徑向誤差，N 表示測(cè)試圖像數(shù)量.

第2 組評(píng)價(jià)標(biāo)準(zhǔn)是檢測(cè)成功率（uccess detection rate, SDR），定義為[16]

式中，Ld和Lr分別表示檢測(cè)出的特征點(diǎn)及其對(duì)應(yīng)的真實(shí)點(diǎn)；b 為誤差允許范圍值，包括2.0 mm、2.5 mm、3.0 mm、4.0 mm；M 表示已檢測(cè)出的特征點(diǎn)總數(shù)；#{θ}表示符合條件θ的已檢測(cè)點(diǎn)數(shù)目.

圖5 給出部分測(cè)試圖像的結(jié)構(gòu)特征點(diǎn)自動(dòng)定位結(jié)果（藍(lán)色標(biāo)記點(diǎn)）以及對(duì)應(yīng)的真實(shí)位置（紅色標(biāo)記點(diǎn)）.從圖5 中可以看出，本文方法所獲結(jié)果雖然不能與真實(shí)位置完全重合，但其定位結(jié)果與真實(shí)位置偏差較小.

為了定量評(píng)價(jià)本文方法的性能，分別給出了使用本文方法對(duì)100 幅測(cè)試圖像中19 個(gè)結(jié)構(gòu)特征點(diǎn)定位結(jié)果的平均徑向誤差值和平均標(biāo)準(zhǔn)差，如圖6 和7 所示.從這2 幅圖中可以看出：對(duì)于所有結(jié)構(gòu)特征點(diǎn)，本文方法所獲結(jié)果的平均徑向誤差不超過(guò)4 mm，平均標(biāo)準(zhǔn)差均小于2.5 mm.當(dāng)誤差允許范圍值分別為2.0 mm、2.5 mm、3.0 mm、4.0 mm 時(shí)，100 幅測(cè)試圖像中所有結(jié)構(gòu)特征點(diǎn)定位結(jié)果的平均檢測(cè)成功率如圖8 所示.從圖8 中可以看出：誤差允許范圍4.0 mm 對(duì)應(yīng)的平均檢測(cè)成功率為82.05%，也就是說(shuō)本文方法所得結(jié)果中誤差小于4 mm 所占的比例不小于82%.圖5～8 的實(shí)驗(yàn)結(jié)果表明，采用本文方法不但能有效地實(shí)現(xiàn)X射線頭影測(cè)量圖像中結(jié)構(gòu)特征點(diǎn)的自動(dòng)定位，而且能獲得較高的定位準(zhǔn)確率.

圖5 部分測(cè)試圖像的特征點(diǎn)定位結(jié)果及其對(duì)應(yīng)的真實(shí)位置Figure 5 The detected landmarks and their corresponding real positions in some testing images

圖6 100 幅測(cè)試圖像特征點(diǎn)定位結(jié)果的平均徑向誤差值Figure 6 The mean radial errors of the detected landmarks in 100 testing images

圖7 100 幅測(cè)試圖像特征點(diǎn)定位結(jié)果的平均標(biāo)準(zhǔn)差值Figure 7 The average standard deviation of the detected landmarks in 100 testing images

圖8 100 幅測(cè)試圖像特征點(diǎn)定位結(jié)果的平均檢測(cè)成功率Figure 8 The average success detection rates of the detected landmarks in 100 testing images

圖9 和10 比較了本文方法與Chu[11]、Chen[17]、Mirzaalian[9]等方法所得到的結(jié)果，其中圖9 給出了本文方法與其余3 種方法所得結(jié)果的平均檢測(cè)成功率.從圖9 中可以看出：當(dāng)誤差允許范圍分別為2.0 mm、2.5 mm、3.0 mm 時(shí)，本文方法所得結(jié)果的平均檢測(cè)成功率與其他方法相比并不占優(yōu)；但是當(dāng)誤差允許范圍為4.0 mm 時(shí)，本文方法所得結(jié)果的平均檢測(cè)成功率高于其他3 種方法.圖10 給出了本文方法與其余3 種方法所得結(jié)果的平均徑向誤差，可以看出本文方法和Chu 方法對(duì)大部分特征點(diǎn)定位結(jié)果的平均徑向誤差均超過(guò)2.0 mm，而Chen 和Mirzaalian 等方法雖然有部分特征點(diǎn)（例如第7～9 個(gè)特征點(diǎn)）定位結(jié)果的平均徑向誤差小于2.0 mm.但是Chu、Chen 和Mirzaalian 等方法所得結(jié)果的平均徑向誤差波動(dòng)較大，對(duì)第4 個(gè)和第10 個(gè)特征點(diǎn)定位結(jié)果的平均徑向誤差已分別超過(guò)5.0 mm 和4.0 mm，尤其是Mirzaalian方法對(duì)第4 個(gè)特征點(diǎn)定位結(jié)果的平均徑向誤差甚至接近6.0 mm.相比而言，本文方法對(duì)所有目標(biāo)特征點(diǎn)定位結(jié)果的平均徑向誤差都集中在2.0～4.0 mm 范圍內(nèi)，且誤差值波動(dòng)較小.這說(shuō)明本文方法雖然對(duì)部分特征點(diǎn)的定位精度并非最高，但是從整體來(lái)看其定位精度最穩(wěn)定.

圖9 本文方法定位結(jié)果的平均檢測(cè)成功率與其他方法的比較Figure 9 The comparison of average success detection of the detected landmarks obtained by our method and the other ones

圖10 本文方法定位結(jié)果的平均徑向誤差與其他方法的比較Figure 10 The comparison of mean radial errors of the detected landmarks obtained by our method and the other ones

3 結(jié) 語(yǔ)

本文提出了一種基于上下文感知雙層模型的X射線頭影測(cè)量圖像結(jié)構(gòu)特征點(diǎn)自動(dòng)定位方法.該方法首先從訓(xùn)練圖像中提取外觀特征，并以此外觀特征訓(xùn)練第1 層回歸森林模型；然后利用第1 層回歸森林模型生成偏移距離圖，并從中提取上下文特征；接著將上下文特征和外觀特征結(jié)合訓(xùn)練第2 層回歸森林模型.將訓(xùn)練好的模型作用在待檢測(cè)圖像上獲得針對(duì)目標(biāo)特征點(diǎn)的坐標(biāo)偏移向量后，可使用回歸投票的方法求得目標(biāo)特征點(diǎn)的坐標(biāo).本文方法將圖像中蘊(yùn)含的上下文信息和外觀信息相結(jié)合，實(shí)現(xiàn)了X射線頭影測(cè)量圖像中結(jié)構(gòu)特征點(diǎn)的自動(dòng)定位，并借助多分辨率的方法達(dá)到了提高特征點(diǎn)自動(dòng)定位效率和計(jì)算速度的目的.實(shí)驗(yàn)結(jié)果表明，本文方法能自動(dòng)定位X 射線頭影測(cè)量圖像中的結(jié)構(gòu)特征點(diǎn)，相比于其他自動(dòng)定位方法，本文方法的總體性能略優(yōu)且穩(wěn)定性較好.