張家崗,李達(dá)平,楊曉東,鄒茂揚(yáng),2,吳 錫,胡金蓉*
(1.成都信息工程大學(xué)計算機(jī)學(xué)院,成都 610225;2.中國科學(xué)院成都計算機(jī)應(yīng)用研究所,成都 610041)
(?通信作者電子郵箱hjr@cuit.edu.cn)
醫(yī)學(xué)圖像配準(zhǔn)是指對于一幅醫(yī)學(xué)圖像(浮動圖像)尋求一種或一系列的空間變換,使它與另一幅醫(yī)學(xué)圖像(固定圖像)上的對應(yīng)點(diǎn)達(dá)到空間位置和解剖位置的完全一致[1]。在許多重要的臨床應(yīng)用中,醫(yī)學(xué)圖像配準(zhǔn)對醫(yī)生診斷病人病情有著十分重要的意義。如在神經(jīng)外科的立體定向放療中,為提高定位精確性,需要將患者圖像和標(biāo)準(zhǔn)圖譜進(jìn)行配準(zhǔn);在人群大腦形狀和功能研究中,需要將不同患者的圖像進(jìn)行配準(zhǔn);在腹部以及胸腔臟器的診斷過程中,需要用到圖像配準(zhǔn)來彌補(bǔ)臟器的生理形變[2]。
醫(yī)學(xué)圖像配準(zhǔn)尤其是形變醫(yī)學(xué)圖像配準(zhǔn)一直是醫(yī)學(xué)圖像分析領(lǐng)域內(nèi)的一個研究熱點(diǎn),國內(nèi)外眾多研究人員對這一問題進(jìn)行了研究并取得了大量研究成果。其中,基于光流的配準(zhǔn)方法是一種重要的形變配準(zhǔn)技術(shù)[3-5]。光流的概念首先在計算機(jī)視覺中提出,其模型可以用來表示物體在觀察成像平面上像素運(yùn)動的瞬時速度,圖像中每一個像素的運(yùn)動速度和運(yùn)動方向組成的速度場就是光流場?;谂錅?zhǔn)所求形變場與光流場模型所求速度場的相似性,Thirion 等[6]首次將光流場模型引入到了圖像配準(zhǔn)問題的求解中,提出了Demons 算法,該算法判斷出浮動圖像上各個像素點(diǎn)的運(yùn)動方向,通過對各個像素點(diǎn)的移動來實(shí)現(xiàn)形變配準(zhǔn)。但Demons 僅僅依靠灰度值來驅(qū)動配準(zhǔn),特征表示能力不足,所以Liu 等[7-8]將尺度不變特征變換(Scale Invariant Feature Transform,SIFT)特征引入到光流場的估算中,基于圖像間像素的SIFT 特征差異來計算光流,提出稱為SIFT Flow 的光流場計算方法,該方法能夠得到比Demons等傳統(tǒng)光流法更加精確的光流場模型。
在形變醫(yī)學(xué)圖像配準(zhǔn)中,由于人體生理活動,或者個體與標(biāo)準(zhǔn)圖譜的生理差異所導(dǎo)致的大形變問題是不可避免的。Demons 和SIFT Flow 算法只適用于小形變的情況,在出現(xiàn)較大形變時這類傳統(tǒng)光流法將不能保持圖像的拓?fù)浣Y(jié)構(gòu),并產(chǎn)生物理上的不合理形變。這是由于Demons 僅僅依靠灰度驅(qū)動配準(zhǔn),而忽略了像素之間的空間結(jié)構(gòu)關(guān)系;SIFT Flow 雖然將SIFT 特征用于估算光流場,但是受限于手工特征描述符的表征能力不足,尤其是對于高層次抽象特征的提取能力不足,在較大形變的醫(yī)學(xué)圖像下容易導(dǎo)致誤匹配,從而影響配準(zhǔn)精度。所以,如何進(jìn)行更為準(zhǔn)確的特征提取和刻畫不同特征之間的差異成為提高配準(zhǔn)精度的關(guān)鍵,也是解決形變配準(zhǔn)的關(guān)鍵。近年來,基于深度學(xué)習(xí)的方法在計算機(jī)視覺和人工智能各領(lǐng)域都取得了很好的效果。所以,本文設(shè)計了一種孿生結(jié)構(gòu)的深度卷積神經(jīng)網(wǎng)絡(luò)[9]來提取圖像稠密的深度卷積特征(Deep Convolution Feature,DCF),然后基于圖像像素間的DCF構(gòu)建能量損失函數(shù)計算光流場。這種方法被稱之為基于深度卷積特征光流(Deep Convolution Feature based Optical Flow,DCFOF)的形變醫(yī)學(xué)圖像形變配準(zhǔn)方法。
本文所提基于深度卷積特征光流的形變配準(zhǔn)算法DCFOF的配準(zhǔn)框架如圖1所示,主要包含三個部分:深度卷積特征DCF 提取、光流場(形變場)估算和變換插值,其中,DCF提取是本算法的關(guān)鍵步驟。算法先逐像素地提取固定圖像和浮動圖像的圖像塊對,并利用孿生深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像塊的特征;然后由提取到的特征構(gòu)建能量損失函數(shù),通過最小化能量損失函數(shù),求解得形變場,即光流場;最后,根據(jù)形變場,對浮動圖像逐像素地對齊,變換插值過程中采用三次樣條插值作為插值方案,得到與固定圖像極為接近的配準(zhǔn)后圖像。
圖2 展示了本文所設(shè)計的孿生深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖,該網(wǎng)絡(luò)由兩個權(quán)重相同的深度卷積神經(jīng)網(wǎng)絡(luò)組成。在每個卷積神經(jīng)網(wǎng)絡(luò)中,網(wǎng)絡(luò)的輸入是一個以像素為中心的圖像塊,輸出為128 維的特征向量,即所提取的DCF。網(wǎng)絡(luò)所有的卷積層都使用3× 3的卷積核,步長為1,使用LeakyReLU 作為激活函數(shù)。不同于卷積層的是,密集層使用ReLU 作為激活函數(shù)。此外,在Flatten 層之后添加一個Dropout 層,以避免過擬合。網(wǎng)絡(luò)中各層的參數(shù)也如圖2所示。
圖2 孿生深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of siamese convolutional neural network
對于輸入的樣本對,本文將沒有形變的圖像塊對稱為正樣本對,有形變的圖像塊對稱為負(fù)樣本對。據(jù)此,本文采用了對比損失(Contrastive Loss)作為網(wǎng)絡(luò)的損失函數(shù),該函數(shù)能夠同時最小化正樣本對或負(fù)樣本對之間的距離,達(dá)到網(wǎng)絡(luò)訓(xùn)練的目的,其定義如下:
其中:N是輸入樣本的個數(shù);為每對樣本的歐氏距離;margin是一個為1的常數(shù)[11];yi是輸入樣本對的標(biāo)簽,1 為正樣本,0 為負(fù)樣本,當(dāng)為正樣本對時,則優(yōu)化di盡量減小,當(dāng)為負(fù)樣本對時,則是讓max(margin-di,0)2盡量減小。
通過對比損失函數(shù)學(xué)習(xí)到的映射關(guān)系,可以使得在高維空間中相同類別但距離較遠(yuǎn)的點(diǎn)在特征維空間中距離更近;而不同類別但距離較近的點(diǎn)在特征維空間中距離更遠(yuǎn)。因此,相較于SIFT 特征以及一般的深度學(xué)習(xí)特征如VGG(Visual Geometry Group)[12]等,基于對比損失函數(shù)訓(xùn)練的孿生深度卷積神經(jīng)網(wǎng)絡(luò)提取的DCF 的區(qū)分度更高、更穩(wěn)定,更適宜于差異計算和得到更加準(zhǔn)確的計算結(jié)果。網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)集及具體實(shí)現(xiàn)見第2章。
本文受SIFT Flow 算法啟發(fā),通過估計密集的形變場來進(jìn)行配準(zhǔn)。該方法的目標(biāo)是最小化由DCF 構(gòu)建的能量損失函數(shù),從而獲得像素的位移。能量損失函數(shù)定義如下:
其中:S1和S2分別是固定圖像和浮動圖像的DCF向量;w(p)=(u(p),v(p))是點(diǎn)p=(x,y)的流向量,u(p)和v(p)分別是流向量在水平和垂直方向上的分量;ε是點(diǎn)p在一定范圍內(nèi)的空間鄰域;參數(shù)η和α分別是正則項(xiàng)系數(shù)。該函數(shù)分為三個部分:第一部分為數(shù)據(jù)項(xiàng),用于計算固定圖像點(diǎn)p和浮動圖像中匹配點(diǎn)的絕對值誤差和,t為截斷閾值,用于剔除不合理的流向量;第二部分為正則項(xiàng),用于約束流向量w(p)在合理范圍內(nèi);第三部分同為正則項(xiàng),用于約束點(diǎn)p鄰域ε內(nèi)一點(diǎn)q的流向量趨同于點(diǎn)p的流向量。
求解流向量的目標(biāo)是最小化能量損失函數(shù),本文采用了雙層置信度傳播算法[13]來求解光流場,同時為了加速運(yùn)算,采用了從粗到精的特征匹配策略[14]。求得光流場后,對浮動圖像采用三次樣條插值算法[15]做變換插值即可得到配準(zhǔn)圖像。
從上述能量函數(shù)的定義可以看出,所求解光流場的精確度直接與所提取像素點(diǎn)的特征質(zhì)量相關(guān),DCF 不僅具有更穩(wěn)定和區(qū)分度更高等深度學(xué)習(xí)特征優(yōu)點(diǎn),還具有易于差異計算的特點(diǎn)。因此,本文提出的基于圖像間像素的DCF 差異計算所得的光流場更加精確和魯棒。
本文使用的訓(xùn)練數(shù)據(jù)主要是EMPIRE10(Evaluation of Methods for Pulmonary Image Registration 2010)數(shù)據(jù)集[16]和ACDC(Automated Cardiac Diagnosis challenge)數(shù)據(jù)集[17]。其中,EMPIRE10是一個包含30對臨床胸腔CT 掃描的肺部數(shù)據(jù)集,同時含有Van Rikxoort 等[18]用肺部分割方法制作的肺部Mask 標(biāo)簽;ACDC 是由150 名患者的MRI 掃描組成的心臟數(shù)據(jù)集,其中,固定圖像和浮動圖像分別為不同時刻掃描所得,固定圖像和浮動圖像之間的差異為心臟活動產(chǎn)生的真實(shí)形變,并且患者的數(shù)據(jù)包含專家標(biāo)注的心臟Mask標(biāo)簽。
實(shí)驗(yàn)中隨機(jī)選取了60 張EMPIRE10 圖像和60 張ACDC圖像作為訓(xùn)練集制作所需的圖像塊對,另隨機(jī)選取了和訓(xùn)練圖像不同的20 張EMPIRE10 圖像和20 張ACDC 圖像制作驗(yàn)證集所需的圖像塊對。本文采用了Simard 等[19]的方法,對采集的圖像進(jìn)行隨機(jī)形變,形變程度由形變強(qiáng)度參數(shù)σ控制,σ取值范圍為50~250,σ越大形變程度越大。將形變前的圖像作為固定圖像,形變后的圖像作為浮動圖像,然后以固定圖像和浮動圖像中的每個像素點(diǎn)為中心取15× 15大小的圖像塊,最后將這些圖像塊用作訓(xùn)練數(shù)據(jù)集和驗(yàn)證數(shù)據(jù)集。其中,來自同一固定圖像、同一位置的圖像塊作為正樣本對,來自固定圖像和對應(yīng)待配準(zhǔn)形變圖像(浮動圖像)上同一位置的圖像塊作為負(fù)樣本對。
如圖3 所示,每個縱列由上下兩個15× 15 圖像塊組成。正樣本對是完全相同的圖像塊,而負(fù)樣本對之間存在著一定程度的形變。
圖3 網(wǎng)絡(luò)訓(xùn)練的正負(fù)樣本示例Fig.3 Positive and negative samples of network training
本文算法將和Demons 算法、SIFT Flow 算法和專業(yè)軟件Elastix 進(jìn)行實(shí)驗(yàn)對比。其中,Elastix 是一個用于剛性和非剛性圖像配準(zhǔn)的軟件,包含一系列通常用于解決醫(yī)學(xué)圖像配準(zhǔn)問題的算法,常作為不同配準(zhǔn)算法配準(zhǔn)效果的比較標(biāo)準(zhǔn)。
實(shí)驗(yàn)利用2.1 節(jié)所描述的方法制作訓(xùn)練數(shù)據(jù)集,共制作得到8 000 000 和1 600 000 對圖像塊分別作為孿生深度卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)和驗(yàn)證數(shù)據(jù),其中正負(fù)樣本比例均為1∶1。
網(wǎng)絡(luò)框架采用Keras(Tensorflow 后端),網(wǎng)絡(luò)使用RMSprop 優(yōu)化算法,batch size 設(shè)置為1 000,epochs 設(shè)置為50,每個epoch 的steps 設(shè)置為100,初始學(xué)習(xí)率設(shè)置為0.001,動量因子設(shè)置為0.9。采用1塊NVIDIA Tesla K40C GPU 作為訓(xùn)練GPU,每個訓(xùn)練輪次大概需要100 s。
此外,實(shí)驗(yàn)中對比算法的主要參數(shù)設(shè)置如下:Demons 算法中,直方圖級別數(shù)設(shè)置為1 024,迭代次數(shù)設(shè)置為50;SIFT Flow 光流法中,正則項(xiàng)系數(shù)η設(shè)置為0.005,α設(shè)置為2,迭代次數(shù)設(shè)置為200;Elastix 算法中,變換類型設(shè)置為“BSPLINE”,迭代次數(shù)設(shè)置為500。
2.3.1 顏色疊加
顏色疊加是可視化評估配準(zhǔn)效果的最常用技術(shù)之一。通過將兩張圖像按照一定方式映射到RGB 色彩空間中,以可視化兩張圖片的差異。首先,將固定圖像填充到R通道中,將浮動圖像填充到G 通道中,最后將兩幅圖像的均值填充到B 通道中。本文直接使用SimpleITK 工具包[20]獲得顏色疊加的可視化,其中,準(zhǔn)確配準(zhǔn)的區(qū)域顯示為圖像原色,而紅色或綠色區(qū)域則表明沒有準(zhǔn)確配準(zhǔn)。圖4給出了顏色疊加的示例。
圖4 固定圖像和浮動圖像顏色疊加Fig.4 Color overlapping of fixed image and floating image
2.3.2 均方根差
均方根差(Root Mean Squared Difference,RMSD)可以反映兩幅圖之間的差異,其計算式如下:
其中:I1和I2是需要計算RMSD 的兩幅圖像;I1(xi)和I2(xi)是兩幅圖中相同位置點(diǎn)的灰度值;ΩI為I1和I2的圖像域;|ΩI|為I1的像素個數(shù)(和I2中像素個數(shù)相同)。式(3)通過計算灰度值的均方根誤差來衡量兩幅圖的相似性。固定圖像和配準(zhǔn)后圖像的RMSD 值越小,表示兩幅圖像中相同位置點(diǎn)的灰度值越近似,整幅圖也越相似,配準(zhǔn)效果越好。
2.3.3 DICE系數(shù)
DICE 系數(shù)用來評估感興趣區(qū)域的配準(zhǔn)精度,通過計算感興趣區(qū)域(Region of Interest,ROI)的重合度來評估配準(zhǔn)效果[21],其表達(dá)式如下:
其中,X、Y分別是兩幅圖ROI的面積,X∩Y是重疊部分面積。固定圖像和配準(zhǔn)后圖像的ROI所求DICE 值越大,表示ROI重合度越高,配準(zhǔn)效果越好。對于EMPIRE10 肺部數(shù)據(jù)集,ROI為肺部Mask。圖5給出了肺部圖像和肺部Mask的示例。
圖5 肺部圖像與肺部Mask Fig.5 Lung image and lung Mask
2.4.1 EMPIRE10模擬形變圖像實(shí)驗(yàn)
圖6 中(a)和(b)分別為固定圖像和浮動圖像,浮動圖像有較大形變(σ=250)。
圖6 模擬形變實(shí)驗(yàn)中固定圖像和浮動圖像(σ=250)Fig.6 Fixed image and floating image in simulated deformation experiment(σ=250)
圖7 是四種對比算法的顏色疊加圖。其中,(a)~(d)分別為Demons、SIFT Flow、Elastix 和本文算法DCFOF 的配準(zhǔn)結(jié)果和固定圖像的顏色疊加圖。特別的,圖中方框放大所展示的結(jié)果中,DCFOF 所展示結(jié)果中,沒有綠色或者紅色的偽影,表明其對肺葉纖維的配準(zhǔn)精度遠(yuǎn)遠(yuǎn)高于其他三種方法。
圖7 圖6配準(zhǔn)圖像與固定圖像顏色疊加圖(σ=250)Fig.7 Color overlapping of registered image and fixed image for Fig.6(σ=250)
圖8 和圖9 分別展示了在不同形變強(qiáng)度σ下(依次取50、100、150、200、250),四種算法的RMSD 值和DICE 值變化趨勢,其中,每種形變強(qiáng)度做30組平行實(shí)驗(yàn)取平均值。
圖8 配準(zhǔn)圖像與固定圖像的RMSD值Fig.8 RMSD values of registered image and fixed image
圖8 中,隨著形變強(qiáng)度的增大,DCFOF 相較其他三種方法,其RMSD 值比較穩(wěn)定,在σ=250 的較大形變下,其RMSD值小于5,處理大形變能力較強(qiáng)。
圖9 配準(zhǔn)圖像ROI與固定圖像ROI的DICE值Fig.9 DICE values of registered image ROI and fixed image ROI
圖9 中,DCFOF 的DICE 值高于其他幾種方法,表明DCFOF能夠更好地對齊ROI。
2.4.2 ACDC真實(shí)形變圖像實(shí)驗(yàn)
為了驗(yàn)證DCFOF 對真實(shí)形變醫(yī)學(xué)圖像的配準(zhǔn)能力,選取了ACDC作為真實(shí)形變醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)。圖10中(a)和(b)分別不同時刻的兩幅圖像,時間差值為15 s,(a)、(b)之間的形變?yōu)樾呐K生理活動產(chǎn)生的真實(shí)形變,將圖(a)作為固定圖像,圖(b)作為浮動圖像。
圖10 真實(shí)形變實(shí)驗(yàn)中固定圖像和浮動圖像(σ=250)Fig.10 Fixed image and floating image in real deformation experiment(σ=250)
圖11 展示了四種對比算法對ROI(心臟區(qū)域)的配準(zhǔn)能力,圖片截取了心臟區(qū)域進(jìn)行對比展示。每張圖片中,紅色(深)輪廓線為固定圖像ROI的輪廓線,作為基準(zhǔn)線,綠色(淺)為配準(zhǔn)后圖像ROI 的輪廓線,所有輪廓線均根據(jù)ROI 的Mask輪廓勾畫出。其中,(a)~(e)分別為浮動圖像、Demons 配準(zhǔn)結(jié)果、SIFT Flow 配準(zhǔn)結(jié)果、Elastix 配準(zhǔn)結(jié)果和本文方法DCFOF配準(zhǔn)結(jié)果的ROI輪廓線與固定圖像ROI輪廓線的重疊。特別的,圖片分三列展示了不同的ROI對齊效果,第一列為左心室的輪廓,第二列為右心室的輪廓,第三列為心肌外壁的輪廓。
從圖11 可以看出,在生理形變中,DCFOF 對ROI 的配準(zhǔn)后輪廓線(綠色(淺))與基準(zhǔn)線(紅色(深))重合較好,表明DCFOF能夠很好地對齊ROI。
表1 展示了四種算法對ROI 配準(zhǔn)的DICE 值,ROI 分為心臟整體、左心室、右心室和心肌壁,表中結(jié)果為30 組平行實(shí)驗(yàn)的平均值。
從表1 可以看出,DCFOF 對各個ROI 的配準(zhǔn)精度均高于其他幾種算法。
圖11 圖10 ROI配準(zhǔn)的輪廓線圖Fig.11 Contour of ROI registration for Fig.10
表1 ROI配準(zhǔn)的DICE值Tab.1 DICE values of ROI registration
本文針對現(xiàn)有光流法特征提取不足、無法精確配準(zhǔn)的問題,提出了基于深度卷積特征光流的形變醫(yī)學(xué)圖像配準(zhǔn)算法。通過對EMPIRE10 和ACDC 醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)實(shí)驗(yàn),結(jié)果表明本文算法DCFOF 與Demons 算法、SIFT Flow 算法以及Elastix軟件相比,有著更好的配準(zhǔn)精度。
在圖7的顏色疊加圖中,DCFOF有著最精確的配準(zhǔn)結(jié)果。Demons、SIFT Flow、DCFOF 雖然都是基于光流場模型的算法,它們根據(jù)像素之間的差異進(jìn)行配準(zhǔn),但是三種方法對像素的特征描述不同。Demons 僅僅依靠像素灰度值驅(qū)動配準(zhǔn),而不考慮像素周圍的空間信息,較大的形變使得圖像的拓?fù)浣Y(jié)構(gòu)發(fā)生較大變化,僅僅依靠灰度值無法記錄像素周圍原有的空間信息,所以不能精確配準(zhǔn)。SIFT Flow 雖然將圖像的梯度信息用作記錄像素的空間信息,但是過大的形變導(dǎo)致像素梯度信息發(fā)生強(qiáng)烈變化,使得原本匹配的像素點(diǎn)變得不再匹配,從而導(dǎo)致也無法精確配準(zhǔn)。DCFOF 提取了以像素為中心的圖像塊的高層次抽象的特征,實(shí)驗(yàn)結(jié)果表明,即使發(fā)生較大形變,也能夠?qū)崿F(xiàn)特征點(diǎn)的準(zhǔn)確匹配,估算出精確的形變場,從而精確地處理形變配準(zhǔn)。另外,Elastix 作為專業(yè)的配準(zhǔn)軟件,最優(yōu)化求解整幅固定圖像和浮動圖像之間的變換參數(shù),而忽略了圖像的局部空間信息,因此其處理形變的能力有限。而DCFOF 逐像素地提取圖像塊的DCF 特征作為圖像的局部空間信息,因此對形變更為敏感,所以Elastix的配準(zhǔn)精度要低于DCFOF。
在圖8 的RMSD 對比結(jié)果中,四種算法隨著形變強(qiáng)度增大表現(xiàn)出了相似的變化趨勢。在50 和100 的形變程度下,四種算法的RMSD 相差不大,表明其配準(zhǔn)精度也相差不大;但是當(dāng)形變程度增大到150 時,Demons 算法性能急劇下降,如圖8中RMSD 值已接近10,在σ=250 時,Demons 算法的RMSD 值已經(jīng)超過20,此時算法已經(jīng)失效,說明Demons 無法處理較大形變,這與上面的分析結(jié)果一致。SIFT Flow 的配準(zhǔn)效果從σ=150 開始降低,同樣無法精確處理150 以上的形變。Elastix 作為專業(yè)配準(zhǔn)軟件,在50~250 的形變程度下,表現(xiàn)出了不錯的配準(zhǔn)效果,但仍然不如本文算法DCFOF,具體表現(xiàn)為隨著形變強(qiáng)度增大,Elastix 的RMSD 值和DCFOF 逐漸拉開差距,性能下降較大,而DCFOF 性能表現(xiàn)穩(wěn)定,性能下降較小。這是由于Elastix 并沒有像DCFOF 一樣考慮了圖像的局部特征,所以在對形變的敏感程度上不如DCFOF,配準(zhǔn)精度也不如DCFOF。
圖9 所展示的ROI 的DICE 值對比結(jié)果可以看出,DCFOF在所有形變強(qiáng)度下DICE 值最大,即使在σ=250 的較大形變強(qiáng)度下,其DICE值也在0.99以上,表明DCFOF能很好地對齊肺部ROI,配準(zhǔn)效果好。Demons 和SIFT Flow 算法從σ=150開始,DICE 值開始迅速下降,表明Demons 和SIFT Flow 并不能很好地處理較大形變圖像的配準(zhǔn)。Elastix 和DCFOF 的差距也越來越大,表現(xiàn)不如DCFOF穩(wěn)定。
ACDC真實(shí)形變圖像實(shí)驗(yàn)進(jìn)一步驗(yàn)證了DCFOF對真實(shí)形變醫(yī)學(xué)圖像的處理能力,從圖11 的ROI 配準(zhǔn)的輪廓線圖可以看出,DCFOF 對ROI 的對齊能力較高,配準(zhǔn)后的綠線和紅線重合度高,而Demons 并不能很好地對齊ROI,SIFT Flow 和Elastix 與DCFOF 相比,對ROI 邊緣的平滑程度不如DCFOF,在心肌外壁的對齊結(jié)果中,也能看出DCFOF 優(yōu)于SIFT Flow和Elastix。表1 展示了30 組平行實(shí)驗(yàn)的平均DICE 值,可以看出,DCFOF 的確能夠處理真實(shí)的形變醫(yī)學(xué)圖像,且優(yōu)于專業(yè)軟件Elastix。
本文提出了一種基于深度卷積特征光流的醫(yī)學(xué)圖像配準(zhǔn)算法,其提取的深度卷積特征區(qū)分度高、穩(wěn)定性強(qiáng),基于該特征所計算得到的光流場更接近于真實(shí)形變場。通過實(shí)驗(yàn)的定性、定量分析,實(shí)驗(yàn)結(jié)果表明本文算法DCFOF 能夠精確地進(jìn)行形變醫(yī)學(xué)圖像配準(zhǔn),且能處理真實(shí)的形變醫(yī)學(xué)圖像,效果要優(yōu)于Demons算法、SIFT Flow算法以及Elastix軟件。
在未來的工作中,我們將進(jìn)一步擴(kuò)展現(xiàn)有的工作:1)研究基于端到端深度學(xué)習(xí)特征的光流方法,進(jìn)一步擴(kuò)展DCFOF,進(jìn)行形變圖像配準(zhǔn),同時減少運(yùn)行時間;2)研究基于深度學(xué)習(xí)特征的光流方法進(jìn)行多模態(tài)形變圖像配準(zhǔn)。