王金澤

（華北電力大學(xué)控制與計(jì)算機(jī)工程學(xué)院，北京，102206）

0 引言

傳統(tǒng)的醫(yī)學(xué)影像科室已經(jīng)無(wú)法滿足患者的診療需求，基于醫(yī)學(xué)影像的病理分析、病灶的診斷是一個(gè)需要大量的閱片經(jīng)驗(yàn)支持的工作，由于不同醫(yī)生對(duì)于影像理解存在主觀差異性，并且缺乏定量的分析，導(dǎo)致在診斷時(shí)存在一定偏差。醫(yī)學(xué)圖像配準(zhǔn)是數(shù)字醫(yī)學(xué)圖像智能分析處理的重要環(huán)節(jié)，指將兩幅或多幅圖像的相同解剖結(jié)構(gòu)、區(qū)域進(jìn)行變換，使之達(dá)到空間上的匹配，建立解剖結(jié)構(gòu)一致性，為精確的圖像信息獲取以及深入的量化研究提供保障?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)憑借其參數(shù)共享，效率高等優(yōu)點(diǎn)成為了近年來(lái)的研究熱點(diǎn)。Guha等人提出配準(zhǔn)框架VoxelMorph[1]，實(shí)現(xiàn)了體素到體素的無(wú)監(jiān)督配準(zhǔn)。Mok[2]等人受到傳統(tǒng)配準(zhǔn)方法SyN[3]的啟發(fā)，提出一種對(duì)稱微分同胚圖像配準(zhǔn)網(wǎng)絡(luò)SYM-Net，該網(wǎng)絡(luò)考慮參考圖像與浮動(dòng)圖像之間的逆映射，保證了圖像的拓?fù)浔３中耘c變換可逆性。

然而，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)存在局部形變配準(zhǔn)效果差、魯棒性差、抗噪聲能力弱等缺陷，通過(guò)分析發(fā)現(xiàn)造成此現(xiàn)象的原因是由于訓(xùn)練樣本不均衡所導(dǎo)致。針對(duì)這個(gè)問(wèn)題，本文參考目標(biāo)檢測(cè)領(lǐng)域的樣本均衡機(jī)制，以圖像的局部方差作為樣本難易程度的評(píng)價(jià)指標(biāo)，對(duì)無(wú)監(jiān)督配準(zhǔn)模型中的損失函數(shù)進(jìn)行改進(jìn)，以體素塊為單位對(duì)困難樣本施加權(quán)重，加強(qiáng)對(duì)于局部形變的學(xué)習(xí)能力，從而提升深度學(xué)習(xí)配準(zhǔn)模型的精度。

1 相關(guān)理論

■1.1 深度學(xué)習(xí)配準(zhǔn)模型Voxelmorph

傳統(tǒng)的醫(yī)學(xué)圖像配準(zhǔn)通過(guò)迭代優(yōu)化的方法尋找變換參數(shù)，實(shí)現(xiàn)由浮動(dòng)圖像到參考圖像的變形，然而由于傳統(tǒng)圖像配準(zhǔn)具有參數(shù)不共享的缺點(diǎn)，使得配準(zhǔn)效率低、速度慢?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)通過(guò)大量的數(shù)據(jù)在網(wǎng)絡(luò)訓(xùn)練階段得到公共的變換參數(shù)，利用公共參數(shù)進(jìn)行配準(zhǔn)大幅增加了配準(zhǔn)的速度。Voxelmorph是當(dāng)下熱門(mén)的無(wú)監(jiān)督學(xué)習(xí)配準(zhǔn)模型，其配準(zhǔn)流程如圖1所示，將單通道的參考圖像F和浮動(dòng)圖像M合并輸入到U-Net[4]卷積神經(jīng)網(wǎng)絡(luò)中，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)θ學(xué)習(xí)出兩幅圖像之間的體素塊映射，即密集變形場(chǎng)φ，隨后，將密集變形場(chǎng)φ輸入到空間變換網(wǎng)絡(luò)STN[5]中來(lái)對(duì)浮動(dòng)圖像M進(jìn)行采樣，得到變形后的浮動(dòng)圖像M?φ。Voxelmorph的通過(guò)訓(xùn)練網(wǎng)絡(luò)尋找最優(yōu)參數(shù)為Voxelmorph的損失函數(shù)，在訓(xùn)練過(guò)程中不斷更新參數(shù)θ直至達(dá)到最優(yōu)。

圖1 Voxelmorph配準(zhǔn)流程

■1.2 樣本均衡機(jī)制

對(duì)于深度學(xué)習(xí)而言，數(shù)據(jù)集的質(zhì)量直接影響到模型的學(xué)習(xí)程度，然而大多數(shù)算法在設(shè)計(jì)過(guò)程中都假設(shè)訓(xùn)練樣本的分布情況是均勻的，因此將這些算法應(yīng)用到實(shí)際數(shù)據(jù)中時(shí)，常常會(huì)遇到訓(xùn)練樣本不均衡導(dǎo)致模型泛化性差的問(wèn)題，該現(xiàn)象在單階段目標(biāo)檢測(cè)領(lǐng)域尤為明顯， Li[6]等人將其總結(jié)為訓(xùn)練樣本難易程度不均衡，大量的簡(jiǎn)單樣本會(huì)主導(dǎo)梯度會(huì)使得模型識(shí)別精度降低，針對(duì)此問(wèn)題，Li等人在經(jīng)典的交叉熵?fù)p失函數(shù)(CE Loss)上進(jìn)行改進(jìn)，提出Focal Loss，其核心思想為對(duì)樣本建立難易指標(biāo)，并根據(jù)難易指標(biāo)設(shè)置權(quán)重因子，減小簡(jiǎn)單樣本對(duì)于總Loss的貢獻(xiàn)，以達(dá)到樣本均衡的目的。

■1.3 局部方差

局部方差[7](Local Variance，LV)是醫(yī)學(xué)圖像領(lǐng)域經(jīng)典的評(píng)估方法，能夠體現(xiàn)圖像的結(jié)構(gòu)信息，單幅圖像的局部方差的計(jì)算過(guò)程如公式(1)所示：

2 基于局部方差加權(quán)的損失函數(shù)FMSE-LV

基于無(wú)監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)存在大部分樣本形變較為簡(jiǎn)單、易學(xué)習(xí)，而復(fù)雜形變樣本數(shù)量少的特點(diǎn)，使得模型在處理復(fù)雜性變時(shí)往往效果不理想。因此本文參考Focal Loss的思路，對(duì)所有訓(xùn)練樣本以難易為標(biāo)準(zhǔn)建立評(píng)價(jià)指標(biāo)，并設(shè)計(jì)權(quán)重因子來(lái)為困難樣本添加權(quán)重。無(wú)監(jiān)督配準(zhǔn)模型的損失函數(shù)由圖像相似性測(cè)度以及變形場(chǎng)平滑性約束組成，其中相似性測(cè)度損失函數(shù)常用經(jīng)典的均方誤差LMSE懲罰變形后圖像與參考圖像間的相似度，LMSE如公式(2)所示。

LMSE能夠指導(dǎo)模型在訓(xùn)練中更新參考圖像與浮動(dòng)圖像之間的灰度差異，從而使得其相似性測(cè)度達(dá)到最高，是較為廣泛使用的一種損失函數(shù)。然而，單個(gè)體素塊的灰度差異由于其不能夠體現(xiàn)結(jié)構(gòu)信息，存在錯(cuò)誤匹配，對(duì)噪聲敏感等缺陷，使得其無(wú)法正確反饋?zhàn)冃螆?chǎng)的形變難度?？紤]到局部方差具有體現(xiàn)空間鄰域性的特點(diǎn)，本文對(duì)原LV函數(shù)進(jìn)行改進(jìn)，改進(jìn)成為適用于配準(zhǔn)問(wèn)題的局部方差函數(shù)RLV，如公式(3)所示：

從公式(4)可以看出，權(quán)重ω可以根據(jù)局部方差平滑地調(diào)節(jié)體素塊樣本對(duì)于總Loss的貢獻(xiàn)值，為困難樣本增加訓(xùn)練權(quán)重，加強(qiáng)模型對(duì)于局部形變的學(xué)習(xí)能力。此外，融合了局部方差后的損失函數(shù)由于考慮了鄰域體素塊的灰度信息，使得在配準(zhǔn)過(guò)程中體素塊錯(cuò)誤匹配的幾率降低并且具有較好的抗噪聲能力。

3 實(shí)驗(yàn)與分析

■3.1 數(shù)據(jù)集

本文選取公開(kāi)數(shù)據(jù)集Mindboggle-101[9]中的80張3D腦部MRI圖像進(jìn)行實(shí)驗(yàn)，將全部圖像進(jìn)行預(yù)處理操作，包括像素值以及亮度歸一化、體素間距統(tǒng)一等，并裁剪成160×192×160的尺寸，使用OASIS-30中的Atlas圖像作為參考圖像，其他圖像作為浮動(dòng)圖像進(jìn)行訓(xùn)練，訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)比例為0.75:0.25。

■3.2 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文的實(shí)驗(yàn)在Linux操作系統(tǒng)上進(jìn)行，GPU使用NVIDIA/GeForce RTX 2080 Ti，內(nèi)存為16GB，模型基于Pytorch框架編寫(xiě)，所有實(shí)驗(yàn)均使用Adam優(yōu)化器，以3e-4學(xué)習(xí)率進(jìn)行模型訓(xùn)練， Batch_Size設(shè)為1，局部方差的鄰域窗口n大小設(shè)置為3，調(diào)節(jié)速率的因子σ設(shè)置為0.3，訓(xùn)練次數(shù)為5000次，共訓(xùn)練7小時(shí)。

■3.3 實(shí)驗(yàn)結(jié)果

為了更好地驗(yàn)證算法的有效性，本文從圖像相似性測(cè)度，標(biāo)簽重疊度、變形場(chǎng)折疊程度三個(gè)方面進(jìn)行評(píng)測(cè)，其中圖像相似性測(cè)度使用互相關(guān)系數(shù)(CC)，標(biāo)簽重疊度使用經(jīng)過(guò)專業(yè)手工標(biāo)注的大腦皮質(zhì)區(qū)域標(biāo)記之間的Dice系數(shù)，Dice和CC越高，代表圖像配準(zhǔn)結(jié)果越好。在變形場(chǎng)折疊度方面，使用雅克比行列式(Jac)中值為負(fù)數(shù)的體素塊比例作為評(píng)價(jià)指標(biāo)，Jac為負(fù)數(shù)的體素塊數(shù)量越少，代表變形場(chǎng)越接近實(shí)際情況。分別將本文算法結(jié)果與傳統(tǒng)仿射配準(zhǔn)和未添加權(quán)重的MSE作為損失函數(shù)的深度學(xué)習(xí)算法進(jìn)行對(duì)比，結(jié)果如表1所示。

表1 不同配準(zhǔn)方法結(jié)果對(duì)比

從表1可以看出，在標(biāo)簽重疊度與相似性測(cè)度方面，本文算法在Dice與CC兩個(gè)評(píng)價(jià)指標(biāo)上都有所提升，在變形場(chǎng)折疊程度方面，本文算法得到的變形場(chǎng)的Jac負(fù)值比例較MSE僅提升了0.005%，說(shuō)明為MSE添加了權(quán)重因子后，對(duì)模型預(yù)測(cè)的變形場(chǎng)質(zhì)量并沒(méi)有明顯的影響，圖2分別展示了測(cè)試集中某張病例的參考圖像、浮動(dòng)圖像、MSE配準(zhǔn)結(jié)果以及本文算法配準(zhǔn)結(jié)果，可以看出，本文算法在局部細(xì)節(jié)(標(biāo)注位置)的配準(zhǔn)上更加接近于參考圖像。

圖2 配準(zhǔn)結(jié)果對(duì)比

4 結(jié)論

本文通過(guò)對(duì)深度學(xué)習(xí)模型中的優(yōu)化策略展開(kāi)深入研究，將局部方差的空間鄰域性以樣本均衡機(jī)制加權(quán)的方式融入到MSE損失函數(shù)中，借助局部方差的結(jié)構(gòu)信息引導(dǎo)權(quán)重配置，從而使所有訓(xùn)練樣本的權(quán)重得到均衡分配，提升模型對(duì)于局部形變的學(xué)習(xí)能力，改善配準(zhǔn)精度。然而由于在設(shè)置權(quán)重的過(guò)程中添加了超參數(shù)，使得模型在訓(xùn)練時(shí)缺乏一定的靈活性，后續(xù)工作將考慮設(shè)計(jì)出能夠通過(guò)圖像內(nèi)部信息自適應(yīng)調(diào)節(jié)權(quán)重的方法。