洪 犇，錢旭升，申明磊，胡冀蘇，耿 辰，戴亞康，周志勇

（1.南京理工大學(xué) 電子工程與光電技術(shù)學(xué)院，南京 210094；2.中國科學(xué)院 蘇州生物醫(yī)學(xué)工程技術(shù)研究所，江蘇 蘇州 215163）

0 概述

人工智能技術(shù)已經(jīng)成功應(yīng)用到許多醫(yī)學(xué)領(lǐng)域中，如手術(shù)計(jì)劃導(dǎo)航、輔助診斷、圖像引導(dǎo)的消融等。作為醫(yī)學(xué)圖像分析中最基本的兩項(xiàng)任務(wù)，圖像配準(zhǔn)和圖像分割對(duì)于輔助解決醫(yī)學(xué)領(lǐng)域的各種問題具有重要意義［1-2］。

圖像配準(zhǔn)的目的是得到兩幅圖像之間的逐像素轉(zhuǎn)換參數(shù)，利用這組轉(zhuǎn)換參數(shù)使兩幅圖像在解剖結(jié)構(gòu)上保持一致［3］。不同于單模態(tài)配準(zhǔn)，多模態(tài)配準(zhǔn)在不同模態(tài)圖像的灰度和紋理上差異較大［4］，以往基于灰度的測(cè)度方式無法有效匹配多模態(tài)圖像之間的特征［5］?；谏蓪?duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的方法將圖像從一種模態(tài)轉(zhuǎn)換到另一種模態(tài)，從而將多模態(tài)配準(zhǔn)轉(zhuǎn)換成更為簡(jiǎn)單的單模態(tài)配準(zhǔn)［6］。文獻(xiàn)［7］進(jìn)一步擴(kuò)展了該工作，同時(shí)實(shí)現(xiàn)單模態(tài)和多模態(tài)的配準(zhǔn)。生成對(duì)抗網(wǎng)絡(luò)的方法往往難以訓(xùn)練，且不可避免地帶來一些人工特征的干擾［8］。通過構(gòu)造特征描述符，文獻(xiàn)［9］基于鄰域描述子（Modality Independence Neighborhood Descriptor，MIND）設(shè)計(jì)損失函數(shù)，以人工構(gòu)造特征對(duì)配準(zhǔn)進(jìn)行監(jiān)督。然而，無監(jiān)督學(xué)習(xí)的方法缺少解剖學(xué)的語義信息，難以達(dá)到更加準(zhǔn)確的配準(zhǔn)效果［10-11］。弱監(jiān)督學(xué)習(xí)的配準(zhǔn)方法使用組織分割標(biāo)簽描述不同模態(tài)圖像之間相同的器官邊界或病灶區(qū)域，引導(dǎo)配準(zhǔn)網(wǎng)絡(luò)從分割標(biāo)簽推斷解剖結(jié)構(gòu)對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)多模態(tài)配準(zhǔn)。例如，文獻(xiàn)［12］利用分割標(biāo)簽作為弱監(jiān)督信息，在MR-TRUS 圖像對(duì)上實(shí)現(xiàn)了多模態(tài)配準(zhǔn)。為了解決分割標(biāo)簽覆蓋面積不足的問題。文獻(xiàn)［13］在配準(zhǔn)的同時(shí)對(duì)圖像和分割標(biāo)簽進(jìn)行形變操作，形成全局和局部相結(jié)合的配準(zhǔn)網(wǎng)絡(luò)。

醫(yī)學(xué)圖像分割的目的是得到感興趣區(qū)域的分割標(biāo)簽［14］，并提取出邊界信息進(jìn)一步執(zhí)行圖像分析與計(jì)算機(jī)輔助診斷等任務(wù)。2015 年，文獻(xiàn)［15］提出了U-Net 分割網(wǎng)絡(luò)，利用U 型結(jié)構(gòu)和跳躍連接融合了不同層次的信息，在圖像分割領(lǐng)域得到了廣泛的應(yīng)用。通過設(shè)計(jì)不同深度的嵌套子網(wǎng)絡(luò)，UNet++［16］的提出解決了U-Net 網(wǎng)絡(luò)深度設(shè)計(jì)的問題，并通過深監(jiān)督機(jī)制大幅縮減了參數(shù)量，使得網(wǎng)絡(luò)分割精度進(jìn)一步提升。文獻(xiàn)［17］將U-Net 中傳統(tǒng)卷積替換為內(nèi)卷操作，進(jìn)一步提升了局部特征學(xué)習(xí)能力。然而，上述方法都依賴于真實(shí)標(biāo)注的組織分割標(biāo)簽，并且容易受到不同標(biāo)注者的主觀影響。針對(duì)這一問題，文獻(xiàn)［18］利用兩個(gè)協(xié)同模型組成協(xié)同訓(xùn)練框架，分別預(yù)測(cè)未標(biāo)記數(shù)據(jù)的偽標(biāo)簽來互相指導(dǎo)，通過互補(bǔ)性避免了單個(gè)模型無法保證偽標(biāo)簽質(zhì)量的問題。

配準(zhǔn)和分割網(wǎng)絡(luò)在各自的領(lǐng)域已經(jīng)達(dá)到了一定的效果，然而它們卻被視為相互獨(dú)立的任務(wù)。但是，分割和配準(zhǔn)任務(wù)存在一定的關(guān)聯(lián)性，即配準(zhǔn)和分割都可以通過分割標(biāo)簽的輔助解剖信息來提高任務(wù)的精度［19］。具體地說，分割可以通過將帶有分割標(biāo)簽的圖像配準(zhǔn)到待分割圖像上以得到對(duì)應(yīng)的分割標(biāo)簽［20］，配準(zhǔn)可以通過將輔助分割標(biāo)簽信息加入損失函數(shù)［21］實(shí)現(xiàn)多模態(tài)配準(zhǔn)。因此，通過分割和配準(zhǔn)網(wǎng)絡(luò)的聯(lián)合優(yōu)化，可以進(jìn)一步提升兩者的精度［22-24］。文獻(xiàn)［25］利用硬參數(shù)共享的方式提出聯(lián)合配準(zhǔn)分割網(wǎng)絡(luò)U-ReSNet，通過最小化均方誤差和局部互相關(guān)來同時(shí)約束配準(zhǔn)和分割網(wǎng)絡(luò)。文獻(xiàn)［26］利用軟參數(shù)共享的方法，提出一種“十字繡”網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)在編碼和解碼階段共享配準(zhǔn)和分割網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)更好的泛化性能。以上多任務(wù)學(xué)習(xí)的方法雖然很好地將配準(zhǔn)與分割相結(jié)合，但是需要對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行大量修改，難以適應(yīng)最新的配準(zhǔn)和分割算法。為此，一些無須改動(dòng)網(wǎng)絡(luò)結(jié)構(gòu)的聯(lián)合配準(zhǔn)分割框架被提出。文獻(xiàn)［27］提出一種聯(lián)合配準(zhǔn)分割網(wǎng)絡(luò)框架DeepAtlas，為缺少標(biāo)簽時(shí)分割和配準(zhǔn)的聯(lián)合訓(xùn)練提供了一個(gè)通用的解決方案，該方案將已知的概率圖譜通過逆形變場(chǎng)進(jìn)行形變，并將得到先驗(yàn)的已形變概率圖譜作為分割的真實(shí)標(biāo)簽。文獻(xiàn)［28］實(shí)現(xiàn)了無監(jiān)督聯(lián)合配準(zhǔn)分割模型U-RSNet。文獻(xiàn)［29］提出了聯(lián)合學(xué)習(xí)框架RsegNet，通過正逆形變場(chǎng)的雙一致性監(jiān)督實(shí)現(xiàn)解剖一致性，并在4 個(gè)公共數(shù)據(jù)集上進(jìn)行驗(yàn)證，效果均優(yōu)于單獨(dú)訓(xùn)練的網(wǎng)絡(luò)。然而，目前的各種聯(lián)合配準(zhǔn)分割方法大都局限于單模態(tài)數(shù)據(jù)。由于分割網(wǎng)絡(luò)難以適應(yīng)不同模態(tài)的圖像，因此無法同時(shí)得到不同模態(tài)的圖像分割標(biāo)簽，導(dǎo)致聯(lián)合配準(zhǔn)分割方法難以應(yīng)用到多模態(tài)數(shù)據(jù)中。此外，聯(lián)合配準(zhǔn)分割網(wǎng)絡(luò)大都需要大量的分割標(biāo)簽來保證訓(xùn)練的進(jìn)行，如果缺少標(biāo)簽則難以完成聯(lián)合過程［27］。

本文提出一種基于深度學(xué)習(xí)的聯(lián)合配準(zhǔn)分割算法，并構(gòu)建基于多尺度鄰域描述符和一致性監(jiān)督的聯(lián)合配準(zhǔn)分割網(wǎng)絡(luò)（Multi-scale neighborhood descriptor and Consistency supervision based joint Registration and Segmentation Network，MC-RSNet）框架，該框架包含兩個(gè)分割網(wǎng)絡(luò)和一個(gè)多模態(tài)配準(zhǔn)網(wǎng)絡(luò)，通過配準(zhǔn)-分割迭代優(yōu)化的方式同時(shí)實(shí)現(xiàn)兩項(xiàng)任務(wù)，利用模態(tài)一致性監(jiān)督通過配準(zhǔn)產(chǎn)生的形變場(chǎng)使兩個(gè)獨(dú)立的分割網(wǎng)絡(luò)互為監(jiān)督，進(jìn)而提升多模態(tài)圖像分割的精度，并在此基礎(chǔ)上設(shè)計(jì)一種多尺度模態(tài)獨(dú)立鄰域描述符，通過構(gòu)建多個(gè)尺度的鄰域范圍擴(kuò)充描述符的上下文信息，為多模態(tài)圖像配準(zhǔn)提供更準(zhǔn)確的不同模態(tài)之間的特征對(duì)應(yīng)關(guān)系，以提高配準(zhǔn)精度。

有些學(xué)生為了達(dá)到美化的目的，在繪圖手段上花費(fèi)的時(shí)間過多；也有的為了“可視化”而“可視化”，置換了一些更好的教學(xué)方法，得不償失。所以，教師要注意，教無定法，在中考復(fù)習(xí)中“思維可視化”只是一種策略、一種手段，不是替代當(dāng)前的教學(xué)方法，而是與之相適應(yīng)、相配合。只有讓“思維可視化”與“中考復(fù)習(xí)”和諧地融為一體，促進(jìn)學(xué)生對(duì)科學(xué)本質(zhì)的理解，才能使凝固的課堂重新煥發(fā)出生命的活力，才能在這場(chǎng)沒有硝煙的中考復(fù)習(xí)戰(zhàn)中獲勝。

1 聯(lián)合配準(zhǔn)分割方法

定義Im和If分別表示浮動(dòng)圖像（MR）和固定圖像（CT），Lm,seg和Lf,seg分別表示MR 圖像的分割標(biāo)簽和CT 圖像的分割標(biāo)簽，在所有M對(duì)CT-MR 圖像對(duì)中提供了N（N

多模態(tài)配準(zhǔn)的目的是找到一組最優(yōu)的空間變換參數(shù)?（形變場(chǎng)），使得不同模態(tài)的圖像在解剖結(jié)構(gòu)上對(duì)齊；分割的目的是在圖像中分離出器官等感興趣區(qū)域。對(duì)于上述兩項(xiàng)任務(wù)，通過最小化相似性度量來訓(xùn)練網(wǎng)絡(luò)，以學(xué)習(xí)最優(yōu)網(wǎng)絡(luò)參數(shù)，從而得到最優(yōu)網(wǎng)絡(luò)模型。根據(jù)本文中損失函數(shù)的具體設(shè)計(jì)，將圖像配準(zhǔn)和分割的過程表示如下：

其中：EmsMIND是基于多尺度模態(tài)獨(dú)立鄰域描述符構(gòu)造的圖像相似性測(cè)度，用于計(jì)算圖像結(jié)構(gòu)相似度；Econsistency用于約束分割標(biāo)簽圖像中的圖像輪廓對(duì)齊程度；Esmooth表示對(duì)形變場(chǎng)不平滑的懲罰；°表示由配準(zhǔn)形變場(chǎng)?對(duì)浮動(dòng)圖像Im進(jìn)行空間變換。

出口邊界：割草機(jī)出口設(shè)置為pressure-outlet，壓力邊界值p=1.3×105 Pa，即表壓設(shè)為0 Pa，湍流強(qiáng)度為5%，水力直徑為500 mm。

1.1 配準(zhǔn)-分割聯(lián)合優(yōu)化的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)

為了能夠得到最佳的配準(zhǔn)效果，構(gòu)建基于多尺度配準(zhǔn)算法Ms-RNet［4］的配準(zhǔn)子網(wǎng)絡(luò)，如圖3 所示。在編碼階段，配準(zhǔn)子網(wǎng)絡(luò)利用卷積來提取原始輸入圖像的特征。每個(gè)卷積中的核大小和步長(zhǎng)分別被設(shè)置為3×3×3 和1×1×1，隨后使用LReLU 激活函數(shù)增加非線性特征。卷積核的初始數(shù)量被設(shè)置為16，隨著每次最大池化不斷倍增最終達(dá)到64 個(gè)。在解碼器階段，通過上采樣恢復(fù)原始圖像的大小，同時(shí)通過跳躍連接與空間注意力結(jié)構(gòu)恢復(fù)編解碼過程中特征圖丟失的細(xì)節(jié)。

聯(lián)合配準(zhǔn)分割網(wǎng)絡(luò)框架如圖1 所示，該框架包括分割子網(wǎng)絡(luò)和配準(zhǔn)子網(wǎng)絡(luò)兩個(gè)分支。在整體上，以M對(duì)浮動(dòng)圖像Im和固定圖像If及N對(duì)真實(shí)分割標(biāo)簽Lm,gt和Lf,gt作為輸入（N

1.3.4 對(duì)照品溶液制備 精密稱取橙皮苷3.75 mg，置25 mL量瓶中，加甲醇溶解并稀釋至刻度，即得橙皮苷對(duì)照品儲(chǔ)備液，濃度為 0.15 mg／mL。

圖1 基于配準(zhǔn)與分割的聯(lián)合優(yōu)化網(wǎng)絡(luò)框架Fig.1 Joint optimization network framework based on registration and segmentation

具體而言，在進(jìn)行聯(lián)合訓(xùn)練之前，首先利用配準(zhǔn)子網(wǎng)絡(luò)在無監(jiān)督情況下［4］進(jìn)行預(yù)訓(xùn)練，然后利用分割子網(wǎng)絡(luò)在含有N對(duì)分割標(biāo)簽的M對(duì)數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，得到預(yù)訓(xùn)練模型之后進(jìn)入聯(lián)合訓(xùn)練階段。在聯(lián)合訓(xùn)練過程中先后執(zhí)行配準(zhǔn)、分割，交替訓(xùn)練兩種網(wǎng)絡(luò)中的一種，同時(shí)保持另一種固定，形成完整的訓(xùn)練過程。在該過程中，分割為配準(zhǔn)提供標(biāo)簽輔助配準(zhǔn)，配準(zhǔn)為分割提供形變場(chǎng)實(shí)現(xiàn)模態(tài)間一致性約束。利用兩者互補(bǔ)的特性，在循環(huán)交替的過程中傳遞互補(bǔ)的約束，實(shí)現(xiàn)互相提高，交替過程如圖2 所示。需要注意的是，只在第一輪訓(xùn)練時(shí)使用了預(yù)訓(xùn)練模型，此后交替訓(xùn)練使用的網(wǎng)絡(luò)均為上一步訓(xùn)練優(yōu)化的結(jié)果。具體訓(xùn)練步驟如下：

圖2 配準(zhǔn)與分割的交替訓(xùn)練過程Fig.2 Alternating training process of registration and segmentation

步驟1利用配準(zhǔn)子網(wǎng)絡(luò)單獨(dú)對(duì)所有M對(duì)CTMR 圖像進(jìn)行預(yù)訓(xùn)練；利用分割子網(wǎng)絡(luò)對(duì)N對(duì)含有分割標(biāo)簽的CT-MR 圖像進(jìn)行預(yù)訓(xùn)練。將預(yù)訓(xùn)練網(wǎng)絡(luò)作為聯(lián)合框架中的初始網(wǎng)絡(luò)。

其中：P表示預(yù)測(cè)標(biāo)簽；G表示真實(shí)標(biāo)簽（groundtruth）。

福建省在國家防辦制定的實(shí)施方案編制大綱基礎(chǔ)上，制定了福建省建設(shè)實(shí)施方案編制大綱，監(jiān)測(cè)預(yù)警系統(tǒng)建設(shè)技術(shù)要求，防御宣傳手冊(cè)、宣傳欄、警示牌樣式和防御預(yù)案編制要求和范本等。這些技術(shù)標(biāo)準(zhǔn)明確了“構(gòu)建監(jiān)測(cè)預(yù)警網(wǎng)絡(luò)和群測(cè)群防的防御體系，完善‘預(yù)警到鄉(xiāng)、預(yù)案到村、責(zé)任到人’工作機(jī)制，實(shí)現(xiàn)有效防御山洪災(zāi)害，保障人民群眾生命安全，最大限度減輕山洪災(zāi)害損失”的建設(shè)目標(biāo)；規(guī)范了建設(shè)任務(wù)、建設(shè)內(nèi)容和概算編制要求等；體現(xiàn)了具有福建特色的項(xiàng)目總體要求和技術(shù)方案，為各地編制實(shí)施方案奠定了良好基礎(chǔ)。

步驟3將所有M對(duì)CT-MR 圖像輸入到聯(lián)合框架的分割部分，在有無真實(shí)標(biāo)簽的兩種情況下分別使用Edice和Econsistency約束分割標(biāo)簽。

步驟4交替運(yùn)行步驟2 和步驟3，直到網(wǎng)絡(luò)趨于穩(wěn)定得到最終的配準(zhǔn)和分割模型。

由于配準(zhǔn)與分割子網(wǎng)絡(luò)在未經(jīng)訓(xùn)練時(shí)網(wǎng)絡(luò)參數(shù)隨機(jī)初始化，得到的配準(zhǔn)和分割結(jié)果可能效果并不理想。直接使用配準(zhǔn)和分割子網(wǎng)絡(luò)進(jìn)行聯(lián)合優(yōu)化，可能并不會(huì)朝著正確的方向進(jìn)行優(yōu)化［29］，由于互相的約束作用反而會(huì)使結(jié)果逐漸惡化，因此選擇預(yù)訓(xùn)練配準(zhǔn)與分割子網(wǎng)絡(luò)為兩者提供較好的初始參數(shù)，保證聯(lián)合訓(xùn)練時(shí)不會(huì)出現(xiàn)惡化的情況，使聯(lián)合訓(xùn)練過程只需要在預(yù)訓(xùn)練的基礎(chǔ)上進(jìn)一步微調(diào)優(yōu)化即可［29］。此外，在全部M對(duì)CT-MR 圖像中僅有N對(duì)圖像包含真實(shí)標(biāo)簽（N

值得注意的是，本文方法采用了聯(lián)合訓(xùn)練的方式而非多任務(wù)學(xué)習(xí)，這是因?yàn)槎嗳蝿?wù)學(xué)習(xí)需要更改配準(zhǔn)和分割網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)于任意新的配準(zhǔn)和分割網(wǎng)絡(luò)來說都需要重新設(shè)計(jì)網(wǎng)絡(luò)。采用聯(lián)合訓(xùn)練的方式同時(shí)實(shí)現(xiàn)配準(zhǔn)和分割，無須對(duì)子網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改動(dòng)，對(duì)于任意新的深度學(xué)習(xí)配準(zhǔn)分割網(wǎng)絡(luò)可以直接組合。在聯(lián)合訓(xùn)練框架中，對(duì)于配準(zhǔn)和分割的要求是輸入兩種模態(tài)的圖像，分別輸出兩種模態(tài)圖像之間的形變場(chǎng)和兩種模態(tài)圖像的分割標(biāo)簽。配準(zhǔn)與分割的聯(lián)合交替優(yōu)化主要通過形變場(chǎng)和分割標(biāo)簽來完成，如圖2 所示。本文提出的框架是一種即插即用［30］的網(wǎng)絡(luò)框架，對(duì)于任意多模態(tài)配準(zhǔn)網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，在滿足輸出形變場(chǎng)和分割標(biāo)簽的情況下均可進(jìn)行組合應(yīng)用到聯(lián)合框架中。通過即插即用的方式組合現(xiàn)有的配準(zhǔn)和分割網(wǎng)絡(luò)，可以直接在現(xiàn)有模型的基礎(chǔ)上專注于特定任務(wù)進(jìn)行優(yōu)化，在決策級(jí)別進(jìn)行聯(lián)合避免了特征級(jí)別聯(lián)合需要更改網(wǎng)絡(luò)結(jié)構(gòu)的操作，保證配準(zhǔn)和分割互相作用，在提升效果的同時(shí)大幅減輕了工作量。

為了解決目前聯(lián)合配準(zhǔn)分割算法難以應(yīng)用于多模態(tài)數(shù)據(jù)的問題，本文提出一種基于多尺度鄰域描述符和模態(tài)一致性監(jiān)督的聯(lián)合配準(zhǔn)分割框架（MCRSNet），通過模態(tài)一致性監(jiān)督將兩個(gè)分割網(wǎng)絡(luò)和一個(gè)多模態(tài)配準(zhǔn)網(wǎng)絡(luò)聯(lián)合起來，兩個(gè)分割網(wǎng)絡(luò)串行運(yùn)行，分割和配準(zhǔn)并行運(yùn)行，實(shí)現(xiàn)配準(zhǔn)和分割的同時(shí)提升。

以掘進(jìn)機(jī)截割臂升降角度為例，驗(yàn)證建立的基于油缸行程傳感器的截割頭姿態(tài)角檢測(cè)模型。試驗(yàn)中，截割臂從0°到最大角度23°，將掘進(jìn)機(jī)平臺(tái)參數(shù)L0=388 mm，L1=202 mm，L2=470 mm，θ=54.18°和油缸行程傳感器相對(duì)截割臂為0°時(shí)伸長(zhǎng)量代入式(2)，得出的截割臂升降角度為測(cè)試值，以安裝在截割臂上的精度為0.01°的兩軸傾角傳感器SCA120T檢測(cè)的截割臂角度為理論參考值，結(jié)果見表2。

圖3 配準(zhǔn)子網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Structure of registration subnetwork

1.2.2 基于多尺度鄰域描述符的損失函數(shù)

圖4 分割子網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of segmentation subnetwork

1.2 基于模態(tài)一致性監(jiān)督和多尺度鄰域描述符的損失函數(shù)

本文提出一種應(yīng)用于聯(lián)合配準(zhǔn)分割框架MCRSNet 的損失函數(shù)，其中，CT-MR 有標(biāo)簽和CT-MR無標(biāo)簽情況下的損失函數(shù)如式（3）和式（4）所示：

其中：Ereg表示配準(zhǔn)損失部分；Eseg表示分割損失部分；EmsMIND用于約束配準(zhǔn)的局部結(jié)構(gòu)；Edice用于在有標(biāo)簽的情況下約束配準(zhǔn)和分割的全局輪廓邊界；Esmooth用于使配準(zhǔn)形變場(chǎng)平滑；Econsistency用于在無標(biāo)簽的情況下提供監(jiān)督信息同時(shí)約束兩種模態(tài)分割標(biāo)簽之間的模態(tài)間一致性；If和Im分別表示固定圖像和浮動(dòng)圖像；Lf,segandLm,seg分別表示固定圖像和浮動(dòng)圖像的分割結(jié)果；Lm,gt和Lf,gt分別表示固定圖像和浮動(dòng)圖像的ground-truth；?表示形變場(chǎng)；°表示非線性變換。經(jīng)過多次實(shí)驗(yàn)驗(yàn)證，最終α、β、λ分別為20、2.0、0.5。

1.2.1 模態(tài)一致性監(jiān)督損失函數(shù)

為了進(jìn)一步提升配準(zhǔn)效果，本文設(shè)計(jì)一種多尺度模態(tài)獨(dú)立鄰域描述符（multi-scale Modality Independence Neighborhood Descriptor，msMIND），并基于msMIND 設(shè)計(jì)結(jié)構(gòu)損失函數(shù)，提升配準(zhǔn)的結(jié)構(gòu)準(zhǔn)確性。

在真實(shí)標(biāo)簽存在的情況下，配準(zhǔn)和分割所需標(biāo)簽由已標(biāo)注的真實(shí)標(biāo)簽提供。當(dāng)標(biāo)簽不存在時(shí)，通過模態(tài)一致性監(jiān)督損失來為配準(zhǔn)和分割繼續(xù)提供監(jiān)督信息。本文利用配準(zhǔn)產(chǎn)生的形變場(chǎng)對(duì)MR 圖像的分割標(biāo)簽進(jìn)行形變并將形變后的標(biāo)簽與CT 圖像的分割標(biāo)簽進(jìn)行結(jié)構(gòu)匹配，從而在無標(biāo)簽時(shí)也能夠提供監(jiān)督信息。模態(tài)一致性監(jiān)督損失Econsistency定義如下：

其中：Sm（y）和Sf（y）表示體素y處的浮動(dòng)和固定的分割標(biāo)簽；?代表形變場(chǎng)；°代表非線性變換。

配準(zhǔn)網(wǎng)絡(luò)產(chǎn)生的形變場(chǎng)?提供了從浮動(dòng)圖像到固定圖像的逐體素位移分量。對(duì)于配準(zhǔn)網(wǎng)絡(luò)來說，浮動(dòng)圖像的分割標(biāo)簽經(jīng)過形變場(chǎng)形變后應(yīng)該具有與固定圖像分割標(biāo)簽相同的解剖結(jié)構(gòu)，即Lm,seg°?≈Lf,seg。此時(shí)，分割網(wǎng)絡(luò)固定，利用分割標(biāo)簽對(duì)配準(zhǔn)進(jìn)行監(jiān)督進(jìn)一步提高了配準(zhǔn)在標(biāo)簽覆蓋區(qū)域的精度。對(duì)于分割網(wǎng)絡(luò)來說，它產(chǎn)生的分割結(jié)果Lf,seg和Lm,seg提供了圖像上感興趣區(qū)域的體素分布，同樣也會(huì)存在Lm,seg??≈Lf,seg，此時(shí)配準(zhǔn)網(wǎng)絡(luò)固定，兩個(gè)模態(tài)的分割網(wǎng)絡(luò)互為監(jiān)督，使得兩個(gè)分割網(wǎng)絡(luò)的分割標(biāo)簽具有模態(tài)間一致性。本文通過優(yōu)化一致性損失Econsistency在缺少標(biāo)簽的情況下實(shí)現(xiàn)對(duì)配準(zhǔn)和分割的約束。也就是說，這種約束可以幫助配準(zhǔn)算法找到準(zhǔn)確的標(biāo)簽對(duì)應(yīng)關(guān)系，幫助分割算法補(bǔ)充缺失的監(jiān)督信息，使分割結(jié)果具有模態(tài)間一致性。

本文利用模態(tài)一致性監(jiān)督Econsistency建立了不同模態(tài)分割與配準(zhǔn)之間的聯(lián)系，并為聯(lián)合訓(xùn)練過程中的兩個(gè)任務(wù)參數(shù)的更新提供了指導(dǎo)，將模態(tài)一致性監(jiān)督集成到損失函數(shù)中，從而形成了基于模態(tài)一致性監(jiān)督的損失函數(shù)。

為了盡可能保證精度，構(gòu)建基于空間通道雙注意力模 塊scSE-block［31］的分割網(wǎng)絡(luò)nnU-Net［32］作 為本文的分割子網(wǎng)絡(luò)，稱為scSE-nnU-Net，如圖4 所示。在下采樣過程中使用跨步卷積與最大池化來進(jìn)行特征提取，并使用轉(zhuǎn)置卷積與scSE-block 執(zhí)行上采樣操作，通過在空間和通道兩方面抑制不重要信息，進(jìn)行有效特征的提取。輸入圖像尺寸為128×128×96像素，批大小為2。共執(zhí)行5 次最大池化操作，得到底部特征圖大小為4×4×6 像素。每個(gè)編碼器由兩個(gè)卷積塊組成，激活函數(shù)為L(zhǎng)ReLU 函數(shù)，卷積核大小為3×3×3。初始卷積核數(shù)目設(shè)置為32 個(gè)，隨著每次最大池化數(shù)目倍增，直到底部數(shù)量最大為320 個(gè)，然后使用上采樣將特征圖恢復(fù)至原始大小，并使用Softmax 得到輸出結(jié)果。

為了評(píng)估配準(zhǔn)與分割性能，本文選擇了一些表現(xiàn)良好的方法與MC-RSNet 進(jìn)行對(duì)比。配準(zhǔn)網(wǎng)絡(luò)有Elastix［37］、Voxelmorph［38］、Ms-RNet［4］，分割網(wǎng)絡(luò)有U-Net［39］、nnU-Net［32］、scSE-nnU-Net。其中，Ms-RNet［4］和scSE-nnU-Net 分別是本文的配準(zhǔn)與分割子網(wǎng)絡(luò)。

將表面活性劑和助表面活性劑按質(zhì)量比(Km)混勻，得到混合表面活性劑(Smix)；將油相(Oil)和Smix混勻，得到混合油相；在混合油相中緩慢滴加水相，不斷攪拌，直至形成透明的體系，記下體系發(fā)生透明或渾濁變化時(shí)的各組分用量，用origin8.5繪制偽三元相圖。根據(jù)納米乳區(qū)大小，篩選合適的納米乳體系。

由于解剖結(jié)構(gòu)在局部鄰域內(nèi)的相對(duì)灰度分布基本不受模態(tài)變化影響［33］，因此通過設(shè)計(jì)結(jié)構(gòu)描述符來排除模態(tài)的影響進(jìn)而實(shí)現(xiàn)多模態(tài)配準(zhǔn)的測(cè)度。本文基于自相似理論［34］，描述每個(gè)體素周圍鄰域的灰度分布來表示該體素的局部結(jié)構(gòu)。如圖5 所示，選取圖像中任一圖像塊的周圍6 鄰域圖像塊，并計(jì)算每?jī)蓚€(gè)圖像塊之間灰度上誤差的平方作為自相似性，中心圖像塊周圍的12 對(duì)圖像塊的自相似性共同組成了中心圖像塊的上下文信息，用來表示該中心圖像塊處的局部結(jié)構(gòu)。如圖6 所示，為了更進(jìn)一步解決6 鄰域范圍的限制，在原有6 鄰域的基礎(chǔ)上擴(kuò)展到了12 鄰域，分為內(nèi)外兩層，并給內(nèi)外兩層賦予不同的權(quán)重。相比于現(xiàn)有的MIND［9］描述符和MINDSSC［35］描述符，本文的改進(jìn)在于：將原有6 鄰域多尺度化，擴(kuò)充了局部結(jié)構(gòu)所包含的信息量，在著重于中心點(diǎn)附近重要信息的同時(shí)，保證遠(yuǎn)離中心點(diǎn)的信息也能夠被接收到，實(shí)現(xiàn)對(duì)局部結(jié)構(gòu)更加準(zhǔn)確的表達(dá)。為了簡(jiǎn)便起見，在圖5 中僅畫出了單一尺度的表現(xiàn)形式，多尺度的形式只需以相同的半徑將鄰域擴(kuò)充兩倍，如圖6 中的二維展示。

圖5 msMIND 三維展示Fig.5 Presentation of msMIND in 3D

圖6 msMIND 二維展示Fig.6 Presentation of msMIND in 2D

msMIND 的計(jì)算公式為：

現(xiàn)代立體漆藝以三維立體的形式，豐富多變的漆繪語言，表達(dá)藝術(shù)家的造物能力和審美理想。胎骨，作為塑型的基礎(chǔ)，是研究現(xiàn)代立體漆藝無法繞開的核心話題。不論是傳承既有的材料處理方式來表現(xiàn)現(xiàn)代人的審美理想，還是在材料的創(chuàng)新上下功夫，其豐富多變的形式都是無法在一篇文章中盡述的。但這“承”與“變”的劃分不是最關(guān)鍵的。我們將持續(xù)關(guān)注的是現(xiàn)代藝術(shù)家們欲要表達(dá)的心境和理想，以及他們借助現(xiàn)代立體漆藝表現(xiàn)心境和理想的技術(shù)能力。

其中：msMIND 表示雙重尺度6 鄰域范圍內(nèi)的局部結(jié)構(gòu)，與中心圖像塊x距離為r代表內(nèi)層6 鄰域，距離為2r代表外 層6鄰域；α和β分別代 表不同權(quán)重；Dp表示以x為中心的6 鄰域內(nèi)任意兩個(gè)距離向量ri和rj上的圖像塊zi、zj之間的灰度相似距離；每個(gè)圖像塊大小為p×p×p；P定義為兩個(gè)圖像塊之間一系列的位移量；t代表任意分位移量。因此，Dp計(jì)算兩個(gè)圖像塊內(nèi)所有點(diǎn)的均方差，如式（7）所示：

V（I，x）是圖像局部方差的估計(jì)，定義為所有6 鄰域圖像塊之間的Dp的期望：

由于msMIND 特征是Dp的高斯函數(shù)，因此在不相似時(shí)表現(xiàn)為低響應(yīng)，在相似時(shí)表現(xiàn)為高響應(yīng)，可以很好地表征局部特征［4］。一旦提取了兩個(gè)圖像的msMIND 描述子，相似性度量就可以定義為兩者描述子之間的絕對(duì)差的平均值。因此，基于msMIND的相似性度量定義如下：

其中：I和J分別是兩幅待比較的圖像；R是6 鄰域向量的集合。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)數(shù)據(jù)集來自麗水市中心醫(yī)院，包括118 對(duì)CT-MR 圖像及其對(duì)應(yīng)的肝臟標(biāo)簽。CT 圖像為平掃未增強(qiáng)，原始尺寸為512×512 像素×L（其中L為CT數(shù)據(jù)中切片的數(shù)量，范圍為32～104）；MR 圖像為T1未增強(qiáng)，原始尺寸為512×512 像素×K（其中K為MR數(shù)據(jù)中切片的數(shù)量，范圍為52～80）。肝臟標(biāo)記由兩名放射科醫(yī)生手動(dòng)標(biāo)記，以評(píng)估配準(zhǔn)性能和輔助配準(zhǔn)。需要注意的是，在訓(xùn)練過程中只使用了30%的肝臟標(biāo)簽，極大地減少了圖像標(biāo)注任務(wù)的時(shí)間。為了進(jìn)一步評(píng)估圖像結(jié)構(gòu)配準(zhǔn)好壞［36］，在每對(duì)CT-MR圖像上標(biāo)記了3 個(gè)標(biāo)記點(diǎn)，如腫瘤、囊腫和肝裂隙，標(biāo)記圖像示例如圖7 所示。

圖7 CT-MR 圖像展示Fig.7 Presentation of CT-MR images

對(duì)于所有圖像數(shù)據(jù)，CT-MR 圖像對(duì)使用仿射對(duì)齊［37］來減少位置偏差。然后將所有圖像重采樣到各向同性體素（1 mm×1 mm×1 mm），并進(jìn)行歸一化和剪裁得到分辨率為304×304×228 像素的清晰圖像。其中，90 對(duì)CT-MR 圖像作為訓(xùn)練集，28 對(duì)作為測(cè)試集，并在訓(xùn)練過程中使用隨機(jī)仿射變換對(duì)數(shù)據(jù)進(jìn)一步擴(kuò)展，同時(shí)進(jìn)行五折交叉驗(yàn)證以減少實(shí)驗(yàn)誤差。

對(duì)于配準(zhǔn)任務(wù)，采用3 項(xiàng)指標(biāo)來評(píng)價(jià)配準(zhǔn)結(jié)果，其中，Dice 相似系 數(shù)（Dice Similarity Coefficient，DSC）用于評(píng)估配準(zhǔn)前后肝臟的重疊程度，Hd95（95% Hausdorff distance）用于評(píng)估標(biāo)簽邊界的距離，數(shù)值越低表示兩者越接近，目標(biāo)配準(zhǔn)誤差（Target Registration Error，TRE）用于評(píng)估配準(zhǔn)前后標(biāo)記點(diǎn)的距離誤差，定義為距離的均方根。具體公式如下：

步驟2將所有M對(duì)CT-MR 圖像輸入到聯(lián)合框架的配準(zhǔn)部分中，使用EmsMIND約束結(jié)構(gòu)對(duì)齊，分別通過Edice和Econsistency在有無真實(shí)標(biāo)簽的兩種情況下約束分割標(biāo)簽對(duì)齊。

不，準(zhǔn)確來說，也不能算是完全的骸骨，應(yīng)該是有些皮肉的，只是那皮肉太過干枯，皺巴巴地貼在了骨架上，以至于他的關(guān)