摘要：指出了深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分刻中取得較大的進(jìn)展，但醫(yī)學(xué)圖像處理的復(fù)雜性使得全自動(dòng)分割方法難以取得較好的分割效果。在卷積網(wǎng)絡(luò)分割的基礎(chǔ)上，結(jié)合應(yīng)用場(chǎng)景使用適當(dāng)?shù)暮筇幚硎侄蝸?lái)提升圖像的分割效果是一種比較有臨床意義的研究方法。主要研究了基于概率圖的全連接條件隨機(jī)場(chǎng)模型和基于用戶(hù)交互的深度編輯網(wǎng)絡(luò)，并分析總結(jié)了這兩種方法的實(shí)現(xiàn)原理和各自?xún)?yōu)勢(shì)，并對(duì)未來(lái)的研究工作進(jìn)行了一些展望。

關(guān)鍵詞：醫(yī)學(xué)圖像;語(yǔ)義分割;條件隨機(jī)場(chǎng);用戶(hù)交互;深度編輯網(wǎng)絡(luò)

中圖分類(lèi)號(hào)：R318 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1674-9944（2020）04-0177-02

1 引言

近年來(lái)，神經(jīng)網(wǎng)絡(luò)技術(shù)的興起極大地促進(jìn)了醫(yī)學(xué)圖像處理研究的進(jìn)展川。圖像分割作為影像醫(yī)學(xué)中的關(guān)鍵技術(shù)，不少基于卷積網(wǎng)絡(luò)的新分割方法相繼被提出并應(yīng)用，如FCN、DeepLab和UNet等經(jīng)典分割模型，其中UNet在醫(yī)學(xué)圖像分割中表現(xiàn)優(yōu)異[2]。卷積神經(jīng)網(wǎng)絡(luò)能夠自動(dòng)提取圖像隱藏的高級(jí)語(yǔ)義特征，一方面避免了人工設(shè)計(jì)方法提取特征的困難，另一方面，高級(jí)語(yǔ)義信息十分有利于像素級(jí)的分類(lèi)任務(wù)。

然而，基于卷積網(wǎng)絡(luò)的全自動(dòng)分割方法在復(fù)雜情況下依然無(wú)法準(zhǔn)確分割病變組織，甚至?xí)嬖谠肼暤挠绊?，這也導(dǎo)致這些方法也難以直接應(yīng)用于臨床醫(yī)學(xué)[3]。所以，在神經(jīng)網(wǎng)絡(luò)分割的基礎(chǔ)上，如何自動(dòng)編輯修復(fù)以精細(xì)化分割結(jié)果的研究將變得十分有意義。目前存在不少有效的解決方法，本文主要研究分析兩種方法：基于全連接條件隨機(jī)場(chǎng)（CRFs）[4]的方法和基于交互式深度編輯框架的方法[3]。

2 基于全連接條件隨機(jī)場(chǎng)的方法

2.1 傳統(tǒng)short-range CRFs

傳統(tǒng)的short-range CRFs模型通常用于消除基于手工特征工程的弱分類(lèi)器存在的錯(cuò)誤預(yù)測(cè)，它們傾向于將空間上位置和顏色距離相近的像素歸為一類(lèi)，因此常起到平滑弱分類(lèi)器分割噪聲的作用[5]。而卷積神經(jīng)網(wǎng)絡(luò)作為一種強(qiáng)分類(lèi)器，其分割結(jié)果往往比較平滑，不存在很突兀的錯(cuò)誤分類(lèi)情況，但缺點(diǎn)也明顯，即目標(biāo)的邊界處也可能被過(guò)度平滑處理了。此時(shí)再使用short-range CRFs來(lái)進(jìn)行后處理反而是不利的。

2.2 全連接CRFs

為了克服short-range CRFs的局限性Chen等在其DeepLab系統(tǒng)中引入全連接的條件隨機(jī)場(chǎng)模型，其使用的勢(shì)函數(shù)如下[4]：

其中x是像素的標(biāo)簽值。假設(shè)一元?jiǎng)莺瘮?shù)為θ_i（x_i）=-logP（x_i），其中P（x_i）為像素i通過(guò)DCNN計(jì)算得到的概率值。對(duì)勢(shì)函數(shù)（pairwise potential）為θ_ij（x_i，x_j）x_j）= 1，否則為0。對(duì)勢(shì)函數(shù)充分考慮了圖像上任意兩個(gè)不同像素i和j的關(guān)系，即該模型是全連接的概率圖模型。每個(gè)高斯核函數(shù)依賴(lài)于從像素i和j提取到的特征，通常采用位置和顏色（亮度）信息作為特征向量，因此，核函數(shù)可表示如下

其中第一個(gè)核函數(shù)取決于像素的位置和亮度值，第二個(gè)核函數(shù)僅取決于像素的位置信息。

2.3 模型的學(xué)習(xí)和推理

信息傳輸（message passing）的更新過(guò)程是全連接CRFs模型的主要計(jì)算性能瓶頸，但該模型可通過(guò)均值場(chǎng)近似（mean field approximation）的方法來(lái)近似計(jì)算，以簡(jiǎn)化加速。高維濾波算法[5]極大提高了模型在每幅圖像上的實(shí)際推理速度，該全連接CRFs模型在PascalVOC數(shù)據(jù)集上平均每幅圖像不到0.5s的計(jì)算速度。

3 基于交互式深度編輯框架的方法

3.1 方法概述

雖然DCNN模型的分割效果相比大多傳統(tǒng)方法更加出色，但對(duì)于復(fù)雜的醫(yī)學(xué)圖像往往也會(huì)出現(xiàn)一些錯(cuò)誤預(yù)測(cè)的情況。所以用戶(hù)常需要在自動(dòng)分割結(jié)果的基礎(chǔ)上進(jìn)行人工編輯改善分割效果。而交互式深度編輯框架則是使用一個(gè)深度神經(jīng)網(wǎng)絡(luò)來(lái)模擬用戶(hù)的編輯習(xí)慣，自動(dòng)修復(fù)精細(xì)化模型的分割結(jié)果[3]。目前國(guó)內(nèi)外在這方面的研究并不多，主要因?yàn)樵摲椒ㄐ枰杂脩?hù)的編輯習(xí)慣作為訓(xùn)練數(shù)據(jù)，這樣的數(shù)據(jù)采集標(biāo)準(zhǔn)高而且難度大，通常需要專(zhuān)業(yè)的醫(yī)生來(lái)操作。

3.2 交互設(shè)計(jì)

一個(gè)好的分割編輯系統(tǒng)其交互方式應(yīng)該盡可能簡(jiǎn)單，并且用戶(hù)交互次數(shù)應(yīng)該盡可能少。簡(jiǎn)單的交互設(shè)計(jì)一方面提供了高效的使用性能，另一方面也避免了訓(xùn)練過(guò)程的過(guò)擬合情況（復(fù)雜且過(guò)多的用戶(hù)交互會(huì)導(dǎo)致網(wǎng)絡(luò)過(guò)度的依賴(lài)用戶(hù)交互）?；谶@樣的原則，同時(shí)結(jié)合應(yīng)用場(chǎng)景的需求，Zhou等設(shè)計(jì)了如下3種簡(jiǎn)單的交互編輯工具[3]。

3.2.1 選擇工具

用戶(hù)可通過(guò)該工具來(lái)點(diǎn)擊一個(gè)錯(cuò)分面積比較大的區(qū)域，來(lái)消除這些錯(cuò)誤分割的大面積區(qū)域。在模擬用戶(hù)的這個(gè)編輯習(xí)慣時(shí)，首先假設(shè)用戶(hù)一般會(huì)點(diǎn)擊一個(gè)大的錯(cuò)分區(qū)域的中心位置?；诖思僭O(shè)，將DCNN的初步分割結(jié)果與真實(shí)標(biāo)簽相減，對(duì)于錯(cuò)誤分類(lèi)的大連通區(qū)域，反復(fù)采用3D腐蝕操作，直到收縮至一個(gè)核心體塊，然后從每個(gè)大連通區(qū)域的核心體塊中選一個(gè)體素作為模擬用戶(hù)可能點(diǎn)擊的位置。

3.2.2 刷子工具

該工具用于調(diào)整修復(fù)處于分割邊界上的中等程度錯(cuò)分區(qū)域。因?yàn)樵摴P刷工具是在橫軸切片上進(jìn)行的，因此模擬操作也是在該方向的2D切片實(shí)現(xiàn)。首先找到該切片上錯(cuò)分的最大區(qū)域或者連通域，然后以它們中任意兩點(diǎn)間的最短路徑作為模擬用戶(hù)涂鴉的痕跡。

3.2.3 調(diào)整工具

該工具允許用戶(hù)根據(jù)初步分割結(jié)果過(guò)分割或者欠分割的程度，輸入一個(gè)標(biāo)量值K，進(jìn)而自動(dòng)調(diào)整分割邊割和真實(shí)標(biāo)簽的體積。

3.3 其他細(xì)節(jié)

在訓(xùn)練階段，交互式深度編輯系統(tǒng)首先需要對(duì)比DCNN的分割結(jié)果與真實(shí)標(biāo)簽之間的差異性，然后通過(guò)系統(tǒng)的模擬交互工具，自動(dòng)編輯標(biāo)注圖像中錯(cuò)誤分類(lèi)的區(qū)域，作為初步的模擬用戶(hù)編輯行為的訓(xùn)練數(shù)據(jù)。接著將編輯標(biāo)注后的分割圖與原始圖像一并輸入系統(tǒng)的深度編輯網(wǎng)絡(luò)，得到更精細(xì)的分割結(jié)果。如果該分割效果還是不夠好，此時(shí)需要人工交互，提供用戶(hù)的編輯標(biāo)注數(shù)據(jù)來(lái)進(jìn)一步訓(xùn)練網(wǎng)絡(luò)，直到分割效果滿(mǎn)足要求。而在測(cè)試階段，真實(shí)的用戶(hù)交互編輯數(shù)據(jù)和原始圖像將被直接輸入深度編輯網(wǎng)絡(luò)中去修復(fù)分割結(jié)果，這時(shí)候不再限制用戶(hù)交互的程度，從而很容易得到較好的改善效果。

4 結(jié)語(yǔ)

神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像處理中得到了較成功的應(yīng)用，但全卷積語(yǔ)義分割網(wǎng)絡(luò)在復(fù)雜的醫(yī)學(xué)圖像背景下依然難以取得較好效果。在卷積網(wǎng)絡(luò)分割的基礎(chǔ)上，可采用基于概率圖的全連接條件隨機(jī)場(chǎng)模型來(lái)全自動(dòng)后處理，或者采用基于交互的深度編輯網(wǎng)絡(luò)來(lái)半自動(dòng)后處理，以精細(xì)化調(diào)整目標(biāo)的分割邊界。前者全自動(dòng)化處理，速度較快，但精度提升幅度有限;后者需要用戶(hù)參與交互分割過(guò)程，處理速度較慢，但能夠獲得更理想的分割效果。兩者也可以結(jié)合使用。

此外，關(guān)于提高醫(yī)學(xué)圖像語(yǔ)義分割更細(xì)粒度的分割效果方面的研究，還有很多不同場(chǎng)景下的方法，如在全卷積語(yǔ)義分割網(wǎng)絡(luò)中引入注意力機(jī)制、利用多尺度卷積特征和超像素表示等方法，如何結(jié)合當(dāng)前應(yīng)用場(chǎng)景來(lái)選擇合適的方法至關(guān)重要。

參考文獻(xiàn)：

[1]高智勇，萬(wàn)聽(tīng).基于深度學(xué)習(xí)的肺結(jié)節(jié)識(shí)別[J].中南民族大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，38（3）：393^396.

[2]Ronneberger O，F(xiàn)ischer P，Brox T.U—net：Convolutional net-works for biomedical image segmentation [C]//International Con-ference on Medical image computing and computer-assisted inter-vention.Springer，Cham，2015：234～241.

[3]Zhou B，Chen L，Wang Z.Interactive Deep Editing Frameworkfor Medical Image Segmentation [C]//International Conference onMedical Image Computing and Computer—Assisted Intervention.Springer，Cham，2019：329～337.

[4]Chen L C，Papandreou G，Kokkinos I，et al.Semantic image seg-mentation with deep convolutional nets and fully connected crfs[J].arXiv preprint arXiv，2014（4）.

[5]Krahenbiihl P，Koltun V.Efficient inference in fully connectedcrfs with gaussian edge potentials [C]//Advances in neural infor-mation processing systems，2011：109～117.

收稿日期：2020-01-15

作者簡(jiǎn)介：黃金鎮(zhèn)（1993-），男，碩士研究生，研究方向?yàn)橐曈X(jué)計(jì)算與醫(yī)學(xué)圖像處理。