凌 飛,吳延凱

河南工業(yè)職業(yè)技術學院,河南 南陽 473000

0 引言

截至2022年底,全球有600多萬人被診斷出患有消化道癌癥,在這些患者中,約有一半符合接受放射治療的條件,在放射治療的過程中須避開腸道和胃。傳統(tǒng)方式須借助先進儀器成像體內(nèi)結構,并手動勾畫出胃和腸道的位置,耗時且勞動密集,但胃和腸道的位置每天都在發(fā)生著變化,因此增加了醫(yī)療工作量,降低了患者的醫(yī)療體驗。

本文提出使用語義分割模型HRNet精確定位胃和腸道的掩碼,然后對掩碼進行開、閉運算去除成像中的噪點和被誤分的小塊,得到胃和腸道的連通域,從而給出精確的邊緣信息。使用該方法能夠替代醫(yī)務人員進行醫(yī)療影像中胃腸道區(qū)域分割,使癌癥患者得到有效治療的同時,降低了治療時間。

1 相關技術

1.1 HRnet語義分割模型

最近的研究表明,深度卷積神經(jīng)網(wǎng)絡已具有先進的性能,大多數(shù)現(xiàn)有方法通過一個由高分辨率到低分辨率的子網(wǎng)傳遞輸入,然后通過對稱的低到高分辨率來生成高分辨率的表示。HRNet[1]從高分辨率子網(wǎng)作為第一階段始,逐步增加高分辨率到低分辨率的子網(wǎng),形成更多的階段,并將多分辨率子網(wǎng)并行連接。在整個過程中,通過在并行的多分辨率子網(wǎng)絡上反復交換信息來進行多尺度的重復融合,最后通過網(wǎng)絡輸出高分辨率來生成對應的掩碼,得到精確的圖像類別信息。

1.2 輕量化網(wǎng)絡

網(wǎng)絡模型性能的提升伴隨著網(wǎng)絡模型參數(shù)量和計算量的增加,這會導致硬件成本的提升、實時性的降低,而模型加速的方法主要包括輕量化模型設計、模型壓縮與剪枝、知識蒸餾這3種方法。

輕量化模型是在保持模型骨干網(wǎng)絡精度的基礎上,通過降低神經(jīng)網(wǎng)絡的深度或寬度,從而降低模型的參數(shù)量和計算量。Zhang et al.提出ShuffleNet,該結構利用分組逐點卷積和通道重排的方式提高了模型的推理速度,使其可以達到移動端運行的要求[2];2017年Howard et al.提出將常規(guī)卷積替換為深度可分離卷積方式構建網(wǎng)絡,這種方式降低了模型的參數(shù)量和運算復雜度;Mark Sandler等提出MobileNetV2,在MobileNetV1的基礎上,通過引入倒殘差結構(Inverted Residuals) 和Linear Bottlenecks,提高了模型的精度且模型更小[3]。

1.3 多尺度特征提取

多尺度特征提取是一種從圖像中提取特征的技術,其從不同尺度提取圖像特征,并將這些特征轉換為高維數(shù)據(jù)。該方法主要分為2步:首先利用圖像金字塔或者其他尺度變化的技術,獲取不同尺度的圖像,然后利用圖像處理技術提取不同尺度下圖像的特征,不同尺度的特征包含很豐富的語義信息,能夠提高模型的檢測精度[4]。

為了捕獲多尺度特征,圖像金字塔將原始圖片進行不同尺度的縮放,然后在不同尺度上進行特征提取,SSD(single shot detector)采用這種多尺度特征融合的方式,沒有上采樣過程,即從網(wǎng)絡不同層抽取不同尺度的特征做預測,這種方式不會增加額外計算量,并且能夠獲取足夠低層的特征,對于捕獲小目標有很大的幫助[5]。受到SPP(spatial pyramid pooling)的啟發(fā),語義分割模型DeepLabv2中提出了ASPP(atrous spatial pyramid pooling)模塊,該模塊使用具有不同采樣率的多個并行空洞卷積層,為每個采樣率提取的特征在單獨的分支中進一步處理,并融合以生成最終結果[6]。該模塊通過不同的空洞率構建不同感受野的卷積核,用來獲取多尺度物體信息,提升模型捕捉多尺度特征的能力。

2 胃腸道圖像分割

基于HRNet的胃腸道圖像分割方法借助于醫(yī)療影像對人體胃腸道進行精確定位,從而實現(xiàn)輔助治療的目的,該方法整體訓練、推理流程如圖1所示。

圖1 胃腸道圖像分割方法流程

2.1 數(shù)據(jù)增強

數(shù)據(jù)增強是指通過對原始訓練數(shù)據(jù)進行一系列變換和修改,生成新的訓練樣本,從而擴展訓練集的規(guī)模和多樣性。在實際的應用場景中,足量且高保真的優(yōu)質數(shù)據(jù)集通常是可遇不可求的,為提高模型的魯棒性,本文在模型訓練階段采用工業(yè)中常用的降低成本的方法,即利用數(shù)據(jù)增強技術來減少對訓練數(shù)據(jù)的依賴,從而構建高精度的模型。

本文采用了Cutout、Random erasing、GridMask、Cropping and resizing、隨機翻轉方式對原始數(shù)據(jù)進行增強,提高模型的泛化性能。

2.2 模型輕量化

為提高模型的實時性,本文采用調整網(wǎng)絡結構的方式,引入輕量化模型MobileNetV2中的倒置殘差模塊替代HRNet網(wǎng)絡中的BasicBlock模塊,通過使用深度可分離卷積的方式,弱化在通道維度上的特征提取過程,降低了參數(shù)量,更符合實際應用場景下的需求,如圖2所示。

圖2 HRNet Basicblock模塊與倒置殘差模塊結構

2.3 損失函數(shù)優(yōu)化

語義分割任務實際上是一種像素層面的分類,需要識別圖像中存在的內(nèi)容和位置,同樣也存在與分類相似的問題——樣本類別不均衡,對于醫(yī)療影像更多的是前景區(qū)域的樣本遠遠小于背景區(qū)域,針對類別不均衡的問題,本文在Loss層面進行了優(yōu)化,選擇Dice Loss替換交叉熵,為了防止分母為0,對損失函數(shù)進行了平滑處理。其損失函數(shù)為:

(1)

式中:X表示GT分割圖像,Y表示Pred分割圖像。

2.4 ASPP特征提取

受到DeepLabv2中ASPP模塊的啟發(fā),本文決定在HRnet模型的head部分引入ASPP[7]模塊,使得圖片提取的特征具有更大的感受野,并且保證分辨率不受影響,增強獲取多尺度物體信息的能力。模型整體結構如圖3所示。

圖3 模型整體結構

2.5 模型效果

為驗證算法的效果,本文使用了威斯康星大學卡本癌癥中心(UW-Madison Carbone Cancer Center)公布的胃腸道醫(yī)療影像數(shù)據(jù)集進行模型訓練及調優(yōu),為了比較模型在準確性方面的差異,在表1中給出各模型的平均交并比(mean intersection over union,MIOU)。通過表1可知,相較于其他模型,改進的模型在模型預測精度上有了較大的提升。

為驗證模型的實際效果,本文在驗證集上進行了效果測試,效果如圖4所示。

由試驗可知,醫(yī)療影像中醫(yī)務人員手工繪制的胃腸道區(qū)域與模型推理出的胃腸道區(qū)域吻合,故使用該方法能夠精確的預測出醫(yī)療影像中胃腸道的位置,從而替代醫(yī)務人員手工繪制,大大降低醫(yī)療工作量、提高工作效率、提升了患者體驗,具有實際應用價值。

3 結束語

本文提出了一種改進HRNet算法進行醫(yī)療影像胃腸道分割的方法,采用了模型輕量化、添加ASPP模塊、優(yōu)化損失函數(shù)等技巧以提高模型的檢測精度、穩(wěn)定性和實時性。

試驗結果表明,該方法能夠替代人工自動化完成醫(yī)療影像中胃腸道分割工作,大大提高醫(yī)務人員工作效率,可以有效地應用于實際場景中。與傳統(tǒng)的圖像分割方法相比,本文提出的方法具有更高的準確性和更好的泛化性能。

今后,將進一步優(yōu)化現(xiàn)有網(wǎng)絡結構,進一步提高模型的精度和泛化性能,使其更加符合實際醫(yī)療場景的需求。