朱紹軍，方新聞，鄭 博，吳茂念，楊衛(wèi)華

0引言

翼狀胬肉是眼科常見病和多發(fā)病[1-2]，是瞼裂部球結(jié)膜及結(jié)膜下組織發(fā)生變性、肥厚、增生，向角膜內(nèi)發(fā)展[3-4]，胬肉呈三角形、白紅色[5]。如果放任病情發(fā)展，翼狀胬肉組織將侵犯至瞳孔區(qū)甚至全部角膜，對(duì)視力造成巨大傷害，嚴(yán)重的甚至?xí)斐墒鱗6-8]。通常情況下，如果在觀察期就引起足夠重視，病情可得到及時(shí)控制[9-11]。全球翼狀胬肉患病率約為12%，我國(guó)40歲以上人群翼狀胬肉患病率約為13.4%，患病人數(shù)近1.09億[12-13]，且患病人數(shù)還在增加，然而現(xiàn)有的眼科醫(yī)生數(shù)量無法滿足日益增加的疾病診斷需求[14]。在人工智能領(lǐng)域，很多研究已經(jīng)通過深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)疾病的分類診斷并達(dá)到約95%的準(zhǔn)確率[15-20]。在翼狀胬肉的智能分類基礎(chǔ)上，本研究擬通過人工智能卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)翼狀胬肉病變區(qū)域的精準(zhǔn)分割，期望可以提供病灶的范圍信息，輔助眼科醫(yī)生開展診療科普并為疾病的治療提供參考信息[21]，研究結(jié)果匯報(bào)如下。

1資料和方法

1.1資料本研究中翼狀胬肉圖像數(shù)據(jù)由南京醫(yī)科大學(xué)附屬眼科醫(yī)院提供，以保證數(shù)據(jù)庫(kù)的專業(yè)性和多樣性為指導(dǎo)，以醫(yī)學(xué)標(biāo)準(zhǔn)篩選翼狀胬肉眼表圖像517張，其中330、37、150張分別作為訓(xùn)練、驗(yàn)證和測(cè)試。該數(shù)據(jù)庫(kù)中的所有圖像均在相同環(huán)境下用同等級(jí)設(shè)備拍攝，眼前節(jié)照相格式統(tǒng)一，無黑邊，無需進(jìn)行圖片裁剪等預(yù)處理，樣本示例見圖1。

表1 實(shí)驗(yàn)結(jié)果 %

圖1 不同的數(shù)據(jù)樣本 A：只需觀察的樣本；B：需要手術(shù)的樣本；C：不同角度下的樣本；D：不同光線下的樣本。

1.2方法

1.2.1標(biāo)注數(shù)據(jù)樣本為了能夠利用人工智能算法自動(dòng)分割翼狀胬肉圖像，需要將現(xiàn)有的翼狀胬肉圖像進(jìn)行手工標(biāo)注，準(zhǔn)確標(biāo)注出翼狀胬肉組織的外部輪廓，然后才可以用標(biāo)注好的數(shù)據(jù)集對(duì)算法訓(xùn)練、驗(yàn)證、測(cè)試。標(biāo)注過程：(1)由眼科主任醫(yī)師對(duì)1名標(biāo)注負(fù)責(zé)人進(jìn)行關(guān)于翼狀胬肉的專業(yè)培訓(xùn)，經(jīng)測(cè)試合格以后正式開始標(biāo)注；(2)每一張圖片由標(biāo)注負(fù)責(zé)人進(jìn)行手工標(biāo)注，標(biāo)注好以后提交審核；(3)另聘請(qǐng)眼科主任醫(yī)師為審核負(fù)責(zé)人，負(fù)責(zé)審核標(biāo)注結(jié)果是否準(zhǔn)確，若不準(zhǔn)確則返回給標(biāo)注負(fù)責(zé)人重新標(biāo)注。標(biāo)注樣本見圖2。

圖2 標(biāo)注數(shù)據(jù)樣本 A：待分割圖片；B：分割結(jié)果。

1.2.2構(gòu)建模型本研究針對(duì)翼狀胬肉分割中所存在的問題在PSPNet模型[22]的基礎(chǔ)上將階段上采樣理念與金字塔池化模塊結(jié)合構(gòu)建了Phase-fusion PSPNet網(wǎng)絡(luò)結(jié)構(gòu)，見圖3。輸入該模型的圖像首先通過Resnet50[23]主干特征提取網(wǎng)絡(luò)進(jìn)行特征提取，得到30×30×512的特征圖，該特征圖在金字塔池化模塊下以1×1、2×2、3×3、6×6四個(gè)尺寸進(jìn)行池化，雖然感受野不斷增大，但是造成了邊緣位置信息的丟失，故在原本金字塔模塊的上采樣操作下加入了分階段上采樣模塊，該模塊將1×1×512的特征圖先通過雙線性插值上采樣到2×2×512，然后將2個(gè)特征圖做按元素相加，重復(fù)上述操作直到上采樣到30×30×512的特征圖(b)大小，上采樣結(jié)束后得到的特征圖將繼續(xù)堆疊到(e)中，最后再通過卷積得到預(yù)測(cè)圖。該模型使用Python程序設(shè)計(jì)語言在Pytorch框架基礎(chǔ)上實(shí)現(xiàn)，訓(xùn)練和測(cè)試在Linux操作系統(tǒng)進(jìn)行，采用英偉達(dá)Tesla V100 GPU加速卡。使用VOC2012-AUG[24]數(shù)據(jù)集的預(yù)訓(xùn)練權(quán)重和隨機(jī)梯度下降優(yōu)化器進(jìn)行傳播學(xué)習(xí)，在不使用數(shù)據(jù)增強(qiáng)的情況下以0.00001的學(xué)習(xí)率迭代80輪。

圖3 Phase-fusion PSPNet網(wǎng)絡(luò)結(jié)構(gòu)。

1.2.3評(píng)價(jià)方法和指標(biāo)采用MobileNet V2為主干特征提取網(wǎng)絡(luò)的PSPNet、Resnet50為主干特征提取網(wǎng)絡(luò)的PSPNet、U-Net[25]、Deeplab V3+[26]、Dense DeepLab V2[27]5個(gè)網(wǎng)絡(luò)作為Phase-fusion PSPNet的比較網(wǎng)絡(luò)，比較測(cè)試集翼狀胬肉病灶智能分割和專家標(biāo)注的結(jié)果。翼狀胬肉病灶分割對(duì)比實(shí)驗(yàn)采取單類交并比(intersection over union，IOU)、平均交并比(mean intersection over union，MIOU)、單類像素精確度(average precision，PA)、平均像素精確度(mean average precision，MPA)4個(gè)評(píng)價(jià)指標(biāo)衡量翼狀胬肉病灶分割模型的性能。

IOU和MIOU的計(jì)算公式：

(1)

(2)

其中pi表示分割后的區(qū)域，gi表示真實(shí)區(qū)域，k表示類別數(shù)(不包括背景類)。IOU是通過真實(shí)值和預(yù)測(cè)值的交集比上它們的并集；MIOU是通過計(jì)算每個(gè)類別的交并比(包括背景類)并求所有類的平均。

PA和MPA的計(jì)算公式：

(3)

(4)

其中pii表示預(yù)測(cè)正確的像素?cái)?shù)量，pij表示真實(shí)類別為i被識(shí)別為j類的像素?cái)?shù)量。PA是標(biāo)記正確的像素占總像素的比例；MPA是計(jì)算梅格雷被正確分類像素?cái)?shù)的比例，之后求所有類的平均。

2結(jié)果

本研究中6個(gè)網(wǎng)絡(luò)翼狀胬肉病灶分割的結(jié)果見表1，結(jié)果表明，Phase-fusion PSPNet是上述模型中效果最好的，且改進(jìn)后的Phase-fusion PSPNet比起同樣使用Resnet50的PSPNet在MIOU和IOU上分別提升了0.84%、1.3%，在MPA和PA上也有小幅度提升，其中在翼狀胬肉單類上的IOU上提升較大，說明該模型對(duì)翼狀胬肉的分割效果明顯提升。Phase-fusion PSPNet的分割效果見圖4。

圖4 Phase-fusion PSPNet分割效果 A1～H1：專家標(biāo)注結(jié)果；A2～H2：智能分割結(jié)果。

3討論

在翼狀胬肉的智能分類基礎(chǔ)上，本研究構(gòu)建的Phase-fusion PSPNet網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)一步實(shí)現(xiàn)翼狀胬肉病灶的精準(zhǔn)分割，且可以提供翼狀胬肉病灶的范圍信息，輔助眼科醫(yī)生開展診療時(shí)的疾病科普和手術(shù)規(guī)劃，為疾病的治療提供參考信息。本研究所采用的翼狀胬肉病灶分割對(duì)比模型均是語義分割領(lǐng)域中較為經(jīng)典的模型，其中PSPNet提出了金字塔池化結(jié)構(gòu)，U-Net采用了Encoder-Decoder網(wǎng)絡(luò)結(jié)構(gòu)，Deeplab則提出了改進(jìn)的空洞空間卷積池化金字塔結(jié)構(gòu)(ASPP)。通過對(duì)各個(gè)模型的分割結(jié)果觀察可以看出其他模型的不足之處，PSPNet(MobileNet V2)和U-Net的主干特征提取網(wǎng)絡(luò)提取到的特征圖語義信息不夠強(qiáng)，Deeplab V3+中淺層與高層的特征信息融合度不夠。Dense DeepLab V2引入了前饋密集層，將4個(gè)前饋層添加到網(wǎng)絡(luò)底層，對(duì)DeepLab V2進(jìn)行改進(jìn)。Choudhury等[26]研究采用的數(shù)據(jù)庫(kù)包含328張翼狀胬肉眼表照相，并以3∶1的比例劃分訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，以0.001的學(xué)習(xí)速率迭代200輪，Phase-fusion PSPNet相較于Dense DeepLab V2的訓(xùn)練結(jié)果，MIOU提升了2.5%，其他指標(biāo)由于該論文里沒有公布，所以無法比較。Dense DeepLab V2雖然使用了ASPP層融合不同級(jí)別的語義信息，但是當(dāng)該模型中的空洞卷積已經(jīng)擴(kuò)張到圖像外時(shí)，此時(shí)并沒有獲取語義信息，所以融合信息操作的作用有限，導(dǎo)致分割效果低于本研究的Phase-fusion PSPNet。

本研究為找出適合翼狀胬肉分割的圖像語義分割模型，選取圖像語義分割技術(shù)不同發(fā)展階段中的代表模型作為對(duì)比模型，同時(shí)選取不同的特征提取網(wǎng)絡(luò)以保證實(shí)驗(yàn)的全面性。由翼狀胬肉病灶分割實(shí)驗(yàn)結(jié)果得出在5個(gè)對(duì)照模型中，Resnet50為主干特征提取網(wǎng)絡(luò)的PSPNet效果最好，該模型既擁有深層卷積網(wǎng)絡(luò)可以提取出足夠的翼狀胬肉病灶特征，同時(shí)加入金字塔池化模塊通過不同尺寸的池化塊保存不同層次的語義信息。Phase-fusion PSPNet在PSPNet的模型架構(gòu)基礎(chǔ)上，在金字塔池化模塊上添加了階段上采樣模塊，以此深度融合不同層次的語義特征圖，保留更多目標(biāo)區(qū)域信息。此外，本研究提出的Phase-fusion PSPNet與2020年提出的Dense DeepLab V2相比，MIOU提升了2.5%。Dense DeepLab V2中的前饋密集層雖然盡可能地保留了目標(biāo)區(qū)域信息，但同時(shí)也摻入了一些噪聲信息，影響了最終分割結(jié)果。Phase-fusion PSPNet中的階段上采樣模塊添加在特征提取網(wǎng)絡(luò)之后，通過深度卷積模塊已經(jīng)提取出主要特征信息并過濾大部分的噪聲信息。

翼狀胬肉的主要難點(diǎn)在于邊緣難以準(zhǔn)確分割，既需要深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，同時(shí)也需要與淺層信息相結(jié)合。本研究的改進(jìn)特點(diǎn)主要是將大尺度跨越的上采樣分階段進(jìn)行并與淺層特征圖信息進(jìn)行融合，加強(qiáng)了翼狀胬肉的邊緣信息，提升了病灶分割的性能。該模型效果雖然是上述所有模型中最好的，但是觀察分割結(jié)果后可以了解到翼狀胬肉的邊緣檢測(cè)效果依然需要提高，將來可以考慮利用Vision Transformer[28-30]的獨(dú)特結(jié)構(gòu)加強(qiáng)圖像內(nèi)各部分的聯(lián)系，從而提升分割效果。本研究也存在不足之處，Phase-fusion PSPNet雖然相較于其他模型有一定的提升，但該模型分割翼狀胬肉時(shí)對(duì)其邊緣的處理并沒有達(dá)到十分精確，同時(shí)翼狀胬肉單類IOU稍低，需要進(jìn)一步深化研究并優(yōu)化分割模型。后續(xù)研究擬做如下改進(jìn)：(1)加大模型訓(xùn)練樣本數(shù)量；(2)采集的眼前節(jié)圖像也需要進(jìn)一步規(guī)范并制定標(biāo)準(zhǔn)；(3)提升模型對(duì)于翼狀胬肉邊界的感知程度。

綜上，本研究旨在通過深度學(xué)習(xí)方法實(shí)現(xiàn)對(duì)翼狀胬肉的精準(zhǔn)分割，為醫(yī)生和患者提供病灶區(qū)域輔助定位。在該領(lǐng)域不斷深入研究后，結(jié)合翼狀胬肉分類和分割的方法有望為翼狀胬肉提供一種新型診斷工具，同時(shí)提出手術(shù)與否的治療建議，患者可根據(jù)治療建議及時(shí)獲得下一步處理建議，合理利用醫(yī)療資源。