陳少潔，趙淦森，林成創(chuàng)，彭 璟，黃凱信，李壯偉，黃潤(rùn)樺，杜嘉華，樊小毛

1.華南師范大學(xué) 計(jì)算機(jī)學(xué)院，廣州510631 2.廣東技術(shù)師范大學(xué) 電子與信息學(xué)院，廣州510660 3.廣州市云計(jì)算安全與測(cè)評(píng)技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣州510631 4.華南師范大學(xué) 唯鏈區(qū)塊鏈技術(shù)與應(yīng)用聯(lián)合實(shí)驗(yàn)室，廣州510631

根據(jù)世界衛(wèi)生組織在《出生缺陷報(bào)告》中發(fā)布的統(tǒng)計(jì)：先天性疾病是導(dǎo)致嬰幼兒死亡的一項(xiàng)極為顯著的原因，占所有新生兒死亡總數(shù)的7%左右[1]。在經(jīng)濟(jì)發(fā)達(dá)的歐洲區(qū)域，這個(gè)比例更是高達(dá)25%。我國(guó)不僅是人口大國(guó)，也是出生缺陷和先天性疾病高發(fā)的國(guó)家。根據(jù)《中國(guó)出生缺陷防治報(bào)告（2012）》統(tǒng)計(jì)[2]，我國(guó)每年新增缺陷出生人數(shù)在90萬例左右，約占新生兒總數(shù)的5.6%。出生缺陷是導(dǎo)致妊娠早期流產(chǎn)、嬰幼兒死亡和先天性殘疾的主要原因，不僅嚴(yán)重影響新生兒的生長(zhǎng)發(fā)育和生活質(zhì)量，造成嚴(yán)重的家庭經(jīng)濟(jì)負(fù)擔(dān)，而且會(huì)造成巨大的社會(huì)經(jīng)濟(jì)損失，給原本日趨老齡化的社會(huì)帶來巨大的潛在壽命損失。當(dāng)前出生缺陷已成為影響我國(guó)人口素質(zhì)和群體健康水平的公共衛(wèi)生問題。導(dǎo)致出生缺陷和先天性疾病的原因很多，其中染色體異常、單基因缺陷、多因子遺傳等遺傳因素是較為常見的原因。

染色體是攜帶人類遺傳信息的重要物質(zhì)，其數(shù)目和形態(tài)結(jié)構(gòu)與人類的健康緊密相關(guān)。每一個(gè)健康的人都具有23對(duì)染色體，分別為22對(duì)常染色體和一對(duì)性染色體，共46條染色體[3]。染色體分析對(duì)于臨床醫(yī)學(xué)診斷和生物醫(yī)學(xué)研究都至關(guān)重要。由于細(xì)胞分裂中期的染色體均排列在赤道板上，且具有增厚拉長(zhǎng)的特點(diǎn)，十分適合于視覺分析[4]，因此目前幾乎所有染色體研究都采用中期染色體進(jìn)行分析。

完整的染色體分析包括染色體圖片的選擇、將染色體和染色體簇從圖片背景中提取出來、對(duì)接觸或粘連的染色體簇進(jìn)行分割以及對(duì)分割后的染色體進(jìn)行分類四個(gè)大致階段[5]。許多研究工作已經(jīng)探索了自動(dòng)化或部分自動(dòng)化的核型分析技術(shù)，包括染色體分割[6-8]和分類[8-11]。接觸或重疊染色體的精細(xì)分割對(duì)于后續(xù)的染色體分類、臨床預(yù)測(cè)、診斷、治療等步驟都至關(guān)重要。

在深度學(xué)習(xí)技術(shù)興起之前，對(duì)染色體分割主要采用傳統(tǒng)的圖像分割技術(shù)，包括基于閾值、基于區(qū)域和基于邊緣等分割方法[12]。但基于規(guī)則的傳統(tǒng)分割方法不能較好地適應(yīng)于復(fù)雜多變的重疊或接觸的染色體情況。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，并在計(jì)算機(jī)視覺領(lǐng)域取得了矚目的成果。越來越多的深度學(xué)習(xí)技術(shù)被應(yīng)用于染色體分割中。這些研究可劃分為基于語義分割網(wǎng)絡(luò)的染色體分割[13-17]和基于實(shí)例分割網(wǎng)絡(luò)的染色體分割[18-20]兩大類。相比于基于規(guī)則的傳統(tǒng)圖像分割方法，具有自學(xué)習(xí)能力和較強(qiáng)泛化能力的深度學(xué)習(xí)技術(shù)在染色體分割中取得了更好的分割效果。

由于染色體呈線狀非剛性結(jié)構(gòu)且中期染色體圖像往往存在強(qiáng)度不均勻的情況，導(dǎo)致許多染色體實(shí)例交叉、重疊在一起，使得用傳統(tǒng)的分割方法進(jìn)行染色體分割非常具有挑戰(zhàn)性。同樣，基于深度學(xué)習(xí)技術(shù)背景下的染色體實(shí)例分割研究也面臨著許多挑戰(zhàn)。首先，當(dāng)前公開可用的染色體數(shù)據(jù)集屈指可數(shù)，大多數(shù)研究使用各自收集處理的數(shù)據(jù)集，使得不同的工作之間不具有可比性，無法推動(dòng)染色體分割技術(shù)在準(zhǔn)確率和精確率上取得大的突破。其次，染色體分割的最終目的是便于臨床醫(yī)學(xué)診斷和相關(guān)研究，但目前還沒有報(bào)告顯示具有魯棒性的染色體分割算法被大規(guī)模地應(yīng)用于臨床醫(yī)學(xué)中，也沒有研究系統(tǒng)性地對(duì)比現(xiàn)有算法和模型在實(shí)際臨床應(yīng)用中的效果。

基于深度學(xué)習(xí)技術(shù)的染色體實(shí)例分割研究無論是對(duì)于算法的比較、改進(jìn)和突破，還是對(duì)于臨床應(yīng)用的指導(dǎo)都具備非常大的參考價(jià)值。然而，當(dāng)前尚無體系化的綜述研究對(duì)基于深度學(xué)習(xí)的染色體分割技術(shù)進(jìn)行總結(jié)?；谏疃葘W(xué)習(xí)的染色體分割，能極大地簡(jiǎn)化數(shù)據(jù)預(yù)處理，通過端到端的分割方法，能實(shí)現(xiàn)精準(zhǔn)高效的染色體分割。本文旨在調(diào)研現(xiàn)有的深度學(xué)習(xí)技術(shù)在染色體分割中的應(yīng)用情況，歸納總結(jié)現(xiàn)有研究使用的方法及其優(yōu)缺點(diǎn)。發(fā)現(xiàn)并揭示深度學(xué)習(xí)技術(shù)在染色體分割研究中存在的問題，展望基于深度學(xué)習(xí)技術(shù)的染色體分割領(lǐng)域未來的研究方向。

1 染色體分割領(lǐng)域的熱點(diǎn)問題與挑戰(zhàn)

染色體分割是醫(yī)學(xué)影像分割技術(shù)的一種具體應(yīng)用，類似于其他器官組織的分割。染色體的非剛性特質(zhì)導(dǎo)致細(xì)胞圖像中的染色體實(shí)例極其容易發(fā)生彎曲、相互黏連和重疊，為染色體實(shí)例分割帶來了巨大的挑戰(zhàn)[8-9]。染色體形態(tài)結(jié)構(gòu)的易變性和接觸重疊情況的多樣性，使得應(yīng)用傳統(tǒng)的分割方法均取得較為普通的分割精度和準(zhǔn)確率。隨著具有自適應(yīng)性的深度學(xué)習(xí)技術(shù)的發(fā)展，將深度學(xué)習(xí)技術(shù)應(yīng)用于染色體分割成為了研究熱點(diǎn)，但也伴隨著巨大挑戰(zhàn)。

1.1 染色體分割的任務(wù)與難點(diǎn)

染色體分割的目標(biāo)是將兩條或多條重疊或接觸的染色體進(jìn)行分割，使其各自成為完整且獨(dú)立的染色體實(shí)例。對(duì)于一個(gè)給定的圖像I，若其中包含的染色體實(shí)例總數(shù)為n，則圖像樣本I中的染色體實(shí)例集合可表示為UI={S1,S2,…,Sn}，其中Si表示第i條染色體實(shí)例。染色體分割任務(wù)的目標(biāo)就是將每個(gè)染色體實(shí)例從UI中分離開來。

目前幾乎所有基于深度學(xué)習(xí)的染色體分割研究均使用具有增厚和拉長(zhǎng)等特點(diǎn)的中期染色體作為研究對(duì)象，但是顯微鏡下的染色體不僅存在接觸或粘連、易折疊和扭曲的情況，還具有目標(biāo)區(qū)域相似度和均勻性較差等特點(diǎn)。若選用原生細(xì)胞圖像進(jìn)行染色體分割，還會(huì)受到來自細(xì)胞核等其他物質(zhì)的干擾，使得染色體的精細(xì)分割面臨巨大挑戰(zhàn)。再者，缺乏大規(guī)模的標(biāo)注訓(xùn)練數(shù)據(jù)集，使得眾多研究無法在統(tǒng)一基準(zhǔn)上進(jìn)行比較，推動(dòng)基于深度學(xué)習(xí)技術(shù)的染色體分割研究取得更進(jìn)一步突破。目前，基于深度學(xué)習(xí)技術(shù)的染色體分割研究主要采用應(yīng)用于其他領(lǐng)域的實(shí)例分割模型，通過端到端的方式進(jìn)行分割。由于不同類型的染色體均是由黑白條帶構(gòu)成，使用現(xiàn)有的模型進(jìn)行染色體分割，沒有考慮到染色體的圖像特征，染色體實(shí)例分割結(jié)果還有較大的提升空間。

1.2 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)各種染色體分割方法的優(yōu)劣，需要一定的評(píng)價(jià)指標(biāo)來評(píng)估不同方法的分割性能。但由于大多數(shù)染色體分割研究并沒有在同一基準(zhǔn)的數(shù)據(jù)集上進(jìn)行研究，因此，目前不能僅僅以常見的評(píng)價(jià)指標(biāo)的好壞對(duì)比來評(píng)價(jià)不同的染色體分割方法。這里介紹在眾多染色體分割研究中較為常用的分割評(píng)價(jià)指標(biāo)。分別有IoU（Intersection over Union）、Dice系數(shù)（Dice coefficient）、準(zhǔn)確率（Accuracy）。

IoU，又稱為Jaccard指數(shù)JAC。等于兩個(gè)區(qū)域的交集與兩個(gè)區(qū)域的并集之比，衡量的是預(yù)測(cè)結(jié)果與實(shí)際結(jié)果的重疊程度，其數(shù)值大小能夠較好地評(píng)價(jià)分割算法的性能。用A表示染色體的真實(shí)標(biāo)注，B表示分割算法的分割結(jié)果，其公式為：

其形象化表示如圖1所示。

圖1 IoU公式

Dice系數(shù)是常見的集合相似度度量指標(biāo)，用于計(jì)算兩個(gè)樣本的相似性，其值的范圍在0到1之間。分割結(jié)果最好時(shí)，其值為1，分割結(jié)果最差時(shí)，其值為0。其公式為：

其中，P1表示實(shí)際的染色體實(shí)例，P2表示算法分割出的染色體實(shí)例。 ||P1為P1區(qū)域的像素個(gè)數(shù)， ||P2為P2區(qū)域的像素個(gè)數(shù)。|P1?P2|求出P1、P2相同區(qū)域的像素個(gè)數(shù)。

Dice系數(shù)與IoU（又稱JAC）的關(guān)系，為：

準(zhǔn)確率（Accuracy）指準(zhǔn)確分割的結(jié)果占總樣本的百分比，是染色體分割中最為常見的評(píng)價(jià)指標(biāo)。給定一個(gè)數(shù)據(jù)集，分割準(zhǔn)確率可表示為：

其中，N表示數(shù)據(jù)集中的所有染色體實(shí)例的總數(shù)，N′表示算法或模型正確分割的染色體實(shí)例總數(shù)。

1.3 數(shù)據(jù)集現(xiàn)狀

1.3.1 現(xiàn)有公開數(shù)據(jù)集

目前公開的染色體數(shù)據(jù)集屈指可數(shù)。最早公開數(shù)據(jù)集的是Grisan等人[7]，于2007年使用Q帶顯帶技術(shù)[21]，從實(shí)驗(yàn)室獲取了分辨率為768×576像素的162幅染色體圖像，總共包含6 683條染色體。具體數(shù)據(jù)集可以從http：//bioimlab.dei.unipd.it下載。但是該數(shù)據(jù)集只有原始的Q帶圖像數(shù)據(jù)，沒有對(duì)應(yīng)的染色體實(shí)例的標(biāo)注數(shù)據(jù)，使用該數(shù)據(jù)集的研究人員需要自行進(jìn)行數(shù)據(jù)的標(biāo)注工作。

Hu等人[13]于2017年使用了數(shù)千條半綜合生成的重疊染色體人工合成了一個(gè)語義分割數(shù)據(jù)集。數(shù)據(jù)集總共包含13 434張94×93像素的染色體灰度圖像，每個(gè)樣本均包含兩個(gè)隨機(jī)重疊的染色體實(shí)例。每一幅圖像均有一個(gè)大小相同的ground truth標(biāo)注，ground truth標(biāo)注中用類標(biāo)簽進(jìn)行區(qū)分，如圖2所示，黑色為類標(biāo)簽0，代表背景區(qū)域。紅色為類標(biāo)簽1，代表第一條染色體的非重疊部分。綠色為類標(biāo)簽2，代表第二條染色體的非重疊部分。藍(lán)色為類標(biāo)簽3，代表兩條染色體的重疊部分。具體數(shù)據(jù)集可從https：//www.kaggle.com/jeanpat/generating-overlapping-chromosomes獲得。

圖2 Hu等人公開的數(shù)據(jù)集樣本

一直以來，不乏染色體分割研究，但研究所用的數(shù)據(jù)集幾乎沒有公開。這是因?yàn)樯婕暗交颊唠[私的染色體數(shù)據(jù)，不僅在收集方面存在困難，而且手工標(biāo)注染色體數(shù)據(jù)也是一個(gè)費(fèi)時(shí)費(fèi)力的過程[22]。手工標(biāo)注通常需要由經(jīng)驗(yàn)專家來完成，他們憑借著豐富的臨床經(jīng)驗(yàn)和學(xué)科知識(shí)來確保染色體數(shù)據(jù)的高質(zhì)量標(biāo)注。實(shí)現(xiàn)一定量的高質(zhì)量標(biāo)注的染色體數(shù)據(jù)集具有一定的挑戰(zhàn)。

1.3.2 當(dāng)前研究中使用的數(shù)據(jù)集

當(dāng)前染色體實(shí)例分割數(shù)據(jù)集主要依賴研究人員自行收集和標(biāo)注。例如Altinsoy等人[23]使用的是仁濟(jì)醫(yī)院的染色體圖像創(chuàng)建數(shù)據(jù)集，數(shù)據(jù)集由40幅1 200×1 600像素的原始g帶染色體圖像組成；Sharma等人[24]使用的是來自醫(yī)院真實(shí)的完整的染色體數(shù)據(jù)；Saleh等人[14]使用的是Pommier的數(shù)據(jù)集[25]；Sun等人[15]使用的是FISH數(shù)據(jù)集[26]；Chen等人[16]使用公開的核型圖進(jìn)行自標(biāo)注作為數(shù)據(jù)集；馮濤等人[18]使用自收集的數(shù)據(jù)集進(jìn)行研究；Xie等人[19]使用原始圖像和合成標(biāo)注的染色體圖像；Lerner等人[27]、Shunren等人[28]實(shí)驗(yàn)使用的是只接觸不重疊的染色體；Agam等人[29]、Garcla等人[30]使用的是重疊但不接觸的染色體。

各種染色體分割研究中使用的數(shù)據(jù)集，不僅數(shù)據(jù)集包含樣本數(shù)量不同，而且很多人工合成樣本中染色體接觸或重疊的數(shù)目和情況也不盡相同。這使得不同的方法之前無法基于同一基準(zhǔn)上進(jìn)行性能比較，為了推動(dòng)染色體實(shí)例分割取得更進(jìn)一步的突破，迫切需要大規(guī)模、高質(zhì)量標(biāo)注的公開染色體數(shù)據(jù)集。

1.4 關(guān)鍵技術(shù)問題和挑戰(zhàn)

染色體精細(xì)分割的最終目標(biāo)是能夠成熟地應(yīng)用于臨床診斷中，便于疾病的分析診斷。由于染色體分割結(jié)果對(duì)后續(xù)染色體分類、臨床診斷等一系列環(huán)節(jié)起著至關(guān)重要的作用，對(duì)染色體分割的精度要求會(huì)嚴(yán)格于對(duì)普通圖像分割的精度要求。然而，當(dāng)前染色體分割研究中還存在著以下幾個(gè)方面的技術(shù)問題和挑戰(zhàn)。

1.4.1 缺少可用的染色體標(biāo)注數(shù)據(jù)集

在醫(yī)療數(shù)據(jù)緊缺的當(dāng)下，開源的染色體數(shù)據(jù)集更是少之又少。目前基于深度學(xué)習(xí)的染色體分割研究大多都各自使用自己處理的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。有的研究采用真實(shí)世界中完整的染色體圖片數(shù)據(jù)，如Sharma等人[24]、Madian等人[31]的研究。有的研究則是對(duì)重疊或接觸的染色體進(jìn)行分割，如Hu等人[13]的研究。這使得不同的研究實(shí)驗(yàn)背景和基準(zhǔn)不同，實(shí)驗(yàn)結(jié)果失去了可比性。無法僅根據(jù)實(shí)驗(yàn)結(jié)果來評(píng)判某種分割方法性能的好壞，更無法明確不斷出現(xiàn)的各種方法是否真的是在推動(dòng)染色體分割朝著更為精確的方向發(fā)展。基準(zhǔn)數(shù)據(jù)集的稀缺，不僅使不同的分割方法無法進(jìn)行橫向比較，更使得染色體分割技術(shù)應(yīng)用于臨床診斷遙遙無期。

1.4.2 模型的設(shè)計(jì)和優(yōu)化

由于染色體圖像中接觸或重疊的染色體簇形態(tài)各異，且細(xì)胞核等細(xì)胞雜質(zhì)、傳感噪聲等的影響，染色體圖像中目標(biāo)物體常常存在不清晰和強(qiáng)度不均勻的問題。這使得染色體分割不同于其他圖像分割，對(duì)染色體進(jìn)行分割更具有挑戰(zhàn)性。類似于染色體這樣的，容易出現(xiàn)接觸、重疊和扭曲且邊界模糊等情況的軟組織，將普通的分割模型應(yīng)用于染色體分割需要進(jìn)行模型改進(jìn)，才能更好地滿足染色體精細(xì)分割的需求。目前大多數(shù)基于深度學(xué)習(xí)模型的染色體分割研究均采用現(xiàn)有的分割模型加以改進(jìn)調(diào)整。隨著醫(yī)療大數(shù)據(jù)與人工智能的結(jié)合，在未來有望設(shè)計(jì)出符合類似于染色體等軟組織特點(diǎn)的分割新模型，這對(duì)于提高分割精度，推動(dòng)軟組織分割在臨床醫(yī)學(xué)的應(yīng)用有著重大的意義。

2 基于深度學(xué)習(xí)技術(shù)的染色體實(shí)例分割

在深度學(xué)習(xí)技術(shù)日益盛行的當(dāng)下，越來越多的研究采用神經(jīng)網(wǎng)絡(luò)進(jìn)行染色體分割。通過端到端的方式簡(jiǎn)化了染色體的分割過程，使得染色體得到精確的分割。大體上可分為基于語義分割網(wǎng)絡(luò)的染色體實(shí)例分割和基于實(shí)例分割網(wǎng)絡(luò)的染色體實(shí)例分割。本章從這兩條研究主線對(duì)現(xiàn)有研究進(jìn)行歸納總結(jié)，指出不同分割方法的創(chuàng)新之處，并橫向分析對(duì)比不同方法的優(yōu)缺點(diǎn)。

2.1 基于語義分割網(wǎng)絡(luò)的染色體實(shí)例分割

語義分割是對(duì)圖像進(jìn)行像素級(jí)別的劃分，為圖像中的每一個(gè)像素分配類標(biāo)簽[32]。語義分割的方法包括傳統(tǒng)的圖像分割方法[33]和基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)[34]的方法。最初，染色體分割研究是采用傳統(tǒng)的圖像分割方法。如Ji[35]、Andrade等人[36]使用基于閾值的分割方法；Manohar等人[37]、Karvelis等人[38]采用基于分水嶺的分割方法；Dougherty等人[39]采用模糊聚類分割方法。

不同于傳統(tǒng)的圖像分割方法，基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分割技術(shù)不僅可以簡(jiǎn)化圖像的預(yù)處理，而且還具備自學(xué)習(xí)的能力，能通過端到端的特征學(xué)習(xí)，較大幅度地提高圖像分割的準(zhǔn)確率和精確度。2015年，Long等人[40]提出了全卷積網(wǎng)絡(luò)（FCN）。FCN[40]沒有全連接層，允許任何尺寸的圖像輸入，能實(shí)現(xiàn)高效快速的圖像分割。在此之后大多數(shù)的語義分割網(wǎng)絡(luò)架構(gòu)均采用這種方式。但池化層操作雖然融合了上下文信息且增大了感受視野，卻會(huì)丟棄部分位置信息。為了保留位置信息，實(shí)現(xiàn)精準(zhǔn)的語義分割，編碼器-解碼器的網(wǎng)絡(luò)架構(gòu)應(yīng)運(yùn)而生。通過編碼器獲取低分辨率信息并縮小圖像維度，再通過解碼器恢復(fù)空間維度、獲取能提供精準(zhǔn)定位的高分辨率信息。U-Net網(wǎng)絡(luò)就是一種典型的編解碼架構(gòu)[41]。

U-Net由Ronneberger等人[41]于2015年提出。是一種基于FCN[40]的分割網(wǎng)絡(luò)。由于U-Net網(wǎng)絡(luò)是對(duì)像素塊進(jìn)行特征提取的，因此十分適用于數(shù)據(jù)量較少的醫(yī)學(xué)影像分割。由U-Net網(wǎng)絡(luò)架構(gòu)延伸出來的多種分割網(wǎng)絡(luò)也被廣泛地應(yīng)用于各種圖像分割中。如加入了密集連接和深度監(jiān)督[42]的UNet++[43]、UNet3+[44]；加入了殘差連接的ResNet[45]；加入了殘差連接和循環(huán)連接的R2UNet[46]；引入了注意力機(jī)制的Attention U-Net[47]等網(wǎng)絡(luò)架構(gòu)，目前廣泛地應(yīng)用于前列腺[48]、肝臟[49]、胰腺[50]等多種病理組織的分割中。目前大多數(shù)采用基于深度學(xué)習(xí)技術(shù)的染色體語義分割研究都是采用基于U-Net網(wǎng)絡(luò)架構(gòu)的分割方法。

Hu等人[13]于2017提出了基于U-Net[41]、針對(duì)染色體分割定制的卷積神經(jīng)網(wǎng)絡(luò)——Resulting neural network。網(wǎng)絡(luò)架構(gòu)如圖3所示。設(shè)計(jì)了重疊染色體模型，使輸出的分割圖與輸入圖像具有相同的尺寸。因?yàn)槿旧w圖像輸入的特征尺寸較小，不適合經(jīng)過過多的池化層處理，該模型通過減少了三分之一的模型層和塊來匹配輸入，簡(jiǎn)化了模型，使得能較好地進(jìn)行分割，并減少了計(jì)算時(shí)間和存儲(chǔ)空間。在半合成的染色體數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，IoU高達(dá)94.7%。該模型是染色體分割技術(shù)上的一個(gè)重要突破。首次引入深度學(xué)習(xí)方法來解決染色體分割問題，克服了以往基于像素強(qiáng)度的閾值分割和基于邊界特性的幾何分割等簡(jiǎn)單算法性能較差的弱點(diǎn)。但該分割網(wǎng)絡(luò)僅能處理兩個(gè)部分重疊的染色體簇的問題，對(duì)于超過兩條以上重疊的染色體簇場(chǎng)景，該方法無法進(jìn)行處理。此外，該分割方法僅在合成的數(shù)據(jù)集上進(jìn)行測(cè)試，沒有在臨床中進(jìn)行驗(yàn)證，其性能還有待考核。實(shí)驗(yàn)的IoU分割閾值距離臨床應(yīng)用標(biāo)準(zhǔn)還有很大差距。

圖3 Resulting Net網(wǎng)絡(luò)架構(gòu)

Saleh等人[14]使用了改進(jìn)的U-Net[41]架構(gòu)來分割染色體。針對(duì)U-Net網(wǎng)絡(luò)架構(gòu)在進(jìn)行訓(xùn)練時(shí)，結(jié)果可能出現(xiàn)過擬合的現(xiàn)象[51]，提出了使用測(cè)試時(shí)增強(qiáng)（Test Time Augmentation，TTA）策略[52]來解決這一問題。由于CNN在處理多維計(jì)算機(jī)視覺問題或面對(duì)上千張人臉等復(fù)雜模式時(shí)，可以分解處理任務(wù)，因此該方法還在U-Net的基礎(chǔ)上增加了CNN層，對(duì)輸入數(shù)據(jù)提取了更多的特征。如圖4所示[14]，該網(wǎng)絡(luò)架構(gòu)的通道數(shù)和層數(shù)多于Hu等人[13]提出的架構(gòu)，少于原始的U-Net架構(gòu)[41]。具體的改進(jìn)方法為用上采樣操作取代池化操作，以提高輸出的分辨率；并在收縮路徑中使用了重復(fù)的3×3未填充卷積，每個(gè)卷積后進(jìn)行一個(gè)整流單元和一個(gè)2×2的最大池化操作，以捕獲輸入特征映射。該研究的數(shù)據(jù)集是使用Cy3熒光端粒探針收集的染色體重疊數(shù)據(jù)集，數(shù)據(jù)集圖像可于Github[25]中查看。對(duì)比了加入TTA的方法及新提出的改進(jìn)U-Net方法，得到了使用Hu等人[13]提出的分割方法，重疊染色體訓(xùn)練和測(cè)試分割的初始輸出分別為99.57%和99.22%。在Hu等人[13]的方法之上使用TTA后，得分分別為99.63%和99.27%。采用改進(jìn)的新方法，訓(xùn)練準(zhǔn)確率為99.79%，測(cè)試準(zhǔn)確率為99.68%。表明了在測(cè)試時(shí)加入增強(qiáng)技術(shù)，能夠增加模型捕獲各種對(duì)象的機(jī)會(huì)，使模型學(xué)到更多不同尺寸、不同角度的情況，能有效地提高分割精度。

圖4 改進(jìn)的U-Net架構(gòu)

圖5 加入擴(kuò)張卷積的U-Net架構(gòu)

鑒于擴(kuò)張卷積[14]在多個(gè)語義分割任務(wù)中表現(xiàn)良好。Sun等人[15]將現(xiàn)有的SS擴(kuò)張卷積和GI擴(kuò)張卷積[53]與典型架構(gòu)U-Net[41]結(jié)合，并提出了三種改進(jìn)的擴(kuò)張卷積，即GS、FI和FIGI。改進(jìn)的擴(kuò)張卷積算法性能提高穩(wěn)定，易于推廣到多個(gè)重疊染色體分割場(chǎng)景，適用于任何網(wǎng)絡(luò)中替代標(biāo)準(zhǔn)卷積的一般神經(jīng)網(wǎng)絡(luò)操作。此外，與標(biāo)準(zhǔn)卷積的固定感受野相比，擴(kuò)張卷積有一個(gè)額外的超參數(shù)，稱為擴(kuò)張率。通過調(diào)整擴(kuò)張率，可以調(diào)整感受野的大小，但與此同時(shí)不增加分辨率或覆蓋率，具有較好的靈活性。改進(jìn)的分割架構(gòu)如圖5所示[15]。該研究在Q-FISH數(shù)據(jù)集[26]（該數(shù)據(jù)集包含90 667個(gè)樣本，圖像為12位灰度的TIF文件，像素大小為1 536×1 024）、Overlaps-13434及Overlaps-90667數(shù)據(jù)集[25]上進(jìn)行實(shí)驗(yàn)，對(duì)比了U-Net基礎(chǔ)模型與使用了各種擴(kuò)張卷積的U-Net模型的性能，發(fā)現(xiàn)提出的結(jié)合了擴(kuò)張卷積的模型均能成功地在兩個(gè)公開的重疊染色體數(shù)據(jù)集（Overlaps-13434及Overlaps-90667）中分割重疊染色體。所有提出的具有改進(jìn)擴(kuò)張卷積的模型都取得了比U-Net基本模型更好的分割結(jié)果，更是優(yōu)于現(xiàn)有的基于U-Net的重疊染色體分割方法。對(duì)比U-Net-GS、U-Net-SS、U-Net-GI、U-Net-FI、UNet-FIGI模型的分割結(jié)果，得出U-Net-FIGI模型為最佳模型。這是因?yàn)樗诤狭薋I運(yùn)算和GI運(yùn)算的優(yōu)點(diǎn)，平均IoU可高達(dá)0.931 2±0.016 9～0.999 7±0.000 1，具有較好的分割效果。

Chen等人[16]的分割思路是受數(shù)據(jù)預(yù)處理啟發(fā)，在現(xiàn)有模型不變的基礎(chǔ)上，通過調(diào)整數(shù)據(jù)來最大化模型的效果。該研究最大的亮點(diǎn)是將數(shù)據(jù)模擬和形態(tài)學(xué)方法[54]結(jié)合引入到染色體分割中。使用了U-Net[41]和PSPNet[55]兩個(gè)模型，使得實(shí)驗(yàn)無需進(jìn)行復(fù)雜的數(shù)據(jù)預(yù)處理。為了克服將深度學(xué)習(xí)應(yīng)用于染色體分割缺少大量重疊染色體數(shù)據(jù)集的困難，Chen等人[16]在公共的核型圖上進(jìn)行自標(biāo)注，基于真實(shí)單一的染色體來生成重疊染色體簇，通過模擬策略生成了大規(guī)模標(biāo)注數(shù)據(jù)。由于重疊區(qū)域的強(qiáng)度分布與真實(shí)的重疊圖像有所不同，為了減少這種影響，該研究提出以不同比例的真實(shí)圖像和模擬圖像組成訓(xùn)練集，以最大限度地提高性能增益。方法流程具體可描述為將重疊的染色體輸入到語義分割網(wǎng)絡(luò)，得到非重疊和重疊的區(qū)域，再使用形態(tài)學(xué)方法拼接分割的區(qū)域結(jié)構(gòu)，得到兩個(gè)染色體分割的結(jié)果。該研究使用的訓(xùn)練集、驗(yàn)證集、測(cè)試集分別包含112個(gè)、15個(gè)、29個(gè)重疊染色體簇。該方法在26個(gè)重疊染色體簇中能成功分割出25條，分割準(zhǔn)確率為96.2%。但該研究測(cè)試集中所含數(shù)據(jù)量過少，得出的結(jié)果意義不大。

Bai等人[17]提出了結(jié)合U-Net[41]和YOLO模型[56]的染色體分割方法?；谥苯訌募?xì)胞圖像中識(shí)別出染色體簇，再對(duì)染色體簇進(jìn)行語義分割的目標(biāo)，該方法先使用U-Net網(wǎng)絡(luò)對(duì)原始染色體顯微圖像進(jìn)行分割，去除背景噪聲，然后使用YOLO模型檢測(cè)圖像中的染色體簇，再用U-Net模型對(duì)識(shí)別出來的染色體簇進(jìn)行實(shí)例分割。染色體分割提取的流程如圖6所示[17]。該研究在50張隨機(jī)原始顯微照片，共1 662個(gè)非簇染色體實(shí)例和638個(gè)染色體簇進(jìn)行實(shí)驗(yàn)。為了增強(qiáng)該方法的泛化能力，在訓(xùn)練前對(duì)數(shù)據(jù)進(jìn)行了旋轉(zhuǎn)、翻轉(zhuǎn)和平移等操作[57]。該方法能夠正確分割出2 283條染色體，分割準(zhǔn)確率高達(dá)99.3%。該方法充分利用了U-Net在處理少量樣本中的優(yōu)勢(shì)及其在染色體顯微圖像去噪中的優(yōu)異性能和YOLOv3適合快速準(zhǔn)確地識(shí)別大小目標(biāo)，能有效地避免漏檢的特點(diǎn)，充分汲取了不同模型的優(yōu)點(diǎn)來進(jìn)行染色體分割。該方法能夠直面細(xì)胞圖像，直接獲得染色體實(shí)例，并獲得不錯(cuò)的分割準(zhǔn)確率。但需要同時(shí)運(yùn)行UNet模型和YOLO模型，運(yùn)算代價(jià)較大，并且在基于UNet染色體實(shí)例分割中，僅能處理兩個(gè)染色體形成的簇，無法處理超過兩條染色體實(shí)例形成的簇。

圖6 分割流程

綜上，大多數(shù)的基于語義分割網(wǎng)絡(luò)的染色體分割的研究都是在U-Net基礎(chǔ)上進(jìn)行改進(jìn)的。通過各種數(shù)據(jù)預(yù)處理、引入擴(kuò)張卷積、調(diào)整模型結(jié)構(gòu)、多個(gè)模型結(jié)合等多種方法來增強(qiáng)算法的魯棒性和泛化能力。幾乎所有語義分割網(wǎng)絡(luò)在染色體分割中均能適應(yīng)染色體簇復(fù)雜多樣的形態(tài)結(jié)構(gòu)，取得較為良好的染色體分割效果。但目前所取得的報(bào)告結(jié)果尚未應(yīng)用于具體臨床實(shí)踐中，如Hu等人[13]提出的分割方法距離臨床應(yīng)用的標(biāo)準(zhǔn)還有很大的差距。此外，目前對(duì)染色體圖像進(jìn)行語義分割的研究尚未能大膽突破，大多數(shù)是在原始的U-Net架構(gòu)之上進(jìn)行改進(jìn)，未來有待突破。最后，受限于語義分割的像素分類特性，每一個(gè)像素只能屬于一個(gè)類別，決定了基于語義分割網(wǎng)絡(luò)的染色體實(shí)例分割方法僅能處理簡(jiǎn)單的重疊影像，無法應(yīng)對(duì)多條染色實(shí)例相互交叉的情況。

2.2 基于實(shí)例分割網(wǎng)絡(luò)的染色體實(shí)例分割

實(shí)例分割是計(jì)算機(jī)視覺領(lǐng)域的重要任務(wù)之一，它具備語義分割的特點(diǎn)，不僅能進(jìn)行像素層面的分割，還可以區(qū)分出不同的實(shí)例對(duì)象。對(duì)于屬于同一類的多個(gè)對(duì)象，實(shí)例分割網(wǎng)絡(luò)也能將他們分為不同的實(shí)例對(duì)象。常見的語義分割網(wǎng)絡(luò)，如FCN[40]和U-Net[41]，他們不能直接區(qū)分同一類別的不同對(duì)象，均只能進(jìn)行像素層面的分割，這在實(shí)際應(yīng)用中往往不能較好地實(shí)現(xiàn)接觸或重疊染色體的分割，而實(shí)例分割可能是更好的方法。隨著深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)在計(jì)算機(jī)視覺領(lǐng)域的發(fā)展，越來越多的實(shí)例分割網(wǎng)絡(luò)用于染色體分割的研究中。

馮濤等人[18]基于Mask R-CNN實(shí)例分割模型[58]提出Mask Oriented R-CNN染色體實(shí)例分割框架。分割架構(gòu)如圖7所示[18]。鑒于方向信息對(duì)于染色體的精確分割至關(guān)重要，該研究基于Mask R-CNN[58]網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)了有向包圍框、AwIoU度量和有向卷積通路結(jié)構(gòu)等有效組件來獲取和應(yīng)用方向信息，有效地提升了染色體分割性能。實(shí)驗(yàn)數(shù)據(jù)為自收集的181張，尺寸大小為1 017×896的分割標(biāo)注的染色體分裂中期照片。包含背景、染色體和雜質(zhì)3個(gè)對(duì)象類別，作為測(cè)試集進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并合成了15 728張分裂中期原始照片，利用這15 728張?jiān)硷L(fēng)格合成分裂中期照片作為訓(xùn)練集。該研究使用不同IoU閾值下的平均精度均值（mean Average Precision，mAP）來評(píng)估和報(bào)告結(jié)果，這里簡(jiǎn)記為AP。采取COCO數(shù)據(jù)集（Dataset of Common Objects in Context Visual Recognition Challenge）[59]定義的計(jì)算方法，且算法中的IoU采用掩膜IoU。以原始的Mask Oriented R-CNN作為基準(zhǔn)，實(shí)驗(yàn)結(jié)果是AP為22.49%，AP50為41.32%，AP60為38.13%，AP70為30.15%，AP80為12.63%，AP90為0.81%。使用改進(jìn)的Mask Oriented R-CNN實(shí)例分割框架可得到AP為27.4%，AP50為51.54%，AP60為47.41%，AP70為37.42%，AP80為13.93%，AP90為0.36%的分割精確度顯著提升的結(jié)果。該研究提出了結(jié)合方向信息的分割框架，能進(jìn)行端到端的染色體實(shí)例分割，能直接從細(xì)胞圖像中提取所有的染色體實(shí)例。但該實(shí)驗(yàn)的數(shù)據(jù)集標(biāo)注難度和工作量非常大，盡管現(xiàn)有的技術(shù)能夠輔助生成大量的虛擬樣本，工作量還是巨大的。此外，細(xì)胞圖像的尺寸較大，對(duì)模型的運(yùn)算效率和硬件資源要求較高，且報(bào)告的性能指標(biāo)是在作者自收集的數(shù)據(jù)集上獲得，而該數(shù)據(jù)集中僅僅包括181張真實(shí)樣本（含訓(xùn)練、驗(yàn)證和測(cè)試），無法驗(yàn)證和判斷該方法在臨床上的實(shí)際效果。

圖7 改進(jìn)的Mask R-CNN架構(gòu)

通過綜合對(duì)比Mask R-CNN[58]、FCIS（Fully Convolutional Instance-aware Semantic Segmentation）[60]和Shape Mask[61]三個(gè)網(wǎng)絡(luò)的實(shí)例分割效果，Xie等人[19]直接將現(xiàn)有的Mask RNN模型（ResNet-101[45]作為骨干）應(yīng)用于染色體實(shí)例分割。充分利用了Mask R-CNN[58]識(shí)別物體速度快、精度高且能快速實(shí)現(xiàn)預(yù)測(cè)物體類別、包圍框和生成掩模任務(wù)的特點(diǎn)，實(shí)現(xiàn)染色體精細(xì)分割。實(shí)驗(yàn)的數(shù)據(jù)集包括原始圖像和合成圖像。模型經(jīng)過對(duì)343張真實(shí)圖像訓(xùn)練，在100張真實(shí)圖像上測(cè)試，獲得了AP為52.059%，AP50為90.590%。當(dāng)將訓(xùn)練數(shù)據(jù)集中的真實(shí)數(shù)據(jù)和合成數(shù)據(jù)以1∶4的比例相結(jié)合時(shí)，測(cè)試AP和AP50分別提高了8個(gè)點(diǎn)和5個(gè)點(diǎn)。當(dāng)IoU設(shè)置為0.5時(shí)，對(duì)100幅真實(shí)圖像測(cè)試的分割準(zhǔn)確率為95.644%。當(dāng)實(shí)驗(yàn)數(shù)據(jù)為200幅組合圖像時(shí)，分割精度為91.673%。該研究直接使用現(xiàn)有的Mask RNN模型，同行方便復(fù)現(xiàn)。能直接從細(xì)胞圖像分割出染色體實(shí)例，具有直接應(yīng)用于臨床實(shí)踐的可能。但該實(shí)驗(yàn)的現(xiàn)有指標(biāo)是在少量數(shù)據(jù)上獲得的，沒有在臨床上進(jìn)行驗(yàn)證。再者，現(xiàn)有的實(shí)驗(yàn)結(jié)果是使用ResNet101作為骨干網(wǎng)絡(luò)獲得，作者沒有給出ResNet50[45]骨干的實(shí)驗(yàn)結(jié)果。在實(shí)際應(yīng)用中ResNet50骨干的Mask R-CNN使用更為廣泛，同時(shí)相比ResNet101骨干的Mask R-CNN對(duì)運(yùn)行環(huán)境的實(shí)用性更強(qiáng)。

圖8 AS-PANet模型架構(gòu)

林成創(chuàng)等人[20]提出了基于路徑增強(qiáng)網(wǎng)絡(luò)PANet[62]改進(jìn)的AS-PathNet染色體實(shí)例分割模型。如圖8所示[20]，即在PANet[62]的基礎(chǔ)上結(jié)合數(shù)量統(tǒng)計(jì)分割（Amount Segementation，AS）。模型能夠融合圖像分類、目標(biāo)檢測(cè)、實(shí)例分割、染色體計(jì)數(shù)4個(gè)子任務(wù)共享特征層的特征聯(lián)合訓(xùn)練，從而提高實(shí)例分割的精度。實(shí)驗(yàn)數(shù)據(jù)集為廣東省婦女兒童醫(yī)學(xué)遺傳中心獲取的臨床染色體顯微圖像數(shù)據(jù)，標(biāo)注了882個(gè)染色體簇樣本，其中802個(gè)用于訓(xùn)練，80個(gè)用于測(cè)試。該實(shí)驗(yàn)在臨床染色體數(shù)據(jù)中平均分割精度（mean Average Precision，mAP）為90.63%，比PANet提升了1.18%，比基線模型Mask R-CNN提升2.85%。分割準(zhǔn)確率為85%，比PANet提升了2%，比基線模型Mask R-CNN提升3.75%。該研究是采用多階段的非端到端的技術(shù)路線，先使用形態(tài)學(xué)對(duì)細(xì)胞圖像分成若干個(gè)圖像，再對(duì)圖像中的染色體簇進(jìn)行實(shí)例分割，圖像的尺寸相對(duì)于細(xì)胞圖像而言小了許多，帶來的優(yōu)勢(shì)是數(shù)據(jù)標(biāo)注的效率更加高了。但相比較端到端的方法而言，處理起來更加復(fù)雜。

實(shí)例分割不僅可以做到像語義分割那樣的像素級(jí)別的分類，還具備目標(biāo)檢測(cè)的能力，能夠?qū)⑺鶎贋橐活惖哪繕?biāo)對(duì)象區(qū)分開來，能更好地實(shí)現(xiàn)染色體實(shí)例分割。但目前基于實(shí)例分割網(wǎng)絡(luò)的染色體分割研究成果都是基于小的自我標(biāo)注數(shù)據(jù)集得到的，未能在大規(guī)模真實(shí)的數(shù)據(jù)集中檢驗(yàn)，性能還有待考核。

3 總結(jié)和展望

本文闡述了基于深度學(xué)習(xí)技術(shù)的染色體分割的任務(wù)及其難點(diǎn)，介紹了染色體分割的研究現(xiàn)狀、相關(guān)評(píng)價(jià)指標(biāo)和數(shù)據(jù)集。對(duì)基于語義分割網(wǎng)絡(luò)的染色體實(shí)例分割和基于實(shí)例分割網(wǎng)絡(luò)的染色體實(shí)例分割研究進(jìn)行了綜述，并總結(jié)不同方法的優(yōu)缺點(diǎn)、相關(guān)實(shí)驗(yàn)使用的數(shù)據(jù)集及實(shí)驗(yàn)結(jié)果，如表1所示。指出當(dāng)前染色體分割研究中存在的問題，展望未來基于深度學(xué)習(xí)技術(shù)的染色體分割研究的發(fā)展方向，為相關(guān)研究提供參考。

表1 深度學(xué)習(xí)技術(shù)在染色體分割中的應(yīng)用總結(jié)

總的來說，基于深度學(xué)習(xí)技術(shù)的染色體分割取得了優(yōu)于傳統(tǒng)分割方法的準(zhǔn)確率和分割精度，是染色體分割研究領(lǐng)域的大突破。但在當(dāng)前基于深度學(xué)習(xí)的染色體分割研究中存在著以下的問題。

（1）缺少具備測(cè)試基準(zhǔn)（Benchmark）的公開數(shù)據(jù)集。當(dāng)前研究中缺乏高質(zhì)量的臨床染色體分割數(shù)據(jù)，以支撐不同的算法在該數(shù)據(jù)集上進(jìn)行公平比較，促進(jìn)新算法的設(shè)計(jì)。

（2）缺乏統(tǒng)一的評(píng)價(jià)指標(biāo)。當(dāng)前，不同染色體分割研究采用的評(píng)價(jià)指標(biāo)各有不同，若能統(tǒng)一評(píng)價(jià)指標(biāo)，可以更方便于不同研究之間的橫向比較，推動(dòng)染色體分割技術(shù)取得更大的進(jìn)步。

（3）缺乏臨床的實(shí)際效果評(píng)估，臨床有效性難以判斷。染色體分割的最終目的是應(yīng)用于臨床診斷，造福于人類社會(huì)。但是當(dāng)前的研究成果幾乎都是基于小型的私有數(shù)據(jù)集進(jìn)行測(cè)試和驗(yàn)證，鮮有算法在大規(guī)模的臨床上進(jìn)行測(cè)試。因此，現(xiàn)有的研究成果在臨床上的有效性有待考證。

在未來，為了促進(jìn)染色體分割技術(shù)的發(fā)展，需要突破數(shù)據(jù)集稀缺、評(píng)價(jià)指標(biāo)不統(tǒng)一、現(xiàn)有研究未應(yīng)用于實(shí)際場(chǎng)景中等問題。需建立大規(guī)模的染色體分割的基準(zhǔn)，包括大規(guī)模的分割數(shù)據(jù)集和性能基線，讓各種研究在同一個(gè)數(shù)據(jù)集上進(jìn)行公平比較。統(tǒng)一染色體實(shí)例分割的評(píng)估指標(biāo)，使得不同的工作可以在同樣的指標(biāo)下進(jìn)行對(duì)比。鼓勵(lì)開展人機(jī)對(duì)抗，檢驗(yàn)算法在實(shí)際臨床應(yīng)用中的效果，體現(xiàn)染色體分割研究的應(yīng)用價(jià)值。