中圖分類(lèi)號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2025）06-038-1880-07

doi：10.19734/j.issn.1001-3695.2024.08.0354

Automatic classification of leukemia subtypes based on multi-scale multi-feature hybrid model

Gao Mingyang1，Geng Yan2，Yu Xiao3，Pei Bo4，Zhao Juanjuan1，Qiang Yan1，5t（1.ColegeofmuterSece amp;Tooy（lgeofatSce），anUiestofogin;2.SchoolfsieicalciediclUesitinasspialfieclUTaiyuanO3Uesfd6UfeUf030051，China）

Abstract：Leukemia，ahighlyconcealedcancer，presentssignificantchalengesinearlydetection，makingitafocalpointfor medical professionals.Existing fine-grained clasificationmodelsstrugglewithsmallsampleimbalanceddatasets，leadingto poorperformance in classfying leukemiasubtypes.Toaddressthese issuesandacceleratedoctors’diagnosticspeed while shortening treatment time，this paperproposedamulti-scalemulti-feature hybrid model（MSMFHM）fortheautomaticclassificationofleukemiasubtypesappicable tosmallsampledatasets.The modelfirstly extractedmulti-levelstructural features from imagesusingamulti-scalefeature extractionframeworkcombined withscalingoperationsandaCNNbackbone.Next，amultiscalefusion modulewith atention mechanisms integratedthesemulti-level structural featuresandextracted fine-grained features，effectivelyleveraging therobustnessofCNNinductivebiasandthecomplexglobalmodelingcapabilitiesofTransformers.Finally，toenhance robustnessand mitigate overfiting issues causedbysmallsamples，amulti-feature hybrid module combined texturefeatures withfine-grained features beforeclasification.Adatasetof7156leukemiacellimages，along with otherrelevantpublicdatasets，wascollctedtoevaluatethismethod.Theproposedmodelachievesclasificationaccuraciesof （204號(hào) 93.03% and 99.42% on private and public datasets，respectively，outperforming other advanced models. This method accuratelydistinguishedacute leukemia subtypecellsandservesasanefectivedesignapproach forcomputer-aideddiagnosisof leukemia.

Key words：leukemia；medical image processing；multi-scale feature fusion； Transformer

0 引言

全球造成成千上萬(wàn)人死亡[1]。白血病初期癥狀包括疲勞、不明原因的體重減輕和頻繁感染，這些非典型癥狀易與其他普通疾病混淆，使病人錯(cuò)過(guò)最佳治療時(shí)間。更重要的是該疾病的愈白血病是血液系統(tǒng)的惡性腫瘤，俗稱“血癌”，每年都會(huì)在后很差，任何診斷上的延誤都會(huì)對(duì)患者的生存率產(chǎn)生嚴(yán)重的負(fù)面影響。

為了解決這個(gè)問(wèn)題，醫(yī)療專業(yè)人士建議人們定期體檢，進(jìn)行常規(guī)血液檢查。在檢查中，醫(yī)生會(huì)對(duì)外周血涂片進(jìn)行人工鏡檢，通過(guò)分析血細(xì)胞的形態(tài)來(lái)篩查白血病2。這一過(guò)程費(fèi)時(shí)費(fèi)力，且特別依賴檢查者的技術(shù)和經(jīng)驗(yàn)，主觀性強(qiáng)，雖然出現(xiàn)了計(jì)算機(jī)輔助技術(shù)用于輔助檢查，但由于其分類(lèi)精度不高，所以往往還是需要依靠醫(yī)生進(jìn)行血細(xì)胞的分類(lèi)與標(biāo)記。

為了提高計(jì)算機(jī)輔助技術(shù)在白血病篩查方面的能力，已經(jīng)有許多人在相關(guān)鄰域進(jìn)行研究。早期人們使用機(jī)器學(xué)習(xí)與手工特征相結(jié)合的方法構(gòu)建模型對(duì)白血病進(jìn)行分類(lèi)[3-5]，雖然此類(lèi)方法訓(xùn)練速度很快，但查詢時(shí)速度慢且對(duì)于噪聲數(shù)據(jù)表現(xiàn)不佳，分類(lèi)效果有待提高。

隨著深度學(xué)習(xí)的不斷發(fā)展，越來(lái)越多的人開(kāi)始使用深度學(xué)習(xí)方法[6＼～8]。為了對(duì)ALL 細(xì)胞和健康細(xì)胞進(jìn)行分類(lèi)，Mourya等人[提出的模型使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取離散余弦變換（DCT）域特征與光密度（OD）空間特征，將這兩種特征結(jié)合后送入分類(lèi)器，最終準(zhǔn)確率達(dá)到了 89.7% 。Gehlot等人[10]提出了SDCT-AuxNetθ用于區(qū)分ALL與正常細(xì)胞，它利用CNN分類(lèi)器處理雙線性池化特征的同時(shí)使用SVM輔助分類(lèi)器處理光密度特征，在ISBI2019數(shù)據(jù)集[11上達(dá)到了 94.8% 的準(zhǔn)確率。Kassani等人[12]設(shè)計(jì)了一種自動(dòng)化ALL細(xì)胞分類(lèi)系統(tǒng)，使用兩個(gè)經(jīng)過(guò)遷移學(xué)習(xí)CNN，通過(guò)混合不同網(wǎng)絡(luò)提取出來(lái)的圖像特征對(duì)細(xì)胞進(jìn)行分類(lèi)，在ISBI2019數(shù)據(jù)集上獲得了 96.17% 的準(zhǔn)確率。此類(lèi)方法雖然能有效提高分類(lèi)效果但其對(duì)數(shù)據(jù)集質(zhì)量與規(guī)模存在一定要求，難以進(jìn)行推廣。

近幾年，隨著VisionTransformer[13]在圖像領(lǐng)域的興起，使用注意力機(jī)制對(duì)CNN模型進(jìn)行加強(qiáng)的方法也越來(lái)越多[14，15]CNN和Transformer混合結(jié)構(gòu)的應(yīng)用使得模型能夠兼顧局部和全局信息的處理，因此混合模型在醫(yī)學(xué)圖像處理方面的應(yīng)用也越來(lái)越多。Zhang等人[1設(shè)計(jì)了MSHT模型，將Transformer模塊引入到胰腺癌細(xì)胞分類(lèi)中。模型將卷積神經(jīng)網(wǎng)絡(luò)生成的空間特征多階段空間特征轉(zhuǎn)變?yōu)槿肿⒁饬σ龑?dǎo)，成功地在Rose圖像數(shù)據(jù)集中達(dá)到了 95.68% 的準(zhǔn)確率。而在白血病細(xì)胞分類(lèi)中，Jiang等人[17]提出了一個(gè)ViT-CNN集成模型對(duì)ALL細(xì)胞圖像和正常細(xì)胞圖像進(jìn)行分類(lèi)，以輔助急性淋巴細(xì)胞白血病的診斷，其結(jié)合了VisionTransformer模型和卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)兩種完全不同的方式提取細(xì)胞圖像的特征，在ISBI2019數(shù)據(jù)集上的分類(lèi)準(zhǔn)確率達(dá)到了 99.03% 。結(jié)果表明雖然此種架構(gòu)擁有良好的分類(lèi)性能，但其細(xì)粒度分類(lèi)能力還有待提高，存在進(jìn)一步優(yōu)化以用于白血病亞型分類(lèi)的空間

上述文獻(xiàn)通過(guò)各類(lèi)神經(jīng)網(wǎng)絡(luò)對(duì)白血病分類(lèi)方法進(jìn)行研究，取得了優(yōu)異的成果，但大多數(shù)研究所使用的公開(kāi)數(shù)據(jù)集（如：ISBI2019）僅包含白血病良惡細(xì)胞標(biāo)簽，沒(méi)用針對(duì)白血病亞型進(jìn)行標(biāo)簽細(xì)分，導(dǎo)致針對(duì)白血病亞型的自動(dòng)分類(lèi)研究相對(duì)較少見(jiàn)。白血病可以分為髓系（AML）和淋系（ALL）兩大類(lèi)，不同亞型的發(fā)病機(jī)制、治療方式以及愈后效果各不相同，因此，準(zhǔn)確識(shí)別白血病亞型對(duì)于病人早期確診、制定有效治療方案至關(guān)重要。由于亞型分類(lèi)中的原始細(xì)胞非常難區(qū)分，肉眼幾乎不可辨別，且類(lèi)內(nèi)差異與類(lèi)間相當(dāng)，所以需要運(yùn)用細(xì)粒度圖像識(shí)別方法進(jìn)行精細(xì)化特征提取。然而在實(shí)際情況中由于樣本收集標(biāo)注耗時(shí)長(zhǎng)、工作難度大等原因，使得收集的數(shù)據(jù)集樣本量偏少且不平衡。而一般的細(xì)粒度網(wǎng)絡(luò)缺乏處理小樣本不平衡數(shù)據(jù)集的能力，無(wú)法有效應(yīng)對(duì)亞型分類(lèi)的需求。在這種背景下，模型需要具備更強(qiáng)的特征提取能力以及對(duì)不平衡數(shù)據(jù)的健壯性性，以提高分類(lèi)的準(zhǔn)確性。

為了解決上述問(wèn)題，本文利用混合模式設(shè)計(jì)思路對(duì)現(xiàn)有細(xì)粒度特征提取架構(gòu)進(jìn)行重構(gòu)，提出了基于多級(jí)多特征混合模型的白血病亞型自動(dòng)分類(lèi)模型（multi-scalemulti-featurehybridmodel，MSMFHM）。模型首先利用基于CNN的多尺度特征提取框架在不同層次上提取不同尺度的豐富信息，接著使用基于Transformer的多尺度混合模塊（multi-scalemixer，MSM），對(duì)不同尺度信息進(jìn)行全局融合。緊接著多特征融合模塊（multi-featuremixer，MFM）會(huì)同時(shí)接受多尺度混合模塊的輸出特征和經(jīng)過(guò)CNN處理的紋理特征進(jìn)行聯(lián)合特征提取。最終分類(lèi)器將同時(shí)使用MSM模塊與MFM模塊提取的特征進(jìn)行白血病亞型分類(lèi)。

本文主要貢獻(xiàn)如下：

a）為了模擬醫(yī)生的觀察行為并增強(qiáng)網(wǎng)絡(luò)在各種尺度上提取細(xì)胞特征的能力，構(gòu)建了一個(gè)多尺度特征提取框架。在這個(gè)框架內(nèi)，利用并行池化操作對(duì)網(wǎng)絡(luò)輸入進(jìn)行調(diào)節(jié)，使CNN特征提取器能夠接收并提取樣本更加豐富的信息，增強(qiáng)了特征處理能力。

b）針對(duì)提取出的各尺度特征融合的問(wèn)題，提出了多尺度混合模塊MSM，利用注意力機(jī)制對(duì)各尺度特征的特異點(diǎn)與共同點(diǎn)進(jìn)行深度融合，有效增強(qiáng)了網(wǎng)絡(luò)對(duì)血細(xì)胞特征的定位與建模能力。

c）為了增強(qiáng)網(wǎng)絡(luò)的綜合性能，將紋理特征引入網(wǎng)絡(luò)，并設(shè)計(jì)了多特征融合模塊MFM對(duì)圖像多尺度融合特征與紋理特征進(jìn)行聯(lián)合提取。

d）所提出的MSMFHM模型由專業(yè)醫(yī)學(xué)專家篩選的AML和ALL數(shù)據(jù)集與公開(kāi)數(shù)據(jù)集上進(jìn)行了評(píng)估，分別取得了 93.03% 和 99.42% 的準(zhǔn)確率，超越了大多數(shù)自然圖像和細(xì)胞分類(lèi)模型，展示出卓越的性能。

1方法

本文提出的多級(jí)多特征混合模型（MSMFHM）整體架構(gòu)如圖1所示。針對(duì)白血病細(xì)胞圖片的特點(diǎn)，在特征提取階段模型使用了雙分支結(jié)構(gòu)對(duì)圖像信息和紋理信息同時(shí)進(jìn)行提取。圖像信息分支使用了多尺度特征提取框架，利用池化操作與CNN的配合，在相同特征圖尺寸下提取不同尺度的信息，并通過(guò)多尺度混合模塊MSM進(jìn)行全局信息提取。紋理信息不如圖像信息復(fù)雜，所以紋理信息分支使用簡(jiǎn)單卷積即可提取有效特征。在此之后，多特征融合模塊MFM將對(duì)紋理信息和多尺度信息進(jìn)行聯(lián)合提取，以增強(qiáng)模型對(duì)細(xì)胞特征的辨識(shí)能力。最終分類(lèi)器將同時(shí)接受MSM模塊與MFM模塊所提取的特征信息用于分類(lèi)。

1.1多尺度特征提取框架

惡性細(xì)胞之間的差異有限，且細(xì)胞形態(tài)因人而異，導(dǎo)致其類(lèi)內(nèi)差異大于類(lèi)間差異，難以區(qū)分。因此，在血細(xì)胞形態(tài)學(xué)分析領(lǐng)域，傳統(tǒng)的粗粒度特征提取已經(jīng)不能滿足當(dāng)前研究工作的需求，需要對(duì)細(xì)胞進(jìn)行更細(xì)微的觀察。所以，本文在設(shè)計(jì)特征提取框架時(shí)，選用以Du等人[18]提出的細(xì)粒度特征提?。≒MG）網(wǎng)絡(luò)為基礎(chǔ)加以改進(jìn)。在PMG網(wǎng)絡(luò)中，模型利用拼圖生成器生成不同粒度級(jí)別的輸入圖片并利用CNN基干提取出相應(yīng)的三個(gè)不同尺度的特征圖，之后分別使用三個(gè)不同的分類(lèi)器進(jìn)行漸進(jìn)式訓(xùn)練與分類(lèi)。但該模型訓(xùn)練時(shí)間過(guò)長(zhǎng)，且在面對(duì)細(xì)胞分類(lèi)任務(wù)時(shí)容易出現(xiàn)過(guò)擬合，因此在設(shè)計(jì)網(wǎng)絡(luò)時(shí)只保留了其多尺度特征提取框架，并把特征提取網(wǎng)絡(luò)由傳統(tǒng)的ResNet-50^[19] 更換為 ConvNeXt^[20] 。ConvNeXt 模型以 Vision Transfor-mer（ViT）為參照對(duì)傳統(tǒng)的卷積模型在細(xì)節(jié)上進(jìn)行了調(diào)整，有效提升了卷積網(wǎng)絡(luò)的綜合性能，有助于模型提取更具有辨識(shí)意義的局部特征。

此外，為了避免PMG網(wǎng)絡(luò)拼圖生成器所造成的局部信息和圖像空間結(jié)構(gòu)關(guān)系的丟失，同時(shí)為了模擬醫(yī)生在辨別細(xì)胞時(shí)使用不同顯微鏡倍數(shù)觀察不同尺度信息的操作一在低倍率下觀察細(xì)胞染色是否正常，在高倍率下觀察細(xì)胞核之間的細(xì)微差別。模型設(shè)計(jì)了縮放聚焦模塊（resizefocus，RF）以替換網(wǎng)絡(luò)拼圖生成器，在特征提取前對(duì)原始圖像進(jìn)行不同程度的縮放處理。RF模塊由并行的最大池化和平均池化組成，兼具了最大池化有利于提取局部突出特征和平均池化有助于減小圖像的空間維度的特點(diǎn)，公式如下：

x_maxpoolⁱ=Conv₁（Maxpooling（x_inputⁱ））

x_avgpoolⁱ=Conv₂（Avgpooling（x_inputⁱ）））

x_outputⁱ=Conv₃（Concat（x_Maxpoolⁱ，x_iAvgpoolⁱ））

其中： x_inputⁱ 為輸入圖像， Conv_i 均為 1×1 卷積，加入卷積層的主要目的為整合池化信息，維持輸入通道數(shù)并作為可學(xué)習(xí)參數(shù)調(diào)整池化信息的比例。

如圖1所示，多尺度特征提取框架首先會(huì)利用RF模塊對(duì)輸入圖像尺寸進(jìn)行三次不同程度的縮放。當(dāng)輸入為 3×224× 224時(shí)，RF模塊輸出分別為 3×224×224，3×112×112，3×56×56_c 隨后輸出圖像將依次送入CNN中進(jìn)行多尺度特征提取。 3× 224×224 的圖像經(jīng)過(guò)CNN特征提取后將會(huì)在ConvBlock5輸出大小為 1024×7×7 的特征圖，記為 x_output¹ 3×112×112 的圖像經(jīng)過(guò)CNN特征提取后將會(huì)在ConvBlock4輸出大小為 512×7×7 的特征圖，記為 x_output² 3×56×56 的圖像經(jīng)過(guò)CNN特征提取后將會(huì)在ConvBlock3輸出大小為 256×7×7 的特征圖，記為x_output³ 。根據(jù)輸人尺寸的不同在CNN不同層級(jí)進(jìn)行輸出可以避免模型對(duì)小尺寸輸入的過(guò)度處理并獲得相同大小的特征圖，便于后續(xù)網(wǎng)絡(luò)處理。

1.2 多尺度混合模塊

為了篩選更為重要的特征信息，并減少特征數(shù)量，本文設(shè)計(jì)了多尺度混合模塊。先前的特征提取使模型得到了細(xì)胞豐富的多尺度信息，而為了避免模型過(guò)于臃腫，需要在分類(lèi)器前對(duì)特征進(jìn)行融合與提取。Transformer有著優(yōu)秀的長(zhǎng)距離建模能力，在注意力機(jī)制的引導(dǎo)下能夠更加細(xì)致地對(duì)全局信息進(jìn)行綜合提取，有利于觀察細(xì)胞的整體特性。因此，在多尺度混合模塊中，模型利用注意機(jī)制的特征提取能力，深度整合來(lái)自不同尺度的特征。

在Transformer架構(gòu)中，要求輸入具有相同的通道數(shù)量。因此，在不同尺度的特征圖進(jìn)入模塊前需要對(duì)其進(jìn)行預(yù)處理。特征圖將通過(guò)不同的ConvBlock進(jìn)行通道調(diào)整，如圖1所示。在ConvBlock中會(huì)首先將不同特征的通道維度擴(kuò)展到1024，然后將其壓縮到512以統(tǒng)一通道數(shù)量。這一過(guò)程公式如下：

x_apⁱ=ReLU（BatchNorm（Conv（x_outputⁱ））））

x_expandⁱ=ReLU（BatchNorm（Conv（x_apⁱ）））

在MSM模塊，如圖2所示，其前期處理與Transformer一致，即對(duì)輸人進(jìn)行映射與編碼。所有特征圖都會(huì)經(jīng)過(guò)embed-ding模塊加入classtoken和位置編碼轉(zhuǎn)換為特征序列。在embedding模塊中，class token是一個(gè)可學(xué)習(xí)的矩陣，目的是為了將類(lèi)別信息集中，在最后只有classtoken連接到分類(lèi)器，以提高模型效率。位置編碼遵循標(biāo)準(zhǔn)的可學(xué)習(xí)設(shè)計(jì)，可以在patch中保留原始數(shù)據(jù)位置信息?？傊诖诉^(guò)程中，特征圖被展平并轉(zhuǎn)置為特征序列 。然后，先通過(guò)拼接操作在特征序列首部加入classtoken，再對(duì)特征序列直接相加一維可學(xué)習(xí)位置編碼，編碼輸出記為 E ，其公式如下所示。

E=[x_class，x_p¹，x_p²，…，x_p^N]+x_pos

在一般的注意力網(wǎng)絡(luò)中，特征序列會(huì)經(jīng)過(guò)多個(gè)自注意力塊后再輸入到解碼器中對(duì)classtoken進(jìn)行抽取。而本文參考了Yu等人[21]提出的PoolFormer架構(gòu)中的觀點(diǎn)，即注意力機(jī)制是一種全局上下文信息提取操作，而其中的池化操作與注意力操作是等價(jià)的，并以此設(shè)計(jì)了全局點(diǎn)積操作（globaldot，Gdot）用以替換注意力對(duì)特征序列的處理。全局點(diǎn)積將特征向量經(jīng)全局平均池化后的信息作為權(quán)重，對(duì)原特征向量進(jìn)行點(diǎn)積操作，公式如下：

x_dot=BatchNorm（E?AvgPool（E））

在注意力融合過(guò)程中，不同的特征圖會(huì)分別作為查詢（ 鍵 （K） 和值 （V） 。作為粒度級(jí)別較低的淺層特征 x_output² 和 x_output³ 會(huì)經(jīng)過(guò)Gdot操作進(jìn)一步提取深層信息后用作 和 K ，而 x_output³ 會(huì)在編碼后直接作為 V 進(jìn)行輸入，這樣可以使不同階段的特征保持在同一特征深度。在輸出時(shí)為了防止可能出現(xiàn)的過(guò)擬合使用了類(lèi)殘差的結(jié)構(gòu)， 和 K 會(huì)與注意力融合結(jié)果一起進(jìn)行輸出，輸出結(jié)果記為 E_feature 。其過(guò)程如下所示。

1.3多特征融合模塊

血細(xì)胞涂片圖像中存在豐富的細(xì)胞和細(xì)胞內(nèi)部結(jié)構(gòu)的紋理特征，灰度共生矩陣（graylevelco-occurrencematrix，GLCM）能夠有效地捕捉到這些紋理特征，并將它們轉(zhuǎn)換為可以量化的特征向量，使模型可以更好地學(xué)習(xí)細(xì)胞內(nèi)部結(jié)構(gòu)的變化和復(fù)雜性。通過(guò)灰度共生矩陣可以反映圖像灰度關(guān)于方向、相鄰間隔、變化幅度的綜合信息，使對(duì)細(xì)胞的紋理特征進(jìn)行映射時(shí)可以在保持維度較低的情況下提供豐富的信息，有助于緩解小樣本數(shù)據(jù)帶來(lái)的過(guò)擬合問(wèn)題。因此，本文選擇熵值灰度共生矩陣進(jìn)行紋理特征計(jì)算，記為 x_ent ，計(jì)算公式如下：

其中： ?_：p（i，j） 表示灰度圖片中 （i，j） 位置上的灰度值。

計(jì)算完成以后的紋理特征作為與細(xì)胞相對(duì)應(yīng)的灰度圖片輸人，經(jīng)過(guò)簡(jiǎn)易的卷積網(wǎng)絡(luò)提取深度特征后使用注意力機(jī)制提取特征，這一過(guò)程中的ConvBlock公式如下：

x_ent^l=ReLU（BatchNorm（Conv（x_ent^l-1）））l=1，2，3

單一紋理特征對(duì)模型的幫助有限，其主要作用是為提取出多尺度融合特征以紋理信息為指導(dǎo)進(jìn)行加權(quán)，因此本文設(shè)計(jì)了多特征融合模塊，其結(jié)構(gòu)如圖3所示。其中，映射、編碼等步驟與多尺度融合模塊相同。為了更全面地抽取紋理特征，模型對(duì)注意力結(jié)構(gòu)進(jìn)行了改進(jìn)。在計(jì)算注意力分?jǐn)?shù)時(shí)，經(jīng)過(guò)處理的紋理特征向量 x_ent³ 將作為 Q，K 并重復(fù)計(jì)算兩次后利用可學(xué)習(xí)參數(shù)進(jìn)行加權(quán)求和，公式如下：

改進(jìn)后計(jì)算使模型可以更充分地學(xué)習(xí)到紋理特征之間的復(fù)雜非線性關(guān)系，增強(qiáng)了對(duì)紋理特征的表征學(xué)習(xí)能力。同時(shí)，可學(xué)習(xí)參數(shù)的加入使模型可以進(jìn)行自適應(yīng)權(quán)重分配，減少不相關(guān)信息的干擾，提高了模型的效率和泛化能力。多尺度融合模塊生成的融合特征 E_feature 此時(shí)將作為 ν 進(jìn)行計(jì)算，公式如下：

E_ent=drop（softmax（S）?V）

通過(guò)紋理特征對(duì)多尺度融合特征進(jìn)行加權(quán)聚合，在增強(qiáng)模型對(duì)圖像紋理的感知能力的同時(shí)，也加強(qiáng)了模型對(duì)不同尺度信息的利用，有利于綜合性能的提升。

1.4分類(lèi)器與損失函數(shù)

分類(lèi)器會(huì)同時(shí)接受多尺度混合模塊的輸出特征和多特征混合模塊的輸出特征用于分類(lèi)。為了減少分類(lèi)器參數(shù)量，使模型不過(guò)于臃腫，分類(lèi)器只會(huì)抽取特征中的classtoken進(jìn)行計(jì)

算，公式如下：

E_feature=[x_elass^feature，x_outputl¹，x_outputl²，…，x_outputl^N]

E_ent=[x_class^ent，x_output2¹，x_output2²，…，x_output2^N]

x_class=classifier（concate（x_class^ent，x_class^feature））

在損失函數(shù)的選擇中，為了展示模型的性能方便進(jìn)行對(duì)比實(shí)驗(yàn)，模型選擇常規(guī)的二元交叉熵?fù)p失函數(shù)進(jìn)行計(jì)算。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 數(shù)據(jù)集

該研究已獲得山西醫(yī)科大學(xué)（中國(guó)太原）的倫理委員會(huì)批準(zhǔn)，根據(jù)《赫爾辛基宣言》所有樣本均已去標(biāo)識(shí)化，故獲得了豁免個(gè)體患者知情同意的許可。本研究的金標(biāo)準(zhǔn)是血液病理學(xué)家根據(jù)最新指南進(jìn)行的診斷。所有診斷均基于臨床信息、骨髓細(xì)胞形態(tài)學(xué)、骨髓活檢結(jié)果、流式細(xì)胞術(shù)和遺傳數(shù)據(jù)進(jìn)行確認(rèn)。共有來(lái)自山西醫(yī)科大學(xué)第二醫(yī)院（中國(guó)太原）和山西省人民醫(yī)院（中國(guó)太原）的99名血液惡性腫瘤患者，包含急性髓系白血?。╝cutemyeloidleukemia，AML）和急性淋巴細(xì)胞白血?。╝cutelymphoblasticleukemia，ALL）。

為了收集足夠的細(xì)胞，本文使用SP-10儀器（Sysmex，日本神戶）對(duì)每位癌癥患者染色制作2或3張血涂片。并使用DI-60自動(dòng)數(shù)字細(xì)胞圖像分析儀（Sysmex，日本神戶）分析血涂片，共收集了100082個(gè)數(shù)字化細(xì)胞圖像（ 250×250 像素）。血涂片圖像中的許多成分和細(xì)胞對(duì)白血病及其亞型的診斷沒(méi)有貢獻(xiàn)，因此有選擇地保留了對(duì)各種白血病類(lèi)型具有診斷意義的幼稚細(xì)胞。此外，體檢患者的惡性細(xì)胞和癌癥患者的正常細(xì)胞被排除在數(shù)據(jù)集之外。這些細(xì)胞圖像在臨床診斷和形態(tài)分析后進(jìn)行了最后處理。它們以“jpg\"格式保存，分辨率為 360×360 都在相同的400倍放大倍數(shù)下。數(shù)據(jù)集在清洗后包括5121張急性髓系白血?。ˋML）細(xì)胞圖像，以及2035張急性淋巴細(xì)胞白血病（ALL）細(xì)胞圖像，該數(shù)據(jù)集總體規(guī)模與相關(guān)公開(kāi)數(shù)據(jù)集類(lèi)似，可以正常進(jìn)行實(shí)驗(yàn)研究，如圖4所示。

此外，由于缺乏此類(lèi)公開(kāi)數(shù)據(jù)集，本文選擇整合兩個(gè)相關(guān)公開(kāi)數(shù)據(jù)集作為模型的獨(dú)立外部測(cè)試集對(duì)模型性能進(jìn)行檢驗(yàn)，如圖5所示。該測(cè)試數(shù)據(jù)集中的ALL細(xì)胞來(lái)自ISBI2019數(shù)據(jù)集[11]，共選取了69名ALL患者的2397張細(xì)胞圖片，這些細(xì)胞是從顯微圖像中分割出來(lái)的，每個(gè)圖片都是采集后的真實(shí)圖像。該測(cè)試數(shù)據(jù)集中的AML細(xì)胞來(lái)自慕尼黑白血病實(shí)驗(yàn)室數(shù)據(jù)集[22]，共選取100名患者的2836張圖片，為了使該細(xì)胞圖片與ISBI2019數(shù)據(jù)集一致，本文使用 SAM^[23] 對(duì)圖片進(jìn)行了分割操作。

2.2實(shí)驗(yàn)流程與模型實(shí)現(xiàn)細(xì)節(jié)

為了模擬真實(shí)情況并提高模型的穩(wěn)定性與健壯性，數(shù)據(jù)集在患者層面進(jìn)行了訓(xùn)練和驗(yàn)證集的劃分。換句話說(shuō)，與一個(gè)患者相關(guān)的所有細(xì)胞圖像要么全部包括在訓(xùn)練集中，要么全部包括在驗(yàn)證集中。在本文中，對(duì)于AML數(shù)據(jù)，有4240張圖片分配給訓(xùn)練集，881張圖片分配給驗(yàn)證集；對(duì)于ALL數(shù)據(jù)，有1752張圖片分配給訓(xùn)練集，283張圖片分配給驗(yàn)證集。在實(shí)驗(yàn)中，模型使用3折交叉驗(yàn)證重復(fù)訓(xùn)練三次。每次實(shí)驗(yàn)均訓(xùn)練100 epochs，在指定epoch中驗(yàn)證集準(zhǔn)確性表現(xiàn)最佳的模型被保存為輸出模型，使用獨(dú)立測(cè)試集進(jìn)行測(cè)試。

為了消除不同數(shù)據(jù)集細(xì)胞圖片染色不同的問(wèn)題，本文將圖片轉(zhuǎn)換為HSV格式。在每次訓(xùn)練過(guò)程中，輸入圖像都會(huì)被隨機(jī)旋轉(zhuǎn)，隨機(jī)水平翻轉(zhuǎn)和隨機(jī)“顏色抖動(dòng)”，并在縮放到 256× 256大小后隨機(jī)剪裁到 224×224 。

模型利用PyTorch框架進(jìn)行構(gòu)建，多尺度特征提取框架中使用ConvNeXt-base模型作為CNNbackbone，參數(shù)設(shè)置與原模型保持一致。在多尺度混合模塊和多特征融合模塊中，由于接收的特征圖已有較小尺寸，故在注意力實(shí)現(xiàn)過(guò)程中沒(méi)有對(duì)圖片進(jìn)行切片操作，而是展平后直接進(jìn)行編碼操作，注意力編碼維度為512。最終各模塊輸出的classtoken在進(jìn)入分類(lèi)器前會(huì)統(tǒng)一進(jìn)行展平操作，并通過(guò)卷積操作將通道數(shù)調(diào)整至1024。

模型在配備了NVIDIARTXA5000GPU和64GB內(nèi)存的服務(wù)器上進(jìn)行訓(xùn)練。軟件環(huán)境包括Python版本3.11.4和PyTorch版本 2.1.0+cull8 。訓(xùn)練過(guò)程中使用RMSprop優(yōu)化器，初始學(xué)習(xí)率1E-5，并使用了余弦退火算法在訓(xùn)練過(guò)程中動(dòng)態(tài)調(diào)整學(xué)習(xí)率。此外，所有的訓(xùn)練進(jìn)展都使用Wandb平臺(tái)在線記錄。MSMFHM模型進(jìn)行100epochs訓(xùn)練大約需要 ^3h 的計(jì)算時(shí)間。

2.3 評(píng)價(jià)指標(biāo)

對(duì)于MSMFHM和它的對(duì)照模型，采用了各種指標(biāo)進(jìn)行實(shí)驗(yàn)結(jié)果的評(píng)估，包括準(zhǔn)確度（Acc），精確度（Pre），召回率（Rec），敏感度（Sen），特異性（Spe），陽(yáng)性預(yù)測(cè)值（PPV），陰性預(yù)測(cè)值（NPV）和 F₁ 分?jǐn)?shù)。對(duì)于2類(lèi)別分類(lèi)任務(wù)（陽(yáng)性或陰性），這些指標(biāo)基于真正例（TP），真負(fù)例（TN），假正例（FP）和假負(fù)例（FN）進(jìn)行計(jì)算。

2.4實(shí)驗(yàn)結(jié)果與對(duì)比實(shí)驗(yàn)

由于該領(lǐng)域的研究主要集中在良惡性分類(lèi)上，專門(mén)針對(duì)白血病惡性分類(lèi)的模型相對(duì)較少。因此，本文對(duì)提出的MSMF-HM模型與幾種廣泛使用的最先進(jìn)模型以及三種最新的相關(guān)模型進(jìn)行了比較評(píng)估。這些模型包括 MViTv2^[24] （2022）、Conv-NeXt^[20] （2022）、 ViT^[13] （2020）、PMG[18]（2020）、Swin Trans-former[25]（2021），以及 SDCT-AuxNet[10]（2020）、H-MIL[26]（2023）和文獻(xiàn)[17]（2021）中的模型。所有模型均在相同的超參數(shù)設(shè)置下收斂，并基于相同的標(biāo)準(zhǔn)對(duì)測(cè)試數(shù)據(jù)集上的性能進(jìn)行了比較。

表1展示了這些模型在血細(xì)胞圖像分類(lèi)測(cè)試過(guò)程中三次實(shí)驗(yàn)的平均結(jié)果。MSMFHM表現(xiàn)出了卓越的整體性能，以 93.03% 的最高準(zhǔn)確率（Acc）顯著超過(guò)了其他網(wǎng)絡(luò)。盡管大多數(shù)模型的準(zhǔn)確率接近 89% ，但數(shù)據(jù)集的不平衡（2235個(gè)負(fù)樣本對(duì)比5121個(gè)正樣本）導(dǎo)致分類(lèi)器傾向于多數(shù)類(lèi)，造成了更高的特異性（Spe）和精確度（PPV）。然而，MSMFHM在代表了少數(shù)類(lèi)敏感性（Sen）和陰性預(yù)測(cè)值（NPV）上取得了更高的結(jié)果，從而有助于整體性能的提升和 F₁ 得分的提高。通過(guò)比較表1可以發(fā)現(xiàn)，與注意力相關(guān)的模型如ViT、SwinTransformer和MViTv2模型在整體得分上表現(xiàn)良好。這表明細(xì)胞圖像中的紋理信息可以通過(guò)基于注意力的全局特征提取方法在一定程度上被識(shí)別，但由于缺乏細(xì)粒度識(shí)別能力導(dǎo)致其無(wú)法很好地區(qū)分疾病亞型。因此，MSMFHM通過(guò)將注意力機(jī)制與紋理特征相結(jié)合，與多尺度特征提取框架相結(jié)合，有效彌補(bǔ)了注意力模型的缺點(diǎn)，提高了整體性能。

隨后，本文使用公開(kāi)數(shù)據(jù)集組成的獨(dú)立外部測(cè)試集對(duì)模型效果進(jìn)行驗(yàn)證，在此期間不對(duì)訓(xùn)練權(quán)重進(jìn)行任何微調(diào)。在表2中，Transformer系列模型的準(zhǔn)確度相比表1大幅下降，表示該系列模型受限于數(shù)據(jù)集規(guī)模和模型復(fù)雜度出現(xiàn)了過(guò)擬合現(xiàn)象。同樣CNN系列模型準(zhǔn)確率也有下滑，其中表現(xiàn)最差的是細(xì)粒度圖像識(shí)別模型PMG，這表明雖然血細(xì)胞分類(lèi)符合細(xì)粒度識(shí)別的類(lèi)間差距小的特點(diǎn)，但由于數(shù)據(jù)集偏小的緣故，導(dǎo)致模型所需有效樣本不足，出現(xiàn)了過(guò)擬合現(xiàn)象。與之相對(duì)應(yīng)的，本文模型相比其他模型再次表現(xiàn)出了最好的 Acc 與 F₁ 分?jǐn)?shù)，這表明模型能夠在小樣本數(shù)據(jù)集中提取出兼具差異性與泛化性的重要特征，展示了模型強(qiáng)大的綜合能力。

MSMFHM參數(shù)量約為 105M ，計(jì)算量約為 20G ，略大于：a）傳統(tǒng)卷積模型，如PMG模型（base模型參數(shù)量約為 63M ，計(jì)算量約為15G）;b）注意力相關(guān)模型，如ViT（base模型參數(shù)量約為 86M ，計(jì)算量約為17G），SwinTransformer（base模型參數(shù)量約為 88M ，計(jì)算量約為15G）。綜上所述，MSMFHM的參數(shù)量與計(jì)算量在正?？山邮艿姆秶鷥?nèi)，但仍存在優(yōu)化空間，需要進(jìn)一步的研究加以改進(jìn)。

所示，其中（a）＼～（c）為AML圖像，（d） ～ （f）為ALL圖像，紅色區(qū)域表示與輸出高度相關(guān)的區(qū)域，也就是模型的主要關(guān)注點(diǎn)（見(jiàn)電子版）。注意力區(qū)域的清晰顯示表明MSMFHM模型成功地捕獲了不同白血病種類(lèi)細(xì)胞之間最具有差異性特征的細(xì)胞核區(qū)域。這進(jìn)一步強(qiáng)調(diào)了MSMFHM模型在識(shí)別白血病細(xì)胞中的關(guān)鍵特征方面的有效性和準(zhǔn)確性。

通過(guò)這種可視化方法可以更加深入地理解模型的工作原理，為其在臨床實(shí)踐中的應(yīng)用提供了有力的支持。

此外，本文還使用 χ_t -SNE對(duì)原始圖像和模型特征圖進(jìn)行分析，分析結(jié)果如圖7所示。在圖7（a）中，可以明顯看到原始圖像中的不同樣本類(lèi)別混雜在一起，這代表各類(lèi)樣本原始特征相似，為有效區(qū)分帶來(lái)了挑戰(zhàn)。而在圖7（b）中，經(jīng)過(guò)網(wǎng)絡(luò)處理后，不同樣本類(lèi)別之間顯示出了明顯的邊界。同時(shí)，原始圖像由于具有豐富的復(fù)雜特征使其在 χ_t -SNE處理后，導(dǎo)致信息丟失并使樣本點(diǎn)在二維空間中呈現(xiàn)出廣泛散布的狀態(tài)。而處理后的圖像簡(jiǎn)化了原始特征，增強(qiáng)了不同類(lèi)別樣本之間的區(qū)分性特征，增加了類(lèi)間距離并改變了樣本點(diǎn)分布，導(dǎo)致處理后部分空間未被完全占據(jù)。此情況表明了該網(wǎng)絡(luò)在特征選擇和提取方面具有卓越的能力。

綜上所述，MSMFHM在所有六項(xiàng)標(biāo)準(zhǔn) Acc.Spe.Sen.PPV 、NPV和 F₁ 分?jǐn)?shù)方面均取得了較好的成績(jī)，綜合性能優(yōu)于其他模型，且所提出的MSMFHM相比于其他模型在不平衡數(shù)據(jù)條件下具有更好的健壯性。

2.5 消融實(shí)驗(yàn)

為了評(píng)估結(jié)構(gòu)改進(jìn)的效果并探討所提出的MSMFHM模型的效率，本文在相同的訓(xùn)練和驗(yàn)證設(shè)置下進(jìn)行了多組消融實(shí)驗(yàn)。MSMFHM消融實(shí)驗(yàn)的主干網(wǎng)絡(luò)是官方的ConvNeXt-base網(wǎng)絡(luò)。消融實(shí)驗(yàn)的結(jié)果如表3所示。當(dāng)移除MSM模塊時(shí)，將使用拼接操作進(jìn)行替換；當(dāng)移除RF模塊時(shí)，模型則改為多尺度特征提取后利用ConvBlock進(jìn)行特征圖大小的統(tǒng)一；當(dāng)移除MFM模塊時(shí)，模型僅使用輸入圖像的多尺度特征進(jìn)行分類(lèi)預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，移除任何一個(gè)模塊都會(huì)導(dǎo)致模型性能下降，凸顯出這三個(gè)模塊在分類(lèi)預(yù)測(cè)中的重要作用。

在消融實(shí)驗(yàn)中，本文設(shè)計(jì)了不同條件的八次實(shí)驗(yàn)，以考察每個(gè)模塊對(duì)模型性能的影響。最初，當(dāng)未使用任何模塊時(shí)，模型的整體準(zhǔn)確率為 88.79% ，敏感性為 80.68% 。這表明基礎(chǔ)模型具備一定的識(shí)別能力，但在識(shí)別負(fù)樣本方面表現(xiàn)較弱。RF模塊旨在通過(guò)控制輸入大小來(lái)幫助多尺度特征提取網(wǎng)絡(luò)生成不同尺度的特征。僅添加RF模塊后，模型的準(zhǔn)確率顯著提高至 90.19% 。MSM模塊是網(wǎng)絡(luò)中最關(guān)鍵的模塊，它通過(guò)編碼和注意力機(jī)制有效整合了分層特征。引入MSM模塊后，模型的準(zhǔn)確率達(dá)到92. 14% ，敏感性達(dá)到 87.75% 。這凸顯了MSM模塊在提升模型整體性能和識(shí)別負(fù)樣本方面的重要作用。引入MFM模塊的目的是增強(qiáng)特征的豐富性并提高模型的整體性能。然而，單獨(dú)使用MFM模塊對(duì)模型準(zhǔn)確率的影響較小，表明在當(dāng)前實(shí)驗(yàn)設(shè)置下其對(duì)模型性能的貢獻(xiàn)有限。此外，RF和MSM模塊的同時(shí)使用進(jìn)一步將模型的準(zhǔn)確率提升至92.12% ，展示了這兩個(gè)模塊之間的協(xié)同效應(yīng)。另外，RF和MFM模塊的組合，以及MSM和MFM模塊的組合，表明MFM模塊在組合使用時(shí)表現(xiàn)更佳，更適合與其他模塊進(jìn)行協(xié)同合作。最終，在同時(shí)啟用所有模塊的情況下，模型實(shí)現(xiàn)了最佳性能，準(zhǔn)確率達(dá)到 93.03% 新 F₁ 得分為 92.62% 。這表明同時(shí)利用RF、MSM和MFM模塊能夠最大限度地提升模型性能及其識(shí)別正負(fù)樣本的能力。

3結(jié)束語(yǔ)

為解決小樣本不平衡數(shù)據(jù)集的細(xì)粒度識(shí)別問(wèn)題，本研究提出了MSMFHM模型，通過(guò)多尺度多特征混合設(shè)計(jì)，將對(duì)細(xì)粒度特征識(shí)別框架進(jìn)行改進(jìn)，成功引人了一個(gè)更為有效的模型網(wǎng)絡(luò)到白血病圖像分析領(lǐng)域。與現(xiàn)有的先進(jìn)模型相比，MSMFHM在準(zhǔn)確度和 F₁ 分?jǐn)?shù)顯著提升。通過(guò)有效整合多尺度特征和紋理特征，MSMFHM模型能夠從多個(gè)角度對(duì)細(xì)胞進(jìn)行全面而細(xì)致的建模。在特征融合階段，通過(guò)利用注意力機(jī)制的全局建模能力，MSMFHM有效地從多尺度特征和紋理特征中提取有價(jià)值的信息。與注意力相關(guān)模型和細(xì)粒度識(shí)別模型相比，MSMFHM的多尺度特征提取設(shè)計(jì)增強(qiáng)了模型的穩(wěn)定性和魯棒

在未來(lái)的研究中，計(jì)劃通過(guò)在不同數(shù)據(jù)集上進(jìn)行更多實(shí)驗(yàn)來(lái)進(jìn)一步探索模型的潛力。同時(shí)，將繼續(xù)優(yōu)化模型的架構(gòu)和損失函數(shù)，以提升其性能和效率。此外，未來(lái)的目標(biāo)還包括探討如何將這些研究成果轉(zhuǎn)換為實(shí)際的臨床應(yīng)用，從而推動(dòng)白血病的診斷和治療。

參考文獻(xiàn)：

[1]SainiA，KumarM，Bhatt S，et al.Cancercauses andtreatments [J].International Journal of Pharmaceutical Sciencesand Research，2020，11：3121-3134.

[2]Mittal A，Dhalla S，Gupta S，et al. Automated analysis of blood smearimages forleukemia detection：a comprehensivereview[J]. ACM Computing Surveys（CSUR），2022，54（11s）：1-37.

[3]Mishra S，Majhi B，Sa P K，et al.Gray level co-occurrence matrix and random forest based acute lymphoblastic leukemia detection [J]. Biomedical Signal Processing and Control，2017，33：272-280.

[4]Rawat J，Singh A，Bhadauria H，et al.Classification of acute lymphoblasticleukaemiausinghybrid hierarchical classifiers[J].Multimedia Tools and Applications，2017，76（18）：19057-19085.

[5]Srisukkham W，Zhang Li，Neoh S，et al.Intelligent leukaemia diag nosis with bare-bones PSO based feature optimization [J].Applied Soft Computing，2017，56：405-419.

[6]Laosai J， Chamnongthai K. Deep-learning-based acute leukemia classification using imaging flow cytometry and morphology[C]//Proc of International Symposium on Intelligent Signal Processing and Communication Systems. Piscataway，NJ：IEEE Press，2018： 427-430.

[7]Rawat J， Virmani J，Singh A，et al.FAB clasification of acute leukemiausingan ensembleof neural networks[J].Evolutionary Intelligence，2022，15（1）：99-117.

[8]Yu Wei，Chang Jing，Yang Cheng，et al.Automatic classification of leukocytes using deep neural network [C]//Proc of the 12th IEEE International Conference on ASIC. Piscataway，NJ： IEEE Press，， 2017：1041-1044.

[9]Mourya S，KantS，Kumar P，et al. LeukoNet：DCT-based CNN architecturefor the classfication ofnormal versusleukemic blastsin B-ALL cancer[EB/OL]. （2018-10-18）.htps：//arxiv.org/abs/ 1810. 07961.

[10]Gehlot S，Gupta A，GuptaR.SDCT-AuxNet 0：DCTaugmented staindeconvolutional CNNwithauxiliaryclassifierforcancer diagnosis [J].Medical ImageAnalysis，2020，61：101661.

[11]Verma E，Singh V. ISBI challenge 2O19：convolution neural networks for B-ALL cell classification [C]//Proc of ISBI C-NMC Challenge ： Classification in Cancer Cell Imaging：Select Proceedings.2019： 131-139.

[12]Kassani Sh，Kassani Ph，WesolowskiM，et al.A hybrid deeplearningarchitecture for leukemic B-lymphoblast classification [C]/′ （20 Proc of International Conference on Information and Communication Technology Convergence. Piscataway，NJ：IEEE Press，2019：271-276.

[13]DosovitskiyA，BeyerL，Kolesnikov A，etal.An image is worth 16x16 words：Transformers for image recognition at scale [EB/OL]. （2020-10-22）.https：//arxiv.org/abs/2010.11929.

[14]Dai Zihang，Liu Hanxiao，Le Q V，et al. CoAtNet： marrying convolutionandattentionforall datasizes[C]//Procofthe35th International Conference on Neural Information System.Red Hook，NT：Curran Associations Inc.，Piscataway，NJ：IEEEPress，2021：3965-3977.

[15]Wu Haiping，Xiao Bin，Codella N，et al.CvT：introducing convolutionstovision transformers[C]//Proc ofIEEE/CVFInternational Conference on Computer Vision. 2021：22-31.

[16] Zhang Tianyi，F(xiàn)eng Yunlu，Zhao Yu，et al.MSHT：multi-stage hybrid Transformer for the ROSE image analysis of pancreatic cancer [J]. IEEE Journal of Biomedical and Health Informatics，2023， 27（4）：1946-1957.

[17]Jiang Zhencun，Dong Zhengxin，Wang Lingyang，et al.Method for diagnosis of acute lymphoblastic leukemia based on ViT-CNN ensemble model[M]// Computational Intelligence and Neuroscience.2021.

[18]DuRuoyi，Chang Dongliang，Bhunia AK，et al.Fine-grained visual classification via progressivemulti-granularity training of jigsaw patches [C]//Proc of European Conference on Computer Vision. Cham：Springer，2020：153-168.

[19]HeKaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual learningforimagerecognition[C]//Procof IEEEConferenceon Computer Vision and Patern Recognition. Piscataway，NJ： IEEE Press，2016： 770-778.

[20]Liu Zhuang，Mao Hanzi，WuCY，etal.A ConvNet for the 2020s [C]//Proc of IEEE/CVF Conference on ComputerVisionand Pattern Recognition． 2022：11976-11986.

[21]Yu Weihao，LuoMi，Zhou Pan，et al.MetaFormer isactually what you need for vision [C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press， 2022：10819-10829.

[22]Hehr M，Sadafi A，Matek C，et al. Explainable AI identifies diagnostic cells of genetic AML subtypes[J].PLOS Digital Health，2023， 2（3）：e0000187.

[23]KirillovA，Mintun E，Ravi N，et al.Segment anything[C]//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ：IEEE Press，2023：4015-4026.

[24]Li Yanghao，Wu C Y，F(xiàn)an Haoqi，et al.MViTv2：improved multiscale vision transformers for classification and detection[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022：4804-4814.

[25]Liu Ze，Lin Yutong，Cao Yue，et al.Swin Transformer：hierarchical vision transformer using shifted windows[C]//Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2021：10012-10022.

[26]Gao Zeyu，Mao Anyu，Wu Kefei，et al.Childhood leukemia classificationviainformationbottleneck enhancedhierarchicalmulti-instance learming[J]. IEEE Trans on Medical Imaging，2023，42（8）： 2348-2359.

[27]SelvarajuRR，CogswellM，DasA，et al.Grad-CAM：visual explanations from deep networksvia gradient-basedlocalization [C]// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ：IEEE Press，2017：618-626.