摘" 要: 針對(duì)傳統(tǒng)及人工方法識(shí)別多種類、大量微生物細(xì)胞存在耗時(shí)長(zhǎng)、準(zhǔn)確率低等問(wèn)題,文中提出一種改進(jìn)YOLOv7的微生物細(xì)胞識(shí)別算法YOLOv7?PN。通過(guò)引入改進(jìn)的路徑聚合網(wǎng)絡(luò)(PANet)提取和融合不同尺度的特征,以捕捉細(xì)胞圖像中的多尺度信息,從而提高細(xì)胞的檢測(cè)精度和魯棒性;在骨干網(wǎng)絡(luò)添加注意力模塊(NAM),能夠自適應(yīng)地學(xué)習(xí)每個(gè)通道的權(quán)重,提高細(xì)胞的特征表示能力;將傳統(tǒng)的IoU邊界框損失函數(shù)替換為DIoU_Loss,以考慮邊界框之間的距離和重疊程度,能夠更準(zhǔn)確地衡量檢測(cè)框的精度,從而提高細(xì)胞的定位準(zhǔn)確性。實(shí)驗(yàn)結(jié)果表明,使用BCCD數(shù)據(jù)集進(jìn)行評(píng)估時(shí),文中算法在微生物細(xì)胞識(shí)別任務(wù)中取得了顯著的提升,與基準(zhǔn)算法YOLOv7相比,YOLOv7?PN的Precision值提高了1.46%、[F1]值提高了2.61%、Accuracy值提高了0.86%。實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性和性能優(yōu)勢(shì),為微生物學(xué)研究和醫(yī)學(xué)診斷等領(lǐng)域的微生物細(xì)胞分析提供了有力支持。
關(guān)鍵詞: 微生物細(xì)胞; YOLOv7; YOLOv7?PN; PANet; NAM; DIoU_Loss
中圖分類號(hào): TN911.7?34; TP391" " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼: A" " " " " " " " " " "文章編號(hào): 1004?373X(2025)01?0047?08
Microbial cell recognition algorithm based on improved YOLOv7
Lü Yanpeng1, 2, ZHAO Yingtong1, 2, SU Xiaoming1, 3, LIU Zhanying1, 2
(1. Inner Mongolia Autonomous Region Fermentation Industry Energy Saving and Emission Reduction Engineering and Technology Research Center,"Hohhot 010051, China;
2. Inner Mongolia Autonomous Region Engineering Research Center for Green Manufacturing of Bio?fermentation, Hohhot 010051, China;
3. College of Data Science and Application, Inner Mongolia University of Technology, Hohhot 010051, China)
Abstract: It is time?consuming when the traditional and manual methods are used to identify multiple species and large quantity of microbial cells, and the identification accuracy is low. In view of this, a microbial cell recognition algorithm named YOLOv7?PN based on the improved YOLOv7 is proposed. The improved path aggregation network (PANet) is introduced to enable the extraction and fusion of features at different scales in order to facilitate the capture of multi?scale information in cell images, which enhances its detection accuracy and robustness of cells. The incorporation of NAM into the backbone network enables the adaptive learning of weights for each channel, which enhances the feature representation of cells. Furthermore, the replacement of the traditional IoU bounding box loss function with DIoU_Loss allows for the consideration of the distance and overlap between bounding boxes, thereby facilitating more accurate precision measurement, which, in turn, enhances the accuracy of cell localization. The experimental results demonstrate that the algorithm presented in this paper exhibits a notable enhancement in the capacity to recognize microbial cells when evaluated with the BCCD dataset. In comparison to the benchmark algorithm YOLOv7, the YOLOv7?PN demonstrates an improvement. Its precision is increased by 1.46%, its [F1] by 2.61% and its accuracy rate by 0.86%. The experimental results demonstrate the efficacy and superiority of the algorithm. Therefore, the algorithm can provide compelling evidence for its utility in the microbial cell analysis in microbiology research and medical diagnosis, as well as in other fields.
Keywords: microbial cell; YOLOv7; YOLOv7?PN; PANet; NAM; DIoU_Loss
0" 引" 言
微生物細(xì)胞的準(zhǔn)確識(shí)別和分類對(duì)于生物學(xué)研究、醫(yī)學(xué)診斷和環(huán)境監(jiān)測(cè)等領(lǐng)域具有重要意義[1]。傳統(tǒng)的鏡檢工作廣泛應(yīng)用于科研、生物科技、醫(yī)療機(jī)構(gòu)領(lǐng)域。鏡檢工作檢測(cè)人員通過(guò)肉眼對(duì)顯微鏡下的目標(biāo)直接進(jìn)行觀察,對(duì)視野中的微生物根據(jù)自身經(jīng)驗(yàn)進(jìn)行判斷、分類和計(jì)數(shù)。這種檢驗(yàn)方法效率低,檢測(cè)過(guò)程參雜主觀因素,檢測(cè)準(zhǔn)確度隨著工作時(shí)間的增加出現(xiàn)下降,需要對(duì)樣本進(jìn)行多次重復(fù)的檢驗(yàn),耗費(fèi)大量人力物力。在生產(chǎn)過(guò)程中,由于檢測(cè)樣本多,效率難以進(jìn)一步提高,影響后續(xù)生產(chǎn)進(jìn)度。傳統(tǒng)鏡檢方法已經(jīng)難以適用于生物形態(tài)學(xué)方面的檢測(cè)[2]。
近年來(lái),深度學(xué)習(xí)作為一種強(qiáng)大的機(jī)器學(xué)習(xí)技術(shù)在圖像識(shí)別領(lǐng)域取得了顯著的進(jìn)展,并在醫(yī)學(xué)影像分析等領(lǐng)域展現(xiàn)出巨大的潛力[3]。同時(shí),深度學(xué)習(xí)在細(xì)胞識(shí)別領(lǐng)域呈現(xiàn)出蓬勃的發(fā)展態(tài)勢(shì),很多學(xué)者都提出了創(chuàng)新方法。文獻(xiàn)[4]提出了基于遷移學(xué)習(xí)的模型,用于準(zhǔn)確預(yù)測(cè)T細(xì)胞受體(T Cell Receptor, TCR)與抗原的結(jié)合特異性,利用TCR和抗原的序列信息進(jìn)行訓(xùn)練,并在實(shí)驗(yàn)中證實(shí)了該方法的有效性和準(zhǔn)確性。文獻(xiàn)[5]提出了一種基于深度學(xué)習(xí)的免疫細(xì)胞分化方法,通過(guò)構(gòu)建深度神經(jīng)網(wǎng)絡(luò)模型,利用免疫細(xì)胞的高維數(shù)據(jù),如表面標(biāo)記物和基因表達(dá),實(shí)現(xiàn)對(duì)免疫細(xì)胞的準(zhǔn)確分類和分化狀態(tài)的預(yù)測(cè)。文獻(xiàn)[6]提出了一種基于物聯(lián)網(wǎng)健康設(shè)備驅(qū)動(dòng)的深度學(xué)習(xí)系統(tǒng),利用遷移學(xué)習(xí)技術(shù)進(jìn)行宮頸細(xì)胞的檢測(cè)和分類,通過(guò)收集和分析宮頸細(xì)胞圖像數(shù)據(jù),結(jié)合深度學(xué)習(xí)模型和物聯(lián)網(wǎng)技術(shù),實(shí)現(xiàn)了對(duì)宮頸細(xì)胞的自動(dòng)化檢測(cè)和分類。文獻(xiàn)[7]提出了一種基于深度學(xué)習(xí)的全切片圖像分析方法,用于宮頸癌篩查,通過(guò)訓(xùn)練深度學(xué)習(xí)模型,實(shí)現(xiàn)了對(duì)宮頸癌細(xì)胞的自動(dòng)檢測(cè)和分類,提供了一種高效、準(zhǔn)確的篩查方法。文獻(xiàn)[8]提出了一種基于深度學(xué)習(xí)和典型相關(guān)分析的白細(xì)胞圖像分類方法,他們利用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)及典型相關(guān)分析技術(shù)實(shí)現(xiàn)了對(duì)白細(xì)胞圖像的自動(dòng)分類。文獻(xiàn)[9]提出了一種基于YOLOv5的鹿食植物細(xì)胞識(shí)別方法,利用深度學(xué)習(xí)模型和目標(biāo)檢測(cè)算法實(shí)現(xiàn)了對(duì)鹿食植物細(xì)胞的快速、準(zhǔn)確識(shí)別,為植物研究和生態(tài)保護(hù)提供了有益的圖像分析工具。文獻(xiàn)[10]提出了一種基于Transformer的宮頸異常細(xì)胞自動(dòng)識(shí)別方法,通過(guò)改進(jìn)的Transformer編碼器結(jié)構(gòu)和自適應(yīng)動(dòng)態(tài)IoU(Intersection over Union)閾值,能夠準(zhǔn)確地識(shí)別宮頸異常細(xì)胞,提高診斷的準(zhǔn)確性和效率。文獻(xiàn)[11]提出了一種和人工提取特征相結(jié)合的新的宮頸細(xì)胞分類方法,能夠提高宮頸細(xì)胞分類的準(zhǔn)確性和性能,為宮頸癌的早期診斷和預(yù)防提供了有效的解決方案。文獻(xiàn)[12]通過(guò)遷移學(xué)習(xí)的方法改進(jìn)了基于YOLOv5s的植物葉片細(xì)胞識(shí)別率,通過(guò)應(yīng)用預(yù)訓(xùn)練模型參數(shù)、調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和微調(diào)參數(shù),顯著提高了植物葉片細(xì)胞的識(shí)別準(zhǔn)確性。
文獻(xiàn)[13]提出了一種基于區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的白細(xì)胞檢測(cè)和分類方法,利用區(qū)域卷積神經(jīng)網(wǎng)絡(luò)對(duì)白細(xì)胞進(jìn)行檢測(cè)和分類,通過(guò)對(duì)圖像的不同區(qū)域進(jìn)行局部特征提取和分類,提高了白細(xì)胞檢測(cè)和分類的準(zhǔn)確性。文獻(xiàn)[14]使用殘差網(wǎng)絡(luò)(Residual Network, ResNet)的變種進(jìn)行圖像分類的深度學(xué)習(xí),用于結(jié)直腸癌的檢測(cè),通過(guò)應(yīng)用ResNet的不同變體進(jìn)行圖像分類,以提高結(jié)直腸癌的檢測(cè)準(zhǔn)確性。文獻(xiàn)[15]提出了一種改進(jìn)的YOLOv5算法,用于血細(xì)胞的檢測(cè)和計(jì)數(shù),通過(guò)改進(jìn)的EIoU(Enhanced Intersection over Union)技術(shù),并應(yīng)用于YOLOv5算法中,實(shí)現(xiàn)了對(duì)血細(xì)胞的準(zhǔn)確檢測(cè)和計(jì)數(shù)。文獻(xiàn)[16]提出了一種基于改進(jìn)的YOLOv5模型的熒光圖像細(xì)胞智能檢測(cè)方法,通過(guò)對(duì)YOLOv5模型進(jìn)行改進(jìn),針對(duì)熒光圖像細(xì)胞的特點(diǎn)進(jìn)行優(yōu)化,實(shí)現(xiàn)了對(duì)熒光圖像中細(xì)胞的智能檢測(cè)。文獻(xiàn)[17]提出了一種新方法,利用上下文的模式預(yù)測(cè)TCR和表位之間的識(shí)別關(guān)系。通過(guò)將序列信息和深度學(xué)習(xí)技術(shù)結(jié)合起來(lái),能夠準(zhǔn)確預(yù)測(cè)TCR和表位之間的識(shí)別關(guān)系,為免疫學(xué)研究和個(gè)體化免疫治療提供了重要的見(jiàn)解。文獻(xiàn)[18]通過(guò)應(yīng)用深度學(xué)習(xí)技術(shù),開(kāi)發(fā)了一種能夠準(zhǔn)確識(shí)別和檢測(cè)腫瘤細(xì)胞的算法。文獻(xiàn)[19]提出了一種基于色彩空間模型的乳腺癌細(xì)胞識(shí)別方法,探索了使用色彩空間模型特征來(lái)區(qū)分乳腺癌細(xì)胞和正常細(xì)胞,并通過(guò)圖像處理和分類算法實(shí)現(xiàn)了乳腺癌細(xì)胞的自動(dòng)識(shí)別。文獻(xiàn)[20]通過(guò)利用患者診斷標(biāo)簽來(lái)訓(xùn)練檢測(cè)不同類型急性白血病的弱監(jiān)督模型,在弱監(jiān)督下對(duì)血片進(jìn)行自動(dòng)可靠的分析,成功實(shí)現(xiàn)了對(duì)急性早幼粒細(xì)胞白血病的自動(dòng)檢測(cè)。
上述眾多創(chuàng)新算法的涌現(xiàn),在一定程度上提升了對(duì)血細(xì)胞的檢測(cè),為深度學(xué)習(xí)在細(xì)胞識(shí)別領(lǐng)域的應(yīng)用開(kāi)辟了廣闊前景,顯示出巨大的潛力。但仍然存在以下不足之處。
1) 特征表示能力有限。由于微生物細(xì)胞的形態(tài)、紋理等特征復(fù)雜多變,僅僅依賴傳統(tǒng)的卷積操作無(wú)法充分提取和利用這些關(guān)鍵信息,導(dǎo)致在識(shí)別微生物細(xì)胞時(shí)可能出現(xiàn)誤判或漏檢的情況。
2) 多尺度特征融合不足。微生物細(xì)胞在圖像中可能呈現(xiàn)不同的大小和尺度,難以有效捕捉不同大小微生物細(xì)胞的信息,影響檢測(cè)精度和魯棒性。
3) 小目標(biāo)檢測(cè)效果不佳。由于細(xì)胞的密集分布或拍攝角度等原因,小目標(biāo)細(xì)胞往往占比較小,模型在處理小目標(biāo)檢測(cè)時(shí)效果不佳,容易出現(xiàn)漏檢和定位不準(zhǔn)確的情況。
針對(duì)上述問(wèn)題,本文提出一種基于YOLOv7框架的高效血細(xì)胞檢測(cè)算法。首先,通過(guò)引入NAM(Normalization?based Attention Module)機(jī)制,使得模型能夠自適應(yīng)地學(xué)習(xí)每個(gè)通道的權(quán)重,強(qiáng)調(diào)對(duì)細(xì)胞識(shí)別至關(guān)重要的特征,并抑制無(wú)關(guān)或噪聲信息,增強(qiáng)模型對(duì)微生物細(xì)胞的識(shí)別準(zhǔn)確性;其次,通過(guò)引入改進(jìn)的路徑聚合網(wǎng)絡(luò)(Path Aggregation Network, PANet),提取和融合不同尺度的特征,以捕捉細(xì)胞圖像中的多尺度信息,從而提高細(xì)胞的檢測(cè)精度和魯棒性;最后,采用DIoU_Loss(Distance?IoU Loss)損失函數(shù)代替原有的損失交叉熵函數(shù),充分考慮邊界框之間的距離和重疊程度,能夠更準(zhǔn)確地衡量檢測(cè)框的精度,從而提高細(xì)胞的定位準(zhǔn)確性。改進(jìn)后的YOLOv7模型結(jié)合大規(guī)模的微生物細(xì)胞圖像數(shù)據(jù)集,提高了微生物細(xì)胞識(shí)別的準(zhǔn)確性和魯棒性。
本文方法旨在為微生物細(xì)胞的自動(dòng)識(shí)別和分類提供一個(gè)有效的解決方案,為微生物學(xué)、醫(yī)學(xué)等領(lǐng)域的研究和應(yīng)用提供有力支持。
1" 改進(jìn)的YOLOv7?PN結(jié)構(gòu)設(shè)計(jì)
改進(jìn)的基于YOLOv7的微生物細(xì)胞檢測(cè)算法YOLOv7?PN結(jié)合了PANet、NAM機(jī)制和DIoU_Loss來(lái)提升檢測(cè)性能。
PANet用于實(shí)現(xiàn)多尺度特征融合,提高模型對(duì)微生物細(xì)胞的多尺度表示能力。通過(guò)在網(wǎng)絡(luò)中添加跨層連接或金字塔結(jié)構(gòu),將高層語(yǔ)義信息與低層細(xì)節(jié)信息進(jìn)行融合,以更好地捕捉微生物細(xì)胞的細(xì)節(jié)和上下文信息。
NAM用于增強(qiáng)模型對(duì)微生物細(xì)胞的關(guān)注能力,通過(guò)學(xué)習(xí)通道間的關(guān)系來(lái)自適應(yīng)地調(diào)整特征圖中每個(gè)通道的重要性,可以幫助模型更好地集中注意力在微生物細(xì)胞相關(guān)的特征上,提高檢測(cè)的準(zhǔn)確性。
DIoU_Loss是一種用于目標(biāo)檢測(cè)的損失函數(shù),它在計(jì)算目標(biāo)框之間的IoU時(shí)考慮了物體之間的距離。相比傳統(tǒng)的IoU_Loss,DIoU_Loss考慮了目標(biāo)框之間的緊湊性和位置關(guān)系,可以更準(zhǔn)確地度量目標(biāo)檢測(cè)的質(zhì)量[21]。引入DIoU_Loss可以優(yōu)化模型的訓(xùn)練過(guò)程,提高微生物細(xì)胞檢測(cè)的精度和穩(wěn)定性。
綜上所述,YOLOv7?PN微生物細(xì)胞檢測(cè)算法通過(guò)引入PANet實(shí)現(xiàn)了多尺度特征融合,利用NAM機(jī)制增強(qiáng)關(guān)注能力,并采用DIoU_Loss優(yōu)化檢測(cè)的質(zhì)量。這些技術(shù)的引入可以提高微生物細(xì)胞檢測(cè)的性能,提高準(zhǔn)確性和穩(wěn)定性。YOLOv7?PN算法總框架圖如圖1所示。
1.1" PANet
PANet是一種用于目標(biāo)檢測(cè)的多尺度特征融合網(wǎng)絡(luò)結(jié)構(gòu),設(shè)計(jì)目的是解決目標(biāo)檢測(cè)任務(wù)中多尺度目標(biāo)的檢測(cè)問(wèn)題。
PANet在特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network, FPN)[22]的基礎(chǔ)上引入了兩個(gè)關(guān)鍵組件:自頂向下路徑和橫向連接。自頂向下路徑從網(wǎng)絡(luò)的高層逐漸向下傳播,通過(guò)上采樣操作將高層特征圖的分辨率逐漸恢復(fù)到原始輸入圖像的分辨率;橫向連接則將自頂向下路徑中的特征圖與FPN中對(duì)應(yīng)尺度的特征圖進(jìn)行融合,實(shí)現(xiàn)了多尺度特征的聚合。PANet的主干網(wǎng)絡(luò)模型結(jié)構(gòu)圖如圖2所示。
首先,F(xiàn)PN網(wǎng)絡(luò)生成一組金字塔特征圖,其中每個(gè)特征圖對(duì)應(yīng)一種尺度的特征表示,PANet從最高分辨率的特征圖開(kāi)始,通過(guò)自頂向下路徑將特征圖的分辨率逐漸降低,并在每個(gè)層級(jí)上執(zhí)行上采樣操作;然后,PANet通過(guò)橫向連接將自頂向下路徑的特征圖與FPN中對(duì)應(yīng)尺度的特征圖進(jìn)行融合,得到更豐富的多尺度特征表示;最后,通過(guò)額外的卷積和池化操作對(duì)融合后的特征進(jìn)行進(jìn)一步處理,以用于目標(biāo)檢測(cè)任務(wù)中的分類和定位。
PANet的優(yōu)勢(shì)在于它能夠有效地聚合多尺度特征,提升了目標(biāo)檢測(cè)模型對(duì)不同尺度目標(biāo)的感知能力。通過(guò)引入自頂向下路徑和橫向連接,PANet能夠在保留高層語(yǔ)義信息的同時(shí),融合不同尺度的細(xì)節(jié)信息,從而提高模型在多尺度場(chǎng)景下的檢測(cè)性能。
通過(guò)引入PANet進(jìn)行多尺度特征融合,可以提升基于YOLOv7的微生物細(xì)胞檢測(cè)模型的性能。PANet能夠增強(qiáng)模型對(duì)不同尺度微生物細(xì)胞的感知能力,利用上下文信息提升細(xì)胞檢測(cè)的效果,并提高模型在多尺度場(chǎng)景下的魯棒性。
1.2" NAM機(jī)制
注意力機(jī)制通過(guò)模擬人類視覺(jué)中的注意力處理方式,篩選出圖像中的重要部分,以便更好地進(jìn)行判斷。在目標(biāo)檢測(cè)中引入注意力機(jī)制可以使模型聚焦于圖像中的關(guān)鍵信息,過(guò)濾掉無(wú)關(guān)信息,從而節(jié)省計(jì)算資源,并提高對(duì)小目標(biāo)的檢測(cè)效果。NAM機(jī)制是一種注意力機(jī)制的變體,它通過(guò)引入規(guī)范化操作來(lái)增強(qiáng)注意力的表示能力和魯棒性[23]。在傳統(tǒng)的注意力機(jī)制中,通常使用softmax函數(shù)對(duì)注意力權(quán)重進(jìn)行歸一化,使其滿足概率分布的性質(zhì)。然而,softmax操作的一個(gè)潛在問(wèn)題是對(duì)于較大或較小的輸入值,它的梯度可能會(huì)變得非常小,導(dǎo)致梯度消失或梯度爆炸的問(wèn)題。
為了解決這個(gè)問(wèn)題,NAM引入了規(guī)范化操作,以更好地處理注意力權(quán)重。具體而言,NAM在計(jì)算注意力權(quán)重之后對(duì)權(quán)重進(jìn)行規(guī)范化處理,以確保注意力權(quán)重的有效范圍和穩(wěn)定性。這個(gè)規(guī)范化操作可以根據(jù)具體的設(shè)計(jì)選擇不同的方法,例如通過(guò)調(diào)整權(quán)重的范圍或重新縮放權(quán)重。通過(guò)引入規(guī)范化操作,NAM可以更好地處理注意力權(quán)重,提高模型的魯棒性和表示能力。它在各種任務(wù)中都可以應(yīng)用,包括自然語(yǔ)言處理、圖像處理和語(yǔ)音處理等。
NAM是一種輕量級(jí)、高效的注意力機(jī)制,采用CBAM(Convolutional Block Attention Module)的模塊集成方式,重新設(shè)計(jì)了通道注意力和空間注意力子模塊,這樣,NAM可以嵌入到每個(gè)網(wǎng)絡(luò)block的最后。對(duì)于殘差網(wǎng)絡(luò),可以嵌入到殘差結(jié)構(gòu)的最后。對(duì)于通道注意力子模塊,使用了Batch Normalization中的縮放因子,如式(1)所示,縮放因子反映出各個(gè)通道的變化大小,也表示了該通道的重要性??s放因子即BN中的方差,方差越大表示該通道變化得越厲害,那么該通道中包含的信息會(huì)越豐富,重要性也越大,而那些變化不大的通道,信息單一、重要性小。
[Bout=BNBin=γBin-μBσ2B+ε+β] (1)
式中:[μB]和[σB]分別為小批量[B]的平均值和標(biāo)準(zhǔn)偏差;[γ]和[β]是可訓(xùn)練的仿射變換參數(shù)。
通道注意力子模塊如圖3所示,最后得到的輸出特征用式(2)表示:
[IC=SigmoidWθBNM1] (2)
式中:[IC]表示輸出特征;[θ]表示每個(gè)通道的縮放因子,其權(quán)重為[Wi=θi jθj]。
因此,就可以得到每個(gè)通道的權(quán)值。如果對(duì)空間中的每個(gè)像素使用同樣的歸一化方法,就可以得到空間注意力的權(quán)重,像素注意力如圖4所示。像素歸一化公式如下:
[IS=SigmoidWφBNSM2] (3)
式中:[IS]表示輸出特征;[φ]表示每個(gè)通道的縮放因子,其權(quán)重為[Wi=φi jφj]。
首先,NAM可以增強(qiáng)模型對(duì)微生物圖像中關(guān)鍵信息的關(guān)注度,從而提高目標(biāo)檢測(cè)的準(zhǔn)確性。通過(guò)引入NAM,模型可以更加集中地關(guān)注微生物圖像中的重要區(qū)域,過(guò)濾掉無(wú)關(guān)的背景信息,從而提高目標(biāo)檢測(cè)的精度和魯棒性;其次,微生物圖像中的微生物可能具有不同的尺寸和比例,而一些小尺寸的微生物可能更容易被目標(biāo)檢測(cè)模型忽略,NAM可以幫助模型更好地關(guān)注小目標(biāo),并提高對(duì)小尺寸微生物的檢測(cè)效果;最后,NAM通過(guò)規(guī)范化操作增強(qiáng)了注意力權(quán)重的表示能力和穩(wěn)定性,這有助于模型對(duì)微生物圖像中的不同特征和變化進(jìn)行更好的建模,提高模型的魯棒性,從而使模型在不同的微生物檢測(cè)場(chǎng)景中表現(xiàn)更好。
1.3" DIoU_Loss
DIoU_Loss是一種用于目標(biāo)檢測(cè)任務(wù)的損失函數(shù),它結(jié)合了距離損失和IoU損失,以提高目標(biāo)檢測(cè)模型的準(zhǔn)確性。
在傳統(tǒng)的目標(biāo)檢測(cè)任務(wù)中,常用的損失函數(shù)是IoU損失,它用于度量預(yù)測(cè)框與真實(shí)框之間的重疊程度。然而,IoU損失在處理不同尺度和長(zhǎng)寬比的目標(biāo)時(shí)存在一些問(wèn)題,因?yàn)樗鼰o(wú)法很好地刻畫它們之間的距離差異。為了解決這個(gè)問(wèn)題,DIoU_Loss引入了距離項(xiàng)來(lái)度量預(yù)測(cè)框與真實(shí)框之間的距離。具體而言,DIoU_Loss首先計(jì)算兩個(gè)框之間的距離,然后將距離信息整合到IoU計(jì)算中,形成一個(gè)綜合的損失函數(shù)。這樣,DIoU_Loss可以同時(shí)考慮目標(biāo)框之間的重疊程度和位置偏差,從而更全面地評(píng)估目標(biāo)檢測(cè)的準(zhǔn)確性。DIoU_Loss的公式可以表示為:
[DIoU_Loss=1-IoU-D2E2] (4)
IoU損失用于衡量預(yù)測(cè)框和真實(shí)框之間的重疊程度,而DIoU是距離項(xiàng),用于衡量預(yù)測(cè)框和真實(shí)框之間的距離。DIoU可以通過(guò)計(jì)算框的中心點(diǎn)距離和寬高差異的函數(shù)來(lái)獲得,通過(guò)引入DIoU_Loss,可以提高目標(biāo)定位的準(zhǔn)確性。對(duì)于微生物細(xì)胞檢測(cè)任務(wù),這意味著更準(zhǔn)確地確定細(xì)胞的位置和邊界框,可以減少模型對(duì)于位置偏移的敏感性,從而提高模型的魯棒性。在微生物細(xì)胞檢測(cè)中,細(xì)胞的大小和形狀可能會(huì)有很大的變化,引入DIoU_Loss可以提升模型對(duì)于不同尺度和長(zhǎng)寬比細(xì)胞的檢測(cè)能力。
2" 實(shí)驗(yàn)結(jié)果與分析
2.1" 實(shí)驗(yàn)環(huán)境
實(shí)驗(yàn)硬件配置如表1所示,操作系統(tǒng)為Windows 10,開(kāi)發(fā)語(yǔ)言為Python 3.8,深度學(xué)習(xí)框架為PyTorch?GPU 2.0.1,CUDA版本為12.1,cuDNN版本為7.6.5。
2.2" 實(shí)驗(yàn)數(shù)據(jù)集
BCCD(Blood Cell Count and Detection)數(shù)據(jù)集是一種常用的血液細(xì)胞計(jì)數(shù)和檢測(cè)數(shù)據(jù)集,用于計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)領(lǐng)域的研究和算法評(píng)估。該數(shù)據(jù)集共有三類364張圖像:白細(xì)胞(White Blood Cell, WBC)、紅細(xì)胞(Red Blood Cell, RBC)和血小板(Platelets),三個(gè)類別中有4 888個(gè)標(biāo)簽。BCCD血細(xì)胞數(shù)據(jù)樣例圖如圖5所示。
2.3" 評(píng)價(jià)指標(biāo)
Precision(精確率)指模型預(yù)測(cè)為正樣本中真正為正樣本的比例,即預(yù)測(cè)為正樣本且真實(shí)為正樣本的數(shù)量與所有預(yù)測(cè)為正樣本數(shù)量的比值,精確率衡量了模型預(yù)測(cè)為正樣本的準(zhǔn)確性。
[Precision=TPTP+FP] " " (5)
式中:TP(True Positive)為真正例;FP(False Positive)為假正例。
Recall(召回率)是指模型能夠正確預(yù)測(cè)為正樣本的比例,即預(yù)測(cè)為正樣本且真實(shí)為正樣本的數(shù)量與所有真實(shí)為正樣本的數(shù)量的比值。召回率衡量了模型對(duì)正樣本的識(shí)別能力。
[Recall=TPTP+FN] (6)
式中FN(False Negative)表示假負(fù)例。
Accuracy(準(zhǔn)確率)是指模型在所有樣本中正確預(yù)測(cè)的比例,即預(yù)測(cè)正確的樣本數(shù)量與總樣本數(shù)量的比值。準(zhǔn)確率衡量了模型整體的正確性。
[Accuracy=TP+TNTP+TN+FP+FN] (7)
式中TN(True Negative)表示真負(fù)例。
在某些情況下,精確率和召回率可能存在相互制約的關(guān)系,[F1]值可以幫助在兩者之間進(jìn)行平衡,它是精確率與召回率的調(diào)和平均值,可以綜合評(píng)估模型的準(zhǔn)確性和召回能力。[F1]值的取值范圍是0~1,數(shù)值越高表示模型的整體性能越好。
[F1=2×(Precision×Recall)Precision+Recall]" " (8)
2.4" 實(shí)驗(yàn)結(jié)果分析
2.4.1" 對(duì)比實(shí)驗(yàn)結(jié)果分析
表2展示了在BCCD數(shù)據(jù)集上進(jìn)行的微生物細(xì)胞識(shí)別算法對(duì)比實(shí)驗(yàn)結(jié)果。其中包括了YOLOv7、DETR、YOLOX、YOLOv5、YOLOv8以及本文提出的YOLOv7?PN算法在Precision、Recall、[F1]和Accuracy四個(gè)指標(biāo)上的表現(xiàn)。
根據(jù)表2中的對(duì)比實(shí)驗(yàn)結(jié)果可知:在BCCD數(shù)據(jù)集上,YOLOv7?PN在Precision、[F1]和Accuracy方面表現(xiàn)最優(yōu),分別為0.825 5、0.844 8和0.893 2,但在Reacll指標(biāo)上略遜于DETR模型。對(duì)比算法中,YOLOv7模型的Precision值最優(yōu)為0.813 6,YOLOX模型[F1]和Accuracy最優(yōu)為0.823 3和0.885 6;YOLOv7?PN模型相比對(duì)比算法最優(yōu)值,Precision值提高了1.46%,[F1]值提高了2.61%,Accuracy值提高了0.86%。證明了本文算法的有效性。
2.4.2" 消融實(shí)驗(yàn)
YOLOv7?PN在BCCD數(shù)據(jù)集上消融實(shí)驗(yàn)的結(jié)果如表3所示。由表3可以看出,YOLOv7?PN模型的表現(xiàn)最好,擁有最好的Precision、Recall、[F1]以及Accuracy值,分別為0.825 5、0.865 0、0.844 8和0.893 2。經(jīng)過(guò)消融實(shí)驗(yàn)對(duì)比,從YOLOv7到Y(jié)OLOv7?PANet,再到Y(jié)OLOv7?PANet?NAM,最后到Y(jié)OLOv7?PN模型,指標(biāo)值不斷提升,證明YOLOv7?PN是最佳選擇。
2.4.3" 模型預(yù)測(cè)結(jié)果可視化
本文算法YOLOv7?PN模型對(duì)血細(xì)胞的檢測(cè)效果如圖6所示,所測(cè)均為驗(yàn)證集中部分圖片。
3" 自建數(shù)據(jù)集
為進(jìn)一步驗(yàn)證本文改進(jìn)算法在細(xì)胞檢測(cè)中的提升性能,選擇自建數(shù)據(jù)集進(jìn)行了驗(yàn)證實(shí)驗(yàn)。
自建數(shù)據(jù)集圖片主要采用搜索引擎從網(wǎng)絡(luò)上獲取。包含白細(xì)胞、紅細(xì)胞、血小板和鐮狀細(xì)胞(Sicklemia)四種不同類型的細(xì)胞。通過(guò)對(duì)采集照片中重復(fù)的數(shù)據(jù)及網(wǎng)絡(luò)爬取圖片中的噪聲數(shù)據(jù)進(jìn)行剔除,使用OpenCV工具對(duì)圖片采用隨機(jī)翻轉(zhuǎn)、旋轉(zhuǎn)45°、裁剪與縮放中的一種方式進(jìn)行擴(kuò)增,最終得到3 153張圖像;再通過(guò)LabelImg工具進(jìn)行標(biāo)注并制作成VOC格式的檢測(cè)數(shù)據(jù)集。其中,2 853張用于訓(xùn)練,219張用于驗(yàn)證,81張用于測(cè)試。細(xì)胞數(shù)據(jù)樣例圖如圖7所示,自建數(shù)據(jù)集對(duì)比實(shí)驗(yàn)結(jié)果見(jiàn)表4。
從表4中可以看出,在挑戰(zhàn)性較高的自建細(xì)胞數(shù)據(jù)集檢測(cè)實(shí)驗(yàn)中,YOLOv7?PN的實(shí)驗(yàn)結(jié)果中的所有指標(biāo)均高于YOLOv7算法,與其他算法相比更具有優(yōu)勢(shì)。
為直觀展現(xiàn)檢測(cè)效果,本文改進(jìn)算法和原算法在自建數(shù)據(jù)集上的效果對(duì)比如圖8所示。可以明顯看出,改進(jìn)后的YOLOv7?PN算法漏檢和誤檢較少,具有更高的檢測(cè)精度和置信度,且在自建數(shù)據(jù)集中也能有效檢測(cè),證明改進(jìn)算法有較好的泛化性。
4" 結(jié)" 語(yǔ)
本文引入了PANet、NAM機(jī)制以及DIoU_Loss相結(jié)合的策略,提出了YOLOv7?PN模型。首先,通過(guò)引入NAM機(jī)制,自適應(yīng)地調(diào)整特征圖中每個(gè)通道的重要性,增強(qiáng)了模型對(duì)微生物細(xì)胞的關(guān)注能力;其次,引入PANet,實(shí)現(xiàn)了多尺度特征融合,從而提高了算法對(duì)微生物細(xì)胞的感知能力;此外,采用DIoU_Loss作為優(yōu)化目標(biāo)檢測(cè)的損失函數(shù),DIoU_Loss考慮了邊界框之間的距離和重疊程度,能夠更準(zhǔn)確地衡量檢測(cè)框的精度,提高了細(xì)胞的定位準(zhǔn)確性和檢測(cè)質(zhì)量。實(shí)驗(yàn)結(jié)果表明,YOLOv7?PN模型在圖像數(shù)據(jù)集上都得到了優(yōu)秀的性能,在BCCD數(shù)據(jù)集上,Precision值提高了1.46%,[F1]值提高了2.61%,Accuracy值提高了0.86%。
在自制數(shù)據(jù)集上,Precision值提高了3.29%,[F1]值提高了1.41%,Accuracy值提高了1.40%,顯示出了較高的準(zhǔn)確性和穩(wěn)定性。證明了本文提出的算法YOLOv7?PN在處理微生物細(xì)胞識(shí)別任務(wù)中的有效性和適用性??蓪⒏倪M(jìn)的YOLOv7?PN算法應(yīng)用于實(shí)際應(yīng)用場(chǎng)景中,例如微生物學(xué)研究、醫(yī)學(xué)診斷等領(lǐng)域,為實(shí)際應(yīng)用中的微生物細(xì)胞檢測(cè)提供了新的算法范式。
注:本文通訊作者為蘇曉明、劉占英。
參考文獻(xiàn)
[1] LI J T, CHEN J, BAI H, et al. An overview of organs?on?chips based on deep learning [J]. Research, 2022(1): 9869518.
[2] 周睿洋.生物形態(tài)學(xué)圖像分析系統(tǒng)[D].哈爾濱:哈爾濱工業(yè)大學(xué),2019.
[3] SERTE S, SERENER A, AL?TURJMAN F. Deep learning in medical imaging: A brief review [J]. Transactions on emerging telecommunications technologies, 2022, 33(10): e4080.
[4] LU T S, ZHANG Z, ZHU J, et al. Deep learning?based prediction of the T cell receptor–antigen binding specificity [J]. Nature machine intelligence, 2021, 3(10): 864?875.
[5] MASLOVA A, RAMIREZ R N, MA K, et al. Deep learning of immune cell differentiation [J]. Proceedings of the national academy of sciences, 2020, 117(41): 25655?25666.
[6] KHAMPARIA A, GUPTA D, DE ALBUQUERQUE V H C, et al. Internet of health things?driven deep learning system for detection and classification of cervical cells using transfer learning [J]. The journal of supercomputing, 2020, 76(11): 8590?8608.
[7] CHENG S H, LIU S B, YU J Y, et al. Robust whole slide image analysis for cervical cancer screening using deep learning [J]. Nature communications, 2021, 12(1): 5639.
[8] PATIL A M, PATIL M D, BIRAJDAR G K. White blood cells image classification using deep learning with canonical correlation analysis [J]. Innovation and research in biomedical engineering, 2021, 42(5): 378?389.
[9] 王鑫玉,王姝蒙,李文順.基于YOLOv5的鹿食植物細(xì)胞識(shí)別方法[J].科技資訊,2024,22(1):230?233.
[10] 張崢,陳明銷,李新宇,等.基于Transformer的宮頸異常細(xì)胞自動(dòng)識(shí)別方法[J].中國(guó)激光,2024,51(3):93?103.
[11] DONG N, ZHAO L, WU C H, et al. Inception v3 based cervical cell classification combined with artificially extracted features [J]. Applied soft computing, 2020, 93: 106311.
[12] WEI G X, YI W L, ZHAO Y D, et al. A method for improving YOLOv5s?based plant leaf cells recognition rate using transfer learning [C]// Third International Conference on Computer Vision and Data Mining (ICCVDM 2022). [S.l.]: SPIE, 2023: 787?791.
[13] KUTLU H, AVCI E, ?ZYURT F. White blood cells detection and classification based on regional convolutional neural networks [J]. Medical hypotheses, 2020, 135: 109472.
[14] SARWINDA D, PARADISA R H, BUSTAMAM A, et al. Deep learning in image classification using residual network (ResNet) variants for detection of colorectal cancer [J]. Procedia computer science, 2021, 179: 423?431.
[15] ZHANG Z, DENG Z J, WU Z P, et al. An improved EIoU?Yolov5 algorithm for blood cell detection and counting [C]// 2022 5th International Conference on Pattern Recognition and Artificial Intelligence (PRAI). New York: IEEE, 2022: 989?993.
[16] 譚鑫平,高志輝,韓航迪,等.基于改進(jìn)YOLOv5的熒光圖像細(xì)胞智能檢測(cè)研究[J].半導(dǎo)體光電,2023,44(5):709?716.
[17] SHUI Z Y, ZHENG S Y, YU X X, et al. Deformable proposal?aware P2PNet: A universal network for cell recognition under point supervision [EB/OL]. [2023?11?06]. https://doi.org/10.48550/arXiv.2303.02602.
[18] CHE Y X, REN F, ZHANG X Y, et al. Immunohistochemical HER2 recognition and analysis of breast cancer based on deep learning [J]. Diagnostics, 2023, 13(2): 263.
[19] JOKINEN E, DUMITRESCU A, HUUHTANEN J, et al. TCRconv: Predicting recognition between T cell receptors and epitopes using contextualized motifs [J]. Bioinformatics, 2023, 39(1): btac788.
[20] 魏真.基于深度學(xué)習(xí)的腫瘤細(xì)胞識(shí)別與檢測(cè)研究[D].天津:天津理工大學(xué),2023.
[21] MANESCU P, NARAYANAN P, BENDKOWSKI C, et al. Detection of acute promyelocytic leukemia in peripheral blood and bone marrow with annotation?free deep learning [J]. Scientific reports, 2023, 13(1): 2562.
[22] LIN T Y, DOLLáR P, GIRSHICK R B, et al. Feature pyramid networks for object detection [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2017: 936?944.
[23] 張嘉琪,徐啟蕾.基于NAM?YOLO網(wǎng)絡(luò)的蘋果缺陷檢測(cè)算法[J].計(jì)算機(jī)與現(xiàn)代化,2023(10):53?58.
基金項(xiàng)目:國(guó)家自然科學(xué)基金項(xiàng)目(32060017);國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(202310128011);內(nèi)蒙古自治區(qū)杰出青年基金項(xiàng)目(2022JQ10);內(nèi)蒙古草原英才團(tuán)隊(duì)滾動(dòng)支持項(xiàng)目;內(nèi)蒙古自治區(qū)科技重大專項(xiàng)(2021ZD0015)
作者簡(jiǎn)介:呂彥朋(2003—),男,內(nèi)蒙古巴彥淖爾人,研究方向?yàn)閳D像處理、深度學(xué)習(xí)。
蘇曉明(1987—),女,河北張家口人,碩士研究生,講師,研究方向?yàn)橛?jì)算機(jī)視覺(jué)、多模態(tài)融合。
劉占英(1979—),女,內(nèi)蒙古寧城人,博士研究生,教授,正高級(jí)工程師,研究方向?yàn)樯镔|(zhì)資源化利用。