摘" 要： 針對結(jié)晶過程中晶體原位圖像存在的目標像素低、晶體重疊以及背景干擾等導致的分割檢測困難等現(xiàn)象，提出一種改進YOLOv8的晶體原位圖像分割方法。為了提高模型的分割檢測性能，首先引入高效多尺度注意力機制（EMA），增強模型的感知能力；其次使用空間到深度非跨步卷積（SPD?Conv）對原卷積塊進行改進，在提升對低像素、小目標晶體分割精度的同時降低了模型的計算量；最后采用高效交互比（EIoU）損失函數(shù)優(yōu)化對遮擋和重疊目標的檢測效果。實驗結(jié)果表明，文中提出的算法晶體檢測精度（mAP）達到71.3%，精度提高了5.3%，浮點運算量降低了1.9 GFLOPs。此外，該方法對改善結(jié)晶圖像質(zhì)量較差以及存在晶體重疊的工況也具有明顯的優(yōu)勢。

關鍵詞： 原位圖像； 晶體； 圖像分割； YOLOv8； 注意力機制； 損失函數(shù)

中圖分類號： TN911.73?34； TP391.4" " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）23?0055?07

Deep learning based in?situ image segmentation method for crystallization process

CHU Tengfei1， SUN Ke2， ZHANG Fangkun1， SHAN Baoming1 ， XU Qilei1

（1. College of Automation and Electronic Engineering， Qingdao University of Science and Technology， Qingdao 266061， China;

2. Shandong Xinhua Pharmaceutical Co.， Ltd.， Zibo 255000， China）

Abstract： A crystal in?situ image segmentation method based on improved YOLOv8 is proposed to address the crystal segmentation difficulties caused by low pixels， overlapped crystals and background interference of the in?situ images in the process of crystallization. To improve the segmentation detection performance of the model， the efficient multi?scale attention （EMA） mechanism is introduced to enhance the perception ability of the model. Subsequently， the original convolutional block is improved by the space?to?depth non?strided convolution （SPD?Conv） method， so as to enhance the segmentation accuracy of crystals （the objects） with low pixel and small size while reducing the computational effort of the model. Finally， the efficient intersection over union （EIoU） loss function is used to optimize the detection results of the occluded and overlapped crystals （the objects）. The experimental results show that the crystal detection accuracy （mAP） of the proposed algorithm reaches 71.3%， its accuracy is improved by 5.3%， and its floating?point calculation burden is reduced by 1.9 GFLOPs. In addition， the proposed method has advantages in improving the quality of crystal image and eliminating the crystal overlap.

Keywords： in?situ image; crystal; image segmentation; YOLOv8; attention mechanism; loss function

0" 引" 言

結(jié)晶已廣泛應用于醫(yī)藥、電子元件以及材料等行業(yè)[1?2]。晶體的關鍵質(zhì)量屬性如形狀、尺寸分布等不僅影響產(chǎn)品質(zhì)量和品質(zhì)，還影響下游工藝工序，如過濾、干燥、包裝等處理步驟[3]。然而，由于工業(yè)結(jié)晶過程體系復雜且晶體具有動態(tài)、微觀性、多形態(tài)、多維度等特征，晶體信息的在線監(jiān)測極具挑戰(zhàn)。近年來，隨著光電傳感技術的發(fā)展，極具有潛力的圖像測量技術在工業(yè)結(jié)晶領域受到了廣泛關注和研究[4]。

將晶體從溶液背景中識別并分離出來是原位分析的前提，算法分割效果將直接影響后續(xù)的晶體特性分析與研究[5]。為了獲取晶體信息，國內(nèi)外學者基于閾值[6]、邊緣檢測[7]、形態(tài)學[8]等原理開展了自動分割算法的研究。這些基于傳統(tǒng)的分割方法在一些相對簡單的情況下表現(xiàn)良好，但其準確性通常會受到許多因素的影響，例如圖像質(zhì)量、固體濃度以及顆粒重疊等[9]。

隨著機器視覺技術的快速發(fā)展，基于深度學習的分割算法因其適應性、抗干擾能力強以及更優(yōu)秀的分割精度，逐漸成為了晶體圖像處理的主流方法。目前，根據(jù)候選框的生成可以將目標檢測算法分為兩大類：單階段檢測算法與雙階段檢測算法[10]。其中，單階段檢測器的檢測精度略遜于雙階段檢測器，但有著更高的檢測速度[11]。

近年來，由于更高的分割精度以及魯棒性，基于深度學習的分割方法被廣泛應用于晶體的原位監(jiān)測。文獻[12]使用YOLOv4實現(xiàn)了晶體團聚與偽團聚的分析與分類，但YOLOv4本身不包含分割功能，因此不利于對晶體形態(tài)的后續(xù)研究。文獻[13]使用Mask?RCNN算法分割并分類β型L谷氨酸晶體，但雙階段的網(wǎng)絡構造實時性較差。文獻[14]提出了一種改進的Unet算法，改善了溶液攪拌和顆粒運動的負面影響，但跨越連接的構造會造成信息的丟失，不利于低像素、小目標晶體的檢測。

本文針對晶體原位圖像存在的目標像素較低、顆粒重疊以及背景干擾問題，綜合考慮了檢測精度與速度，提出了一種改進的YOLOv8晶體分割算法。首先，將EMA（Efficient Multi?Scale Attention）模塊與C2f結(jié)合，提出了EMA_C2f模塊，提高對圖形特征的提取能力；其次，考慮到晶體圖像存在目標模糊、微觀性等特征，引入SPD?Conv對網(wǎng)絡進行改進，減少淺層信息的丟失并減少模型的參數(shù)計算量；最后，采用高效交并比（Efficient Intersection over Union， EIoU）損失函數(shù)，改善遮擋和重疊晶體的漏檢問題。經(jīng)過實驗對比證明，改進后的算法在實現(xiàn)模型輕量化的同時提高了分割檢測精度。

1" YOLOv8算法原理

YOLO系列是單階段檢測器的代表算法，該框架因兼顧速度和精度而受到廣泛關注，其能夠快速可靠地識別圖像中的目標。YOLOv8于2023年由Ultralytics團隊開發(fā)，因其優(yōu)秀的檢測性能而被廣泛應用[15]。YOLOv8網(wǎng)絡支持對象檢測和跟蹤以及附加任務，例如實例分割、圖像分類和關鍵點檢測。YOLOv8網(wǎng)絡結(jié)構如圖1所示。

YOLOv8?seg是YOLOv8的實例分割模型，與目標檢測模型相比，實例分割模型在頭部結(jié)構中具有掩模分支和掩模系數(shù)，通過分割頭學習來預測輸入圖像的語義分割掩碼。

YOLOv8?seg網(wǎng)絡可以分為Backbone、Neck以及Head三部分。Backbone主干網(wǎng)絡用于提取輸入圖片的特征信息，該部分由CBS、C2f和SPPF三種模塊組成。其中，CBS包括Conv2d、BN以及SiLU激活函數(shù)，主要用于提取圖像的特征信息。C2f模塊的設計參考了C3模塊以及ELAN思想，在保證輕量化的同時提供了更多的特征信息；SPPF為空間金字塔池化結(jié)構，用于處理不同尺度的特征。Neck頸部網(wǎng)絡采用了FPN+PAN結(jié)構，可以對主干網(wǎng)絡提取的特征進行聚合與細化，起到特征融合的作用，并能夠增強多個尺度上的語義表達和定位能力。Head檢測頭作為輸出端，采用無錨框（Anchor?Free）解耦頭降低模型復雜度的同時提高了定位精度與泛化能力。損失函數(shù)方面，YOLOv8采用CIoU和DFL作為邊界框損失函數(shù)，二元交叉熵作為分類損失，從而提高目標檢測的性能。

YOLOv8?seg分為五個模型：YOLOv8n?seg、YOLOv8s?seg、YOLOv8m?seg、YOLOv8l?seg、YOLOv8x?seg。其中，YOLOv8s?seg兼顧了精度與速度，因此選擇YOLOv8s?seg作為基準模型。

2" 改進YOLOv8算法原理

結(jié)晶過程中晶體具有動態(tài)、微觀性等特征，導致拍攝到的原位圖像往往存在像素較低以及晶體重疊等干擾，給晶體的分割帶來了極大的挑戰(zhàn)。根據(jù)圖2的分割結(jié)果，原始的YOLOv8對于像素較低以及重疊的晶體檢測效果較差，容易出現(xiàn)漏檢等問題，不利于結(jié)晶過程的原位分析。因此為了獲得更好的檢測效果，對YOLOv8進行了一系列的改進。

2.1" 改進后的YOLOv8算法

為了提高算法對晶體目標的分割性能，首先，在主干網(wǎng)絡引入EMA注意力機制對C2f進行改進，以提高目標檢測的準確性與魯棒性；其次，使用SPD?Conv改進卷積模塊，避免了淺層特征信息丟失的問題；同時，SPD?Conv由于去除了池化與步長的部分，可以有效降低模型的參數(shù)計算量；最后，采用EIoU損失函數(shù)代替CIoU，優(yōu)化對遮擋和重疊目標的檢測效果。相比于基準模型YOLOv8s?seg，改進后的算法對晶體原位圖像有著更好的分割檢測效果。改進后的YOLOv8網(wǎng)絡結(jié)構如圖3所示。

2.2" EMA注意力機制

注意力機制能夠捕獲局部重要信息，從而提高模型在各種任務中的性能和準確性。對于結(jié)晶過程所拍攝的原位圖像，往往存在較多的背景干擾，因此在基準算法YOLOv8的基礎上加入了注意力機制，幫助算法聚焦于晶體目標，提高算法的識別性能。

EMA是一種高效多尺度注意力機制[16]，它采用并行子結(jié)構減少網(wǎng)絡深度，并通過跨維度的交互作用保留每個通道上的信息。EMA機制結(jié)構如圖4所示。

EMA聚合了多尺度空間結(jié)構信息，將1×1卷積內(nèi)核與3×3卷積內(nèi)核并行放置從而保證檢測速度。對于輸入特征[X∈Rc×h×w]，EMA按通道數(shù)將其劃分為[g]個子特征，以學習不同的語義。其中[g?c]，保證符合一般性的條件。

通過在C2f結(jié)構中引入EMA模塊，使得模型能夠更加專注于目標區(qū)域的位置信息，從而提高對目標區(qū)域的檢測精度。EMA_C2f模塊的網(wǎng)絡結(jié)構如圖5所示。

2.3" SPD?Conv

在卷積神經(jīng)網(wǎng)絡結(jié)構的早期層中，圖像分辨率適合研究大目標，并且可以在步長體積內(nèi)很好地過濾大量冗余信息，使得模型學習的特征效果更好。然而，當圖像像素數(shù)量較少或檢測目標較小時，冗余數(shù)據(jù)量較少。在這種情況下，跨步卷積和池化會導致細節(jié)信息的丟失，卷積神經(jīng)網(wǎng)絡在圖像分辨率較低或目標較小的情況下，其網(wǎng)絡性能會迅速下降。

為了提升算法對低像素、小目標晶體的檢測效果，在YOLOv8中引入SPD?Conv[17]模塊以減少特征提取過程中信息的丟失，改善模型對模糊、小目標晶體的分割檢測性能。在SPD?Conv中，使用空間到深度卷積SPD提取更深層次的特征信息，并通過降維來加快運算速度。隨后，無步長卷積Conv（步長為1）對經(jīng)過SPD處理的特征信息進行卷積操作，逐層提取特征。由于去除了步長和池化，不會造成淺層信息的丟失并且降低了計算量。SPD?Conv網(wǎng)絡結(jié)構如圖6所示。

對于輸入大小為[S×S×C1]的原始特征圖[X]，SPD?Conv按比例因子[q]對子特征圖進行下采樣，將[X]切分成一系列的子特征圖。通常比例因子[q]設定為2，經(jīng)過下采樣的[X]空間維度縮小一半，通道維度擴大為4倍，從而得到4個大小均為[（S2，S2，C1）]的子特征圖。再沿著通道維度將這些子特征圖連接起來，將4個子特征圖按通道維度拼接，得到一個中間特征圖[X]。隨后，添加一個帶有[C2]過濾器的Conv，再進一步進行轉(zhuǎn)換，將[X（Sq，Sq，q2C1）]轉(zhuǎn)換為[X（Sq，Sq，C2）]，其中，[C2lt;q2C1]。

通過在網(wǎng)絡中融合SPD?Conv，幫助模型有效地融合不同層次的特征，減少信息丟失，從而提高模型對低分辨率、小目標晶體的檢測性能。

2.4" EIoU損失函數(shù)

YOLOv8采用了CIoU損失函數(shù)，能夠?qū)χ行狞c距離、重疊面積和縱橫比三個方面進行調(diào)整，實現(xiàn)邊界框回歸過程的優(yōu)化。但CIoU由于無法反映錨框?qū)捀叩膶嶋H差距，當錨框?qū)捀弑戎迪嗤瑫r損失為0，因此不利于預測框的回歸優(yōu)化[18]。所以在CIoU的基礎上，將縱橫比部分拆分，提出了可以描述寬高的EIoU[19]損失函數(shù)，其計算公式如下：

[LEIoU=LIoU+LDis+LAsp=1-IoU+ρ2（b，bgt）（wc）2+（hc）2+ρ2（w，wgt）（wc）2+ρ2（h，hgt）（hc）2]

式中：[LIoU]表示I[o]U損失；[LDis]表示距離損失；[LAsp]表示縱橫比損失；[b]、[w]、[h]分別表示預測框的中心坐標、寬度和高度；[bgt]、[wgt]、[hgt]分別表示真實框的中心坐標、寬度和高度；[wc]、[hc]分別表示預測框和真實框最小外接矩形的寬度和高度；[ρ2（b，bgt）]表示[b]和[bgt]之間的歐氏距離；[ρ2（w，wgt）]表示[w]和[wgt]之間的寬度差值；[ρ2（h，hgt）]表示[h]和[hgt]之間的高度差值。

EIoU損失可以反映錨框?qū)捀叩膶嶋H差距，幫助算法選擇最合適的邊界框來準確定位目標，有助于改善晶體重疊導致的檢測框失真現(xiàn)象，從而有效降低重疊晶體漏檢問題。

3" 實驗與分析

3.1" 實驗環(huán)境

實驗使用的服務器環(huán)境配置如表1所示。

3.2" 實驗數(shù)據(jù)集采集

數(shù)據(jù)集來自β型L谷氨酸的冷卻結(jié)晶過程實驗，使用非侵入式在線成像系統(tǒng)對晶體圖像進行原位采集，實驗裝置如圖7所示。

晶體的原位圖像通過外部CCD相機獲取，拍攝的晶體原位圖像樣圖如圖8所示。其中每張圖片中都含有多個晶體目標，并在標注過程中針對晶體類型（單個晶體（single）與重疊晶體（overlapped））進行了分類。

3.3" 消融實驗

為了證明各項改進措施對晶體原位圖像中目標分割精度的提升作用，基于結(jié)晶過程中采集的晶體原位圖像數(shù)據(jù)集，依次對YOLOv8網(wǎng)絡模型添加相應的改進措施，進行了一系列的消融實驗。針對模型的查準率（[P]）、召回率（[R]）、[F1]、平均精度均值（mAP）、浮點運算量（GFLOPs）以及模型參數(shù)量（Params）進行了統(tǒng)計分析，結(jié)果如表2所示。

通過實驗結(jié)果分析可知：A表示在主干網(wǎng)絡替換EMA_C2f模塊，提高了模型對特征的提取能力，綜合指標mAP與[F1]分數(shù)均有提升；B表示將SPD?Conv模塊替換為YOLOv8主干與頸部網(wǎng)絡中的Conv模塊，提高了低像素、小目標晶體的檢測能力，整體mAP與[F1]均有提升；C表示將CIoU替換為EIoU損失函數(shù)，在不增加網(wǎng)絡復雜程度的前提下，提高了精度；D表示將EMA_C2f與SPD?Conv兩種改進同時應用于基準算法；E分別將EMA_C2f與EIoU損失函數(shù)兩種改進同時應用于基準算法；Ours代表加入所有改進措施后的改進算法，其中[F1]為68.2%，提高了5.1%，mAP值為71.3%，提高了5.3%，說明改進后的YOLOv8算法更能準確地識別晶體。

對于改進的YOLOv8s?seg算法，注意力機制的引入提高了模型性能，但會增加一定的計算量。SPD?Conv的引入，可以有效應對晶體圖像目標模糊的缺陷，同時SPD?Conv相比于普通的Conv模塊，去掉了步長與池化操作，起到了減少模型計算量的作用。通過實驗對比，經(jīng)過改進后的模型浮點運算量降低了1.9 GFLOPs，模型參數(shù)量降低了1.14 MB，實現(xiàn)了輕量化。

3.4" 算法對比實驗

為了進一步驗證，將改進后的算法與YOLO系列分割算法以及結(jié)晶領域主流的深度學習分割算法進行了對比，實驗結(jié)果如表3所示。

由對比實驗結(jié)果可知，本文改進的方法與其他主流的分割模型相比，有著更高的準確度。

3.5" 分割結(jié)果可視化

為了更直觀地展示本文改進算法在檢測晶體原位圖像上的提升效果，進行了分割對比實驗，實驗結(jié)果如圖9所示。

通過圖9中的對比可知，基準算法YOLOv8s與改進算法都能識別出兩類目標，但基準算法在面對出現(xiàn)的小目標晶體、陰影下的晶體以及重疊晶體時無法做到全面的識別，而本文提出的方法對于這類晶體有著更高的識別能力，通過分割對比實驗證明，本文提出的改進算法有著更好的綜合性能。

4" 結(jié)" 語

本文針對結(jié)晶過程原位圖像存在的目標像素較低、顆粒重疊以及背景干擾等問題，提出一種改進YOLOv8的晶體原位圖像分割方法。首先，將EMA注意力機制與C2f模塊結(jié)合，使模型聚焦于目標的關鍵相關特征，從而提高模型的性能與準確性；其次，使用SPD?Conv改進卷積模塊，加強網(wǎng)絡對低像素、小目標晶體的檢測能力，同時降低模型的參數(shù)計算量；最后，采用EIoU損失優(yōu)化對相互遮擋目標的檢測效果。通過多種實驗分析，改進后的算法mAP為71.3%，精度提高了5.3%，浮點運算量為40.5 GFLOPs，降低了1.9 GFLOPs。此外，對結(jié)晶圖像質(zhì)量較差以及存在晶體重疊的工況下該方法也具有明顯的優(yōu)勢，能夠更好地識別成像較差以及重疊的晶體。

注：本文通訊作者為徐啟蕾。

參考文獻

[1] WU W L， MILLS M M， SCHACHT U， et al. Sensor fusion and calibration?based adaptive image analysis procedure for in situ crystal size measurement [J]. Crystal growth amp; design， 2023， 23（10）： 7076?7089.

[2] 趙紹磊，王耀國，張騰，等.制藥結(jié)晶中的先進過程控制[J].化工學報，2020，71（2）：459?474.

[3] NEOPTOLEMOU P， GOYAL N， CRUZ?CABEZA A J， et al. A novel image analysis technique for 2D characterization of overlapping needle?like crystals [J]. Powder technology， 2022， 399： 116827.

[4] ZHANG F K， LI W， SHAN B M， et al. Crystal measurement technologies for crystallization processes： Advances， applications， and challenges [J]. Measurement， 2024， 231： 114672.

[5] 陳宗元，張磊磊，趙寧寧，等.混合顆粒系重疊圖像分割與分類方法研究[J].計量學報，2022，43（6）：746?753.

[6] 郭觀凱，劉偉，余玲玲，等.基于改進FAST與分水嶺算法的顆粒圖像分割[J].中國粉體技術，2019，25（2）：61?67.

[7] VANCLEEF A， MAES D， VAN GERVEN T， et al. Flow?through microscopy and image analysis for crystallization processes [J]. Chemical engineering science， 2022， 248： 117067.

[8] 趙于前，柳建新，劉劍.基于形態(tài)學重構運算的醫(yī)學圖像分割[J].計算機工程與應用，2007（10）：238?240.

[9] ZONG S， ZHOU G， LI M， et al. Deep learning?based on?line image analysis for continuous industrial crystallization processes [J]. Particuology， 2023， 74： 173?183.

[10] 趙永強，饒元，董世鵬，等.深度學習目標檢測方法綜述[J].中國圖象圖形學報，2020，25（4）：629?654.

[11] 何俊，蔣昌輝，李倡洪，等.基于EF?YOLO的輸電線路鳥害檢測技術研究[J].現(xiàn)代電子技術，2022，45（10）：94?98.

[12] JIANG Z Y， LIU T， HUO Y， et al. Image analysis of crystal size distribution and agglomeration for β form L?Glutamic acid crystallization based on YOLOv4 deep learning [C]// 2021 China Automation Congress （CAC）. New York： IEEE， 2021： 3017?3022.

[13] GAO Z G， WU Y Y， BAO Y， et al. Image analysis for in?line measurement of multidimensional size， shape， and polymorphic transformation of I?Glutamic acid using deep learning?based image segmentation and classification [J]. Crystal growth amp; design， 2018， 18（8）： 4275?4281.

[14] HUO Y， LI X， TU B. Image measurement of crystal size growth during cooling crystallization using high?speed imaging and a U?net network [J]. Crystals， 2022， 12（12）： 1690.

[15] TERVEN J， CóRDOVA?ESPARZA D M， ROMERO?GONZáLEZ J A. A comprehensive review of YOLO architectures in computer vision： From YOLOv1 to YOLOv8 and YOLO?NAS [J]. Machine learning and knowledge extraction， 2023， 5（4）： 1680?1716.

[16] OUYANG D L， HE S， ZHANG G Z， et al. Efficient multi?scale attention module with cross?spatial learning [C]// 2023 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE， 2023： 1?5.

[17] SUNKARA R， LUO T. No more strided convolutions or pooling： A new CNN building block for low?resolution images and small objects [C]// Joint European Conference on Machine Learning and Knowledge Discovery in Databases. Heidelburg： Springer， 2022： 443?459.

[18] 劉毅，蔣三新.基于改進YOLOX的鋼材表面缺陷檢測研究 [J].現(xiàn)代電子技術，2024，47（9）：131?138.

[19] ZHANG Y F， REN W Q， ZHANG Z， et al. Focal and efficient IOU loss for accurate bounding box regression [J]. Neurocomputing， 2022， 506： 146?157.

作者簡介：褚騰飛（1997—），男，山東濰坊人，碩士研究生，研究方向為圖像分割、智能感知與信息處理。

孫" 科（1980—），男，山東淄博人，工程師，研究方向為機器學習、化工智能控制。

張方坤（1986—），男，山東聊城人，博士研究生，副教授，研究方向為智能控制、在線監(jiān)測。

單寶明（1974—），男，山東東營人，博士研究生，教授，研究方向為人工智能、智能儀表與嵌入式系統(tǒng)。

徐啟蕾（1980—），女，山東青島人，博士研究生，副教授，研究方向為機器視覺及機器人自主導航。