摘" 要： 為了實現(xiàn)溴鉛銫薄膜表面缺陷的自動檢測和提高缺陷檢測的精度，提出一種改進的目標檢測算法YOLOv7?DBS。首先，在主干網(wǎng)絡中設計了DCN?ELAN模塊，引入了可變形卷積DCNv3，增強主干網(wǎng)絡對復雜形狀缺陷特征的提取能力；其次，在頸部網(wǎng)絡中引入BiFormer注意力機制，降低背景對于缺陷檢測的干擾，提升網(wǎng)絡的檢測精度；最后，引入了一種具有角度損失的新型損失函數(shù)SIoU替代原始損失函數(shù)CIoU，以增強預測框與真實框的匹配程度，從而提高缺陷檢測的準確性。實驗結果表明，提出的YOLOv7?DBS改進算法相較于YOLOv7基準模型具有更低的參數(shù)量和計算量，分別降低了0.17×106和3×109，對于雜質和不均勻缺陷的檢測準確率分別提高了2%和5%，同時模型的mAP@0.5提高了1.68%。這表明提出的改進模型更適合用于溴鉛銫薄膜表面缺陷智能檢測。

關鍵詞： 溴鉛銫薄膜； 缺陷檢測； YOLOv7； 可變形卷積； 注意力機制； 損失函數(shù)

中圖分類號： TN911.7?34" " " " " " " " " " " " " 文獻標識碼： A" " " " " " " " " " " "文章編號： 1004?373X（2024）19?0145?08

CsPbBr3 thin film surface defect detection algorithm based on improved YOLOv7

XIE Liangsheng， ZHANG Qin， LONG Chuan， WEN Yu， YANG Junfeng

（Key Laboratory of Nondestructive Testing， Ministry of Education， Nanchang Hangkong University， Nanchang 330063， China）

Abstract： An improved object detection algorithm YOLOv7?DBS is proposed to realize the automatic detection of surface defects of CsPbBr3 thin films and improve the accuracy of defect detection. A DCN?ELAN module is designed in the backbone network. A deformable convolution DCNv3 is introduced to enhance the backbone network ability of feature extracting for complex?shaped defects. A BiFormer attention mechanism is introduced in the neck network to reduce background interference in defect detection and improve the detection accuracy of the network. A novel loss function SIoU with angular loss is introduced to replace the original CIoU loss function in order to enhance the matching degree between predicted boxes and truth boxes， which thereby improves the accuracy of defect detection. The experimental results show that the improved algorithm YOLOv7?DBS has a small number of parameters and lower computational complexity in comparison with the baseline model YOLOv7. Its quantity of the parameters is reduced by 0.17×106 and its computational complexity is reduced by 3×109， respectively. Its detection accuracy for impurities and uneven defects is increased by 2% and 5%， respectively， and its mAP@0.5 is increased by 1.68%. The results indicate that the proposed model is more suitable for the intelligent detection of surface defects of CsPbBr3 thin films.

Keywords： CsPbBr3 thin film; defect detection; YOLOv7; deformable convolution; attention mechanism; loss function

0" 引" 言

溴鉛銫薄膜是一種在光電領域廣泛應用的材料[1]，可用于各種光電器件，包括太陽能電池、發(fā)光二極管、輻射探測器、光電探測器和激光器等[2?3]。然而，在制備溴鉛銫薄膜的過程中，受制備工藝、環(huán)境等因素影響，可能出現(xiàn)薄膜表面缺陷[4]。通常這些缺陷會對器件性能產(chǎn)生負面影響，如導致光電性能下降、器件穩(wěn)定性減弱、光吸收特性和發(fā)光特性改變等[5]。在傳統(tǒng)檢測方法中，通常通過掃描電鏡（SEM）[6]或透射電鏡（TEM）[7]觀察溴鉛銫薄膜表面，從而評估成膜質量。然而，利用SEM和TEM進行檢測，成本高且耗時較長。因此，本文提出了一種利用深度學習結合電子顯微鏡對溴鉛銫薄膜表面缺陷進行檢測的新方法。該方法能夠對薄膜表面較為宏觀的缺陷進行檢測，為制備的薄膜提供快速、便捷、自動化和大批量的初步檢測手段。

目前，基于YOLO的表面缺陷檢測研究在光電領域和工業(yè)生產(chǎn)中取得了顯著進展[8?9]。文獻[10]基于YOLOv7提出了一種改進導光板表面缺陷的高效檢測算法，通過構建感受野模塊（RFM）和小型檢測模塊（SDM），增強了網(wǎng)絡特征提取能力，減少了無效目標的干擾。文獻[11]提出的改進YOLOX的偏光片表面缺陷檢測方法，通過引入自適應平衡特征金字塔和CBAM注意力模塊，以及采用CIoU損失函數(shù)，最終在偏光片表面數(shù)據(jù)集上實現(xiàn)了檢測精度的提升。文獻[12]利用YOLOv3算法成功實現(xiàn)了液晶顯示器（LCD）的缺陷檢測，并將該系統(tǒng)成功部署到LCD的生產(chǎn)線上。文獻[13]提出了一種基于YOLOv4的改進算法YOLO?PV，用于光伏模塊的電致發(fā)光圖像的缺陷檢測，通過削弱主干網(wǎng)絡提取深層信息的能力，從而集中提取低層次的缺陷特征信息。同時，在頸部（Neck）網(wǎng)絡中使用PAN網(wǎng)絡進行特征融合。實驗結果表明所提出的算法能夠滿足工業(yè)生產(chǎn)中的高精度和實時性要求。

本文提出了一種改進的YOLOv7?DBS模型，旨在實現(xiàn)對溴鉛銫薄膜表面缺陷更高精度的分類與定位。首先，在主干網(wǎng)絡引入DCN?ELAN模塊，增強了對不同尺寸和形狀缺陷的特征提取能力；其次，在頸部網(wǎng)絡中采用BiFormer注意力機制，降低了背景對檢測目標的干擾，提升了模型的檢測精度；最后，引入SIoU損失函數(shù)，加強了預測框與真實框的匹配程度，進一步提高缺陷檢測精度。

1" YOLOv7算法概述

YOLOv7是一種廣泛應用且較先進的單階段目標檢測算法，主要由主干（Backbone）網(wǎng)絡、頸部（Neck）網(wǎng)絡和頭部（Head）網(wǎng)絡三部分組成[14]，其網(wǎng)絡結構如圖1所示。

其中，主干網(wǎng)絡主要由CBS、MPC和ELAN三個模塊構成，用于對輸入圖像進行特征提取。頸部網(wǎng)絡位于主干網(wǎng)絡和頭部網(wǎng)絡之間，起到連接和融合不同層次特征的作用，主要包括SPPCSPC、CBS、ELAN?H和MPC等模塊。頭部網(wǎng)絡采用REP模塊來調整輸出特征的通道數(shù)量，然后通過CBM模塊對類別、邊界框和置信度進行預測。

2" YOLOv7算法改進

本文在YOLOv7的基礎上提出了一種改進模型，網(wǎng)絡結構如圖2所示。

模型主要改進如下：

1） 在主干（Backbone）網(wǎng)絡中設計了DCN?ELAN模塊，將部分普通卷積改為可變形卷積DCNv3，提高網(wǎng)絡對不同尺寸和形狀缺陷的特征提取能力。

2） 在頸部（Neck）網(wǎng)絡中加入BiFormer注意力機制，減少背景對檢測目標的影響，提高模型檢測精度。

3） 將損失函數(shù)CIoU替換為SIoU，增強預測框與真實框的匹配程度，進一步提高模型的檢測精度和收斂速度。

2.1" 基于DCN?ELAN的主干網(wǎng)絡改進

由于溴鉛銫薄膜不均勻缺陷的形狀變化較大，使用普通卷積對不同尺寸和形狀的缺陷進行特征提取有一定的局限性。因此，本文在主干網(wǎng)絡中設計了DCN?ELAN模塊，利用可變形卷積DCNv3替換部分普通卷積，以提高主干網(wǎng)絡對于復雜形狀缺陷特征的提取能力。

可變形卷積是一種基于普通卷積方法的改進，傳統(tǒng)的普通卷積操作是在固定的網(wǎng)格上進行的，可變形卷積允許網(wǎng)絡在輸入特征圖上學習不同位置的局部偏移量，從而提高模型對目標的感知能力[15]?？勺冃尉矸e結構如圖3所示，與普通卷積不同，在可變形卷積中每個卷積核采樣點的位置是動態(tài)調整的，因此網(wǎng)絡可以在不同的特征上應用不同的濾波器權重，以更好地捕捉輸入數(shù)據(jù)的空間變化[16]。通過引入可變形卷積，模型可以更好地適應缺陷形狀的變化，進而提高網(wǎng)絡的檢測精度。

2.2" 基于BiFormer注意力機制的頸部網(wǎng)絡改進

由于雜質缺陷和不均勻缺陷容易受到背景的干擾，造成誤檢和漏檢，因此本文在頸部網(wǎng)絡中引入了BiFormer注意力機制，以加強網(wǎng)絡對缺陷特征的關注，減弱背景的干擾影響，從而提高檢測精度。

BiFormer是在Vision Transformer的基礎上引入了雙層路由注意力機制[17]。雙層路由注意力模塊如圖4所示。首先，輸入一張?zhí)卣鲌D，將其劃分成[S×S]個不重疊區(qū)域，然后通過線性映射獲得查詢、鍵和值；其次，通過鄰接矩陣構建有向圖，以確定不同鍵值對應的參與關系；最后，通過區(qū)域到區(qū)域的路由索引矩陣，實現(xiàn)對細粒度的令牌到令牌的注意力。因此，通過引入BiFormer注意力機制可以實現(xiàn)高效檢測的同時，提取更多的缺陷特征信息，減少背景的干擾，提高模型的檢測精度。

2.3" 損失函數(shù)的改進

YOLOv7中CIoU損失函數(shù)主要考慮了預測框與真實框之間的距離、重疊區(qū)域和縱橫比，沒有考慮真實框與預測框之間可能存在的不匹配方向。因此，本文引入SIoU損失函數(shù)，該損失函數(shù)考慮了所需回歸之間的向量角度，重新定義了懲罰指標，在訓練速度和推理準確性方面都有顯著的提升[18]。

SIoU損失函數(shù)涵蓋了角度成本、距離成本和形狀成本三個方面。在角度成本方面，引入了角度變量[α]，[α]表示真實框與預測框中心點連線與[x]軸的夾角。角度成本表達式定義為：

[Λ=1-2sin2α-π4] （1）

距離成本[Δ]考慮了角度成本[Λ]的影響，其表達式定義為：

[Δ=t=x，y（1-e-γρt）] （2）

[ρx=bgtcx-bcxcw2] （3）

[ρy=bgtcy-bcych2] （4）

[γ=2-Λ] （5）

式中：（[bgtcx]，[bgtcy]）、（[bcx]，[bcy]）是真實框與預測框的中心坐標。

SIoU損失函數(shù)除了考慮角度成本和距離成本外，最后還考慮了形狀成本，形狀成本[Ω]的定義為：

[Ω=t=w，h（1-e-wt）θ] （6）

[ωw=w-wgtmax（w，wgt）] （7）

[ωh=h-hgtmax（h，hgt）] （8）

式中：[w]、[wgt]是預測框和真實框的寬度；[h]、[hgt]是預測框和真實框的高度；[θ]定義了形狀成本的大小，且在每個數(shù)據(jù)集中都是唯一的。

最后，綜合角度、距離和形狀成本，得出SIoU損失函數(shù)為：

[Lbox=1-IoU+Δ+Ω2] （9）

式中IoU是預測框與真實框的交并比。

3" 實驗與結果分析

3.1" 數(shù)據(jù)集

溴鉛銫薄膜采用旋涂法制備。首先將溴化鉛溶液加熱到90 ℃，使用旋涂機將溴化鉛溶液在FTO導電玻璃基板上以3 500 r/min轉速進行旋涂；然后將溴化銫溶液以2 000 r/min轉速旋涂在已有溴化鉛涂層的FTO上，重復旋涂6～8遍。薄膜制備完成后使用測維LW300LJT透反射金相顯微鏡拍攝采集缺陷圖片數(shù)據(jù)。

數(shù)據(jù)采集完成后，對圖片進行了預處理和數(shù)據(jù)增強，數(shù)據(jù)增強主要對原始圖片進行隨機旋轉、翻轉等操作。隨后，利用LabelImg軟件對圖片進行標注，最終制成溴鉛銫薄膜表面缺陷數(shù)據(jù)集，數(shù)據(jù)集中包含5 200張圖片。缺陷包含3種類型：孔洞（hole）、雜質（impurity）和不均勻（nonuniform），如圖5所示。最后，按照8∶1∶1的比例將數(shù)據(jù)集劃分為訓練集、驗證集和測試集。

3.2" 實驗環(huán)境與評價指標

本文實驗使用服務器進行，服務器操作系統(tǒng)為Ubuntu 20.04，顯卡為NVIDIA GeForce RTX 3090，CPU為AMDEPYC 7532。實驗環(huán)境配置為PyTorch 1.10.0、Python 3.8、CUDA 11.3。模型訓練參數(shù)設置：學習率為0.001，batchsize為16，Epochs為100，優(yōu)化器為SGD。

本文采用平均精度均值（mAP）、精確率（Precision）、召回率（Recall）、幀率（FPS）、參數(shù)量（Parameters）和浮點運算次數(shù)（FLOPs）六個指標來評價模型的性能。

3.3" 消融實驗

為了驗證YOLOv7?DBS模型中各改進部分的有效性，在相同的實驗環(huán)境下對改進模型做了消融實驗，實驗結果如表1所示，其中“√”表示使用了該模塊。實驗1為基準模型實驗，用于與其他實驗的對照。實驗2在主干網(wǎng)絡中設計了DCN?ELAN模塊，用可變形卷積DCNv3替代普通卷積，增強主干網(wǎng)絡對復雜形狀缺陷的特征提取能力。由實驗結果可知，模型的mAP@0.5提高了1.27%，同時參數(shù)量和計算量均降低，有效提高了模型的性能。實驗3在頸部網(wǎng)絡中引入BiFormer注意力機制，模型的mAP@0.5提升了1.07%，但參數(shù)量和計算量有小幅增加，表明BiFormer注意力機制能夠有效提升檢測精度。實驗4將模型的CIoU損失函數(shù)替換成SIoU，在不改變模型的參數(shù)量和計算量的情況下，mAP@0.5提升了0.5%。實驗5融合了DCNv3和BiFormer注意力機制，參數(shù)量和計算量均有所降低，同時mAP@0.5提升了1%。實驗6和實驗7分別將損失函數(shù)SIoU與可變形卷積DCNv3、BiFormer注意力機制進行融合實驗，實驗結果表明，mAP@0.5分別提升了1.28%和1.14%，但是融合BiFormer注意力機制模型參數(shù)量和計算量有小幅增加。最后，實驗8在實驗7的基礎上引入了可變形卷積DCNv3，模型mAP@0.5進一步提升，相比YOLOv7基線模型提高了1.68%，并且降低了模型參數(shù)量和計算量。

由以上實驗結果表明，YOLOv7?DBS模型在減少網(wǎng)絡參數(shù)量和計算量的同時，有效提升了模型的平均檢測精度。

3.4" 對比實驗

3.4.1" 不同注意力機制對比

為了探究基于YOLOv7算法引入不同注意力機制對溴鉛銫薄膜表面缺陷檢測性能的影響，本文在相同實驗條件下分別使用不同的注意力機制，然后進行對比，實驗結果如表2所示。從表2中的數(shù)據(jù)可以看出，所使用的4種注意力機制相比基準模型，mAP@0.5均有所提高，GAM、CBAM、SE和BiFormer模塊分別提升了0.63%、0.93%、0.67%和1.07%。實驗結果表明，BiFormer注意力機制對于溴鉛銫薄膜表面缺陷的檢測效果提升最好。

3.4.2" 改進模型與基準模型性能對比

為了驗證提出的YOLOv7?DBS模型比YOLOv7基準模型檢測性能更優(yōu)，本文對兩個模型的性能進行了對比。模型改進前后混淆矩陣如圖6所示。

從圖6中可以看出，本文提出的改進方法對于溴鉛銫薄膜雜質和不均勻缺陷檢測準確率均有提升，分別提高了2%和5%，尤其對于不均勻缺陷的檢測準確率有較大改善。

同時，為了進一步驗證本文提出方法對于不均勻缺陷檢測性能的改善，對改進前后的類激活圖進行了對比。使用類激活圖可以直觀地看到模型對于缺陷的關注程度，區(qū)域顏色越深代表模型越關注該區(qū)域，對于該缺陷的定位越準確。模型改進前后類激活圖對比如圖7所示。從圖7中可以看出，在溴鉛銫薄膜不均勻缺陷的檢測中，YOLOv7?DBS模型相比基準模型受到背景的干擾更小，能夠更加準確地定位缺陷的位置。

模型改進前后的檢測效果對比如圖8所示。

由圖8可知，本文提出的改進模型對于雜質缺陷小目標的檢測能力有明顯提升，另外，YOLOv7基準模型在第3組圖像中對不均勻缺陷檢測存在漏檢現(xiàn)象，而本文改進的方法則檢測到了所有缺陷，有效提升了不均勻缺陷的檢測能力。

因此，通過上述對比實驗，驗證了本文提出的YOLOv7?DBS模型缺陷檢測性能相比YOLOv7基準模型更優(yōu)，說明了改進模型的有效性。

3.4.3" 不同模型性能對比

本文將YOLOv7?DBS模型與各主流模型的性能進行了比較，主要使用了SSD、Faster RCNN、YOLOv5、YOLOv7和YOLOv8共5種模型進行對比，結果如表3和圖9所示。由表3可知，F(xiàn)aster RCNN模型平均檢測精度最低，并且模型參數(shù)量和計算量最大。本文基準模型YOLOv7相對YOLOv5 mAP@0.5高出3.7%，比YOLOv8低0.02%。而本文提出的YOLOv7?DBS模型相比YOLOv7和YOLOv8模型參數(shù)量低0.17×106和6.59×106，計算量低3×109和63.3×109，但是mAP@0.5卻在對比的所有模型中最高，相比高出1.66%～21.15%。由圖9也可看出，YOLOv7?DBS模型的平均檢測精度優(yōu)于其他模型。

綜上所述，YOLOv7?DBS模型不僅能夠提升模型的平均檢測精度，而且降低了參數(shù)量和計算量，說明了本文提出的方法更加適合用于溴鉛銫薄膜表面缺陷快速、便捷的檢測。

4" 結" 語

為了實現(xiàn)溴鉛銫薄膜表面缺陷的智能檢測，本文采集了大量缺陷圖片，并對圖片進行預處理、數(shù)據(jù)增強和數(shù)據(jù)標注等操作，最后構建了溴鉛銫薄膜表面缺陷數(shù)據(jù)集。為了進一步提高溴鉛銫薄膜表面缺陷的檢測精度，本文提出了一種YOLOv7?DBS改進模型，通過在主干網(wǎng)絡中設計DCN?ELAN模塊，引入可變形卷積DCNv3替換普通卷積，提高了主干網(wǎng)絡對缺陷特征的提取能力。然后在頸部網(wǎng)絡中加入具有雙層路由注意力機制的BiFormer，減弱背景對于檢測目標的干擾，提高檢測精度。最后，引入SIoU損失函數(shù)增強預測框與真實框的匹配程度，進一步提高檢測精度。實驗結果表明，本文提出的YOLOv7?DBS模型相比其他主流目標檢測方法性能更優(yōu)，平均精度mAP@0.5提升至81.68%，相比基準模型提高了1.68%，并且模型參數(shù)量降低了0.17×106，計算量降低了3×109，對于雜質缺陷和不均勻缺陷的檢測準確率分別提高了2%和5%。本文提出一種新的溴鉛銫薄膜表面缺陷的檢測算法，有效提高了模型的檢測性能，不僅促進了溴鉛銫薄膜表面缺陷檢測方法的發(fā)展，而且也可為其他電子材料薄膜表面缺陷的智能檢測提供新思路。

注：本文通訊作者為張芹。

參考文獻

[1] CLEVELAND I J， TRAN M N， DEY A， et al. Vapor deposition of CsPbBr3 thin films by evaporation of CsBr and PbBr2 [J]. Journal of vacuum science amp; technology A， 2021， 39（4）： 00875.

[2] LI C L， ZANG Z G， HAN C， et al. Highly compact CsPbBr3 perovskite thin films decorated by ZnO nanoparticles for enhanced random lasing [J]. Nano energy， 2017， 40： 195?202.

[3] LIU X， TAN X， LIU Z， et al. Sequentially vacuum evaporated high?quality CsPbBr3 films for efficient carbon?based planar heterojunction perovskite solar cells [J]. Journal of power sources， 2019， 443： 227269.

[4] 馬書鵬，林飛宇，羅媛，等.多步旋涂過程中CsPbBr3無機鈣鈦礦成膜機理[J].物理學報，2022，71（15）：272?280.

[5] LIU R， ZHANG J， ZHOU H， et al. Solution?processed high?quality cesium lead bromine perovskite photodetectors with high detectivity for application in visible light communication [J]. Advanced optical materials， 2020， 8（8）： 1901735.

[6] GUPTA S， KULBAK M， CAHEN D. Pin?hole?free， homogeneous， pure CsPbBr3 films on flat substrates by simple spin?coating modification [J]. Frontiers in energy research， 2020， 8： 00100.

[7] XIANG T， ZHANG Y， WU H， et al. Universal defects elimination for high performance thermally evaporated CsPbBr3 perovskite solar cells [J]. Solar energy materials and solar cells， 2020， 206： 110317.

[8] CUMBAJIN E， RODRIGUES N， COSTA P， et al. A systematic review on deep learning with CNNs applied to surface defect detection [J]. Journal of imaging， 2023， 9（10）： 193.

[9] 龐寧雅，杜安鈺.基于YOLOV5s_Attention的表面缺陷檢測的應用研究[J].現(xiàn)代電子技術，2023，46（3）：39?46.

[10] WAN Y， LI J F. LGP?YOLO： An efficient convolutional neural network for surface defect detection of light guide plate [J]. Complex amp; intelligent systems， 2023， 10（2）： 2083?2105.

[11] 陳樂，周永霞，祖佳貞.改進YOLOX?S的偏光片表面缺陷檢測算法[J].計算機工程與應用，2024，60（2）：295?303.

[12] ZHU H D， HUANG J C， LIU H W， et al. Deep?learning?enabled automatic optical inspection for module?level defects in LCD [J]. IEEE Internet of Things journal， 2022， 9（2）： 1122?1135.

[13] MENG Z， XU S， WANG L， et al. Defect object detection algorithm for electroluminescence image defects of photovoltaic modules based on deep learning [J]. Energy science amp; engineering， 2022， 10（3）： 800?813.

[14] WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： Trainable bag?of?freebies sets new state?of?the?art for real?time object detectors [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2023： 7464?7475.

[15] 陳晨，徐慧英，朱信忠，等.基于YOLOv8改進的室內(nèi)行人跌倒檢測算法：FDW?YOLO[J/OL]．計算機工程與科學：1?14[2023?12?28].http：//kns.cnki.net/kcms/detail/43.1258.TP.20231227.1421.002.html.

[16] LEI T， SUN R， WANG X， et al. CiT?Net： Convolutional neural networks hand in hand with vision transformers for medical image segmentation [EB/OL]. [2023?06?14]. https：//doi.org/10.48550/arXiv.2306.03373.

[17] ZHU L， WANG X， KE Z， et al. BiFormer： Vision transformer with bi?level routing attention [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2023： 10323?10333.

[18] GEVORGYAN Z. SIoU loss： More powerful learning for bounding box regression [EB/OL]. [2022?05?30]. https：//doi.org/10.48550/arXiv.2205.12740.

作者簡介：謝亮生（1996—），男，江西贛州人，碩士研究生，研究方向為計算機視覺與缺陷檢測。

張" 芹（1978—），女，河南周口人，博士研究生，副教授，研究方向為半導體光電功能材料及器件。

龍" 川（1994—），男，湖南湘西人，碩士研究生，研究方向為自然語言處理。

文" 瑜（1983—），女，江西南昌人，博士研究生，研究方向為全無機鈣鈦礦太陽能電池的制備與性能。

楊俊鋒（1992—），男，河南南陽人，博士研究生，研究方向為半導體光電功能材料及器件。

收稿日期：2024?01?17" " " " " "修回日期：2024?02?26

基金項目：江西省自然科學基金項目（20212BAB201022）；江西省創(chuàng)新領軍人才長期項目（S2020LQCQ0889）