周 穎 裴盛虎 陳海永 顏毓?jié)?/p>

太陽(yáng)能作為一種可再生能源,已得到廣泛應(yīng)用,從而推動(dòng)新能源產(chǎn)業(yè)的發(fā)展.太陽(yáng)能電池在生產(chǎn)制造過(guò)程中,難免會(huì)產(chǎn)生實(shí)心黑、陰影和隱裂等不同尺度的缺陷,這些缺陷的存在不僅影響太陽(yáng)能電池的發(fā)電效率和使用壽命,還會(huì)引起用電危險(xiǎn).缺陷檢測(cè)是避免有缺陷的太陽(yáng)能電池進(jìn)入下一個(gè)生產(chǎn)階段的關(guān)鍵,但現(xiàn)有缺陷數(shù)據(jù)集上某些種類(lèi)缺陷的數(shù)據(jù)量過(guò)小,這樣的數(shù)據(jù)用于缺陷檢測(cè)模型的訓(xùn)練時(shí)會(huì)出現(xiàn)模型的過(guò)擬合現(xiàn)象[1].

避免因缺陷數(shù)據(jù)集過(guò)少而導(dǎo)致的檢測(cè)模型過(guò)擬合的方法之一是對(duì)缺陷圖像進(jìn)行數(shù)據(jù)擴(kuò)充處理.傳統(tǒng)的圖像處理方法有幾何變換、色彩空間變換和多圖像混合等[2],但這些方法不能獲得新的內(nèi)容,增廣數(shù)據(jù)的頻譜有限.基于博弈思想的生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)[3]自提出以來(lái),研究者們將基于GAN的方法應(yīng)用于數(shù)據(jù)擴(kuò)充的各個(gè)領(lǐng)域,促進(jìn)了無(wú)監(jiān)督學(xué)習(xí)技術(shù)的發(fā)展.張一平等[4]提出全連接輔助分類(lèi)器GAN,對(duì)太陽(yáng)能電池電致發(fā)光(Electroluminescence, EL)圖像進(jìn)行數(shù)據(jù)擴(kuò)充.劉坤等[5]在GAN中引入大量負(fù)樣本,提高模型的特征表達(dá)能力,解決太陽(yáng)能電池正負(fù)樣本不均衡的問(wèn)題.

傳統(tǒng)的GAN只有一個(gè)生成器和一個(gè)判別器,單判別器僅局限于提取生成圖像的全局特征,不能關(guān)注生成圖像的細(xì)節(jié)特征.為了解決這一問(wèn)題,Ma等[6]提出DDCGAN(Dual-Discriminator Conditional GAN),關(guān)注不同分辨率圖像中的紋理細(xì)節(jié).Yang等[7]使用雙判別器,實(shí)現(xiàn)重構(gòu)人臉的全局連貫性和局部連貫性.注意力機(jī)制因其在抑制復(fù)雜背景和突出目標(biāo)特征方面表現(xiàn)的良好效果,已成為GAN中不可缺少的一部分.Tan等[8]將通道注意力應(yīng)用于圖像隱寫(xiě),提高隱寫(xiě)圖像的生成質(zhì)量和提取信息的準(zhǔn)確性.Cao等[9]在GAN中融入自注意力機(jī)制,提高模型的大規(guī)模特征學(xué)習(xí)能力.

不同感受野下獲取的特征信息是不同的,為了獲得更豐富的特征信息,文獻(xiàn)[10]～文獻(xiàn)[12]將Inception模型與GAN結(jié)合,利用Inception中不同卷積提取不同尺度特征的特點(diǎn),大幅提高GAN的生成能力.為了充分結(jié)合注意力機(jī)制突出目標(biāo)特征信息與多感受野提取不同尺度特征信息的能力,文獻(xiàn)[13]～文獻(xiàn)[15]將注意力機(jī)制融入多感受野特征提取中,進(jìn)一步提高GAN的生成質(zhì)量,但其注意力對(duì)多級(jí)感受野提取特征的表示強(qiáng)度不高,并且增加模型的參數(shù)量與計(jì)算復(fù)雜度.

在上述研究的基礎(chǔ)上,本文提出融合多感受野與注意力的太陽(yáng)能電池缺陷生成算法(Solar Cell Defect Generation Algorithm Combining Multiple Per- ception Fields and Attention, Solar-MFA).為了提高生成圖像的質(zhì)量,構(gòu)建雙判別器的生成對(duì)抗網(wǎng)絡(luò),全局判別器與局部判別器分別關(guān)注圖像中的全局信息與局部細(xì)節(jié).根據(jù)不同類(lèi)型缺陷尺度變化范圍的不同,并為了在復(fù)雜背景的干擾下準(zhǔn)確關(guān)注缺陷信息,在生成器與判別器中設(shè)計(jì)多感受野特征提取模塊,并與改進(jìn)的注意力模塊(Improved Attention Module, IAM)融合為多感受野注意力模塊(Multiple Percep-tion Fields Attention, MFA).為了提高生成圖像的紋理細(xì)節(jié),將結(jié)構(gòu)相似性(Structural Similarity Index Measure, SSIM)損失與峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)損失加入生成器損失函數(shù)中進(jìn)行網(wǎng)絡(luò)訓(xùn)練.為了提高生成圖像的清晰度,將生成的缺陷圖像進(jìn)行均值濾波(Mean Filter, MF)處理.在太陽(yáng)能電池電致發(fā)光數(shù)據(jù)集上對(duì)3種不同尺度的缺陷圖像進(jìn)行的生成實(shí)驗(yàn),結(jié)果表明,3種缺陷生成圖像的結(jié)構(gòu)相似性指標(biāo)與峰值信噪比指標(biāo)都較高.此外,在利用生成的缺陷圖像進(jìn)行YOLOv7檢測(cè)模型的訓(xùn)練后,3種缺陷的平均精度均值較高.

1 融合多感受野與注意力的太陽(yáng)能電池缺陷生成算法

本文研究包括數(shù)據(jù)增強(qiáng)和缺陷檢測(cè)2部分,具體如圖1所示.數(shù)據(jù)增強(qiáng)部分由融合多感受野與注意力的太陽(yáng)能電池缺陷生成算法(Solar-MFA)、指標(biāo)篩選和數(shù)據(jù)混合標(biāo)定組成,Solar-MFA輸入隨機(jī)噪聲向量獲得大量的生成圖像,將生成圖像經(jīng)過(guò)評(píng)價(jià)指標(biāo)篩選指標(biāo)閾值大于設(shè)定值的高質(zhì)量生成圖像.為了避免僅使用真實(shí)圖像或生成圖像作為檢測(cè)網(wǎng)絡(luò)的測(cè)試集造成較大偏差,將生成的高質(zhì)量圖像與現(xiàn)有全部真實(shí)圖像混合為缺陷檢測(cè)模型YOLOv7使用的數(shù)據(jù)集.在進(jìn)行YOLOv7模型訓(xùn)練前,將混合數(shù)據(jù)集進(jìn)行類(lèi)別標(biāo)定,并按比例將混合數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集.缺陷檢測(cè)部分利用來(lái)自數(shù)據(jù)增強(qiáng)部分的訓(xùn)練數(shù)據(jù)集訓(xùn)練YOLOv7檢測(cè)模型,訓(xùn)練完成后,保存相應(yīng)的模型權(quán)重,輸入測(cè)試數(shù)據(jù)集,輸出對(duì)于各類(lèi)缺陷的檢測(cè)指標(biāo)并分析.

圖1 數(shù)據(jù)增強(qiáng)與缺陷檢測(cè)總體結(jié)構(gòu)

1.1 算法框架

Solar-MFA框架如圖2所示,由1個(gè)生成器和2個(gè)判別器組成.生成器G通過(guò)輸入隨機(jī)噪聲生成缺陷圖像.全局判別器D1關(guān)注整幅圖像的全局信息,將整幅圖像分割為16幅局部圖像后輸入局部判別器D2中.D2負(fù)責(zé)判別16幅局部圖像的真假.最后將生成圖像經(jīng)過(guò)MF處理,得到最終清晰的生成圖像.

圖2 Solar-MFA總體框架

1.2 改進(jìn)的注意力模塊

本文使用改進(jìn)的注意力模塊(IAM)分別改進(jìn)卷積注意力機(jī)制模塊(Convolutional Block Atten-tion Module, CBAM)[16]中的通道注意力模塊和空間注意力模塊.IAM結(jié)構(gòu)如圖3所示.

改進(jìn)的通道注意力模塊將平均池化與最大池化的特征融合通過(guò)特征拼接和卷積操作實(shí)現(xiàn).特征拼接不僅能夠整合更多的信息特征,而且保留更強(qiáng)的鑒別特征.卷積操作進(jìn)一步整合拼接特征,形成每個(gè)通道的適當(dāng)權(quán)重.

圖3 IAM結(jié)構(gòu)圖

其中,c[·]表示在通道維度上進(jìn)行拼接操作,C1×1(·)表示2個(gè)卷積核為1×1的卷積操作,σ(·)表示sigmoid激活函數(shù)處理.

其中?表示對(duì)應(yīng)元素相乘操作.

CBAM中的空間注意力模塊直接對(duì)通道細(xì)化特征Fc在通道維度上進(jìn)行最大值與平均值的操作,得到2個(gè)特征圖后拼接,作為后續(xù)卷積運(yùn)算的輸入,但獲得的空間位置信息有限.

如圖3所示,改進(jìn)的空間注意力模塊首先將Fc在通道維度上均分為n組,每個(gè)子特征圖的通道數(shù)設(shè)置為N,即

Fc→[Fc1,Fc2,…,Fci,…,Fcn-1,Fcn],

其中n=C/N,C表示Fc的通道數(shù).

其中C7×7(·)表示卷積核為7×7的卷積操作.

將每個(gè)Fouti在通道維度上拼接,得到最終的空間細(xì)化特征圖:

Fout=c[Fout1,Fout2,…,Foutn-1,Foutn]∈RH×W×C.

1.3 生成器

在生成器G中,輸入維度為1×100的隨機(jī)正態(tài)分布噪聲,依次經(jīng)過(guò)1個(gè)全連接層、2個(gè)生成器多感受野注意力模塊(MFA of Generator, G_MFA)和2個(gè)卷積模塊后,得到320×320×1的特征圖.

單一感受野在提取不同尺度的缺陷特征時(shí),不能同時(shí)獲取缺陷的局部信息和全局信息,而現(xiàn)有的多感受野在不改變輸入特征圖的空間大小與通道數(shù)的情況下,增加模型復(fù)雜度,減緩特征的提取速度.同時(shí)現(xiàn)有方法往往忽略原特征的傳遞,導(dǎo)致模型的收斂速度較慢.

為了解決上述問(wèn)題,本文設(shè)計(jì)G_MFA.G_MFA的輸入特征經(jīng)過(guò)多感受野特征提取后,降低特征圖維度,減少計(jì)算復(fù)雜度,傳遞原輸入特征通過(guò)IAM突出后的關(guān)鍵信息,加快模型的收斂速度.G_MFA結(jié)構(gòu)如圖4所示.

圖4 G_MFA結(jié)構(gòu)圖

輸入特征圖fin∈RH×W×C,上采樣后,得到特征圖:

f1=U(fin)∈R2H×2W×C,

其中U(·)表示上采樣層.

f1首先進(jìn)行卷積核分別為3×3與5×5的卷積操作,得到特征圖:

f2=C3×3(f1)∈R2H×2W×C/2,

f3=C5×5(f1)∈R2H×2W×C/2,

其中,C3×3(·)表示核為3×3的卷積層,C5×5(·)表示核為5×5的卷積層.

然后,f1、f2和f3分別輸入IAM中,輸出相應(yīng)的注意力特征圖.為了最大化保留缺陷信息,將f1、f2和f3的注意力細(xì)化特征在通道維度上進(jìn)行拼接.最后,經(jīng)過(guò)1×1卷積、BN(Batch Normalization)和Leaky-ReLU后,進(jìn)一步整合拼接特征,得到輸出

fout=

L(B(C1×1(c[A(f1),A(f2),A(f3)])))∈R2H×2W×C,

其中,C1×1表示核為1×1的卷積層,A(·)表示注意力細(xì)化操作,B(·)表示BN處理,L(·)表示Leaky-ReLU激活函數(shù).

1.4 判別器

判別器D1關(guān)注輸入圖像的全局信息,輸入維度為320×320×1的整幅圖像,依次經(jīng)過(guò)2個(gè)判別器多感受野注意力模塊(MFA of Discriminator, D_MFA)和1個(gè)全連接層后,輸出整幅圖像的判別結(jié)果.D_MFA同樣降低模型的復(fù)雜度,加快模型訓(xùn)練時(shí)的收斂速度.與G_MFA不同的是,D_MFA不僅聚合相應(yīng)的注意力細(xì)化特征,而且融入原輸入特征與不同感受野下的特征.為了降低模型的復(fù)雜度與特征信息的冗余,輸入特征在進(jìn)行特征聚合與注意力細(xì)化前進(jìn)行1次特征提取.D_MFA結(jié)構(gòu)如圖5所示.

輸入特征f′in∈R4H×4W×C,進(jìn)行兩次卷積核分別為1×1、3×3和5×5的卷積后,得到不同感受野下的特征:

f′1=C1×1(R(B(C1×1(f′in))))∈RH×W×4C,

f′2=C3×3(R(B(C3×3(f′in))))∈RH×W×4C,

f′3=C5×5(R(B(C5×5(f′in))))∈RH×W×4C,

其中R(·)表示ReLU激活函數(shù).為了避免缺陷特征細(xì)節(jié)紋理的丟失,f′1,f′2與f′3在通道維度上拼接,并經(jīng)過(guò)1×1卷積,將拼接特征整合為

f′=C1×1(c[f′1,f′2,f′3])∈RH×W×4C.

為了突出缺陷特征的內(nèi)容信息,f′1,f′2與f′3分別經(jīng)過(guò)IAM,得到相應(yīng)的注意力細(xì)化特征圖.最后將f′與各注意力細(xì)化特征聚合,并經(jīng)過(guò)BN、ReLU激活函數(shù)后輸出特征:

f′out=

R(B(f′+A(f′1)+A(f′2)+A(f′3)))∈RH×W×4C.

為了提高生成圖像局部區(qū)域的細(xì)節(jié)特征與真實(shí)圖像相應(yīng)區(qū)域的相似性,本文設(shè)計(jì)局部判別器D2,關(guān)注整幅圖像的不同局部區(qū)域.D2的輸入為一幅圖像分割的16幅局部圖像,因此局部圖像的分辨率只有80×80×1,為了避免不同多感受野的特征過(guò)分重疊,D2在使用1個(gè)D_MFA模塊后,采用2個(gè)卷積核為3×3的卷積層進(jìn)行后續(xù)的特征提取,最后輸出16幅局部圖像的判別向量.此外為了加快網(wǎng)絡(luò)的收斂速度,每個(gè)卷積后均添加BN層與ReLU激活函數(shù).為了減少計(jì)算量,在2個(gè)卷積層的最后均添加失活率為0.5的失活層.

圖5 D_MFA結(jié)構(gòu)圖

1.5 損失函數(shù)

判斷判別器D1是否達(dá)到收斂的條件是其能否準(zhǔn)確判別輸入是真實(shí)圖像還是生成圖像,即

LD1=0.5·(Exr[lg(D1(xr))]+

Exu[lg(1-D1(xu))]),

其中,xr表示真實(shí)圖像,xu表示生成圖像,E[·]表示數(shù)學(xué)期望,1表示D1對(duì)整幅生成圖像的輸出目標(biāo)值.

D2關(guān)注圖像的局部信息,損失包括對(duì)局部真實(shí)圖像和局部生成圖像的判別結(jié)果的反饋,即

LD2=(Exr′[lg(D2(xr′))]+

Exu′[lg(I-D2(xu′))]),

其中,xr′表示局部真實(shí)圖像,xu′表示局部生成圖像,I表示D2對(duì)局部生成圖像的輸出目標(biāo)向量,向量各元素值均為1.

G的損失函數(shù)為對(duì)抗性損失Ladv、PSNR損失LPSNR和SSIM損失LSSIM的加權(quán)和:

LG=λ1Ladv+λ2LPSNR+LSSIM,

其中,λ1=0.5,λ2=0.01.

對(duì)抗性損失Ladv包括D1對(duì)整幅生成圖像判別結(jié)果的反饋和D2對(duì)各局部生成圖像判別結(jié)果的反饋,則

Ladv=Exu[lg(D1(xu))]+Exu′[lg(D2(xu′))].

PSNR損失與SSIM損失分別用于評(píng)估生成圖像與真實(shí)圖像之間的顏色差異與結(jié)構(gòu)相似程度:

其中,

表示生成圖像與真實(shí)圖像之間的均方誤差,H、W表示圖像的高度和寬度,n表示圖像的亮度范圍.

其中,μxr表示真實(shí)圖像均值,μxu表示生成圖像均值,σxr表示真實(shí)圖像標(biāo)準(zhǔn)差,σxu表示生成圖像標(biāo)準(zhǔn)差,σxrxu表示真實(shí)圖像和生成圖像之間的協(xié)方差,C1=0.000 1,C2=0.000 9.

2 實(shí)驗(yàn)及結(jié)果分析

本文的所有實(shí)驗(yàn)都是基于Torch框架的Python編寫(xiě)實(shí)現(xiàn),計(jì)算機(jī)系統(tǒng)配置為:Windows10 64-bit系統(tǒng),Intel core i7-11th CPU,NVIDIA 3060 GPU.

太陽(yáng)能電池電致發(fā)光(EL)數(shù)據(jù)集均來(lái)自天津英利集團(tuán)采集拍攝的太陽(yáng)能電池外觀(guān)圖像,數(shù)據(jù)采集過(guò)程和數(shù)據(jù)集均已公開(kāi)[17].生成實(shí)驗(yàn)所用數(shù)據(jù)為EL數(shù)據(jù)集上3種數(shù)量較少的缺陷數(shù)據(jù),共有90幅圖像,分辨率均為320×320,包含隱裂、實(shí)心黑和陰影缺陷各30幅.3種缺陷圖像如圖6所示.

訓(xùn)練過(guò)程中G與D1、D2交替優(yōu)化.通過(guò)實(shí)驗(yàn)對(duì)比將IAM中每個(gè)子特征圖通道數(shù)N設(shè)置為16;總迭代次數(shù)為3 000,批尺寸大小設(shè)置為6;生成器和2個(gè)判別器的反向傳播優(yōu)化器均為Adam(Adaptive Moment Estimation)優(yōu)化器,初始學(xué)習(xí)率為0.000 2,一階動(dòng)量項(xiàng)為0.5,二階動(dòng)量項(xiàng)為0.999.

2.1 消融實(shí)驗(yàn)

2.1.1IAM消融實(shí)驗(yàn)

為了驗(yàn)證IAM在生成器和判別器中均起到作用,進(jìn)行IAM的消融實(shí)驗(yàn),結(jié)果如表1所示,表中黑體數(shù)字表示最優(yōu)值,G_MF、D_MF分別表示G_MFA、D_MFA中未融入IAM,只有多感受野特征提取.

由表1可看出,G_MF+D_MF時(shí)各類(lèi)缺陷的PSNR與SSIM值均最低, G_MFA+D_MF的指標(biāo)值略低于G_MF+D_MFA,G_MFA+ D_MFA時(shí)各類(lèi)缺陷的PSNR與SSIM值均為最優(yōu)值,表明IAM提高生成器與判別器的特征提取能力,并且在判別器中發(fā)揮的作用高于在生成器中.

表1 IAM的消融實(shí)驗(yàn)結(jié)果

G_MF+D_MF與G_MFA+D_MFA(即本文算法中有無(wú)IAM)對(duì)3種缺陷的生成圖像對(duì)比如圖7所示.由圖可知,IAM加在生成器與判別器中,在生成缺陷圖像時(shí)可以從復(fù)雜背景中準(zhǔn)確提取缺陷特征,獲得更多的缺陷信息,提高缺陷的完整性.

(a)真實(shí)圖像

當(dāng)本文算法中有無(wú)IAM時(shí),全局判別器在訓(xùn)練收斂時(shí)對(duì)于實(shí)心黑和陰影2種缺陷圖像的關(guān)注點(diǎn)的可視化分析如圖8所示,圖中真實(shí)圖像中的藍(lán)色框內(nèi)為缺陷信息.由圖中可以看出,IAM減輕背景對(duì)全局判別器的干擾,關(guān)注更完整的缺陷信息,同時(shí)對(duì)于缺陷邊緣細(xì)節(jié)信息的捕捉更充分.

(a)真實(shí)圖像

2.1.2模型結(jié)構(gòu)消融實(shí)驗(yàn)

下面進(jìn)行模型結(jié)構(gòu)的消融實(shí)驗(yàn),分別刪除Solar-MFA中的D2、D_MFA、G_MFA、MF模塊,測(cè)試不同結(jié)構(gòu)對(duì)于3種缺陷的生成效果,具體生成圖像對(duì)比如圖9所示.由圖可看出,相比Solar-MFA的生成圖像,刪除判別器D2可以生成較完整的缺陷,但背景噪聲干擾嚴(yán)重,缺陷缺少局部細(xì)節(jié),這表明D2起到關(guān)注局部細(xì)節(jié)的作用.刪除D_MFA模塊與G_MFA模塊后,該模型在缺陷完整性和抑制背景噪聲干擾2方面都較差.刪除D_MFA模塊或G_MFA模塊后,生成的實(shí)心黑和陰影缺陷較完整,背景噪聲干擾較輕,但對(duì)于隱裂缺陷生成效果較差,這表明G_MFA模塊與D_MFA模塊起到提取不同尺度缺陷特征并抑制背景噪聲關(guān)注缺陷信息的作用.刪除MF模塊后,生成效果僅在背景噪聲上略差,這表明MF模塊起到提高圖像清晰度的作用.

(a)真實(shí)圖像

圖9中6種結(jié)構(gòu)在3種缺陷生成圖像上的測(cè)試結(jié)果如表2所示,表中黑體數(shù)字表示最優(yōu)值.從表中可以看出,Solar-MFA的PSNR和SSIM值都達(dá)到最大值,進(jìn)一步驗(yàn)證D2、G_MFA、D_MFA和MF模塊均發(fā)揮各自的作用.

表2 6種結(jié)構(gòu)的指標(biāo)值對(duì)比

2.1.3生成器G的損失函數(shù)消融實(shí)驗(yàn)

G的損失函數(shù)中包含LPSNR、LSSIM、Ladv,選擇不同的損失函數(shù)后,具體消融實(shí)驗(yàn)結(jié)果如表3所示,表中√表示G在訓(xùn)練時(shí)包含相應(yīng)的損失函數(shù),黑體數(shù)字表示最優(yōu)值.

從表3中可以看出,G損失函數(shù)同時(shí)包含3種損失時(shí)整體效果最佳.與之對(duì)比,如果G損失函數(shù)中只有Ladv,生成的3種缺陷的PSNR與SSIM值均達(dá)到最低,說(shuō)明生成圖像與真實(shí)圖像的顏色差異最大、結(jié)構(gòu)相似性最低.如果僅移除G損失函數(shù)中的LPSNR,3種生成缺陷的SSIM值無(wú)明顯變化,但3種缺陷的PSNR值分別降低1.11、2.27、1.94.同樣僅移除G損失函數(shù)中的LSSIM,3種生成缺陷的PSNR值無(wú)明顯變化,但SSIM值分別降低0.11、0.13、0.11.

表3 G中損失函數(shù)的指標(biāo)值對(duì)比

2.2 對(duì)比實(shí)驗(yàn)

2.2.1注意力對(duì)比實(shí)驗(yàn)

為了證實(shí)IAM的有效性,將Solar-MFA中的IAM分別替換為如下4種注意力模塊:CBAM[16]、ECA(Efficient Channel Attention)[18]、SimAM(Sim-ple, Parameter-Free Attention Module)[19]、CA(Co-ordinate Attention)[20],進(jìn)行對(duì)比實(shí)驗(yàn).Solar-MFA使用5種注意力模型的指標(biāo)值如表4所示,表中黑體數(shù)字表示最優(yōu)值.由表可以看出,CBAM的效果優(yōu)于ECA,與SimAM的效果接近,相比其它注意力,CA的效果均有較大提高,但I(xiàn)AM的2項(xiàng)指標(biāo)均為最優(yōu)值,這表明IAM的有效性.

表4 Solar-MFA使用5種注意力模塊的指標(biāo)值對(duì)比

為了證實(shí)IAM的通用性,將DCGAN(Deep Convolutional GAN)[21]作為基礎(chǔ)算法,在DCGAN中同樣分別使用ECA、CBAM、SimAM、CA和IAM這5種注意力模塊,結(jié)果如表5所示,表中黑體數(shù)字表示最優(yōu)值.由表可以看出,將不同注意力模塊加入DCGAN后,IAM同樣表現(xiàn)出最優(yōu)性能,表明IAM的通用性.

表5 DCGAN使用5種注意力模塊的指標(biāo)值對(duì)比

2.2.2不同算法對(duì)比實(shí)驗(yàn)

本節(jié)選擇如下算法進(jìn)行對(duì)比實(shí)驗(yàn):WGAN(Wasserstein GAN)[22]、SAGAN(Self-Atten-tion GAN)[23]、infoGAN(Information Maximizing GAN)[24]、PGMGAN(Partition-Guided Mixture of GAN)[25]和StyleGAN3[26].

6種算法在3種缺陷上的指標(biāo)值對(duì)比如表6所示,表中黑體數(shù)字表示最優(yōu)值.由表可以看出,WGAN、SAGAN和infoGAN的指標(biāo)值在3種缺陷上均很低,相比之下,StyleGAN3和PGMGAN的指標(biāo)值均有大幅提升,PGMGAN表現(xiàn)最優(yōu).對(duì)于實(shí)心黑缺陷,相比PGMGAN,Solar-MFA的PSNR值和SSIM值分別提高1.91和0.15;對(duì)于陰影缺陷,Solar-MFA的PSNR值和SSIM值分別提高2.87和0.12;對(duì)于隱裂缺陷,Solar-MFA的PSNR值和SSIM值分別提高2.76和0.12.

表6 6種算法的指標(biāo)值對(duì)比

6種算法在3種缺陷上的生成圖像如圖10所示.由圖可看出,WGAN和SAGAN在缺陷完整度與抑制背景干擾上均很差.infoGAN生成圖像的背景噪聲干擾較輕,但缺陷完整度較低.StyleGAN3生成的各類(lèi)缺陷完整度較高,但生成的圖像背景噪聲干擾嚴(yán)重.相比StyleGAN3,PGMGAN生成的缺陷完整度略低,生成的背景細(xì)節(jié)有大幅提升,但存在背景亮度較高的問(wèn)題.Solar-MFA在生成缺陷特征的完整性和抑制背景噪聲干擾的能力上均優(yōu)于其它算法.

在對(duì)比算法中,StyleGAN3和PGMGAN對(duì)3種缺陷的生成質(zhì)量最優(yōu),因此選取這2種算法與Solar-MFA進(jìn)行對(duì)比,對(duì)比模型參數(shù)量和模型訓(xùn)練時(shí)達(dá)到收斂狀態(tài)的時(shí)間如表7所示,表中黑體數(shù)字表示最優(yōu)值.由表可看出,Solar-MFA在不增加參數(shù)量的情況下可提高算法的訓(xùn)練速度.

(a)真實(shí)圖像

表7 3種算法的參數(shù)與訓(xùn)練時(shí)間

2.3 檢測(cè)實(shí)驗(yàn)

本文采用使用傳統(tǒng)數(shù)據(jù)增強(qiáng)方式(翻轉(zhuǎn)、縮放和添加噪聲等)、WGAN、PGMGAN和Solar-MFA擴(kuò)充后的數(shù)據(jù)集進(jìn)行模型檢測(cè)實(shí)驗(yàn).

針對(duì)3類(lèi)缺陷生成情況的不同,Solar-MFA將生成的3類(lèi)缺陷圖像的PSNR和SSIM指標(biāo)的篩選閾值設(shè)置為不同值.PSNR篩選閾值分別為21.00,23.00,25.00;SSIM篩選閾值分別為0.60,0.60,0.65.在設(shè)定的指標(biāo)篩選閾值下,3種缺陷的生成圖像與全部真實(shí)圖像混合至4 500幅,每類(lèi)缺陷圖像的數(shù)量均為1 500幅.其余3種算法均對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行相同方式的擴(kuò)充.

在使用4種算法擴(kuò)充后的數(shù)據(jù)集進(jìn)行YOLOv7缺陷檢測(cè)網(wǎng)絡(luò)訓(xùn)練時(shí),所有參數(shù)均一致.模型均采用VOC數(shù)據(jù)集訓(xùn)練權(quán)重的預(yù)訓(xùn)練模型,訓(xùn)練集與測(cè)試集比例為9∶1;優(yōu)化器為隨機(jī)梯度下降(Stochastic Gradient Descent, SGD),初始學(xué)習(xí)率為0.01,動(dòng)量參數(shù)為0.937,權(quán)值衰減率為0.000 5;訓(xùn)練總迭代次數(shù)為150,前50代采用凍結(jié)訓(xùn)練以加快模型的收斂速度,前50代與后100代的批尺寸大小分別為8和4.

YOLOv7訓(xùn)練完成后,使用測(cè)試集進(jìn)行測(cè)試,在交并比(Intersection over Union, IoU)設(shè)置為0.5時(shí)3種缺陷檢測(cè)的平均精度(Average Precision, AP)如表8所示,表中黑體數(shù)字表示最優(yōu)值.由表可以看出,傳統(tǒng)數(shù)據(jù)增強(qiáng)方式下各類(lèi)缺陷的AP值均很低,存在類(lèi)間AP值差距較大的問(wèn)題.相比傳統(tǒng)數(shù)據(jù)增強(qiáng)方式,WGAN的AP值雖有大幅提升,但仍存在類(lèi)間差距較大的問(wèn)題,如實(shí)心黑的AP值為88.91%,而陰影的AP值只有78.64%.在現(xiàn)有算法中,PGM- GAN各類(lèi)缺陷的AP值均為最優(yōu)值.相比PGMGAN,Solar-MFA進(jìn)一步提升各類(lèi)缺陷的AP值,平均精度均值(Mean AP, mAP)上升2.26%,并在一定程度上緩解類(lèi)間差距大的問(wèn)題,這表明Solar-MFA生成圖像的有效性.

表8 4種算法的檢測(cè)精度對(duì)比

4種算法對(duì)3種缺陷的預(yù)測(cè)結(jié)果對(duì)比如圖11所示.由圖可看出,相比對(duì)比算法,Solar-MFA生成的缺陷圖像在檢測(cè)過(guò)程中對(duì)各類(lèi)缺陷的預(yù)測(cè)置信度有大幅提升,預(yù)測(cè)框?qū)τ谌毕莸亩ㄎ桓鼫?zhǔn)確.

(a)傳統(tǒng)數(shù)據(jù)增強(qiáng)方式

2.4 模型泛化性實(shí)驗(yàn)

為了證實(shí)Solar-MFA的通用性,將對(duì)比算法中對(duì)于太陽(yáng)能電池EL數(shù)據(jù)生成質(zhì)量最優(yōu)的PGMGAN和Solar-MFA應(yīng)用于東北大學(xué)熱軋帶鋼表面缺陷開(kāi)源數(shù)據(jù)集.該數(shù)據(jù)集包含常見(jiàn)型、油污干擾型和微小型3種類(lèi)型的缺陷數(shù)據(jù).

常見(jiàn)型缺陷包含夾雜、壓入氧化皮、麻點(diǎn)、裂紋、劃痕和斑塊6種缺陷,6種常見(jiàn)型缺陷的真實(shí)圖像與2種算法的生成圖像如圖12所示,圖中綠色框內(nèi)為缺陷(氧化皮、麻點(diǎn)和裂紋只標(biāo)注圖像中的部分).由圖可看出,相比PGMGAN,Solar-MFA生成的缺陷完整性與真實(shí)性更高,對(duì)背景噪聲的抑制更強(qiáng),具備生成各類(lèi)缺陷紋理細(xì)節(jié)的能力.

微小型包含點(diǎn)狀和鋼坑2種缺陷,2類(lèi)缺陷的真實(shí)圖像與2種算法的生成圖像如圖13所示,圖中綠色框內(nèi)為缺陷.由圖可以看出,PGMGAN幾乎不能生成微小型的缺陷,但Solar-MFA可以從復(fù)雜的環(huán)境中捕捉微小缺陷信息,適用于微小微弱缺陷的生成.

(a)真實(shí)圖像

(a)真實(shí)圖像

油污干擾型包含劃痕、小缺陷和擦紋3種缺陷,各類(lèi)缺陷的真實(shí)圖像與2種算法的生成圖像如圖14所示,圖中藍(lán)色框內(nèi)為油污干擾,綠色框?yàn)槿毕?

(a)真實(shí)圖像

由圖14可看出,PGMGAN在缺陷的完整性和油污形狀還原兩方面均較差,但Solar-MFA在生成完整缺陷的情況下準(zhǔn)確還原油污形狀,適用于有外界物質(zhì)干擾缺陷的生成.

PGMGAN與Solar-MFA對(duì)3種數(shù)據(jù)集上各類(lèi)缺陷的指標(biāo)值對(duì)比如表9所示,表中黑體數(shù)字表示最優(yōu)值.由表可知,對(duì)于背景噪聲較小的缺陷圖像,PGMGAN的生成效果與Solar-MFA相近,如常見(jiàn)型缺陷中的夾雜.在3種數(shù)據(jù)集上,PGMGAN對(duì)微小型缺陷的生成指標(biāo)值與Solar-MFA差距最小,結(jié)合圖13可以看出,PGMGAN可以生成較好的背景,導(dǎo)致指標(biāo)值較高,但難以生成其中的微小缺陷.

表9 各算法在不同類(lèi)型缺陷上的指標(biāo)值對(duì)比

3 結(jié) 束 語(yǔ)

本文針對(duì)太陽(yáng)能電池EL數(shù)據(jù)集某些種類(lèi)缺陷數(shù)據(jù)較少的問(wèn)題,提出融合多感受野與注意力的太陽(yáng)能電池缺陷生成算法(Solar-MFA),生成高質(zhì)量的缺陷圖像用于數(shù)據(jù)增強(qiáng).設(shè)計(jì)的雙判別器結(jié)構(gòu)提高生成圖像的局部細(xì)節(jié);多感受野特征提取提高網(wǎng)絡(luò)模型的特征提取能力,可以適應(yīng)不同類(lèi)型缺陷在尺度上的變化.IAM進(jìn)一步提升多感受野模塊,抑制背景噪聲干擾,增強(qiáng)提取關(guān)鍵缺陷特征的能力.在生成器損失函數(shù)加入PSNR與SSIM損失訓(xùn)練生成器,提高生成圖像的紋理細(xì)節(jié).最后將生成的缺陷圖像進(jìn)行均值濾波處理,提高生成圖像的清晰度.實(shí)驗(yàn)表明,Solar-MFA對(duì)不同尺度缺陷圖像的生成質(zhì)量明顯較高,使用生成的缺陷圖像訓(xùn)練YOLOv7檢測(cè)模型,提高檢測(cè)模型對(duì)各類(lèi)缺陷的檢測(cè)精度.Solar-MFA也適用于其它應(yīng)用領(lǐng)域,但生成的隱裂缺陷在檢測(cè)模型中的精度不如其它缺陷,今后將進(jìn)一步研究微弱缺陷,提高檢測(cè)模型對(duì)微弱缺陷的檢測(cè)精度.