康碩，柯臻錚，王璇，朱偉東

1.浙江大學(xué) 機(jī)械工程學(xué)院，杭州 310027 2.浙江大學(xué) 先進(jìn)技術(shù)研究院，杭州 310027

纖維自動(dòng)鋪放(Automatic Fiber Placement，AFP)在航空航天數(shù)字化裝配領(lǐng)域有廣泛應(yīng)用，其中表面缺陷在線檢測(cè)能幫助提升鋪放質(zhì)量，檢測(cè)效果間接影響鋪放件的成品質(zhì)量。通常每根絲束寬6.35 mm，出絲口可根據(jù)需求調(diào)整出絲根數(shù)，由于鋪放工藝的影響，在鋪放過(guò)程中可能會(huì)出現(xiàn)多種缺陷，根據(jù)缺陷的形成原因和特點(diǎn)可將其分為間隙(Gap)、重疊(Overlap)、缺絲(Miss)、架橋(Bridge)、氣泡(Bubble)、脫粘(Loose)、撅起(Wandering)、絲束褶皺(Wrinkle)、絲束扭轉(zhuǎn)(Twist)和異物(Foreign)10種。表面缺陷檢測(cè)手段最初為人工檢測(cè)，即在鋪放過(guò)程中由技術(shù)人員實(shí)時(shí)監(jiān)督，后來(lái)為提升鋪放效率各鋪放研究團(tuán)隊(duì)相繼研發(fā)了在線檢測(cè)系統(tǒng)。比較成熟的在線檢測(cè)系統(tǒng)可分為激光儀器檢測(cè)、紅外熱成像儀檢測(cè)、可見(jiàn)光視覺(jué)檢測(cè)和多源傳感器檢測(cè)。激光檢測(cè)系統(tǒng)為最常見(jiàn)且有效的檢測(cè)系統(tǒng)，檢測(cè)精度、效率和穩(wěn)定性相對(duì)較高，但成熟的激光檢測(cè)系統(tǒng)非常復(fù)雜，后期維護(hù)困難。紅外檢測(cè)是一種低成本的檢測(cè)手段，利用鋪絲過(guò)程中對(duì)預(yù)浸料絲束的加熱作為熱激勵(lì)源，間隙、重疊和異物等區(qū)域由于熱傳遞速率不同出現(xiàn)溫差，在熱像圖中十分明顯。紅外檢測(cè)能很好地對(duì)某些缺陷區(qū)域進(jìn)行定位回歸，但對(duì)某些不易產(chǎn)生溫度差的缺陷檢測(cè)效果并不好，如很多情況下薄膜異物在熱傳遞過(guò)程中熱損失很小，所以薄膜異物區(qū)域與周圍的溫度差不明顯，在熱像圖中很難區(qū)分，但薄膜異物由于反射可見(jiàn)光，在可見(jiàn)光圖像中非常明顯。

波音公司2009年首先提出在AFP系統(tǒng)中應(yīng)用紅外熱感應(yīng)相機(jī)進(jìn)行缺陷檢測(cè)的概念并申請(qǐng)了專利，但其方法不包含整體數(shù)據(jù)分析細(xì)節(jié)。隨后Denkena等開發(fā)了用于AFP工作過(guò)程路徑中的熱成像監(jiān)控系統(tǒng)，以便在每幀上利用計(jì)算機(jī)視覺(jué)技術(shù)檢測(cè)異物、間隙等缺陷，而后將紅外相機(jī)應(yīng)用到纖維自動(dòng)鋪放的在線檢測(cè)過(guò)程中，利用圖像處理知識(shí)對(duì)熱成像進(jìn)行分析，并結(jié)合熱像儀采集到的溫度場(chǎng)信息對(duì)絲束缺陷進(jìn)行檢測(cè)，這一系統(tǒng)能有效檢測(cè)出間隙、重疊、絲束扭轉(zhuǎn)、架橋和異物等缺陷。Gregory和Juarez利用新絲束鋪放在底板上時(shí)不同厚度材料熱傳導(dǎo)速度不同的原理，先通過(guò)熱成像儀獲取絲束表面信息，然后利用信息重建和視頻分析計(jì)算機(jī)視覺(jué)等多種技術(shù)同時(shí)對(duì)缺陷進(jìn)行評(píng)估和定位，證明了紅外熱像儀在自動(dòng)鋪絲過(guò)程中對(duì)間隙、重疊、異物、絲束扭轉(zhuǎn)和缺絲5種缺陷檢測(cè)的可行性。黃松嶺等將有源紅外熱像檢測(cè)法成功應(yīng)用于復(fù)合材料分層和膠接缺陷檢測(cè)。文立偉等利用機(jī)器視覺(jué)與UMAC (Universal Motion and Automation Controller)構(gòu)建缺陷檢測(cè)閉環(huán)控制系統(tǒng)，發(fā)現(xiàn)采用單CCD(Charge Coupled Device)相機(jī)視覺(jué)系統(tǒng)能對(duì)間隙和重疊達(dá)到很好的檢測(cè)效果。Zambal等通過(guò)端到端的深度學(xué)習(xí)模型，利用半監(jiān)督學(xué)習(xí)方法擴(kuò)充數(shù)據(jù)集進(jìn)行訓(xùn)練實(shí)現(xiàn)了對(duì)間隙和重疊缺陷的區(qū)域分割，對(duì)于尺寸為200像素×800像素的圖像檢測(cè)時(shí)間為15.10 ms，證明了深度學(xué)習(xí)在AFP缺陷檢測(cè)中的可行性。路浩和陳原使用基于錨框的YOLOv2算法對(duì)預(yù)浸料絲束的間隙、異物和重疊3種缺陷進(jìn)行識(shí)別，檢出率達(dá)94%。Chen等提出了一種基于紅外視覺(jué)的智能檢測(cè)系統(tǒng)，能實(shí)現(xiàn)復(fù)合材料缺陷識(shí)別和測(cè)量，并通過(guò)實(shí)驗(yàn)驗(yàn)證了系統(tǒng)的可行性。Sacco等提出了基于深度學(xué)習(xí)的缺陷輪廓分割算法，利用單可見(jiàn)光圖像實(shí)現(xiàn)了對(duì)間隙、重疊、缺絲、絲束扭轉(zhuǎn)和絲束褶皺5種缺陷的檢測(cè)，其中對(duì)絲束扭轉(zhuǎn)和間隙的檢出率能達(dá)75%以上。蔡志強(qiáng)等提出了一種灰度和差影分割相結(jié)合的缺陷檢測(cè)算法，對(duì)氣泡和異物兩種缺陷具有良好的檢測(cè)效果。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，基于深度學(xué)習(xí)的視覺(jué)算法因其精度高、效率高的優(yōu)勢(shì)正逐步被應(yīng)用于工業(yè)生產(chǎn)中，其中目標(biāo)檢測(cè)算法可分為基于錨框算法和無(wú)錨框算法兩種?；阱^框算法的基本思想是先預(yù)設(shè)幾個(gè)錨框，網(wǎng)絡(luò)預(yù)測(cè)的值是錨框的偏移量，只有錨框和目標(biāo)框接近時(shí)才認(rèn)為目標(biāo)的回歸過(guò)程是線性的，才能通過(guò)神經(jīng)網(wǎng)絡(luò)較好地回歸。由此也可看出這種方法適合目標(biāo)長(zhǎng)寬比分布比較均勻的數(shù)據(jù)檢測(cè)。無(wú)錨框檢測(cè)網(wǎng)絡(luò)的思想是拋棄錨框的設(shè)定，網(wǎng)絡(luò)一個(gè)分支預(yù)測(cè)目標(biāo)的熱量圖，根據(jù)熱量圖可判斷目標(biāo)區(qū)域是否含有目標(biāo)并確定目標(biāo)的大致區(qū)域，其他分支則分別預(yù)測(cè)偏移量和長(zhǎng)、寬。該網(wǎng)絡(luò)沒(méi)有對(duì)錨框的依賴，對(duì)目標(biāo)框分布方差較大的數(shù)據(jù)集具有更好的普適性，避免了人為設(shè)置錨框不合適導(dǎo)致的檢測(cè)效果變差。

由于絲束具有明顯的方向性，絲束的很多缺陷如缺絲、間隙等都是狹長(zhǎng)缺陷，而氣泡、異物等缺陷是均勻缺陷，所以絲束缺陷屬于不均勻缺陷。本文針對(duì)缺陷尺寸分布不均勻的特點(diǎn)提出使用無(wú)錨框的檢測(cè)網(wǎng)絡(luò)，依據(jù)不同光譜易于檢測(cè)的缺陷種類不同的特點(diǎn)，提出紅外與可見(jiàn)光圖像特征融合檢測(cè)的手段，以無(wú)錨框深度學(xué)習(xí)框架為基礎(chǔ)，以期提升檢測(cè)效果，使算法滿足實(shí)時(shí)檢測(cè)的速度和精度需求。

1 檢測(cè)網(wǎng)絡(luò)整體設(shè)計(jì)與改進(jìn)

1.1 紅外與可見(jiàn)光成像分析

紅外熱圖像能表現(xiàn)目標(biāo)的溫度差細(xì)節(jié)，因此在紅外圖像中目標(biāo)的輪廓是否明顯主要取決于是否存在較大的溫差。即使在目標(biāo)輪廓明顯的圖像中，紅外熱像圖也無(wú)法呈現(xiàn)目標(biāo)區(qū)域豐富的紋理特征，針對(duì)不同缺陷的特點(diǎn)，紅外與可見(jiàn)光的檢測(cè)效果不同，具體見(jiàn)圖1中異物和架橋缺等陷的對(duì)比。

圖1 紅外與可見(jiàn)光下鋪絲缺陷對(duì)比Fig.1 Comparison of fiber placement defects under infrared and visible light

因此提出紅外與可見(jiàn)光圖像融合檢測(cè)手段，希望能將兩種光譜下的信息融合，從而達(dá)到更高的準(zhǔn)確率。在實(shí)施項(xiàng)目前于FLIR行人與車輛開源數(shù)據(jù)集上進(jìn)行初步實(shí)驗(yàn)測(cè)試，重新配準(zhǔn)并標(biāo)注了FLIR紅外和可見(jiàn)光行人與車輛檢測(cè)數(shù)據(jù)集中的500張圖像，基于CSP(Cross Stage Partial)-CenterNet網(wǎng)絡(luò)分別使用紅外圖像、可見(jiàn)光圖像、紅外+可見(jiàn)光圖像進(jìn)行訓(xùn)練，其測(cè)試全類平均正確率(mean Average Precision，mAP)分別為65.5%、65.0%、68.0%。由于該數(shù)據(jù)集密集小目標(biāo)較多，因此檢測(cè)mAP較低，但也可由檢測(cè)結(jié)果得出結(jié)論，即紅外與可見(jiàn)光圖像融合檢測(cè)確實(shí)能提高檢測(cè)效果。

1.2 特征融合網(wǎng)絡(luò)

使用的網(wǎng)絡(luò)主干為CSP-DarkNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)在YOLOv4中被提出，將CSP模塊整合到DarkNet網(wǎng)絡(luò)中后，不僅能使主干網(wǎng)絡(luò)整體參數(shù)量大幅降低、提高檢測(cè)速度，且檢測(cè)效果也得到了改善，該網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

目前可見(jiàn)光與紅外圖像聯(lián)合檢測(cè)網(wǎng)絡(luò)主要有輸入前融合和輸入后融合兩種。輸入前融合是指在圖像輸入特征提取網(wǎng)絡(luò)前進(jìn)行通道拼接，先將兩張圖像拼接為2通道或6通道的圖像，而后再輸入特征提取網(wǎng)絡(luò)。由于輸入的通道數(shù)不等于3，因此不能直接使用由ImageNet三通道圖像預(yù)訓(xùn)練的特征提取網(wǎng)絡(luò)，通常需要改變第1層卷積數(shù)量，這也將導(dǎo)致訓(xùn)練結(jié)果變差。這種網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)學(xué)表達(dá)式為

out=(,)

(1)

式中：out為特征提取網(wǎng)絡(luò)第個(gè)輸出層；為特征提取網(wǎng)絡(luò)；為FPN(Feature Pyramid Networks)結(jié)構(gòu)中使用的特征提取網(wǎng)絡(luò)特征層編號(hào)，由上至下分別為=1,2,3；為輸入可見(jiàn)光圖像；為輸入紅外圖像。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖2 CSP-DarkNet主干結(jié)構(gòu)Fig.2 Backbone structure of CSP-DarkNet

圖3 紅外與可見(jiàn)光圖像聯(lián)合檢測(cè)網(wǎng)絡(luò)Fig.3 Detection network with fusion of infrared and visible images

輸入后融合指保持輸入圖像為3通道，分別輸入兩個(gè)特征提取網(wǎng)絡(luò)，將特征提取網(wǎng)絡(luò)中間層信息融合。由于輸入后融合能保證輸入通道數(shù)量為3，因此可直接使用預(yù)訓(xùn)練網(wǎng)絡(luò)，從而保證了網(wǎng)絡(luò)的準(zhǔn)確性?？上葘⒓t外和可見(jiàn)光圖像分別送入主干，然后將中間某層進(jìn)行疊加，這將實(shí)現(xiàn)兩種圖像的中間層信息交流，其數(shù)學(xué)表達(dá)式為

(2)

在圖4的融合策略中，紅外圖像的特征提取網(wǎng)絡(luò)主干輸出out后的所有特征提取層都沒(méi)有利用到，因此之后的紅外特征信息提取工作由可見(jiàn)光圖像的特征提取網(wǎng)絡(luò)完成，這將導(dǎo)致兩種圖像的特征信息過(guò)度耦合，在后續(xù)的分類檢測(cè)中效果變差。為使兩個(gè)特征提取網(wǎng)絡(luò)解耦合的同時(shí)還能進(jìn)行信息交流，使用解耦合的融合網(wǎng)絡(luò)。該網(wǎng)絡(luò)首先將多尺度的特征層進(jìn)行通道拼接，而不是進(jìn)行相加操作，然后將拼接的新特征層輸入FPN,網(wǎng)絡(luò)架構(gòu)如圖5所示，數(shù)學(xué)表達(dá)式為

圖4 中間層融合檢測(cè)網(wǎng)絡(luò)Fig.4 Detection network with fusion of middle layer

(3)

圖5 解耦合的特征融合檢測(cè)網(wǎng)絡(luò)Fig.5 Decoupled detection network with feature fusion

1.3 改進(jìn)FPN結(jié)構(gòu)

由于在不同尺度的特征圖上檢測(cè)網(wǎng)絡(luò)每個(gè)網(wǎng)格對(duì)應(yīng)的感受野不同，所以其對(duì)應(yīng)的易檢目標(biāo)尺寸不同，為更好地檢測(cè)小目標(biāo)，提出FPN檢測(cè)網(wǎng)絡(luò)，其原理為先將深層網(wǎng)絡(luò)的小尺寸特征圖進(jìn)行反卷積或上采樣，擴(kuò)大為大尺度的特征圖，然后與淺層對(duì)應(yīng)尺度特征圖相加，生成的新特征圖既保留了深層網(wǎng)絡(luò)的抽象語(yǔ)義特征，從而有利于目標(biāo)的分類;且保留了淺層網(wǎng)絡(luò)的細(xì)節(jié)語(yǔ)義信息，從而有利于目標(biāo)回歸，其原理見(jiàn)圖6。

由圖6可看出由淺層的out到out之間需經(jīng)過(guò)多層卷積，從而使out學(xué)習(xí)更深層次的語(yǔ)義信息便于分類，但這也使out丟失了淺層的細(xì)節(jié)語(yǔ)

圖6 FPN原理Fig.6 Theory of FPN

義信息，而out的每個(gè)特征網(wǎng)格的感受野非常大，主要用來(lái)預(yù)測(cè)大目標(biāo)，細(xì)節(jié)語(yǔ)義信息對(duì)于目標(biāo)回歸至關(guān)重要，因此out丟失淺層網(wǎng)絡(luò)的回歸信息會(huì)造成回歸結(jié)果變差。針對(duì)這個(gè)缺陷改進(jìn)FPN結(jié)構(gòu)，使深層特征圖能利用到淺層網(wǎng)絡(luò)的語(yǔ)義信息，其數(shù)學(xué)表達(dá)式可表示為

(4)

式中：out′為與第個(gè)特征提取網(wǎng)絡(luò)輸出層對(duì)應(yīng)尺度的反卷積層；out為輸出中間層；′為transition操作，先進(jìn)行通道拼接，然后通過(guò)1×1的卷積進(jìn)行通道融合和降維；Dec為反卷積或上采樣操作；Mp為最大池化或下采樣操作，網(wǎng)絡(luò)架構(gòu)原理如圖7所示。

分別使用原FPN結(jié)構(gòu)和改進(jìn)FPN結(jié)構(gòu)以相同的CSP-DarkNet作為特征提取主干，YOLOv3作為檢測(cè)框架，在Pascal VOC開源目標(biāo)檢測(cè)數(shù)據(jù)集上進(jìn)行測(cè)試。經(jīng)過(guò)測(cè)試使用原FPN結(jié)構(gòu)的網(wǎng)絡(luò)在VOC數(shù)據(jù)集上的mAP達(dá)82.72%，使用改進(jìn)FPN結(jié)構(gòu)后mAP達(dá)84.83%，提高了2.11%，每類目標(biāo)的詳細(xì)平均正確率(Average Precision, AP)如圖8所示，可見(jiàn)改進(jìn)FPN結(jié)構(gòu)能提升目標(biāo)檢測(cè)的水平。

圖7 改進(jìn)FPN結(jié)構(gòu)Fig.7 Structure of improved FPN

圖8 原FPN結(jié)構(gòu)和改進(jìn)FPN結(jié)構(gòu)在Pascal VOC數(shù)據(jù)集上的測(cè)試結(jié)果Fig.8 Test results on Pascal VOC dataset between original FPN structure and improved FPN structure

2 實(shí)驗(yàn)與數(shù)據(jù)分析

2.1 數(shù)據(jù)獲取和預(yù)處理

搭建紅外與可見(jiàn)光聯(lián)合檢測(cè)實(shí)驗(yàn)臺(tái)(如圖9所示)用于采集深度學(xué)習(xí)訓(xùn)練所需的缺陷數(shù)據(jù)。實(shí)驗(yàn)臺(tái)由加熱燈、可調(diào)節(jié)相機(jī)支架、熱紅外相機(jī)和可見(jiàn)光灰度相機(jī)構(gòu)成。

采用的紅外相機(jī)為Xenics Gobi+640，鏡頭焦距為10 mm，由于紅外相機(jī)鏡頭在小焦距下畸變十分嚴(yán)重，需對(duì)紅外相機(jī)進(jìn)行標(biāo)定，方便后續(xù)畸變矯正，采用的標(biāo)定方法為張氏標(biāo)定法。

紅外相機(jī)接收的是波長(zhǎng)為8～14 μm的光線，因此無(wú)法清晰獲取普通標(biāo)定板的黑白方格，所以角點(diǎn)提取是紅外相機(jī)標(biāo)定的一大難點(diǎn)。對(duì)標(biāo)定板進(jìn)行特殊處理，以玻璃為底板、氧化鋁陶瓷為基

圖9 數(shù)據(jù)采集實(shí)驗(yàn)臺(tái)Fig.9 Data acquisition experimental platform

板，對(duì)黑方格添加黑色橡膠涂層用于吸熱。在獲取標(biāo)定圖像時(shí)，先用紅外加熱燈對(duì)標(biāo)定板進(jìn)行均勻加熱，然后在紅外相機(jī)下拍照，最后可根據(jù)圖像

標(biāo)定求解相機(jī)內(nèi)參，矯正畸變，標(biāo)定圖像和矯正效果如圖10所示。

圖像矯正后，由于兩個(gè)相機(jī)的位置和視角不同，成像存在差異，借助標(biāo)定時(shí)的標(biāo)定圖像進(jìn)行配準(zhǔn)，利用兩個(gè)相機(jī)成像圖中位置對(duì)應(yīng)的4個(gè)點(diǎn)求出圖像變換的仿射矩陣，當(dāng)相機(jī)相對(duì)位置不發(fā)生改變時(shí)，后續(xù)所有成像都可通過(guò)該仿射矩陣進(jìn)行配準(zhǔn)，配準(zhǔn)效果如圖11所示。

圖10 紅外相機(jī)畸變矯正Fig.10 Distortion correction of infrared camera

圖11 紅外圖像與可見(jiàn)光圖像配準(zhǔn)Fig.11 Registration between infrared images and visible images

2.2 數(shù)據(jù)分析

在自動(dòng)鋪絲在線檢測(cè)領(lǐng)域，間隙和重疊兩種缺陷是研究的重點(diǎn)，前人的研究已達(dá)到較好的檢測(cè)效果，因此主要針對(duì)其他研究較少的6種缺陷進(jìn)行檢測(cè)，分別為架橋、氣泡、異物、缺絲、絲束扭轉(zhuǎn)、絲束褶皺。由于撅起、架橋和脫粘的本質(zhì)都是絲束脫離下層，所以將3種缺陷歸為架橋缺陷檢測(cè)。使用的數(shù)據(jù)集分布如表1所示。

首先，分別使用改進(jìn)FPN結(jié)構(gòu)和原FPN結(jié)構(gòu)以紅外與可見(jiàn)光融合網(wǎng)絡(luò)框架測(cè)試YOLOv3(anchor-based網(wǎng)絡(luò))，從而證實(shí)改進(jìn)FPN結(jié)構(gòu)的有效性。然后，在CSP-CenterNet(anchor-free網(wǎng)絡(luò))上分別測(cè)試了單可見(jiàn)光檢測(cè)、單紅外檢測(cè)和紅外與可見(jiàn)光聯(lián)合檢測(cè)效果，進(jìn)而證明紅外與可見(jiàn)光聯(lián)合檢測(cè)的有效性。最后，在CSP-CenterNet上使用改進(jìn)FPN結(jié)構(gòu)測(cè)試紅外與可見(jiàn)光聯(lián)合檢測(cè)效果，得出最終測(cè)試效果。

表1 數(shù)據(jù)分布Table 1 Data distribution

在CSP-CenterNet網(wǎng)絡(luò)中，使用單可見(jiàn)光測(cè)試的最好結(jié)果為78.12% mAP，單紅外測(cè)試最好結(jié)果為82.45% mAP，未應(yīng)用改進(jìn)FPN結(jié)構(gòu)時(shí)可見(jiàn)光與紅外聯(lián)合檢測(cè)測(cè)試結(jié)果為84.42% mAP，應(yīng)用改進(jìn)FPN結(jié)構(gòu)后測(cè)試結(jié)果為85.44% mAP。由此可見(jiàn)紅外與可見(jiàn)光聯(lián)合檢測(cè)比單一的任一種光源檢測(cè)效果都好，比單可見(jiàn)光提升6.30% mAP，比單紅外光提升1.97% mAP，且在此基礎(chǔ)上應(yīng)用改進(jìn)FPN結(jié)構(gòu)后，能再提高1.02% mAP。圖12中pFPN指本文提出的FPN結(jié)構(gòu)，可看出增加FPN后，除絲束扭轉(zhuǎn)缺陷的準(zhǔn)確率()-召回率()曲線效果略差，其他5種缺陷的效果均優(yōu)于不使用改進(jìn)FPN結(jié)構(gòu)的網(wǎng)絡(luò)。從缺絲和絲束扭轉(zhuǎn)缺陷的-曲線對(duì)比可看出無(wú)錨框網(wǎng)絡(luò)效果均明顯優(yōu)于基于錨框的網(wǎng)絡(luò)，同時(shí)從表2的不同缺陷召回率和準(zhǔn)確率對(duì)比數(shù)據(jù)中可看出，基于錨框網(wǎng)絡(luò)檢測(cè)缺絲和絲束扭轉(zhuǎn)兩種狹長(zhǎng)形缺陷的召回率和準(zhǔn)確率比無(wú)錨框網(wǎng)絡(luò)低，使用無(wú)錨框網(wǎng)絡(luò)檢測(cè)的結(jié)果中，缺絲缺陷檢測(cè)的準(zhǔn)確率和召回率分別比使用錨框的網(wǎng)絡(luò)提高了33%和21%，絲束扭轉(zhuǎn)缺陷分別提高了5%和6%，而對(duì)于其他長(zhǎng)寬比較均勻的4種缺陷，兩種網(wǎng)絡(luò)測(cè)試結(jié)果的召回率和準(zhǔn)確率平均提升比例3%，甚至錨框網(wǎng)絡(luò)中異物缺陷的召回率和準(zhǔn)確率略高于無(wú)錨框網(wǎng)絡(luò)。這是因?yàn)槿苯z和絲束扭轉(zhuǎn)的長(zhǎng)寬比較大，屬于狹長(zhǎng)形缺陷，基于錨框網(wǎng)絡(luò)難以通過(guò)錨框線性回歸缺陷位置，這也印證了本文的觀點(diǎn)，即針對(duì)狹長(zhǎng)形缺陷，無(wú)錨框的網(wǎng)絡(luò)結(jié)構(gòu)將更有優(yōu)勢(shì)。

圖12 6種缺陷在不同網(wǎng)絡(luò)中的P-R測(cè)試曲線Fig.12 P-R test curves of 6 kinds of defects in different networks

根據(jù)圖12的-曲線可求出每種缺陷的檢測(cè)準(zhǔn)確率和召回率，最終得出平均準(zhǔn)確率，YOLOv3的準(zhǔn)確率為76.5%，CSP-CenterNet的準(zhǔn)確率為79.5%，應(yīng)用改進(jìn)FPN結(jié)構(gòu)后CSP-CenterNet的準(zhǔn)確率為82.5%；同樣可計(jì)算召回率，分別為84.0%、88.2%和88.0%，從而可得出結(jié)論，即使用CSP-CenterNet檢測(cè)的準(zhǔn)確率和召回率均有明顯提升，使用改進(jìn)FPN結(jié)構(gòu)后CSP-CenterNet能在保證召回率不下降的前提下將準(zhǔn)確率提升3.0%，見(jiàn)表2。

表2 6種缺陷在不同網(wǎng)絡(luò)中的準(zhǔn)確率(P)和召回率(R)測(cè)試結(jié)果Table 2 Precision (P) and recall (R) test results of 6 kinds of defects in different networks

圖13展示了檢測(cè)網(wǎng)絡(luò)的檢測(cè)效果對(duì)比，以第1行的檢測(cè)圖像為例，在紅外圖像中左上角的薄膜異物由于在熱傳遞過(guò)程中熱量損失小，薄膜與周圍區(qū)域幾乎沒(méi)有溫度差，導(dǎo)致其細(xì)節(jié)不明顯，單紅外光檢測(cè)未將其檢測(cè)出，但薄膜下覆蓋的絲束扭轉(zhuǎn)缺陷被紅外圖像成功檢測(cè)出；在可見(jiàn)光圖像中薄膜異物十分明顯，但薄膜反射光源導(dǎo)致薄膜下覆蓋的扭轉(zhuǎn)缺陷無(wú)法被檢測(cè)出，在融合檢測(cè)圖像中雖然異物的回歸框不是很好，但成功將兩種缺陷都檢測(cè)出來(lái)，圖13中使用白色橢圓將檢測(cè)存在差異的缺陷圈出。紅外與可見(jiàn)光聯(lián)合檢測(cè)的結(jié)果能融合兩種單光譜檢測(cè)結(jié)果，從而達(dá)到更高的精度。本算法在大型龍門鋪絲機(jī)上進(jìn)行在線檢測(cè)測(cè)試，如圖14所示。本算法的檢測(cè)速度在RTX2080顯卡上能達(dá)到60 FPS，每張圖像的視野可達(dá)15 cm×15 cm，因此可滿足纖維鋪放速度0.9 m/s的實(shí)時(shí)檢測(cè)。

圖13 缺陷檢測(cè)結(jié)果(聯(lián)合檢測(cè)的圖像進(jìn)行通道疊加處理顯示)Fig.13 Result of defects test (images of fusion detection being displayed by concatenating channels)

圖14 大型龍門鋪絲機(jī)絲束缺陷在線檢測(cè)Fig.14 Online detection of defects on large gantry fiber placement equipment

3 結(jié) 論

提出了一種基于深度學(xué)習(xí)的可見(jiàn)光與紅外聯(lián)合檢測(cè)手段用于碳纖維復(fù)合材料在線缺陷檢測(cè)，以無(wú)錨框檢測(cè)網(wǎng)絡(luò)為基礎(chǔ)，創(chuàng)新性地改進(jìn)了檢測(cè)的深度學(xué)習(xí)融合框架，采用中間層融合策略實(shí)現(xiàn)了紅外與可見(jiàn)光圖像信息交流，以CSP-DarkNet為特征提取主干，增加改進(jìn)FPN結(jié)構(gòu)進(jìn)行多尺度預(yù)測(cè)。實(shí)驗(yàn)結(jié)果顯示本算法的缺陷檢測(cè)性能可達(dá)85.44% mAP，其中召回率可達(dá)88.0%，能滿足生產(chǎn)中對(duì)缺陷檢測(cè)精度的需求。

實(shí)驗(yàn)中，檢測(cè)系統(tǒng)能及時(shí)發(fā)現(xiàn)鋪放缺陷。然而本文只對(duì)算法進(jìn)行了準(zhǔn)確度上的優(yōu)化，能滿足的最大鋪放速度為0.9 m/s，當(dāng)超過(guò)這個(gè)速度時(shí)會(huì)出現(xiàn)丟幀和漏檢，因此后續(xù)需在保證準(zhǔn)確度的同時(shí)進(jìn)行速度優(yōu)化，以滿足更高速的鋪放需求。