路 浩， 陳 原

(山東大學 機電與信息工程學院， 山東 威海 264209)

碳纖維是含碳量高于90%的無機高分子纖維，既具有碳材料的固有本征特性，又兼具紡織纖維的柔軟可加工性，是目前已大量生產的高性能纖維中具有最高比強度和最高比模量的纖維[1]。碳纖維預浸料是碳纖維行業(yè)的下游產品，經過再加工可被廣泛應用于航空航天、汽車、體育器材等各個領域。據數據統(tǒng)計，2018—2022年全球航空航天碳纖維預浸料市場規(guī)模將保持在9.0%以上的增長速度，同時在汽車輕量化和新能源汽車的帶動下，2018—2022年全球汽車用碳纖維預浸料市場將保持30%以上的增速[2]。

隨著需求量的迅猛增長，市場對產品質量的要求也更加嚴格。在生產過程中由于需要涂膜、熱壓、冷卻、覆膜、卷曲等多道工藝反復處理，碳纖維預浸料表面會出現裂縫、毛團和孔洞等缺陷。針對這些缺陷，目前主要采用人工檢測方法，效率低，工人長期工作易疲勞，易出現漏檢和誤檢。另外，也可采用紅外熱波、超聲和微波等檢測方法，但紅外熱波檢測速度慢，無法滿足快速生產線；超聲檢測在探頭處需要耦合劑，會對材料造成二次污染；微波檢測更適用于檢測碳纖維材料內部的缺陷，對材料表面缺陷檢測并不理想[3]。以上檢測方法需要檢測對象保持靜止，檢測完一個區(qū)域后，再檢測另一個區(qū)域，額外地增加了檢測時間，降低了生產效率。

隨著機器視覺的不斷發(fā)展和完善，國外許多公司針對紡織物表面存在的缺陷，設計了多種機器視覺自動檢測系統(tǒng)。例如：美國Ingersoll Machine Tools公司開發(fā)了一套基于機器視覺的自動鋪絲在線檢測系統(tǒng)[4]；以色列EVS公司開發(fā)了I-TEX 2000織物檢測系統(tǒng)，該系統(tǒng)對單色織物具有良好的檢測效果[5]；瑞士Uster公司開發(fā)了Fabriscan自動驗布系統(tǒng)，可在實時檢測的同時對缺陷的數量類型進行統(tǒng)計和保存[6]。但以上檢測系統(tǒng)都只能檢測特定產品，不具有通用性，無法完全地將其應用于碳纖維預浸料的表面缺陷檢測，且這些檢測系統(tǒng)大多是基于傳統(tǒng)的目標檢測算法，在復雜光照條件下，檢測速度和精度還有待進一步提高。

近年來，卷積神經網絡的發(fā)展為圖像的識別提供了一種新途徑，基于卷積神經網絡的目標檢測算法迅猛發(fā)展，已在多個應用領域取得成功。2016年Redmon等[7]發(fā)表了題名為“You only look once: unified, real-time object detection”的論文(簡稱YOLO)，開創(chuàng)了單階段目標檢測算法。針對YOLO算法的不足，2017年Redmon等[8]提出了YOLOv2算法，其檢測速度要遠大于快速區(qū)域卷積神經網絡(Fast R-CNN)和最快區(qū)域卷積神經網絡(Faster R-CNN)等雙階段目標算法[9]，使用者可在速度和精度之間進行權衡。針對碳纖維預浸料的表面缺陷，本文采用YOLOv2目標檢測算法，設計了一種基于機器視覺的碳纖維預浸料表面缺陷的自動檢測系統(tǒng)，可自動提取缺陷特征，大大提高了視覺檢測系統(tǒng)的精度和魯棒性。

1 系統(tǒng)組成與原理

圖1示出本文所開發(fā)的碳纖維預浸料表面缺陷檢測系統(tǒng)。該系統(tǒng)是基于機器視覺技術和圖像處理方法來實現的。該檢測系統(tǒng)由線掃描相機、光源、碳纖維預浸料、滾筒、工控機和編碼器等組成，可自動采集碳纖維預浸料的表面圖像，并通過圖像處理和YOLOv2目標檢測算法判斷碳纖維預浸料表面是否存在缺陷。

1—工控機； 2—碳纖維預浸料； 3—線掃相機； 4—編碼器； 5—光源； 6—滾筒。圖1 碳纖維預浸料的表面缺陷檢測系統(tǒng)Fig.1 Surface defect detection system of carbon fiber prepreg

當碳纖維預浸料開始生產時，會帶動編碼器上的滾輪滾動，此時編碼器會向線掃描相機輸入觸發(fā)信號，觸發(fā)相機開始拍照。線掃描相機通過連續(xù)掃描，每隔一段距離將掃描的像素信息合成一張圖像，完成圖像的連續(xù)采集。停止生產時，編碼器滾輪停止?jié)L動，則相機停止采集圖像。圖像采集完成后，采用相應的算法對圖像進行處理，并判斷碳纖維預浸料表面是否存在缺陷并輸出結果。

2 圖像采集

獲取圖像數據是視覺系統(tǒng)檢測的第1步。碳纖維預浸料在生產時不斷向前運動，面陣工業(yè)相機會出現漏拍，且采集到的圖像會出現模糊，無法用于后期處理，所以，本文采用線掃描相機代替面陣相機來獲取圖像數據。實驗用碳纖維預浸料的幅寬為 1 300 mm，檢測精度要求不小于0.25 mm。由于碳纖維預浸料的幅寬較大，無法通過1個線掃描相機獲取整個幅寬的圖像數據，所以本文研究將幅寬分為2個部分，分別使用2臺線掃描相機采集圖像。由檢測精度推出相機的分辨率要求不小于 2 600像素(幅寬/檢測精度)，因此，選擇加拿大Dalsa P2-22-04K40 型線掃描工業(yè)相機，該相機的分辨率為 4 096 像素，相機像元為7.04 μm，行頻為18 kHz。鏡頭選用尼康AF35 mm，使用F型接口與相機相連，焦距為35 mm，最大光圈為f/1.4。光源采用美國Advanced illumination公司產的1 400 mm高亮條形LED光源，可為系統(tǒng)提供高亮度、高均勻、高穩(wěn)定的光照環(huán)境。

根據線掃描相機成像原理，按照式(1)計算出相機的標準工作距離[10]：

(1)

式中：μ為相機像元，mm；N為相機分辨率，像素；f為相機焦距，mm；w為相機拍攝區(qū)域碳纖維預浸料的幅寬，mm；d為相機標準工作距離，mm。

根據上述參數確定相機的安裝位置：相機安裝高度為800 mm。2個相機均勻分布，每個相機負責的預浸料幅寬為650 mm,安裝在負責區(qū)域的正中央，相機間距離為650 mm。光線須經過一層磨砂亞克力板散射，所以選擇光源安裝高度為 20～30 mm，以保證每個區(qū)域內的光照均勻。線掃描相機采集圖像存在的幾種主要缺陷如圖2所示。

圖2 碳纖維預浸料的表面缺陷Fig.2 Surface defects of carbon fiber prepreg.(a) Normal; (b) Crack; (c) Hairball; (d) Hole

3 圖像處理

3.1 圖像預處理

碳纖維預浸料表面缺陷檢測系統(tǒng)安裝在覆膜工序之前，冷卻工序之后。在冷卻過程中，由于樹脂涂抹不均勻和冷卻不完全，會使碳纖維預浸料表面蒙上一層白霧，嚴重影響缺陷目標的檢測。

通過圖像數據的簡單灰度縮放可去除白色樹脂的影響，但同時會將缺陷目標一同去除，圖像無法用于后期處理。碳纖維預浸料和其表面缺陷只有黑白 2種顏色，無其他雜色，因此，本文將采集到的RGB三通道圖像轉化為灰度圖像，簡化圖像的后期處理；然后，通過將白色樹脂轉化為白霧，基于暗通道先驗圖像去霧方法去除白霧；最后，通過灰度縮放對圖像進行增強。

暗通道先驗圖像去霧方法是基于大氣光散射模型所構建的，主要由入射光衰減模型和環(huán)境光成像模型組成[11]。本文將白色樹脂對碳纖維預浸料的影響轉化為大氣中散射顆粒對相機成像的影響，通過求取光線透射率和大氣光值，由式(2)求取無霧圖像。

I(x)=J(x)t(x)+A(1-t(x))

(2)

式中：I(x)為采集到的有霧圖像；J(x)為要獲得的無霧圖像；t(x)為透射率，描述光線的透霧能力；A為圖像中無窮遠處的大氣光值。

通過去霧后獲得的圖像雖然沒有了干擾，但缺陷目標灰度值較小，對比度較差，需通過灰度縮放進一步實現圖像的增強。圖像去霧增強前后的對比圖如圖3所示。

圖3 圖像預處理Fig.3 Image pre-processing.(a) Original image; (b) Dehazing image; (c) Enhanced image

3.2 圖像目標識別

本文采用YOLOv2目標檢測算法來識別碳纖維預浸料表面缺陷，算法基本架構如圖4所示。與傳統(tǒng)的目標檢測算法相比，YOLOv2算法不需要人工設計特征提取算子，檢測速度更快，應用范圍更廣。與雙階段目標檢測算法相比，YOLOv2算法不需要生成區(qū)域候選框，將對象檢測轉化為回歸問題，直接從輸入圖像確定圖像中對象的類別和位置，具有更好、更強、更快的檢測性能[12]。在世界級計算機視覺挑戰(zhàn)賽PASCAL(pattern analysis, statical modeling and computational learning)專用的視覺目標分類數據集VOC(visual object classes)上，YOLOv2算法與其他目標檢測算法的性能對比[8]得到：YOLOv2算法與其他算法平均精度均值接近，但圖像處理速度遠遠超過了其他算法；且其多尺度訓練模式，實現了算法速度和準確度之間的平衡。

1—圖像特征提取分類; 2—圖像識別(邊界框預測)； 3—非極大值抑制; 4—邊界框回歸。圖4 YOLOv2目標檢測算法的框架Fig.4 Algorithm framework of YOLOv2

3.2.1 圖像特征提取分類

識別碳纖維預浸料表面圖像中的缺陷目標，第1步需要提取圖像特征。本文采用Darknet-19卷積神經網絡提取圖像特征，與牛津大學視覺組(visual geometry group)設計的VGG-16和Google公司設計的GoogleNet等卷積神經網絡相比，該網絡具有更快的訓練速度，且在世界圖像識別最大數據庫ImageNet數據庫上，該網絡的top-1準確率達到72.9%，top-5準確率達到91.2%。Darknet-19網絡由19個卷積層和5個最大池化層組成。該神經網絡使用了較多的3×3卷積核，在每次池化操作后將通道數翻倍，同時使網絡全局平均池化，將1×1卷積核置于3×3卷積核之間，用來壓縮特征[13]。Darknet-19網絡在每個卷積層后均加入一個批量標準化層，可穩(wěn)定模型訓練，加速模型收斂，正則化模型[14]。Darknet-19卷積神經網絡的結構如表1所示。將224 像素×224 像素分辨率的圖像輸入網絡后，經過卷積和池化操作獲得圖像目標特征，最終輸出目標特征圖。

表1 Darknet-19卷積神經網絡的結構Tab.1 Architecture of convolutional neural network of Darknet-19

通過上述卷積神經網絡提取了圖像特征，然后使用特征值對表面缺陷進行分類。本文采用Softmax分類器對碳纖維預浸料表面缺陷進行分類，與其他分類器相比，Softmax分類器收斂速度快，很少出現梯度消失，且更適用于多類別對象的分類。Softmax分類器位于卷積神經網絡架構的最后一層，其將多個神經元的輸出映射到(0，1)區(qū)間內，且這些映射值之和等于1。這樣就可將這些映射值理解為概率，最后選取輸出節(jié)點時，將概率較大的節(jié)點作為輸出節(jié)點，用來預測缺陷目標[15]。Softmax函數計算公式為

(3)

式中，Si為第i個元素的Softmax值，i=1,2,…,j。

3.2.2 圖像標識

完成圖像特征提取并分類后，下一步任務是標記出圖像中的缺陷目標。標記圖像常用方法有 2種：一種是通過矩形邊界框將目標圈出；另一種是沿目標輪廓對其進行填充。沿目標輪廓填充會導致目標被覆蓋，不符合人眼觀察習慣。使用矩形邊界框標記圖像缺陷目標，首先應去除卷積神經網絡的全連接層和最后一個池化層，以保證最后卷積層的特征有更高的分辨率。由于大的目標通常會占據圖像的中心，采用具有奇數寬和高的特征圖更易預測目標。

將特征圖劃分為13×13網格，每個網格生成 9個錨框(Anchor boxes)，用于生成預測邊界框。為使算法能更加自動生成Anchor boxes，采用K-means方法對訓練集的預測框做聚類分析，并通過定義距離函數消除預測邊界框和實際邊界框的誤差與邊界框尺寸存在的關聯(lián)。通過在VOC和微軟公司標注的COCO(Miscrosoft Common Objects in Context)數據集上做聚類分析可發(fā)現，隨著聚類中心數目的增加，YOLOv2預測邊界框的AvgIOU值(AvgIOU為平均重疊度，即訓練生成的邊界框與人工標注的實際邊界框之間的重疊度)不斷增加，且采用5個Anchor boxes的YOLOv2算法的預測效果就可超過采用9個Anchor boxes的Faster R-CNN算法[6]。綜合考慮模型的復雜度和召回率，本文選取5個Anchor boxes來預測邊界框。

1張圖像經過上述處理后，特征圖被劃分為 13×13 的網格，每個網格生成5個不同比例的Anchor boxes，每個Anchor boxes包含5個預測值(tx、ty、tw、th、t0)，用于計算預測邊界框的坐標、寬高和置信度，計算公式為：

(4)

式中:(bx,by)為預測邊界框的坐標；bw、bh分別為預測邊界框的寬和高；cx和cy為預測框中心坐標所在的網格距離左上角第1個網格的橫向和縱向距離，單位為1；pw和ph為Anchor boxes的寬和高，tw和th經指數化處理后，與pw和ph相乘即得到預測邊界框的寬和高；σ(t0)為預測框的置信度；σ()為sigmoid激活函數，tr和ty經sigmoid函數處理后，得到數值在0～1之間；object為缺陷目標，Pr(object)當Anchor boxes包含目標時為1，不包含目標時為0；IOU為重疊度計算。

3.2.3 非極大值抑制

為解決一個目標被多次檢測的問題，本文采用非極大值抑制方法。經過以上步驟后，最可能包含目標的邊界框會出現多個，每個邊界框的置信度不同，如圖5所示。本文所采用的非極大值抑制方法首先從所有的邊界框中找出置信度最大的框；然后依次計算其與剩余框的重疊度，如果重疊度大于設定的閾值，則剔除該框；重復以上步驟，直至處理完所有的邊界框[16]。

圖5 非極大值抑制過程Fig.5 Process of non-maximum suppression

3.2.4 邊界框回歸

1張圖像經過上述步驟之后，算法會生成1個邊界框，如圖6所示。深色邊框為制作數據集時人工標注的實際邊界框，白色邊框為算法模型生成的邊界框，2個邊界框中心沒有完全重合，大小也不一致。為使算法生成的邊界框定位更加精準，對邊界框進行平移和縮放，使2個邊界框無限重合。

圖6 邊界框回歸Fig.6 Bounding box regression

3.3 網絡訓練和圖像檢測

YOLOv2目標檢測算法包含許多類型，如YOLO-VOC和Tiny-YOLO等，這些類型的檢測算法具有不同的卷積層、池化層和激活函數。Tiny-YOLO對算法進行了簡化，訓練時占用內存小，速度更快。本文采用YOLO-VOC和Tiny-YOLO這2種算法對圖像數據進行對比訓練，確定最適合本文數據的算法類型[17]。

首先將預處理獲取的1 000張圖像分辨率調整為416 像素×416 像素，其中700張用于網絡訓練，300張用于圖像檢測；然后用圖像標注軟件LabelImg對圖像中的缺陷進行人工標注，生成與圖像相對應的XML文件；最后將圖像與對應的標注文件制作為訓練數據集和測試數據集[18]。

算法在具有Nvida Geforce GTX 1080 Ti E5-2680 GPU和Intel i7處理器的平臺上運行，平臺裝有Ubuntu 16.04操作系統(tǒng),GPU大小為4核 32 G,深度學習框架為Pytorch。根據實驗，迭代次數設置為 10 000 即可達到理想效果，平均重疊度曲線圖如圖7所示。可以看出，隨著訓練迭代次數的增加，平均重疊度值逐步增加并趨于穩(wěn)定。同時平均重疊度等于50%時的召回率(評估算法的精度)和平均重疊度等于75%時的召回率也越來越接近1。

圖7 碳纖維預浸料表面缺陷的訓練結果Fig.7 Training results of carbon fiber prepreg surface defect

為提高網絡的魯棒性，選擇YOLOv2算法的多尺度訓練模式。在網絡訓練時，每迭代10次，網絡會隨機選擇不同尺寸的圖像，可實現準確率和速度之間較好的平衡。2類算法在本文訓練數據集上訓練的結果如表2所示，Tiny-YOLO算法多尺度訓練的結果如表3所示。

表2 YOLOv2模型的訓練結果對比Tab.2 YOLOv2 model training results comparison

注：mAP為算法平均精度均值。

表3 Tiny-YOLO多尺度訓練結果Tab.3 Tiny-YOLO multi-scale training results

由訓練結果可知，2個算法的mAP值非常接近，但YOLO-VOC的訓練時間遠超過Tiny-YOLO，且通過對Tiny-YOLO多尺度訓練，416 像素×416 像素分辨率的圖像具有更好的訓練效果。

為檢測算法的檢測能力，使用測試數據集輸入訓練好的Tiny-YOLO算法模型進行檢測。結果顯示，每幅圖像的檢測速度不超過0.1 s，最快達到 0.06 s/幅，檢測速度遠遠超過了人工。缺陷檢測結果如圖8所示。結果共分為5組，每組分別包含裂縫、毛團和孔洞3種缺陷的檢測精度。

圖8 碳纖維預浸料表面缺陷的檢測結果Fig.8 Detect results of carbon fiber prepreg surface defects. (a) Crack defect inspection results; (b) Hair mass defect detection results; (c) Hole defect detection results

4 結果分析

本文對碳纖維預浸料表面缺陷檢測系統(tǒng)的檢測結果進行統(tǒng)計可知：裂縫缺陷檢出率為96%，準確率為100%；毛團缺陷檢出率為95%，準確率為98%；孔洞缺陷檢出率為94%，準確率為97%。通過觀察分析：裂縫缺陷為長條狀,極易與其他2種缺陷區(qū)分，不會出現誤檢現象，但對于較細的裂縫，會出現漏檢；毛團缺陷由于個別較模糊，對比度較小，導致檢出率沒有裂縫高，且會出現較小的毛團誤判為孔洞的現象；孔洞缺陷規(guī)則可分辨率高，但一般較小，導致檢出率低于毛團，且會出現較大孔洞誤判為毛團現象。針對以上現象，通過調整Tiny-YOLO算法的細粒度特征，在卷積神經網絡中加入Passthrough layer層，將淺層特征圖連接到深層特征圖，提高模型對較小缺陷的檢測效果，系統(tǒng)的最終檢測效果如表4所示。可知，本文系統(tǒng)對3種缺陷的檢出率和誤檢率均達到了工業(yè)應用標準。

表4 系統(tǒng)檢測效果Tab.4 System detect effect %

5 結 論

針對碳纖維預浸料表面存在的缺陷，本文采用YOLOv2目標檢測算法，設計了一種基于機器視覺的碳纖維預浸料表面缺陷自動檢測系統(tǒng)。系統(tǒng)采用高分辨率線掃描相機采集圖像，采用暗通道先驗去霧的方法對圖像進行預處理，然后基于YOLOv2目標檢測算法對圖像進行處理，識別圖像中的缺陷目標。YOLOv2與其他目標檢測算法相比，不僅具有較高的檢測精度，且具有較高的檢測速度。實驗顯示，該系統(tǒng)可很好地完成缺陷檢測任務，達到實時檢測的要求。在以后的工作中將不斷完善系統(tǒng)的功能，提高系統(tǒng)各方面的性能,為碳纖維預浸料表面缺陷自動檢測的研究提供幫助。