朱康愷 周曉巍

（上海航天控制技術(shù)研究所）

0 引言

柔性電路板是電子產(chǎn)品的主要組成部分，廢舊電路板上元器件平均使用時間約2 萬h，仍處于質(zhì)量最佳期，經(jīng)過電性能檢測與針對性維修后，仍然可以重新用于電子產(chǎn)品生產(chǎn)中［1］。然而，由于生產(chǎn)工藝的復(fù)雜性，柔性電路板表面可能會出現(xiàn)劃痕、污漬、翹曲等缺陷，影響到了電路板的功能和可靠性。因此，對柔性電路板表面缺陷進行準(zhǔn)確、高效檢測具有重要意義。傳統(tǒng)檢測方法主要基于圖像處理技術(shù)和機器視覺技術(shù)，檢測時需要手動設(shè)置多個參數(shù)，而且對不同的缺陷類型和尺寸可能需要不同的參數(shù)設(shè)置，此外檢測結(jié)果還會受到光照、視角、顏色等因素的影響［2］。近些年，深度學(xué)習(xí)技術(shù)的應(yīng)用雖然一定程度提升了傳統(tǒng)檢測方法的質(zhì)量與效率，但仍然面臨著模型復(fù)雜度高、計算量大、參數(shù)調(diào)整困難等問題［3］。鑒于此，本研究提出了一種基于分層解耦區(qū)域生成網(wǎng)絡(luò)的柔性電路板表面缺陷檢測方法。

1 柔性電路板表面缺陷檢測網(wǎng)絡(luò)總體框架

本研究設(shè)計了一種基于分層解耦區(qū)域生成網(wǎng)絡(luò)的柔性電路板表面缺陷檢測方法，其總體結(jié)構(gòu)如圖1 所示。該檢測方法主要分為三個部分，分別是多層特征提取網(wǎng)絡(luò)、分層解耦區(qū)域生成網(wǎng)絡(luò)與分類回歸網(wǎng)絡(luò)。其中，多層特征提取網(wǎng)絡(luò)采用多層特征抽象，將不同卷積層的CNN 特征進行融合，獲取多尺度感受野，從而強化多尺度特征信息。分層解耦區(qū)域網(wǎng)絡(luò)在接收到多層特征圖以后，通過多重感受野融合模塊實現(xiàn)區(qū)域生成網(wǎng)絡(luò)與分類回歸網(wǎng)絡(luò)的解耦。分類回歸網(wǎng)絡(luò)采用RoI Align 進行ROI 池化，以有效提高模型訓(xùn)練與預(yù)測效果。

圖1 柔性電路板表面缺陷檢測方法總體架構(gòu)示意圖

2 分層解耦區(qū)域生成網(wǎng)絡(luò)設(shè)計

2.1 特征提取網(wǎng)絡(luò)設(shè)計

本研究結(jié)合開源的VGG16 網(wǎng)絡(luò)設(shè)計了一種新的特征提取網(wǎng)絡(luò)，VGG16 網(wǎng)絡(luò)有16 層，包括13 個卷積層和3 個全連接層。這種網(wǎng)絡(luò)結(jié)構(gòu)的特點是每次池化后都會使通道數(shù)翻倍，從而可以保留更多的特征信息。在卷積層5 之后有一個全連接層，之后是softmax預(yù)測層。不同層的特征提取層可分別提取目標(biāo)圖像的基礎(chǔ)特征與高層語義，并采取多特征融合方式實現(xiàn)不同感受野大小。針對不同層采取差異化采樣策略，低層加入了最大池化層進行下采樣，高層加入了反卷積層進行上采樣，可以獲取到大小相同的特征圖，便于拼接。在所有采樣通道中均加入卷積層，用于提取語義特征及其壓縮，最終通過局部響應(yīng)歸一化層標(biāo)準(zhǔn)化來源于不同采樣通道的feature maps，并將其整合到統(tǒng)一的立方體中，形成新的feature maps。該網(wǎng)絡(luò)將特征圖到原圖的映射比升高為1：8，從而可以有效提高分辨率，同時采用采樣通道融合的方式可以實現(xiàn)多尺度感受野。

2.2 分層解耦區(qū)域生成網(wǎng)絡(luò)設(shè)計

模型中，特征提取網(wǎng)絡(luò)的最后一層決定了區(qū)域生成網(wǎng)絡(luò)輸入特征圖感受野，特征圖無法識別大量細節(jié)信息，從而導(dǎo)致定位結(jié)果不精準(zhǔn)。本研究采用空洞卷積取代多層卷積，從而可以有效保障模型感受野。在圖像輸入以后，針對單一像素采取兩次標(biāo)準(zhǔn)3×3 卷積，可以有效擴大特征信息，基本可達到覆蓋輸出特征圖的5×5區(qū)域，且此時的權(quán)重分布類似于二維高斯分布。而如果采取空洞卷積的方式，卷積核內(nèi)元素距離為2，則可以擴大到9×9 區(qū)域，但考慮到此時數(shù)據(jù)過于稀疏，會影響到生成候選框的精準(zhǔn)性。因此，本研究在采用空洞卷積的基礎(chǔ)上，進一步融合了標(biāo)準(zhǔn)卷積的特征密集，形成一種多重感受野融合模塊。輸入圖像x0首先經(jīng)過標(biāo)準(zhǔn)卷積后，可以生成特征圖x1，通過標(biāo)準(zhǔn)卷積增大擴大其特征信息，之后再經(jīng)過空洞卷積，將與其感受野大小一致的d2特征圖采用數(shù)值相加的方式進行融合，生成輸出特征圖x2，兩張?zhí)卣鲌D的感受視野存在差異，通過多次循環(huán)處理進一步擴大其感受野大小，并進一步增強多重感受野融合模塊的高層語義信息獲取能力，多重感受野融合模塊MRFMi(i= 1，2，3，4，5) 的計算過程如下：

式中，xn為長度為n的模塊輸出，σ(x) 為ReLU激活函數(shù)，con3為標(biāo)準(zhǔn)卷積，尺寸為3×3，滑動步長為1，codn為空洞卷積，在標(biāo)準(zhǔn)卷積的基礎(chǔ)上設(shè)定卷積核內(nèi)元素距離為n。

在模塊中，當(dāng)對空洞卷積的元素間距進行調(diào)整，即調(diào)整模塊長度參數(shù)n，便可以獲取到不同大小的感受野，從而有效解決特征不匹配問題，并且相比單一的標(biāo)準(zhǔn)卷積方式，特征信息能夠得到有效保留，避免關(guān)鍵特征的丟失。

同時，在Faster R-CNN 網(wǎng)絡(luò)中融入了區(qū)域生成網(wǎng)絡(luò)，因此特征提取網(wǎng)絡(luò)提取到的圖像特征可以同時共享給候選框，從而可以進行更快的生成與分類識別，顯著提高模型運行速度，并且可以有效表示目標(biāo)特征與像素間的關(guān)系［4］。因為采用基于區(qū)域生成網(wǎng)絡(luò)的輸出候選框作為后續(xù)的分類回歸網(wǎng)絡(luò)，通過對目標(biāo)區(qū)域內(nèi)的特征進行分類處理，即可獲取到分類預(yù)測概率與具體缺陷區(qū)域。針對柔性電路板表面缺陷的識別問題，在候選框生成時必須獲取到滿足要求的感受野與高層語義特征信息，為避免分類回歸網(wǎng)絡(luò)與區(qū)域生成網(wǎng)絡(luò)間的目標(biāo)差異干擾問題，因此采用解耦思想，提出了分層解耦區(qū)域生成網(wǎng)絡(luò)。其網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)成包括四個不同的多重感受野融合模塊，結(jié)構(gòu)示意圖可見圖2。分層解耦區(qū)域生成網(wǎng)絡(luò)在接收到不同尺度的特征圖輸出以后，可以經(jīng)過四個多重感受野融合模塊的四次重復(fù)放大處理，使感受野可以放大至滿足要求，并且獲取到高層的語義信息，從而獲取到不同尺度的輸入特征圖mmi，之后再經(jīng)過區(qū)域生成網(wǎng)絡(luò)處理，生成不同的對應(yīng)候選框proposalsi，整體計算過程如下。

圖2 分層解耦區(qū)域生成網(wǎng)絡(luò)結(jié)構(gòu)

區(qū)域生成網(wǎng)絡(luò)在獲取到不同尺度的輸入特征圖以后，分別進行獨立預(yù)測，生成相對應(yīng)的輸出候選框結(jié)果。之后按照圖2所示，RoI Align根據(jù)不同候選框結(jié)果，在不同尺度的特征圖中求出固定尺寸的特征圖。因為Anchor 的設(shè)置差異，候選框的區(qū)域規(guī)模及其感受野大小同樣存在差異，此時通過對模塊的長度參數(shù)n進行調(diào)節(jié)，便可以實現(xiàn)對輸出特征圖的感受野大小控制，從而通過不斷調(diào)節(jié)便可以獲取到最佳感受野大小。

2.3 RoI池化設(shè)計

Faster R-CNN模型采用RoI Pooling將特征圖像轉(zhuǎn)化為固定尺寸特征圖，可以滿足分類回歸網(wǎng)絡(luò)的輸入要求［5］。模型首先將輸入特征圖劃分為目標(biāo)特征圖尺寸的網(wǎng)格區(qū)域，若無法整除，可以采取向下取整的方式，通過全局池化，可以獲取到各網(wǎng)格區(qū)域的輸出值，將其融合后可以獲取到最終結(jié)果。這一過程中因為采取向下取整的方式，特征圖與真實特征信息之間會存在一定偏差，導(dǎo)致模型預(yù)測精度下降。因此，為了解決該問題，本研究采用RoI Align 代替RoI Pool‐ing，在對無法整除的情況進行處理時，采用雙線性插值對邊界進行處理。RoI Align 首先將輸入特征圖劃分出不同子區(qū)域，當(dāng)無法整除時保留非整數(shù)邊界結(jié)果，之后再進行二次劃分，形成四個小區(qū)域，對應(yīng)的特征值采用雙線性插值進行獲取，求取平均值作為整體區(qū)域的結(jié)果值，最終組合所有結(jié)果獲取到最終輸出圖特征。

2.4 算法實現(xiàn)

實驗平臺配置：intel 十二核i7 處理器，32G 內(nèi)存，顯卡為Ge Force RTX 2080Ti，顯存為11G，采用Caffe 深度學(xué)習(xí)平臺進行訓(xùn)練。采用端到端方式進行訓(xùn)練，輸入圖片大小為1024*1280，處理轉(zhuǎn)變?yōu)?40*800，輸出為檢測的結(jié)果與缺陷的位置，具體算法超參數(shù)設(shè)置如下：（1）RPN 訓(xùn)練：正負樣本重合度閾值分別為0.7、0.3，bitch為256，正樣本比例為0.5，NMS 輸入、輸出窗口數(shù)量分別為12000、2000，NMS 閾值為0.7；（2）RPN 測試：NMS 輸出、輸出窗口數(shù)量分別為600、300，NMS閾值為0.7；（3）候選窗口分類器：正負樣本重合度閾值為0.5，正樣本比例為0.5，bitch 為128，NMS 閾值為0.8；（4）算法學(xué)習(xí)參數(shù)：基學(xué)習(xí)率為0.001、權(quán)重正則化系數(shù)為0.0005，Adam參數(shù)1、2分別為0.9、0.999。

3 實驗結(jié)果與分析

本研究選擇以迭代次數(shù)為2 萬次對本研究算法與Faster R-CNN算法進行對比，具體對比結(jié)果見表1。

表1 檢測結(jié)果

由表1 可以看出本研究提出的檢測方法在各項指標(biāo)上均有明顯提升，各項缺陷的漏檢與誤檢數(shù)量有效降低，精準(zhǔn)率、召回率、F-score 的性能分別提升了4.18%、3.79%與3.97%，缺陷定位結(jié)果較為精準(zhǔn)，可以滿足柔性電路板表面缺陷檢測要求。

4 結(jié)束語

本研究針對柔性電路板表面缺陷的特征，設(shè)計了一種基于分層解耦區(qū)域生成網(wǎng)絡(luò)的檢測方法，通過實驗驗證了該方法的有效性，可以精準(zhǔn)識別出柔性電路板的劃傷、壓痕、空焊、粘錫等常見表面缺陷，且精準(zhǔn)率、召回率與F-score均有不錯的性能。