梁瑩，王云帆，林時雨，3，何莊達，李旭東，3，趙慧潔，3

（1.上海航天精密機械研究所，上海 201600；2.北京航空航天大學(xué) 儀器科學(xué)與光電工程學(xué)院，北京 100191；3.北京航空航天大學(xué) 青島研究院，山東 青島 266100）

0 引言

鉚接工藝在空天制造中廣泛應(yīng)用，對于大型薄壁結(jié)構(gòu)來說，其制造加工過程所需鉚釘多達數(shù)十萬個。為了質(zhì)量控制，有諸多鉚接參數(shù)需要自動化測量，其中包括鉚釘鐓頭尺寸（直徑、高度）以及缺陷檢測。一方面，鐓頭尺寸是反映鉚接件疲勞性能的關(guān)鍵參數(shù)之一，有助于估算鉚接時施加的擠壓力［1］和干涉值［2］；另一方面，鐓頭表面開裂降低成品的安全性和完整性［3-4］，需要及時反饋生產(chǎn)制造部門。然而，對于大型部件制造檢測，由于鉚接點數(shù)量較多，現(xiàn)有手段效率仍然低下，因此急需一種高精度的自動化鉚釘鐓頭檢測手段，提高生產(chǎn)制造及檢測效率。

現(xiàn)有檢測手段以無損探傷裂紋檢測為主，缺少幾何尺寸檢測。電渦流技術(shù)（Eddy Current，EC）采用電磁感應(yīng)探頭檢測次表面損傷，常見探頭包括傳感線圈［5］、霍爾傳感器［6］、巨磁變傳感器［7］或磁光成像傳感器［8］等。超聲檢測［9］利用超聲信號頻譜分析檢測裂紋，利用飛行時間法估計裂紋深度。這些方法可以有效探測遠端缺陷，但是無法檢測結(jié)構(gòu)尺寸，并且需要額外的傳感器來定位鉚釘，因此很難實現(xiàn)大型結(jié)構(gòu)的自動化測量。除無損探傷以外，機器視覺技術(shù)［10-13］也被用于定位和檢查鉚釘。LIU等［11］開發(fā)了一種名為EOL（Edge of LightTM）的增強視覺檢測系統(tǒng)，可以實現(xiàn)鉚釘自動定位，并檢測隱藏的腐蝕損傷。然而，該系統(tǒng)只能采集二維圖像，同樣無法提取幾何尺寸。

在鐓頭尺寸檢測方面，目前主流檢測過程仍然采用卡尺等方式手工檢測，其精度受限于人員操作，且不適用于大規(guī)模鉚接檢測。2020 年，XIE等［14］利用三維掃描儀實現(xiàn)了鉚接點的自動化分析，使用商用三維激光掃描儀獲取鉚接的飛機蒙皮的三維數(shù)據(jù)，然后進行多重結(jié)構(gòu)擬合來檢測鉚釘；但現(xiàn)有掃描設(shè)備測點云質(zhì)量較差、噪聲嚴重、輪廓缺失且點云密度各向異性，影響算法穩(wěn)定性。

同時獲取鉚接件表面致密的三維數(shù)據(jù)以及二維紋理圖像是鐓頭尺寸參數(shù)提取和表面裂紋缺陷識別的關(guān)鍵。條紋投射法是一種廣泛應(yīng)用于三維形貌測量的方法，其具有精度高、速度快、測量靈活、點云稠密的優(yōu)點［15］。高動態(tài)范 圍（High Dynamic Range，HDR）條紋投射法［16］可以有效克服鐓頭表面強反光等問題，實現(xiàn)表面三維重構(gòu)［17］，適用于鉚接件的自動化三維測量。此外，其恢復(fù)的紋理信息可以進一步提高缺陷檢測精度。在此基礎(chǔ)上，本文提出一種基于條紋投射三維測量的鉚釘自動化檢測技術(shù)，可以實現(xiàn)鉚接鐓頭的自動化識別、分割、尺寸特征提取以及缺陷識別。

1 基本原理

1.1 整體思路

條紋投射法通過向被測物表面投射相移正弦條紋圖案，如圖1 所示，相機同步采集，根據(jù)條紋圖像解算的絕對相位和雙目立體視覺原理實現(xiàn)稠密三維測量，該方法可以同時獲取點云數(shù)據(jù)和二維紋理圖像［18］。

圖1 基于條紋投射的鉚釘檢測原理Fig.1 Rivet detection principle based on fringe projection

由于鉚接件表面存在強反光，采用HDR 技術(shù)可以有效提升拍攝圖像動態(tài)范圍，避免圖像飽和與失真。在獲取鐓頭三維和二維數(shù)據(jù)后，鉚接點可以通過二、三維結(jié)合的方法進行點云分割，其中鐓頭特征尺寸可以在點云上自動化提取。由于表面反射率不均一，三維點云容易出現(xiàn)點云缺失或噪聲過大，而二維紋理圖像相對穩(wěn)定，因此本文使用二維圖像進行缺陷識別。

整體思路如圖2 所示，首先通過HDR 條紋獲取技術(shù)，獲得多亮度條紋圖像，分別用于HDR 條紋合成和HDR 紋理合成。其中，HDR 條紋用于相位獲取和三維重建，HDR 紋理圖用于鉚接點定位和感興趣區(qū)域（Region of Interest，ROI）分割。根據(jù)紋理圖的ROI 區(qū)域，查找對應(yīng)的三維點云，進行精分割，同時提取直徑和高度等尺寸參數(shù)。分割后的ROI 紋理圖輸入缺陷識別神經(jīng)網(wǎng)絡(luò)，用于對有缺陷的鉚接點二分類。

圖2 鉚接件檢測流程Fig.2 Flow chart of rivet detection

1.2 高動態(tài)條紋投射三維測量及紋理合成

為了保證鉚釘鐓頭強反光表面三維測量精度，采用外差多頻相移技術(shù)，其基本原理是將相移正弦條紋序列投射至物體表面，從拍攝的圖像中逐點解算出被物體形狀調(diào)制的相位信息。對于四步相移算法，投射條紋可以表示為

式中：(x，y)為投影儀坐標(biāo)；Ii(x，y)為光強大小；a(x，y) 為平均強 度；b(x，y) 為強度調(diào)制系數(shù)；φ(x，y)為包裹相位。

φ(x，y)可由下式求解：

由于使用了反正切函數(shù)，解出的相位被包裹在［-π，π］范圍內(nèi)。進一步采用外差多頻相展開法［18］確定條紋級數(shù)，消除2π 不連續(xù)，獲取絕對相位；繼而使用展開的連續(xù)相位圖進行雙目立體匹配和三維重建。對于雙目系統(tǒng)，每個相機可以表示為

式中：s為縮放系數(shù)；u、v為像平面坐標(biāo)；A為相機內(nèi)參數(shù)；R為旋轉(zhuǎn)矩陣；t為平移向量；X、Y、Z為三維空間坐標(biāo)。

或為簡單起見：

式中：M為3×4 投影矩陣，可通過相機標(biāo)定［19］確定；p為像平面坐標(biāo)；X為三維空間坐標(biāo)。

結(jié)合左右相機方程，用相位匹配點坐標(biāo)代入p，即可求出三維坐標(biāo)X：

式中：上標(biāo)l、r 分別為左相機和右相機。

在實際應(yīng)用中，由于鉚接件表面粗糙度和材料反光性質(zhì)不同，其表面反射率變化較大，該反射特性導(dǎo)致條紋投射傳感器的信噪比不均勻，部分測量區(qū)域傳感器飽和，故需使用HDR 方法。在前期工作中［11］，提出了基于多亮度的HDR 條紋獲取方法。該方法通過改變投影儀投射亮度和相機曝光時間，采集不同亮度等級下的條紋圖像。對于不同亮度等級的條紋圖像，首先進行HDR 相位解算，對不同亮度等級的條紋填，利用調(diào)制度最大原則合成HDR條紋圖。計算掩膜Maskn(x，y)，公式如下：

式中：Bn為調(diào)制度；N為亮度等級數(shù)；Iin(x，y)為第n個亮度等級下第i步條紋圖像，n=1，2，…，N。

獲取掩膜后，分別與條紋圖像相乘，獲得HDR條紋圖Fi(x，y)，即：

之后，運用式（2）獲取包裹相位，并利用外差多頻法展開相位，根據(jù)前述原理三維重建，即可獲得三維點云數(shù)據(jù)。其次，合成HDR 二維紋理圖像。根據(jù)采集到的條紋圖，分別計算各個亮度等級下的紋理圖像：

式中：I0n（x，y）為第n個亮度等級下的紋理圖像。

然后利用Mertans HDR 成像技術(shù)［20］合成HDR二維紋理圖像，該方法無需估計相機響應(yīng)曲線，可直接對不同亮度等級下計算的紋理圖像I0n（x，y）進行HDR 合成，計算相率更高。

1.3 二、三維結(jié)合的鉚接點點云分割及尺寸特征提取

分割目的是對鉚接點進行識別定位，并分離鐓頭上下表面。由于直接在稠密三維點云上運行特征提取速度較慢、精度較差，因此本文采取二、三維結(jié)合的鉚接點分割策略，基本流程如圖3 所示。

圖3 分割算法流程Fig.3 Flow chart of the segmentation algorithm

鐓頭分割需要確定鉚接點位ROI 區(qū)域，并將區(qū)域內(nèi)的鐓頭點云分割為上表面及底面。首先，采用Hough 圓變換算法［21］在HDR 二維紋理中定位鉚接點，并分割直徑1.5 倍矩形區(qū)域作為ROI 區(qū)域進行進一步處理。然后，針對每一個ROI 區(qū)域，查找像素對應(yīng)的三維點深度值Z，生成ROI 深度圖。由于鐓頭上表面與桁條等鉚接底面之間存在高度差階躍，可以使用Otsu 算法［22］進行分割，將ROI 深度圖分割為鐓頭上表面和底面。最后，遍歷每個ROI 深度圖上表面，采用Canny 算子［23］和插值方法進行亞像素邊緣圖提取。針對每個邊緣輪廓，分別進行橢圓擬合，并根據(jù)平均深度、長短軸比、面積閾值條件進行初步篩選，剔除長短軸比過大、面積較小、平均深度較小的邊緣。最終留下的則為包含鐓頭上下表面的ROI 區(qū)域，其中橢圓輪廓內(nèi)為鐓頭上表面，其余區(qū)域為鐓頭下表面。根據(jù)ROI 圖像像素坐標(biāo)即可查找對應(yīng)三維點云，實現(xiàn)點云分割。

分割上下表面點云之后，即可提取尺寸特征。尺寸提取過程中，分別對得到的n組ROI 點云進行平面擬合及橢圓擬合來完成最終的參數(shù)提取，主要步驟包括：①對n組ROI 點云依次進行處理。每一組點云中分別對鉚釘鐓頭上表面點云和底面點云進行迭代平面擬合，剔除離群點的同時得到各自的平面法線。② 將剔除了離群點的鐓頭上表面點云，根據(jù)其平面法線投影至平面，再對投影至平面的鉚釘表面點生成凸包。③將生成的凸包點視為鉚釘邊緣，對其進行橢圓擬合，再利用標(biāo)定參數(shù)將其反演到三維點云，得到空間橢圓。④ 計算橢圓中心點至底面的距離，即為鐓頭高度，再根據(jù)橢圓長短軸計算鐓頭直徑。

1.4 基于深度學(xué)習(xí)的鐓頭缺陷識別

鉚釘鐓頭檢測的另一個需求是缺陷識別，即判斷視場范圍內(nèi)的鐓頭表面是否有裂縫缺陷。由于點云容易受噪聲和缺失影響，而二維紋理圖像相對穩(wěn)定，本文采用深度學(xué)習(xí)技術(shù)，對鐓頭ROI 的HDR二維紋理圖像進行特征提取和缺陷識別。

考慮到缺陷樣本數(shù)據(jù)集的規(guī)模較小，為了避免模型過擬合，本文搭建了一個采用了殘差塊［24］結(jié)構(gòu)的小規(guī)模卷積神經(jīng)網(wǎng)絡(luò)模型，其結(jié)構(gòu)如圖4 所示。模型采用殘差塊結(jié)構(gòu)來對鐓頭的HDR 二維紋理圖像進行特征提取。網(wǎng)絡(luò)的輸入是根據(jù)1.3節(jié)中的方法分割得到ROI 鉚接鐓頭HDR 紋理圖像，輸出為缺陷鐓頭概率。網(wǎng)絡(luò)共使用3 個殘差塊，每個殘差塊包括2 層卷積以及連接輸入、輸出的短路連接通路，在每個殘差塊結(jié)構(gòu)前，網(wǎng)絡(luò)采用了卷積層和最大值池化進行特征提取和數(shù)據(jù)的降采樣，從而降低了模型的復(fù)雜度。具體來說，輸入的ROI 圖像首先經(jīng)由3×3×8 的卷積層池化層，后輸入進由兩個3×3×8 卷積層構(gòu)成的殘差塊；然后傳入3×3×16 的卷積層池化層，輸入進由兩個3×3×16 卷積層構(gòu)成的殘差塊；最后，傳入3×3×24的卷積層池化層，輸入進由兩個3×3×24 卷積層構(gòu)成的殘差塊，經(jīng)由全連接和Softmax 層預(yù)測結(jié)果。通過以上的特殊結(jié)構(gòu)，數(shù)據(jù)特征的利用效率得到了提升，從而使模型在小規(guī)模的數(shù)據(jù)集上取得了更好的訓(xùn)練和測試結(jié)果。

圖4 模型結(jié)構(gòu)Fig.4 Model structure diagram

在特征提取后，模型采用3 層全連接網(wǎng)絡(luò)進行分類。排列成1 維的特征數(shù)據(jù)被輸入到全連接網(wǎng)絡(luò)，輸出包含2 個元素的分類結(jié)果，對分類結(jié)果數(shù)據(jù)進行softmax 操作，即可得到墩頭存在缺陷的概率。為了減小過擬合，在訓(xùn)練時對除了輸出層以外的全連接層進行了dropout 操作，即按照一定比例，隨機地丟棄網(wǎng)絡(luò)節(jié)點，從而削弱全連接層網(wǎng)絡(luò)節(jié)點間的協(xié)同關(guān)系，提高模型的泛化能力。

2 實驗及結(jié)果分析

2.1 實驗裝置

系統(tǒng)采用雙目條紋投射配置，其中相機分辨率4 096×2 168，焦距25 mm，投影儀分辨率為1 280×800。系統(tǒng)工作距離為400 mm，視場范圍為300 mm×200 mm。選用多頻外差相展開法，條紋周期為13、14、15，并應(yīng)用7 個亮度等級進行HDR 測量，系統(tǒng)實物如圖5 所示。

圖5 系統(tǒng)實物Fig.5 System objects

2.2 尺寸檢測精度評價

由于鉚釘鐓頭的真實尺寸難以獲取，為了評價尺寸提取精度，本文分別采用直徑、厚度標(biāo)準(zhǔn)器評價系統(tǒng)直徑測量和厚度測量精度，實測數(shù)據(jù)見表1。

表1 標(biāo)準(zhǔn)器實驗結(jié)果Tab.1 Test results of standards

直徑精度評價采用7、8、9 mm 鎢鋼針規(guī)進行測試。針規(guī)端面為標(biāo)準(zhǔn)圓，且反射特性與鉚釘鐓頭類似。為減少隨機誤差影響，每個針規(guī)重復(fù)測量5 次，取均值作為最終實測值，直徑以長短軸均值計算。厚度采用標(biāo)準(zhǔn)金屬量塊進行評測，兩個量塊疊加在一起，則其厚度為上方量塊標(biāo)稱厚度。實驗結(jié)果可知，系統(tǒng)直徑測量精度可達0.040 mm，厚度測量精度可達0.013 mm。

2.3 深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練和測試

由于帶有裂縫的鐓頭樣本較難收集，實驗采用電筆劃傷的鐓頭作為缺陷樣本，并采用前述實驗系統(tǒng)采集HDR 紋理數(shù)據(jù)作為模型的輸入數(shù)據(jù)?？紤]系統(tǒng)硬件參數(shù)配置，實驗構(gòu)建的數(shù)據(jù)集圖像分辨率為112×112，包含紋理圖像總數(shù)為310 張，其中存在缺陷的紋理圖像占比約8%。由于數(shù)據(jù)集規(guī)模較小，且標(biāo)簽的分布不均衡，本文對數(shù)據(jù)集進行了數(shù)據(jù)增強處理。首先，在數(shù)據(jù)集中選取20 張作為原始測試集（其中缺陷紋理圖像占比約1/3），剩余的290 張圖像作為原始訓(xùn)練集；其次，對訓(xùn)練集中的缺陷紋理圖像進行翻轉(zhuǎn)、裁剪、旋轉(zhuǎn)以及亮度和對比度變換，從而擴增了缺陷紋理圖像數(shù)量，使訓(xùn)練集中缺陷紋理圖像占比約1/3，訓(xùn)練集總數(shù)達到380 張；最后，在模型訓(xùn)練的每次迭代過程中，對輸入的訓(xùn)練紋理圖像進行隨機的翻轉(zhuǎn)、裁剪、旋轉(zhuǎn)變換。在模型測試過程中，同樣對測試數(shù)據(jù)進行隨機的翻轉(zhuǎn)和旋轉(zhuǎn)變換。另外，考慮到實際測量時墩頭的HDR紋理數(shù)據(jù)可能受到多種噪聲影響，在訓(xùn)練數(shù)據(jù)中隨機地摻入了一定比例的黑像素，并加入了高斯模糊。以上數(shù)據(jù)增強過程平衡了數(shù)據(jù)集的標(biāo)簽分布，擴增了數(shù)據(jù)集的規(guī)模，使訓(xùn)練好的模型有更好的泛化性能和魯棒性。

模型的訓(xùn)練采用Adam 優(yōu)化器，權(quán)重衰減系數(shù)設(shè)置為0.000 1，損失函數(shù)為交叉熵函數(shù)。模型在訓(xùn)練集和測試集的正確率如圖6 所示。模型在約1 000 次迭代后趨向收斂，表現(xiàn)最優(yōu)的模型在訓(xùn)練集的準(zhǔn)確率達到100%，在測試集的檢測準(zhǔn)確率達到99.97%，表明本文采用的深度網(wǎng)絡(luò)模型實現(xiàn)了對鉚釘墩頭缺陷的高精度檢測。

圖6 訓(xùn)練和測試準(zhǔn)確率Fig.6 Training and testing accuracy

2.4 實物檢測

為驗證系統(tǒng)在實際場景中的缺陷檢測效果，本文采用4 段鉚接桁條作為被檢樣本，分為9 個單視場進行實物檢測。在142 個被檢測墩頭中，141 個墩頭被正確檢測，檢測的準(zhǔn)確率達到99.30%。墩頭缺陷檢測的具體結(jié)果見表2。

表2 缺陷檢測結(jié)果Tab.2 Results of crack detection

其中一個視場的檢測結(jié)果如圖7 所示。圖7（a）為系統(tǒng)重建點云數(shù)據(jù)，圖7（c）為合成HDR 二維紋理數(shù)據(jù)，圖7（b）、7（d）為黃色方框內(nèi)缺陷鐓頭的局部放大圖。圖7（c）中，紅色框標(biāo)識缺陷鐓頭，綠色框標(biāo)識正常鐓頭，可以看到算法正確識別了該視場內(nèi)的缺陷鐓頭。從圖7（b）和圖7（d）也可看到，電筆劃傷的缺陷無論在紋理圖還是三維點云中均可檢測到，系統(tǒng)具有良好的適應(yīng)性。

圖7 鉚釘檢測結(jié)果Fig.7 Results of rivet detection

3 結(jié)束語

本文提出了基于條紋投射三維測量的鉚釘自動化檢測技術(shù)，采用基于HDR 原理的條紋投射光學(xué)三維測量技術(shù)，采集鉚接件表面三維點云和二維紋理圖像。本文的主要貢獻：①通過二、三維結(jié)合的點云分割，實現(xiàn)了鉚釘鐓頭特征尺寸的高精度提取。根據(jù)尺寸檢測精度評價結(jié)果，鉚釘墩頭直徑檢測精度優(yōu)于0.040 mm，厚度檢測精度優(yōu)于0.013 mm。② 搭建卷積神經(jīng)網(wǎng)絡(luò)，采用數(shù)據(jù)增強方法，在小規(guī)模數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)模型，實現(xiàn)裂痕缺陷識別，經(jīng)實物檢測驗證，缺陷檢測精度達到99.30%。

后續(xù)工作將在本文提出的單視場鉚接件檢測方法基礎(chǔ)上，開展大型結(jié)構(gòu)件中多個鉚接點的定位及自動化檢測應(yīng)用，研究考慮測量拼接、路徑規(guī)劃、全局坐標(biāo)系配準(zhǔn)、鐓頭定位等問題的綜合檢測技術(shù)，滿足鉚釘鐓頭自動化檢測的需要。