劉國棟 蘇成 王曉晨 吳昆鵬 王少聰 周錦波

關鍵詞：無縫鋼管；外表面缺陷檢測；3D缺陷尺寸檢測；輪廓檢測；深度學習

0 引言

無縫鋼管被譽為工業(yè)血管，廣泛應用于化工、石油、海洋、地質及軍工等領域，對國家工業(yè)、國防建設具有重要意義與戰(zhàn)略價值，由于長期處于惡劣工作環(huán)境等問題，無縫鋼管對產品表面缺陷要求極為嚴格。對鋼管缺陷常用的檢測方式包括水壓機檢測、漏磁探傷檢測、熒光粉檢測、超聲檢測、渦流檢測、人工檢測、視覺二維檢測等。其中水壓機檢測屬于離線檢測手段，漏磁探傷檢測需要經常標定，超聲檢測、渦流檢測方式具有“趨膚效應”，誤報率較高，維護成本高，且這幾種檢測屬于接觸式測量，探頭易損壞，對平滑類缺陷不敏感。人工檢測方式漏檢率高，不能全方位檢測，檢出的缺陷可追溯性差，且勞動強度大。

目前主流的檢測方式還是基于機器視覺的非接觸式測量，運用機器視覺檢測方式，通過相機拍照并依靠LED光源或者激光光源，形成高對比度的成像環(huán)境，實現(xiàn)非接觸式檢測缺陷，該檢測方式被大量應用在連鑄、熱軋、寬厚板、鋼管等冷、熱態(tài)場合。目前機器視覺二維檢測主要依靠RGB圖像方法，通過工業(yè)相機采集表面二維灰度圖像，計算機對獲取的圖像的灰度值變化進行處理和識別，確定表面是否有缺陷。但是鋼管表面的缺陷都是立體結構，普通的二維檢測只能定性地檢測出該缺陷有無，對于缺陷的深度或者高度則不能定量檢測，導致檢測的不準確性。

近幾年3D檢測方式得到應用，基于3D點云數(shù)據(jù)作為支撐，鋼管表面缺陷信息更加全面，彌補了二維檢測不能量化的缺點，為實現(xiàn)鋼管外表面缺陷高精度自動檢測和識別，本項目運用機器視覺檢測系統(tǒng)，提出基于二維三維融合視覺檢測技術，提高了鋼管外表面缺陷識別精度和檢出率。

1 鋼管外表面缺陷檢測原理

通過三維檢測技術實現(xiàn)鋼管熱態(tài)或者冷態(tài)的檢測，實現(xiàn)鋼管表面缺陷的3D檢測，對缺陷進行量化檢測，提高缺陷的檢出率和識別率。無縫鋼管表面檢測采用3D線激光傳感器，原理基于三角測量法：當被測物體沿激光方向發(fā)生移動時，位置傳感器上的光斑將產生移動，其位移大小對應被測物體的移動距離，因此可通過算法設計，由光斑位移距離計算出被測物體與基線的距離值，如圖1所示。如圖2所示，3D相機的激光線（X）垂直于鋼管徑向方向，當鋼管沿徑向方向運動時，3D相機的采集行頻和速度匹配，點云數(shù)據(jù)組成產品的表面形狀輪廓。

2 系統(tǒng)組成

整體系統(tǒng)包括圖像、點云數(shù)據(jù)采集端、速度數(shù)據(jù)采集端、數(shù)據(jù)處理端、HMI終端、冷卻端、防護設備等。圖像、點云數(shù)據(jù)和速度數(shù)據(jù)通過千兆網(wǎng)絡傳輸?shù)綌?shù)據(jù)處理端進行存儲、分析、運算，將檢測出的表面缺陷數(shù)據(jù)、鋼管長度、溫度數(shù)據(jù)保存在數(shù)據(jù)庫中，通過軟件處理后在HMI終端進行顯示，系統(tǒng)檢測流程如圖3所示。為適應無縫鋼管形狀特性和規(guī)格多樣性，3D相機安裝在鋼管的一周，實現(xiàn)360°拍攝，且成像系統(tǒng)有足夠大的景深，如圖4所示。

3 檢測算法

3.1 缺陷識別流程

缺陷識別流程如圖5所示。通過拍攝鋼管外表面，得到鋼管外表面的3D點云數(shù)據(jù)和二維灰度圖兩種鋼管表面信息，3D點云數(shù)據(jù)與二維灰度圖相比，3D點云數(shù)據(jù)具有鋼管表面相應位置的三維坐標（xyz），3D點云數(shù)據(jù)經過綜合處理后，計算對應區(qū)域測量點相對于鋼管外表基準面的高度差，得到三維系統(tǒng)處理后的圖片。再經過二維系統(tǒng)的預處理、缺陷分割、缺陷識別等處理進行缺陷檢測。本文通過深度學習智能算法的缺陷檢測方法，將圖像根據(jù)三維尺寸和灰度明顯區(qū)域、邊界明顯區(qū)域、紋理明顯區(qū)域進行提取，并定義為可疑待選的缺陷區(qū)域，快速減少處理的圖像數(shù)據(jù)大小，然后運用復合縮放的網(wǎng)絡構建方法進行最終的缺陷識別。

3.2 AI深度學習智能算法的缺陷檢測方法

開發(fā)基于AI深度學習智能算法的缺陷檢測方法。采用校正注意力YOLOF方法來檢測圓鋼表面的缺陷，網(wǎng)絡結構如圖6所示，主要包含4個組成部分：主干、編碼器、解碼器和校正注意力模塊。

主干部分如圖6（a）所示，主要采用ResNet作為主干，C5表示主干網(wǎng)的輸出的特征映射，Cout表示該特征映射的通道數(shù)，默認是2 048個通道，并且下采樣率為32。編碼器部分如圖6（b）所示，采用YOLOF的擴展編碼器，其具體結構如圖7所示，包括1個投影層和4個連續(xù)的殘差塊。投影層用一個1×1的卷積層來降低通道數(shù)，再用一個3×3卷積層來細化語義上下文，形成具有512個通道的特征映射。殘差塊采用一個1×1的卷積層來縮減通道數(shù)，縮減率為4，然后采用一個3×3的卷積層來擴大感受野，最后再采用一個1×1的卷積層來恢復通道數(shù)。解碼器部分如圖6（c）所示，采用RetinaNet的設計，由兩個并行的特定任務組成：回歸和分類?；貧w包括4個卷積層、批量歸一化層和Mish層。分類包含2個卷積層，遵循Autoassign， 并為回歸中的每個錨點使用對象性預測來證明錨點是否包含對象。分類得分的最終預測是通過將分類輸出與對象性預測相乘得到的。校正注意力模塊如圖6（d）所示，包括局部灰度校正模塊、校正注意力網(wǎng)絡和異常值分割模塊。輸入圖像經過局部灰度校正得到一個增強圖像，然后經過校正注意力網(wǎng)絡的編碼部分得到特征映射C5′，對其執(zhí)行以下3個操作：1）與YOLOF主干網(wǎng)絡輸出的特征C5相加；2）經過空間注意力模型得到一個通道數(shù)為1的特征，再與YOLOF編碼器部分的輸出相乘；3）繼續(xù)執(zhí)行注意力網(wǎng)絡的解碼器，但是這一操作只在訓練時執(zhí)行，驗證時不執(zhí)行。最后，在訓練時用到的真實數(shù)據(jù)采用異常值分割模塊來獲取，訓練主干網(wǎng)絡的模糊缺陷檢測能力。

3.3 復合縮放的網(wǎng)絡構建方法

深度型缺陷先通過深度設定閾值進行二值化處理，二值化后的缺陷區(qū)域對應的位置如圖8（a）所示，通過圖像截取后的子圖，經過分類網(wǎng)絡模型得到具體類別。采用復合縮放的網(wǎng)絡構建方法，使用系數(shù)調整3個參數(shù)值（深度、寬度、輸入圖像分辨率），增加網(wǎng)絡的深度，去捕獲圖像中更多像素的特征，如圖8（b）所示。

EfficientNet-B4網(wǎng)絡模型的整體結構如圖9所示，其中檢測流程中的分類模型采用基于EfficientNet的網(wǎng)絡結構，通過遷移學習訓練進行調整。以實際使用的EfficientNet-B4為例（該系列網(wǎng)絡中速度和準確度較為均衡的一款模型結構），進行遷移學習時，凍結Block1-Block4，利用管材表面缺陷樣本數(shù)據(jù)訓練優(yōu)化Block5-Block7的網(wǎng)絡參數(shù)，利用初始的低層次的圖像特征，調優(yōu)高層次的圖像特征以適應管材缺陷的識別。在網(wǎng)絡頭部部分，以管材缺陷類別，重新構建模型的輸出頭，輸出頭采用SoftMax層得到各類別缺陷的置信度信息。

4 應用效果

4.1 實際缺陷檢測分析

通過缺陷檢出分割處理，將圖像根據(jù)三維尺寸和灰度明顯區(qū)域、邊界明顯區(qū)域、紋理明顯區(qū)域進行提取，并定義可疑待選的缺陷區(qū)域，快速減少處理的圖像數(shù)據(jù)大小，然后將備選的區(qū)域送入分類器模型進行最終的類別判定，類別判定采用置信概率值的方式，可提供置信度的區(qū)域類別顯示。檢測結果如圖10所示，其中圖10（a）～（d）為缺陷的二維圖像，圖10（e）～（h）為缺陷點云圖渲染的3D圖。

本文設計的方法可以同時輸入二維圖像和三維點云數(shù)據(jù)進行檢測，對比的同類型方法（Yolov3、Yolov5）由于網(wǎng)絡結構僅使用二維圖像的輸入，實驗得到的缺陷檢出率（式（1））和缺陷誤檢率（式（2））見表1。由表中數(shù)據(jù)可分析得到，對于凹坑、青線兩類缺陷，由于二維圖像特征不明顯，使用Yolov3和Yolov5方法檢出率不高，本文方法由于使用了三維圖像特征，使凹坑、青線缺陷檢出率大幅提高；對于外折、軋疤缺陷，其二維圖像中的特征足以支撐模型檢測，所以在檢出率上本文方法提升不明顯，但由于使用了三維數(shù)據(jù)，有效控制了外折、軋疤缺陷的誤報，對誤報率指標有積極作用。

4.2 本系統(tǒng)現(xiàn)場實際應用

目前系統(tǒng)已經投用在國內某個無縫鋼管廠，如圖11所示。系統(tǒng)采用6套3D傳感器，相機分辨率為2 560×832，采集速率根據(jù)現(xiàn)場輥道速度進行自動調整，深度檢測精度在0.2 mm， 可有效檢測出0.2 mm以上的缺陷。檢測系統(tǒng)軟件界面如圖12所示，不同的缺陷以不同的顏色來進行顯示，同時顯示二維和三維缺陷圖片，便于操作工判斷。操作工根據(jù)需要可選擇周期性缺陷顯示、單個缺陷信息顯示，便于對檢測缺陷的類型、位置、大小及圖像進行人工識別，并與檢測缺陷的自動判別結果進行對比分析。

系統(tǒng)對缺陷的識別檢出主要依靠大量分類準確的樣本圖像，通過二維數(shù)據(jù)和三維數(shù)據(jù)的聯(lián)合識別可有效提高樣本的可靠性。算法程序根據(jù)模型處理圖像上的一塊區(qū)域，準確提取疑似缺陷區(qū)域，并根據(jù)錄入的缺陷類別進行準確分類。系統(tǒng)連續(xù)幾個月的本系統(tǒng)檢測數(shù)據(jù)與人工和漏磁探傷機進行數(shù)據(jù)對比，分別從報傷管數(shù)、漏檢、缺陷過檢數(shù)、缺陷過檢率等數(shù)據(jù)分析。其中：報傷管數(shù)為報警有缺陷的鋼管數(shù)量；漏檢為鋼管表面有缺陷，但是沒有檢出；缺陷過檢數(shù)為檢測出的缺陷并不影響鋼管質量，此類缺陷不需要檢出。

缺陷過檢率：

E=（Td-Tm）/Tp×100%（3）

式中：E為缺陷過檢率，Td為本系統(tǒng)報傷管數(shù)，Tm為漏磁探傷機報傷管數(shù)，Tp為對比鋼管總數(shù)。

檢測效果對比見表2。對開放性缺陷可實現(xiàn)不漏檢，且過檢率控制在2%左右。通過以上對比發(fā)現(xiàn)，本系統(tǒng)對開放性缺陷的檢出率大于99%，且過檢率控制在2%左右，是實現(xiàn)非接觸式測量的有利手段。目前漏磁探傷機是鋼管廠的標準產品，成熟度高，但是對于橫向缺陷以及“寬深比”比較大的缺陷則誤檢率很高，同時漏磁探傷機需要每4 h標定1次，或者換鋼管規(guī)格時都需要標定，使用起來很復雜，且成本也非常高。目前通過機器視覺的檢測手段不僅缺陷檢出率高，同時安裝方便簡單，成本相對較低，且使用簡單，滿足大多數(shù)鋼管廠的使用要求，符合智能制造的統(tǒng)一

思想。

5 結論

1）系統(tǒng)周向布置6個3D相機采集含有鋼管表面深度信息的點云數(shù)據(jù)，分析點云數(shù)據(jù)實現(xiàn)缺陷的三維檢測。使用復合縮放的網(wǎng)絡構建方法，通過調整圖像深度、寬度、輸入圖像分辨率，增加網(wǎng)絡的深度，去捕獲圖像中更多像素的特征，對于復雜背景下缺陷的分類準確率有更大的提高，對現(xiàn)場的缺陷識別率可以達到95%以上。二維三維融合檢測，代替?zhèn)鹘y(tǒng)的人工和二維檢測，三維信息是二維信息很好的補充，解決二維系統(tǒng)檢出率低、識別率低等問題，使得該系統(tǒng)在鋼廠智能制造方面發(fā)揮更大的作用。

2）本系統(tǒng)只針對圓鋼生產線，對異型鋼，如H型鋼、螺紋鋼等產線則缺乏一定經驗。在本系統(tǒng) 研究基礎上，向異型鋼以及高速（速度大于20 m/s）的生產線作進一步研究。

本文摘自《冶金自動化》2024年第1期