趙 謙，張莉華，錢 渠

(1.西安科技大學(xué)通信與信息工程學(xué)院，西安 710054；2.南通智能感知研究院智能遙感事業(yè)部，南通 226400)

微細(xì)管道廣泛應(yīng)用于石油、能源、化工、醫(yī)療、生物等諸多領(lǐng)域[1]。然而，在使用過程中管道受如介質(zhì)腐蝕、機(jī)械震動、高溫、高壓等因素影響[2-3]，會出現(xiàn)結(jié)垢、裂紋、剝落和穿孔等損傷，如果損傷過大則會引起事故的發(fā)生從而造成重大損失[4-5]。因此對管道內(nèi)壁的定期檢測[1,6]成為管道安全使用的重中之重，由于大多數(shù)管道的直徑為700 mm或更小，檢查員無法直接進(jìn)入管道進(jìn)行手動檢測。因此，克服空間限制的自動檢測方式深受人們推崇，并且人們也在不斷地提高實時性、準(zhǔn)確性和魯棒性。當(dāng)今，管道檢測方式包括無損檢測[7]和基于機(jī)器視覺[8-9]檢測。無損檢測方式有激光法[10]、超聲波[11]、渦流[12]、漏磁通法[13]等，這些檢測方式都依賴于信號的反復(fù)發(fā)送和接收，無法提供任何視覺線索，從而導(dǎo)致檢測效率低下?；跈C(jī)器視覺檢測是一種新方法，可避免人工檢測的不足。目前已被廣泛用于評估管道的狀況或質(zhì)量[14]。張廣軍等[15]研究了微細(xì)管道內(nèi)表面缺陷，得出由于檢測時需對結(jié)構(gòu)光視覺傳感器進(jìn)行現(xiàn)場標(biāo)定，限制了檢測范圍，也缺少管道內(nèi)表面紋理信息，故無法達(dá)到對樹根、腐蝕、裂縫等缺陷的檢測。王穎等[16]提出一種圓結(jié)構(gòu)光視覺檢測系統(tǒng)，實現(xiàn)了管道形變、彎曲等缺陷檢測。Kannala等[17]運用雙曲面鏡全景相機(jī)獲取管壁整個圓周的圖像，采用運動恢復(fù)結(jié)構(gòu)(structure from motion，SFM)方法檢測，但由于特征點提取與匹配問題，所以檢測精度不高。Yi等[18]提出用激光和圓柱形透鏡實現(xiàn)全方位測量，但效果不佳。為了解決上述研究存在的問題，現(xiàn)基于機(jī)器視覺提出基于內(nèi)窺鏡的管道內(nèi)表面無畸變重建方法，以期實現(xiàn)管道內(nèi)表面損傷部分的完整呈現(xiàn)，這也是管道損傷檢測的重要發(fā)展方向。

1 平臺搭建與圖像采集

基于內(nèi)窺鏡的管道內(nèi)表面無畸變重建方法流程圖如圖1所示。

通過搭建微細(xì)管道內(nèi)壁無損檢測[19]平臺來實現(xiàn)探傷檢測。該平臺主要由待測管道、可編程邏輯控制器(programmable logic controller，PLC)、步進(jìn)電機(jī)、功率放大電路四部分組成，如圖2所示。

在本實驗采集平臺研究的基礎(chǔ)上，將其改進(jìn)并應(yīng)用于工業(yè)生產(chǎn)實踐之中，其結(jié)構(gòu)如圖3所示。

該裝置結(jié)構(gòu)簡單、設(shè)計合理、實用性強(qiáng)，傳輸管道內(nèi)部影像信息穩(wěn)定、圖像定位準(zhǔn)，較好地解決了高溫高壓環(huán)境下的管道檢測、誤傷檢測管道、基于視頻的管道內(nèi)壁展開無畸變等問題。

圖1 管道內(nèi)表面重建結(jié)構(gòu)圖Fig.1 Reconstruction structure of inner surface of pipeline

圖2 實驗平臺展示Fig.2 The display of experimental platform

1為驅(qū)動器；2為PLC；3為內(nèi)窺鏡顯示屏；4為步進(jìn)電機(jī)；5為管道；6為拉直機(jī)；7為盤線圖3 一種管道內(nèi)壁探傷裝置Fig.3 A flaw detection device for pipe inner wall

待檢測管道為某研究院提供的熱力管道，是由聚乙烯外護(hù)管、聚氨酯和鋼管組成，內(nèi)壁材質(zhì)為碳鋼，內(nèi)徑大小36 mm。內(nèi)窺鏡的有效像素為300萬，幀率為12 FPS，最大分辨率為2 048×1 536，利用上述實驗平臺進(jìn)行視頻采集，將內(nèi)窺鏡置于用步進(jìn)電機(jī)控制的滑軌上，步進(jìn)電機(jī)通過 PLC 控制前進(jìn)后退，從而對管道內(nèi)壁空間進(jìn)行實時掃描，顯示器作為用戶界面，直流電源為電機(jī)提供充足的電量，將采集到的內(nèi)部視頻上傳至上位機(jī)來對管道內(nèi)部探傷進(jìn)行精確定位并提取。

2 攝像機(jī)標(biāo)定與畸變矯正

首先建立管道與工業(yè)內(nèi)窺鏡位姿模型，將其等效為針孔相機(jī)模型[20-21]，如圖4所示，為得到內(nèi)窺鏡鏡頭內(nèi)參信息，利用張正友標(biāo)定法[22]來計算內(nèi)窺鏡主點在圖像上的位置值。

世界空間中點P與物理成像面上點P′的關(guān)系為

O-x-y-z為相機(jī)坐標(biāo)系；O點為攝像機(jī)的光心，即相機(jī)模型中的針孔；z軸為相機(jī)正對方向；x軸指向右側(cè)；y軸指向下側(cè)圖4 針孔相機(jī)模型Fig.4 Pinhole camera model

(1)

(2)

為了求取內(nèi)窺鏡鏡頭的內(nèi)參信息[23-24]，采用10 mm×10 mm的棋盤格標(biāo)定板，分別從遠(yuǎn)、近不同視角拍攝角度不同的圖像，利用MATLAB中Camera Calibration Toolbox工具箱進(jìn)行內(nèi)窺鏡的標(biāo)定，再通過角點檢測，先提取每一幅圖像中的頂點得到頂點圖后，再通過計算得到內(nèi)窺鏡的內(nèi)參結(jié)果。最終得到的內(nèi)窺鏡主點參數(shù)為(814，692)。

通過得到的內(nèi)參信息提取管道圓環(huán)并對圓環(huán)進(jìn)行畸變矯正，最后將矯正后圓環(huán)全景展開[25]，為后續(xù)特征提取與拼接做基礎(chǔ)。圖5為提取到的管道內(nèi)壁探傷圖像，通過內(nèi)窺鏡的相機(jī)主點坐標(biāo)位置提取管道內(nèi)壁圓環(huán)如圖6所示。

通過觀察上述圓環(huán)圖像，可從位移和角度兩個方面進(jìn)行畸變矯正，矯正結(jié)果如圖7所示。

依據(jù)得到的管道內(nèi)壁圓環(huán)圖像將其展開[26]，其步驟大致分為以下兩步[27]。

步驟1 切向展開，即以圓形圖像中的內(nèi)外圓半徑差作為展開后矩形的寬，外圓周長作為矩形的長，將環(huán)形圖像展開為矩形圖像。

圖5 管道探傷圖像 Fig.5 Pipe flaw detection image

圖7 管道內(nèi)壁標(biāo)準(zhǔn)圓環(huán)圖像Fig.7 Standard ring image of pipe inner wall

步驟2 徑向展開，提出通過管道內(nèi)壁與成像面之間的幾何關(guān)系進(jìn)行徑向拉伸。

原始點p(x,y)經(jīng)過切向轉(zhuǎn)換后坐標(biāo)為p′(x′,y′)，而期望得到的展開圖像對應(yīng)的坐標(biāo)為p″(x″,y″)，兩者之間存在關(guān)系為

(3)

為了得到坐標(biāo)，現(xiàn)根據(jù)圖8確定切向展開表達(dá)式為

(4)

展開結(jié)果圖如圖9所示。

將提出的通過管道內(nèi)壁與成像面之間的幾何關(guān)系進(jìn)行徑向拉伸算法與文獻(xiàn)[25]、文獻(xiàn)[26]這兩種徑向展開方式進(jìn)行對比。通過展開圖像每行的徑向間距與實際值之間關(guān)系進(jìn)行對比分析，主要從歐式距離、均方誤差以及時效性3個指標(biāo)來分析，如表1和表2所示。

圖8 管道切向展開示意圖Fig.8 Schematic diagram of tangential expansion of pipeline

圖9 探傷圖像全景展開結(jié)果圖Fig.9 Result of panoramic expansion of flaw detection image

表1 各個算法徑向間距對比結(jié)果Table 1 Radial spacing comparison results of each algorithm

表2 各個算法指標(biāo)分析結(jié)果Table 2 Analysis results of each algorithm index

由表1得出，展開后探傷圖像各行橫徑向間距和行數(shù)間距的均值。通過均值對比，文獻(xiàn)[26]和本文算法與實際值之間的差距均小于文獻(xiàn)[25]，所以文獻(xiàn)[26]和本文算法優(yōu)于文獻(xiàn)[25]。文獻(xiàn)[26]和本文算法之間的均值差距為0.67，在工業(yè)管道內(nèi)壁的檢測中，該差距不足以評判算法的優(yōu)劣，故通過適用于工業(yè)管道內(nèi)壁的檢測的指標(biāo)進(jìn)一步闡述。

歐式距離：也稱歐幾里得距離，用來衡量估計值與實際值之間的絕對距離；距離越小，兩數(shù)值之間越相似，說明算法性能越好，公式為

(5)

均方誤差(mean squared error，MSE)：均方誤差是指估計值與實際值之差平方的期望值；用MSE評價數(shù)據(jù)的變化程度，MSE的值越小，說明算法具有更好的精確度，公式為

(6)

式中：t=1,2,…,N為樣本的個數(shù)；xt為估計值；yt為實際值。

由表2中文獻(xiàn)[25]、文獻(xiàn)[26]和本文算法的3個指標(biāo)結(jié)果可得：文獻(xiàn)[25]的歐式距離、均方誤差和時效性均遠(yuǎn)遠(yuǎn)大于文獻(xiàn)[26]和本文算法，故在恢復(fù)為實際圖像方面，其效果劣于本文算法和文獻(xiàn)[26]；雖然本文算法的歐式距離和均方誤差略大于文獻(xiàn)[26]，但本文算法的時效性遠(yuǎn)高于文獻(xiàn)[26]，因為文獻(xiàn)[26]在徑向展開前，需要對管道進(jìn)行黑白網(wǎng)格點的標(biāo)定，計算擬合方程的參數(shù)值，故復(fù)雜程度也較高；結(jié)合表1數(shù)據(jù)，文獻(xiàn)[26]的數(shù)據(jù)具有隨機(jī)性，而本文算法的數(shù)據(jù)具有規(guī)律性且相對穩(wěn)定。同時因為工業(yè)管道內(nèi)壁的檢測的主旨就是要在保證精度的同時提高時效性，降低復(fù)雜度，所以綜合可得本文算法可以滿足需求。

3 探傷圖像拼接

3.1 特征提取

圖像特征提取前先進(jìn)行圖像預(yù)處理，首先對探傷圖像進(jìn)行形態(tài)學(xué)重建[28]處理，使重建后的圖像的探傷邊緣輪廓信息更加清晰，接下來利用指數(shù)增強(qiáng)函數(shù)方法[29]對探傷圖像進(jìn)行增強(qiáng)處理，使探傷區(qū)域與背景區(qū)域相區(qū)分開，為后續(xù)的圖像拼接[30-31]步驟排除干擾，圖10、圖11為原始圖像與預(yù)處理之后的圖像。

圖10 原探傷圖像與形態(tài)學(xué)處理結(jié)果圖Fig.10 Original flaw detection image and morphological processing result

特征提取采用對尺度不變特征轉(zhuǎn)換(scale-invariant feature transform，SIFT)的改進(jìn)。SIFT算法最早由Lowe[32]于1999年提出，并于2004年得到了更深入的發(fā)展和完善[33]。該算法提取的特征點為圖像的局部特征，其具有很強(qiáng)的獨特性、多量性、高效性和可擴(kuò)展性，SIFT特征提取具體實施步驟如圖12所示。

本文對SIFT算法的空間尺度結(jié)構(gòu)和特征描述符進(jìn)行改進(jìn)。

(1)空間尺度結(jié)構(gòu)。由于管道內(nèi)壁圖像數(shù)據(jù)量大，為提高效率，必須減少金字塔影像的階數(shù)和層數(shù)，通過結(jié)構(gòu)相似性(SSIM)和峰值信噪比(PSNR)對其進(jìn)行評價，最終選擇的層數(shù)為4層。

圖11 原始圖像與指數(shù)增強(qiáng)圖像的對比圖Fig.11 Comparison of the original image and the exponentially enhanced image

圖12 SIFT特征提取過程圖Fig.12 The diagram of SIFT feature extraction process

(2)特征描述符。由于高斯函數(shù)的輪廓分布為同心圓，相比SIFT中使用的正方形，圓形具有更好的旋轉(zhuǎn)不變性。

因此，選擇一個圓形區(qū)域作為提取的關(guān)鍵點的局部區(qū)域。其大小由描述符[34-37]的計算的關(guān)鍵點的比例來確定。改進(jìn)后的描述符的圓形區(qū)域為一個圓圈和兩個圓環(huán)，其大大降低了計算復(fù)雜度和時間消耗。

由圖13可以看出，本文算法提取某探傷圖像的特征點數(shù)比經(jīng)典SIFT算法的特征點要多；于是對每幅探傷圖像(共14幅圖像)進(jìn)行特征點提取，結(jié)果如圖14所示。

從圖14可以清晰地看出，每幅探傷圖像在本文算法下提取的特征點數(shù)明顯大于經(jīng)典SIFT算法所提取的特征點數(shù)，故本文算法在特征點提取方面優(yōu)于經(jīng)典SIFT算法。

圖13 管道內(nèi)壁圖像特征點提取結(jié)果圖Fig.13 Result of extraction of feature points from pipe inner wall image

圖14 管道內(nèi)壁探傷圖像特征提取結(jié)果對比圖Fig.14 Comparison of feature extraction results of pipe inner wall flaw detection image

3.2 圖像拼接

3.2.1 特征匹配

首先利用基于特征點相似度[38]進(jìn)行特征點粗匹配，運用歐式距離對所有的匹配點進(jìn)行相似度的范圍壓縮，剔除指定范圍外的匹配對即絕大部分為錯誤匹配對，其主要目的是提純匹配對，進(jìn)而縮減算法時間，提高算法時效性，公式為

(7)

式(7)中：i=1,2,…,n為圖像個數(shù)；xi為匹配圖像特征點；yi為被匹配圖像特征點。

接下來采用魯棒性較強(qiáng)的RANSAC算法[39-41]去除誤匹配點，從而達(dá)到細(xì)匹配，RANSAC 算法的詳細(xì)實現(xiàn)步驟如圖15所示。

圖16、圖17為經(jīng)典SIFT算法結(jié)合隨機(jī)抽樣一致(random sample consensus,RANSAC)算法剔除誤匹配與本文算法結(jié)合RANSAC算法剔除誤匹配后的匹配結(jié)果。圖18為匹配對對比圖。

圖15 RANSAC算法流程圖Fig.15 The chart of RANSAC algorithm flow

圖16 探傷1匹配結(jié)果圖Fig.16 Matching result of flaw detection 1

圖17 探傷2匹配結(jié)果圖Fig.17 Matching result of flaw detection 2

圖18 管道內(nèi)壁探傷圖像匹配對對比圖Fig.18 Comparison of matching images of pipe inner wall flaw detection

由圖16～圖18可知，經(jīng)典SIFT算法通過RANSAC算法剔除誤匹配的特征點匹配結(jié)果與本文算法通過RANSAC 提純后的匹配結(jié)果可以看出，本文算法可以剔除大量的誤匹配，使匹配結(jié)果更加精確。

3.2.2 圖像融合

采用像素灰度值加權(quán)(漸入漸出)融合算法[42-43]對上述所得的匹配結(jié)果圖像進(jìn)行融合，最終實現(xiàn)完整的探傷區(qū)域。

該算法實現(xiàn)過程可以表示為

F(m,n)=ω1F1(m,n)+ω2F2(m,n)

(8)

式(8)中：m和n分別為圖像像素的行號和列號，m=1,2,…,M，n=1,2,…,N；ω1和ω2分別為第一幅原圖和第二幅原圖的加權(quán)系數(shù)；一般情況下，ω1+ω2=1。該算法是在灰度值平均融合算法基礎(chǔ)上發(fā)展而來的，加權(quán)融合算法在實現(xiàn)時引入了權(quán)重的概念，能夠在某種程度上有效提高融合圖像的信噪比。為了使兩幅原圖平穩(wěn)過渡且接近無痕，應(yīng)該選擇恰當(dāng)?shù)臋?quán)重值，即ω1=ω2=0.5。

圖19(a)所示為未經(jīng)融合的拼接結(jié)果，可以發(fā)現(xiàn)拼接處存在較為明顯的拼接縫。針對這種情況，選用該融合算法對圖像進(jìn)行像素灰度值加權(quán)融合處理，結(jié)果如圖19(b)所示，融合后的圖像之間過渡較為平緩，圖像間拼接縫明顯消失，而且圖像信息基本全數(shù)保留，達(dá)到了預(yù)期的效果，同時也為后面的圖像分割、探傷統(tǒng)計消除了一定的隱患，避免了不必要統(tǒng)計誤差的生成。下面對完整探傷圖進(jìn)行了融合，為了提高主觀視覺體驗，對拼接后的圖像又做了增強(qiáng)處理，如圖20(a)和圖20(b)所示。

圖19 探傷3融合結(jié)果圖Fig.19 Fusion result of flaw detection 3

圖20 完整探傷拼接效果圖Fig.20 Complete flaw detection and splicing effect

4 算法結(jié)果統(tǒng)計與分析

以圖9展開圖像為例，又采用了經(jīng)典SIFT拼接算法、文獻(xiàn)[44]算法和文獻(xiàn)[45]算法以及文本算法對圖像進(jìn)行了拼接，如圖21所示。

圖21 各算法探傷圖像拼接的對比結(jié)果Fig.21 Comparison results of splicing of flaw detection images by various algorithms

由圖21可以看出，在探傷圖像的拼接過程中，經(jīng)典的SIFT算法出現(xiàn)較為明顯的鬼影現(xiàn)象，很多不是重疊區(qū)域的部分被當(dāng)作了重疊區(qū)域來拼接，造成了過度拼接，而且由于重疊區(qū)域過多導(dǎo)致圖像亮度明顯降低；文獻(xiàn)[44]拼接結(jié)果沒有完全去除重疊區(qū)域，盡管邊界相對光滑，但有明顯的拼接縫存在；文獻(xiàn)[45]拼接結(jié)果盡管消除了拼接縫問題，但沒能完全去除重疊區(qū)域；本文算法即消除了拼接縫和鬼影現(xiàn)象，還提高了主觀視覺的體驗，圖22為閾值分割后完整探傷重建結(jié)果。

圖22 完整探傷重建結(jié)果二值圖Fig.22 Binary figure of complete flaw detection reconstruction results

為更形象地說明算法的優(yōu)勢，采用了時效性和準(zhǔn)確率來分析拼接結(jié)果。準(zhǔn)確率是由探傷面積體現(xiàn)，公式為

(9)

式(9)中：t為拼接的準(zhǔn)確率；S1為原始探傷圖的面積；S2為算法拼接結(jié)果探傷面積。

由于熱工院提供管道探傷原始面積無法獲取，于是本文模擬了管道內(nèi)壁探傷對圖像拼接算法進(jìn)行了驗證，如表3所示，模擬的管道原探傷面積為11.491 cm2。

由表3各個算法的時效性和準(zhǔn)確率拼接結(jié)果可以看出，文獻(xiàn)[45]的時效性最高，但其準(zhǔn)確率卻是最低；文獻(xiàn)[44]的時效性和準(zhǔn)確率都不是最優(yōu)，這說明管道內(nèi)壁圖像的拼接不能用塊匹配方法，這種算法會使誤差很大；相比較經(jīng)典SIFT算法，本文算法的改進(jìn)達(dá)到了預(yù)期效果，在時效性和準(zhǔn)確率方面都有提高。因此，本文算法對SIFT算法的改進(jìn)可以達(dá)到工業(yè)管道內(nèi)壁檢測需求。

表3 各算法拼接結(jié)果對比Table 3 Comparison of stitching results of various algorithms

5 結(jié)論

微細(xì)管道內(nèi)壁的無畸變重建，通過搭建工業(yè)管道內(nèi)壁檢測平臺，獲取探傷每幀圖像并對圖像進(jìn)行矯正和展開，接著對探傷展開圖像進(jìn)行形態(tài)學(xué)增強(qiáng)與指數(shù)增強(qiáng)，增強(qiáng)探傷邊緣輪廓信息與區(qū)分背景與目標(biāo)，然后對探傷圖像進(jìn)行拼接融合，最后通過計算拼接后圖像面積的準(zhǔn)確率為是否需要管道檢修提供依據(jù)。

實驗中，將本文算法與經(jīng)典SIFT算法、文獻(xiàn)[44]算法和文獻(xiàn)[45]算法的拼接結(jié)果進(jìn)行了對比，本文算法的時效性達(dá)到了1.562 5 s，準(zhǔn)確率達(dá)到了96%以上，通過比較可以得出，本文算法在時效性和準(zhǔn)確率方面都更加優(yōu)越，且其魯棒性也較好，可以達(dá)到工業(yè)管道檢測需求。