李曉輝,趙 璞,于振寧,劉傳水,趙 毅

1(長(zhǎng)安大學(xué) 電子與控制工程學(xué)院,西安 710064)

2(渤海裝備 華油鋼管有限公司,滄州 062658)

當(dāng)前,鋼鐵作為我國(guó)的工業(yè)基礎(chǔ),所有的工業(yè)生產(chǎn)都離不開(kāi)鋼材,鋼材本身質(zhì)量的好壞直接影響了成品質(zhì)量.鋼板是鋼材的主要產(chǎn)品,它被廣泛應(yīng)用于各個(gè)領(lǐng)域,尤其是在石油運(yùn)輸方面.在石油運(yùn)輸中,石油運(yùn)輸管道一般都采用鋼管來(lái)制造,它在制造完成后,其內(nèi)壁表面一般會(huì)有內(nèi)斷、劃痕以及凹坑等問(wèn)題[1].如果在其出廠之前沒(méi)有發(fā)現(xiàn)這些問(wèn)題并對(duì)其進(jìn)行處理,將會(huì)縮短它的使用壽命.因此,鋼管制造商在制造完鋼管后,需要對(duì)其進(jìn)行各種各樣的檢測(cè)工作.在以上檢測(cè)中,管道內(nèi)表面缺陷檢測(cè)就是其中一個(gè)非常重要的部分[1].

一般傳統(tǒng)上對(duì)于鋼管內(nèi)表面質(zhì)量的檢測(cè)方法主要采用的是人工目測(cè).即讓工人走進(jìn)管道,依靠人眼檢查,該方法對(duì)于鋼管內(nèi)表面具有明顯缺陷的情況下,可以顯而易見(jiàn)的篩選出來(lái).但是,對(duì)于一些細(xì)微的缺陷,并不是能夠很好的辨別出來(lái),從而造成漏檢現(xiàn)象,使得根管道的降級(jí)或報(bào)廢,嚴(yán)重浪費(fèi)生產(chǎn)資源.鋼管在生成完成后,溫度一般都比較高,這時(shí)工人進(jìn)入管道有一定的安全風(fēng)險(xiǎn),而且對(duì)工人的身體健康不利.還有一些管道的管徑比較小,工人無(wú)法進(jìn)入.因此,傳統(tǒng)的人工目測(cè)方法由于客觀原因,并不長(zhǎng)期適用于鋼管內(nèi)表面的質(zhì)量檢測(cè),會(huì)降低生產(chǎn)效率并加大成本,并且存在安全隱患[2].

隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展,計(jì)算機(jī)視覺(jué)在圖像識(shí)別方面的效果越來(lái)越好,基于計(jì)算機(jī)視覺(jué)的檢測(cè)技術(shù)作為一種新興的無(wú)損檢測(cè)技術(shù),具有檢測(cè)效率高、受環(huán)境影響小、易于發(fā)現(xiàn)及便于量化等優(yōu)勢(shì),將其應(yīng)用于鋼材表面缺陷檢測(cè)能夠提高檢測(cè)效率和準(zhǔn)確性,因此讓計(jì)算機(jī)對(duì)鋼材表面進(jìn)行識(shí)別是一個(gè)很好的選擇[3].針對(duì)管道內(nèi)表面缺陷的檢測(cè),研究人員利用圖像處理技術(shù)對(duì)圖像進(jìn)行檢測(cè),使用算法來(lái)檢測(cè)圖像上的缺陷.在2005年,有研究人員提出用神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)鋼板進(jìn)行表面缺陷檢測(cè),并取得比較好的效果[4].2008年華中科技大學(xué)提出一種基于改進(jìn)BP 神經(jīng)網(wǎng)絡(luò)的缺陷分類(lèi)器,解決了缺陷的快速識(shí)別問(wèn)題[5].2015年出現(xiàn)了用SVM與遺傳算法相結(jié)合、SVM 與粒子群算法結(jié)合等方式來(lái)進(jìn)行鋼板表面缺陷的識(shí)別[6].隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別上巨大成功,有很多開(kāi)始使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行管道內(nèi)缺陷檢測(cè),并且取得了很好的成績(jī)[7-9].但是由于使用卷積神經(jīng)網(wǎng)絡(luò)時(shí),不但需要大量的數(shù)據(jù),而且還需要消耗較大的人力去對(duì)數(shù)據(jù)進(jìn)行標(biāo)注.當(dāng)數(shù)據(jù)較少時(shí),卷積神經(jīng)網(wǎng)絡(luò)往往會(huì)產(chǎn)生過(guò)擬合,并不能達(dá)到理想的效果.由于在實(shí)際生產(chǎn)中鋼管一般都是合格品,內(nèi)表面很少會(huì)遇到缺陷,這便導(dǎo)致基于卷積神經(jīng)網(wǎng)絡(luò)的檢測(cè)方法無(wú)法在本實(shí)驗(yàn)中發(fā)揮效果.

為了解決這個(gè)問(wèn)題,通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)顯著性檢測(cè)在鋼管內(nèi)表面檢測(cè)上有很好的效果,與深度學(xué)習(xí)相比,它不需要數(shù)據(jù)集,而且好多學(xué)者已經(jīng)利用顯著性進(jìn)行其他物體的檢測(cè)而且取得不錯(cuò)的效果[10].故本文提出一種基于圖像離散余弦變化和相位信息相融合的顯著性檢測(cè)模型.

1 鋼管內(nèi)表面缺陷檢測(cè)

在圖像頻域中,圖像信息可以分為相位信息和幅值信息兩種[11,12].其中圖像的相位信息是圖像經(jīng)過(guò)傅里葉變換后的,其包含著圖像的結(jié)構(gòu)信息,可以展示出圖像的絕大部分重要特征,但是有些特征可能是正常的背景,是不需要顯示的.離散余弦變換可以較好的將圖像頻域能量聚集起來(lái),能夠把圖像更重要的信息聚集在一塊,對(duì)于那些不重要的頻域區(qū)域和系數(shù)就能夠直接裁剪掉.本文算法流程示意圖如圖1所示,它首先獲取圖像RGB 三個(gè)通道上的信息;然后分別對(duì)這3 個(gè)通道信息進(jìn)行離散余弦變換(DCT),得到3 個(gè)圖像特征,對(duì)這個(gè)3 個(gè)特征進(jìn)行反離散余弦變換(IDCT) 得到3 個(gè)重建圖像;最后通過(guò)疊加得到其利用離散余弦變換后的缺陷顯著圖.同時(shí)再獲取原始圖像的相位信息,形成其在相位上的缺陷顯著圖.通過(guò)圖像融合將這兩個(gè)缺陷顯著圖給融合成一張最終的缺陷顯著圖;最后將最終的顯著圖二值化,通過(guò)連通區(qū)域檢測(cè)檢測(cè)將缺陷的位置信息檢測(cè)出來(lái),映射到原始圖像上,得到最后的缺陷檢測(cè)圖.

圖1 算法流程示意圖

1.1 圖像特征顯著圖

根據(jù)Hou的研究[13],原始的圖像信息I(x,y)由前景信息和背景信息組成的,其表示形式為:

式中,f(x,y)表示圖像的前景信息,b(x,y)表示圖像的背景信息.

由于缺陷信息一般都是處于前景中,為了可以精確的提取缺陷信息,構(gòu)建了下面的顯著性模型.將原始圖像I(x,y)的RGB 三通道的分量分別進(jìn)行DCT,分別得到3 個(gè)圖像的頻域信息:

式中,Ii代 表原始圖像在RGB 通道上的分量;Fi代表圖像的頻域信息.

DCT 表示離散余弦變換.為了使缺陷信息更加顯著,需要增強(qiáng)前景信息的特征.由于離散余弦變換可以將圖像重要的信息聚集起來(lái),故通過(guò)使用s ign函數(shù),將其按照前景和背景把圖像的像素置為1和-1,從而裁剪掉圖像中不重要的信息:

式中,Si代表圖像特征.

根據(jù)上述的SR,SG,SB三個(gè)圖像特征,再通過(guò)下述公式計(jì)算得到圖像特征的重構(gòu)圖像為:

式中,A(x,y)表示圖像特征的重構(gòu)圖;IDCT表示離散反余弦變化.

對(duì)圖像特征重構(gòu)圖先利用3 ×3的高斯核對(duì)其進(jìn)行高斯平滑,再將其歸一化,就得到了圖像特征顯著圖,如圖2.

圖2 圖像特征顯著圖

圖2表示出了利用上述方法得到的圖像特征顯著圖.圖2(a)為原始圖像,可見(jiàn)中間的焊縫及它上面的異物為視覺(jué)顯著性區(qū)域.圖2(b)為圖像特征顯著圖.其中,亮度值越高的區(qū)域表示該處像素的明暗差異越大,即該處是圖像的前景.從圖2可以看出,白色區(qū)域指向了原圖的異物,但是卻無(wú)法識(shí)別出同樣顯著的焊縫,不滿(mǎn)足需求.故需要使用相位譜信息來(lái)輔助檢測(cè).

1.2 相位顯著圖

原始圖像的相位信息保存著圖像的重要特征,它的顯著圖包含了原始圖像的絕大部分的細(xì)節(jié)結(jié)構(gòu).由于相位信息是顯著性的位置信息的體現(xiàn),因此在重構(gòu)圖像相位顯著圖時(shí),應(yīng)該保留完整的圖像相位信息.所以,采用Guo 提出的顯著性檢測(cè)模型[14]提取圖像的相位顯著圖.與上述算法不同,提取相位譜需要對(duì)原始圖像I(x,y)進(jìn)行傅里葉變換,但是相位信息不需要圖像的顏色變化,為了減少計(jì)算量,故先將原始圖像轉(zhuǎn)換為灰度圖像.計(jì)算步驟如下:

式中,FFT和IFFT 分別表示傅里葉變換和傅里葉反變換;Ig(x,y)表示原始圖像轉(zhuǎn)換成的灰度圖像;p是求相角函數(shù);S(x,y)表示圖像的相位特征;P(x,y)表示圖像的相位重構(gòu)圖.與提取圖像特征的顯著圖一樣,經(jīng)過(guò)高斯平滑和歸一化后,便得到了圖像的相位顯著圖.

圖3表示出了利用上述方法得到的相位顯著圖.圖3(b)為相位顯著圖.從相位顯著圖上可以看出,該方法對(duì)確實(shí)是對(duì)圖像中的細(xì)節(jié)信息比較敏感,不但檢測(cè)出了焊縫,也檢測(cè)出了左上角顯著性不是很強(qiáng)的區(qū)域,但是焊縫上異物的顯著性卻沒(méi)體現(xiàn)出來(lái).

圖3 相位顯著圖

1.3 顯著圖融合技術(shù)研究

根據(jù)上述分析,需要結(jié)合圖像特征顯著圖和相位顯著圖的特點(diǎn),過(guò)程如圖4.將最終輸出的圖像特征顯著圖A(x,y)和相位顯著圖P(x,y)進(jìn)行加權(quán)融合:

圖4 檢測(cè)過(guò)程

式中,I′(x,y)表示融合后的顯著圖;α表示圖像融合系數(shù).

用以上方法對(duì)圖像進(jìn)行處理后,得到的顯著圖既可以體現(xiàn)出原始圖像的明暗變化,又可以展示出原始圖像的重要細(xì)節(jié).但是只是簡(jiǎn)單的將兩者按1:1 相疊加,會(huì)使圖像中的細(xì)節(jié)信息減弱,對(duì)比度降低,從而使融合結(jié)果達(dá)不到期望的效果.

圖像的相位信息中,圖像的細(xì)節(jié)信息比較多,所以在圖像融合時(shí),應(yīng)該使得圖像的相位顯著圖的權(quán)重高于圖像特征顯著圖.但是在相位顯著圖中有許多誤以為顯著的信息,需要抑制這部分信息的顯示.故采用下述改進(jìn)的方法來(lái)進(jìn)行圖像融合:

其中,1 -α ＞α ;β1,β2和β3為圖像亮度增強(qiáng)值.

通過(guò)減少圖像相位顯著圖的亮度來(lái)降低相位圖中非顯著的細(xì)節(jié)信息對(duì)融合后的圖像的影響.由于圖像特征顯著圖的權(quán)重低,通過(guò)增加它的亮度來(lái)使得其的顯著信息更加明顯.最后的β3給融合后的顯著圖增加了亮度,方便圖像進(jìn)行二值化.圖4(b)圖展示了融合后的顯著圖.

對(duì)缺陷位置的識(shí)別,采用一種快速簡(jiǎn)單的方法——連通區(qū)域檢測(cè)[15].將融合后的顯著圖進(jìn)行二值化,把具有相同像素值得相鄰像素組成一個(gè)連通區(qū)域.求出連通區(qū)域的邊界,可以得到缺陷的位置信息,將其繪制到原圖上,可以得到圖像缺陷檢測(cè)圖.如圖4(c)所示為經(jīng)過(guò)二值化以后的顯著圖,可以發(fā)現(xiàn)通過(guò)上述方法,很好地抑制了相位圖中的非顯著信息.圖4(d)是利用連通區(qū)域檢測(cè)獲得的缺陷的位置,可以發(fā)現(xiàn)幾乎可以準(zhǔn)確的找到鋼管內(nèi)表面缺陷的位置,達(dá)到了預(yù)期的效果.

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)采集

本文通過(guò)管道機(jī)器人巡檢來(lái)獲取圖像.管道機(jī)器人系統(tǒng)工作流程:先由軌道平板車(chē)帶動(dòng)機(jī)器人移動(dòng),當(dāng)它到達(dá)管口時(shí)停止移動(dòng),然后機(jī)器人從軌道車(chē)進(jìn)入管道內(nèi)部,攝像機(jī)啟動(dòng)拍攝圖像,機(jī)器人通過(guò)四射攝像頭拍攝管道內(nèi)壁不同角度的圖像,機(jī)器人到達(dá)管道底部時(shí),停止移動(dòng),回退到管道起始端,確認(rèn)軌道車(chē)在指定位置后返回到軌道車(chē)上.圖5為機(jī)器人巡檢管道系統(tǒng)模型及現(xiàn)場(chǎng)巡檢照片.

圖5 機(jī)器人巡檢圖片

為了驗(yàn)證本文提出的鋼管內(nèi)表面缺陷檢測(cè)算法,從管道機(jī)器人對(duì)鋼管巡檢的數(shù)據(jù)中,挑選出有缺陷的圖像制作成數(shù)據(jù)集,然后從中隨機(jī)抽選30 張做測(cè)試,并與基于相位譜的檢測(cè)方法[14]、基于譜殘余的檢測(cè)方法[16]和基于頻率調(diào)諧的檢測(cè)方法[17]進(jìn)行對(duì)比.式(9)中的參數(shù)設(shè)置為:α=0.3,β1=10,β2=10,β3=10.

2.2 顯著圖結(jié)果對(duì)比

把利用上述3 種方法以及本文方法形成的顯著圖進(jìn)行對(duì)比,實(shí)驗(yàn)結(jié)果如圖6所示,其中圖6(a)是原始圖像,圖6(b)、圖6(c)、圖6(d)分別是基于相位譜、譜殘余和頻率調(diào)諧得到的顯著圖,圖6(e)是利用本文方法得到顯著圖.由圖6可以看出,本文方法既可以檢測(cè)出顯著性非常集中的區(qū)域,又可以檢測(cè)出顯著性分撒的區(qū)域.總的來(lái)說(shuō),本文方法在顯著性檢測(cè)方面的效果最好.

圖6 各種方法對(duì)比

2.3 檢測(cè)準(zhǔn)確性和檢測(cè)時(shí)間

為了客觀的反映出上述方法的性能,本文選用計(jì)算機(jī)視覺(jué)中常用的準(zhǔn)確率和檢測(cè)時(shí)間.準(zhǔn)確率是算法能識(shí)別出的鋼管內(nèi)表面缺陷個(gè)數(shù)與數(shù)據(jù)集中所有的內(nèi)表面缺陷個(gè)數(shù)的比值,檢測(cè)時(shí)間為算法檢測(cè)一張圖像所需要的時(shí)間.同時(shí),為了更好的對(duì)比本文方法的性能,也采用了卷積神經(jīng)網(wǎng)絡(luò)的方法[18]進(jìn)行對(duì)比,得出檢測(cè)準(zhǔn)確率和檢測(cè)時(shí)間如表1所示.

表1 實(shí)驗(yàn)結(jié)果

由表1可以看出,本文方法的準(zhǔn)確率明顯高于其他方法.由于卷積神經(jīng)網(wǎng)絡(luò)是利用GPU 進(jìn)行運(yùn)算的,所以其檢測(cè)速度非?？?但同時(shí)因?yàn)閿?shù)據(jù)集本身的數(shù)據(jù)過(guò)少,使得卷積神經(jīng)網(wǎng)絡(luò)過(guò)擬合,在測(cè)試集上的準(zhǔn)確率非常低.本文方法結(jié)合了圖像特征信息和相位信息,雖然檢測(cè)時(shí)間大幅度上升,但是它的準(zhǔn)確率也大幅度上升,顯示了本文方法的優(yōu)越性.圖7展示了鋼管內(nèi)表面異常檢測(cè)結(jié)果示例.

圖7 鋼管內(nèi)表面異常檢測(cè)示例

3 結(jié)束語(yǔ)

針對(duì)鋼管內(nèi)表面異常檢測(cè)的問(wèn)題,本文分析了圖像相位信息和經(jīng)過(guò)離散余弦變化后的信息的特點(diǎn),并結(jié)合著兩種方法的優(yōu)勢(shì),提出了一種新的鋼管內(nèi)表面異常檢測(cè)方法.實(shí)驗(yàn)結(jié)果表明,相比其他幾種檢測(cè)方法,本文方法的檢測(cè)效果更好,準(zhǔn)確率更高,它的檢測(cè)時(shí)間長(zhǎng)也可以滿(mǎn)足工業(yè)生產(chǎn).但是本文方法也存在漏檢情況,下一步可以通過(guò)收集大量的數(shù)據(jù),制作成深度學(xué)習(xí)的數(shù)據(jù)集,使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)鋼管內(nèi)進(jìn)行檢測(cè),它的準(zhǔn)確率應(yīng)該會(huì)更高,而且可以滿(mǎn)足實(shí)時(shí)的需求.