李 巖，李 琳，尉糧蘋

（1.青島恒星科技學(xué)院 信息學(xué)院，青島 266100；2.青島大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，青島 266100）

0 引言

機(jī)械零件是構(gòu)成機(jī)器不可拆分的基本單元,如齒輪、軸承、彈簧等,其是由機(jī)械制造業(yè)利用金屬材料、復(fù)合材料等經(jīng)過多重工序制作而成,其在應(yīng)用中應(yīng)具備較好的韌度、耐磨性等[1,2]。但制造業(yè)在生產(chǎn)機(jī)械零件過程中受溫度、設(shè)備以及人為等不可控因素影響,導(dǎo)致某些機(jī)械零件生產(chǎn)出來后存在不同程度缺陷,使其無法使用。因此對(duì)制造業(yè)機(jī)械零件輪廓進(jìn)行提取,從中分析機(jī)械零件是否存在缺陷是制造業(yè)目前正在攻堅(jiān)的問題。當(dāng)前也有很多學(xué)者對(duì)零件輪廓提取進(jìn)行了研究,如方琳靈等人獲取到機(jī)械零件圖像后,使用高斯導(dǎo)函數(shù)獲取機(jī)械零件圖像的分頻特征,以該特征為基礎(chǔ),使用視覺信息流融合模型輸出機(jī)械零件輪廓[3]。但該方法在應(yīng)用過程中受非極大值抑制和閾值選取因素影響,使其提取的機(jī)械零件輪廓特征較為模糊,應(yīng)用效果不佳。湯自強(qiáng)等人則利用激光視覺傳感器獲取機(jī)械零件激光圖像,然后利用三角立體投影方式獲得機(jī)械零件輪廓的像素點(diǎn)[4],并對(duì)該像素點(diǎn)進(jìn)行形態(tài)學(xué)融合后得到機(jī)械零件的輪廓特征。但該方法獲取的機(jī)械零件激光圖像內(nèi)存在大量干擾噪聲,并未對(duì)噪聲進(jìn)行處理,使其機(jī)械零件輪廓特征提取效果不理想。多尺度卷積神經(jīng)網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)的延伸,其在卷積神經(jīng)網(wǎng)絡(luò)內(nèi)添加了多尺度競(jìng)爭(zhēng),形成若干個(gè)子網(wǎng)絡(luò),使卷積神經(jīng)網(wǎng)絡(luò)輸出結(jié)果更為準(zhǔn)確[5,6]。在此將多尺度卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到機(jī)械零件圖像輪廓特征提取過程中,提出基于多尺度卷積的制造業(yè)機(jī)械零件圖像輪廓特征提取方法,以達(dá)到精準(zhǔn)提取機(jī)械零件圖像輪廓目的。

1 制造業(yè)機(jī)械零件圖像輪廓特征提取

1.1 機(jī)械零件圖像增強(qiáng)預(yù)處理

利用工業(yè)CCD相機(jī)拍攝制造業(yè)機(jī)械零件圖像,但受拍攝環(huán)境、光照度等影響,獲取的機(jī)械零件圖像存在干擾光線,不夠清晰[7],因此需對(duì)機(jī)械零件圖像進(jìn)行增強(qiáng)預(yù)處理,使機(jī)械零件圖像輪廓更為清晰,對(duì)比度更高。在此使用小波變換增強(qiáng)方式實(shí)現(xiàn)機(jī)械零件圖像增強(qiáng),其詳細(xì)過程如下：

小波變換增強(qiáng)是對(duì)機(jī)械零件進(jìn)行分解加工,將描繪細(xì)節(jié)的高頻成分進(jìn)行增強(qiáng)處理,然后在對(duì)其進(jìn)行小波逆變換恢復(fù)圖像后,即可實(shí)現(xiàn)機(jī)械零件增強(qiáng)。使用雙正交小波變換器對(duì)機(jī)械零件進(jìn)行分解,然后令f表示機(jī)械零件圖像函數(shù),將機(jī)械零件分解圖像導(dǎo)入到該函數(shù)內(nèi),其表達(dá)公式如式(1)所示：

式(1)中,n表示機(jī)械零件圖像分解層數(shù)；L表示圖像序列；E表示低頻圖像；S表示細(xì)節(jié)圖像；τ表示二維正交變換；φ表示小波逆變換；x、y表示機(jī)械零件圖像像素點(diǎn)坐標(biāo)。

利用權(quán)值Kn,j對(duì)式(1)內(nèi)細(xì)節(jié)圖像進(jìn)行增強(qiáng)處理,其表達(dá)式為：

利用式(2)即可實(shí)現(xiàn)機(jī)械零件圖像增強(qiáng),但由于眼睛對(duì)顏色感知起到?jīng)Q定性作用,在增加機(jī)械零件圖像過程中將其亮度信息也一并調(diào)節(jié)了,其導(dǎo)致眼睛對(duì)某些機(jī)械零件圖像輪廓無法很好地感知[8,9]。在此引入自適應(yīng)調(diào)節(jié)機(jī)制,其表達(dá)公式為：

式(3)中,η表示處理算子。

依據(jù)式(3)自適應(yīng)調(diào)節(jié)機(jī)制,則式(2)的變更為：

利用式(4)即可得到增強(qiáng)后的機(jī)械零件圖像,為后續(xù)提取其輪廓做基礎(chǔ)。

1.2 Lab顏色模型構(gòu)建

Lab顏色模型是國(guó)際確立的標(biāo)準(zhǔn)測(cè)試顏色模型,其是基于人眼視覺特征構(gòu)建的。該顏色模型由一個(gè)亮度和兩個(gè)顏色通道構(gòu)成[10],將各個(gè)要素混合后即可描繪出目標(biāo)色彩。

以增強(qiáng)后的機(jī)械零件圖像為基礎(chǔ),將其RGB圖像轉(zhuǎn)換到XYZ空間內(nèi),在XYZ空間將機(jī)械零件圖像轉(zhuǎn)換到Lab顏色模型內(nèi)。RGB圖像轉(zhuǎn)換到XYZ空間表達(dá)式為：

式(5)中,表示XYZ空間內(nèi)像素點(diǎn)。

將式(5)轉(zhuǎn)換到Lab顏色模型內(nèi),其表達(dá)式為：

式(6)中,L、a、b分別表示亮度元素、紅綠色元素、黃藍(lán)色元素,其取值區(qū)間分別為[0,100]、[-128,127]、[-128,127]。Xn、Yn、Zn分別表示白光環(huán)境下的刺激值。

1.3 圖像灰度閾值分割與輪廓邊緣檢測(cè)

1.3.1 機(jī)械零件圖像灰度閾值分割

利用1.2節(jié)的機(jī)械零件圖像Lab顏色模型輸出機(jī)械零件圖像顏色數(shù)值后,使用最大類間方差方法對(duì)機(jī)械零件圖像灰度閾值進(jìn)行分割,其過程如下：

令像素點(diǎn)數(shù)為n的機(jī)械零件圖像灰度序列由f=｛0,1,…,L-1｝表示,其中L數(shù)值為256。令t表示機(jī)械零件圖像灰度閾值,依據(jù)該閾值將機(jī)械零件圖像灰度劃分為h和o類,則h和o類的出現(xiàn)概率表達(dá)式式為：

式(7)中,U(h)、U(o)分別表h和o類出現(xiàn)概率,U(z)表示第z個(gè)圖像灰度序列內(nèi)元素出現(xiàn)概率；w(t)表示機(jī)械零件圖像直方圖在閾值t的零階累計(jì)矩陣。

h和o類均值的表達(dá)式為：

式(8)中,表示機(jī)械零件圖像直方圖在閾值為t時(shí)的一階累計(jì)矩陣；表示機(jī)械零件圖像初始均值。

h類方差的表達(dá)式為：

o類方差表達(dá)式為：

按照閾值對(duì)機(jī)械零件圖像進(jìn)行閾值分割后,得到h類o和類的出現(xiàn)概率、均值和方差,依據(jù)該數(shù)值將機(jī)械零件圖像轉(zhuǎn)換為二值圖像,用于后續(xù)機(jī)械零件圖像凸曲線輪廓邊緣檢測(cè)。

1.3.2 基于凸曲線輪廓邊緣區(qū)域檢測(cè)

對(duì)機(jī)械零件圖像進(jìn)行閾值分割完畢后,將其轉(zhuǎn)換為二值圖像,使用凸曲線輪廓邊緣檢測(cè)方法獲取機(jī)械零件圖像邊緣區(qū)域信息,詳細(xì)過程如下：

第一步：設(shè)置凸曲線輪廓搜索初始像素點(diǎn)。將某一個(gè)連接數(shù)為3的像素點(diǎn)作為初始像素點(diǎn),從該點(diǎn)開始依據(jù)機(jī)械零件圖像像素點(diǎn)結(jié)構(gòu)對(duì)像素點(diǎn)進(jìn)行遍歷并添加標(biāo)記位。

第二步：在初始像素點(diǎn)鄰域內(nèi)遍歷后繼點(diǎn)。當(dāng)尋找到下一個(gè)像素連接點(diǎn)為3時(shí),將該點(diǎn)標(biāo)記為后繼點(diǎn)并保存。當(dāng)尋找到下一個(gè)像素連接點(diǎn)不為3時(shí)[11,12],則以當(dāng)前像素點(diǎn)作為初始點(diǎn),在其鄰域內(nèi)繼續(xù)尋找像素連接點(diǎn)為3的點(diǎn)并標(biāo)記保存處理。

第三步：獲取連接點(diǎn)為3的機(jī)械零件圖像像素點(diǎn)坐標(biāo)(xi,yi),該點(diǎn)的后繼點(diǎn)和前一點(diǎn)的像素坐標(biāo)分別由(xi+1,yi+1)、(xi-1,yi-1)表示。按照機(jī)械零件圖像輪廓邊緣曲線前向、后向分別尋找6個(gè)像素點(diǎn),計(jì)算該12個(gè)像素點(diǎn)后繼點(diǎn)方向曲率角,其表達(dá)式為：

式(11)中,Δd表示相位角,其下角標(biāo)的數(shù)字分別表示連接點(diǎn)1、2、3,其表達(dá)公式如式(12)～式(14)所示：

第四步：依據(jù)式(11)計(jì)算機(jī)械零件圖像內(nèi)所有像素點(diǎn)后繼點(diǎn)方向曲率角,然后計(jì)算機(jī)械零件圖像輪廓邊緣曲線點(diǎn)信息,表達(dá)式為：

式(15)中,totalNum表示機(jī)械零件圖像輪廓邊緣曲線內(nèi)所有像素點(diǎn)總和；Q表示機(jī)械零件圖像輪廓邊緣曲線總和,totalLi表示第i條輪廓曲線內(nèi)涵蓋的像素點(diǎn)數(shù)量。

設(shè)置機(jī)械零件圖像輪廓邊緣曲線內(nèi)像素點(diǎn)閾值為ζ,當(dāng)式(15)數(shù)值大于ζ時(shí),則說明該邊緣曲線為輪廓曲線,反之則為分支曲線,棄之。將所有機(jī)械零件圖像輪廓邊緣曲線檢測(cè)出來后,將使用直接連接方法對(duì)斷裂位置進(jìn)行填充,即可獲得完整的機(jī)械零件圖像輪廓邊緣區(qū)域。

1.4 基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的機(jī)械圖像邊緣特征提取

以完整的機(jī)械零件圖像輪廓邊緣區(qū)域?yàn)榛A(chǔ),使用多尺度卷積神經(jīng)網(wǎng)絡(luò)模型提取機(jī)械零件圖像輪廓邊緣區(qū)域特征。令I(lǐng)表示輸入到多尺度卷積神經(jīng)網(wǎng)絡(luò)模型的機(jī)械零件圖像,使用多尺度高斯金字塔對(duì)該圖像輪廓邊緣區(qū)域進(jìn)行拉普拉斯濾波處理,將機(jī)械零件圖像輪廓邊緣區(qū)域劃分為若干個(gè)層[13,15],且每個(gè)圖像層面積均為上層圖像的四分之一。令fs表示多尺度卷積神經(jīng)網(wǎng)絡(luò)模型,其中s表示尺度,并設(shè)置該模型的初始參數(shù)為θ0,且θ0=θs。則多尺度卷積神經(jīng)網(wǎng)絡(luò)的表達(dá)式為：

式(16)中,L表示階段；δL表示第階段權(quán)值矩陣；I′L-1表示在第L-1階段輸出數(shù)值,且I′0=Xs。

令l表示多尺度卷積神經(jīng)網(wǎng)絡(luò)模型隱含階段,則該階段輸出的表達(dá)式為：

式(17)中,pool為池化操作函數(shù)；bi表示偏置參數(shù),且l∈｛1,2,…,L-1｝。

將式(17)結(jié)果代入到式(16)內(nèi)后,多尺度卷積神經(jīng)網(wǎng)絡(luò)模型輸出全部機(jī)械零件圖像輪廓邊緣特征。然后將具備相同尺寸的特征點(diǎn)合并后,生成三維特征矩陣,該矩陣由P表示,其表達(dá)式為：

式(18)中,u表示上采樣函數(shù)。

三維特征矩陣P即為機(jī)械零件圖像邊緣特征提取結(jié)果,其后續(xù)可用于機(jī)械零件品類識(shí)別、缺陷檢測(cè)等。

2 實(shí)驗(yàn)分析

以某大型機(jī)械零件制造車間為實(shí)驗(yàn)對(duì)象,利用CCD工業(yè)相機(jī)拍攝機(jī)械零件輪廓圖像后,使用本文方法對(duì)其進(jìn)行輪廓處理,以驗(yàn)證本方法實(shí)際應(yīng)用效果。

2.1 機(jī)械零件圖像增強(qiáng)測(cè)試

以2組存在高曝光和高斯干擾的機(jī)械零件圖像為實(shí)驗(yàn)對(duì)象,使用本文方法對(duì)其進(jìn)行增強(qiáng)處理,結(jié)果如圖1所示。

圖1 機(jī)械零件圖像增強(qiáng)測(cè)試結(jié)果

分析圖1可知,本文方法在增強(qiáng)處理存在高曝光機(jī)械零件圖像時(shí),其可有效降低機(jī)械零件圖像曝光度,使機(jī)械零件圖像輪廓更為清晰,曝光區(qū)域亮度得到了有效降低。而在增強(qiáng)處理存在高斯干擾機(jī)械零件圖像時(shí),可有效將圖像內(nèi)的高斯噪聲點(diǎn)去除,并提升整體機(jī)械零件圖像亮度和對(duì)比度。綜上所述,本文方法具備較好的機(jī)械零件圖像增強(qiáng)能力。

2.2 灰度閾值分割測(cè)試

SSIM（Structural Similarity）是描述圖像結(jié)構(gòu)相似性指標(biāo)之一。以其為衡量本文方法對(duì)機(jī)械零件圖像灰度閾值分割指標(biāo),測(cè)試在灰度圖像序列內(nèi)元素?cái)?shù)量不同情況下,本文方法對(duì)機(jī)械零件圖像灰度閾值R、G、B三原色分割效果,并設(shè)置SSIM閾值不得低于0.6,測(cè)試結(jié)果如表1所示。

分析表1可知,隨著機(jī)械零件灰度圖像序列內(nèi)元素?cái)?shù)量的增加,本文方法閾值分割時(shí)的SSIM數(shù)值在不同三原色情況下也呈現(xiàn)下降趨勢(shì)。在機(jī)械零件灰度圖像序列元素為2500個(gè)之前時(shí),在不同三原色情況下,本文對(duì)機(jī)械零件圖像閾值分割的SSIM數(shù)值降低幅度較小。而當(dāng)機(jī)械零件灰度圖像序列元素為2500個(gè)后,本文對(duì)機(jī)械零件圖像閾值分割的SSIM數(shù)值呈現(xiàn)大幅度下降趨勢(shì)。在機(jī)械零件灰度圖像序列內(nèi)元素?cái)?shù)量為5000個(gè)時(shí),R、G、B三原色的閾值分割SSIM數(shù)值分別為0.7129、0.6989、0.7955,該數(shù)值均高于所設(shè)的SSIM閾值。綜上結(jié)果,本文方法在分割機(jī)械零件圖像閾值時(shí),受且灰度圖像序列內(nèi)元素?cái)?shù)量影響較小,分割機(jī)械零件圖像閾值時(shí)的SSIM數(shù)值較高,其可在保障機(jī)械零件圖像原始特征情況下對(duì)其進(jìn)行有效分割。

表1 機(jī)械零件圖像灰度閾值分割SSIM數(shù)值變化情況

2.3 輪廓邊緣區(qū)域檢測(cè)

機(jī)械零件圖像輪廓邊緣區(qū)域檢測(cè)是提取其邊緣的基礎(chǔ),以一組機(jī)械零件圖像為實(shí)驗(yàn)對(duì)象,使用本文方法檢測(cè)其輪廓邊緣區(qū)域,結(jié)果如圖2所示。

圖2 機(jī)械零件圖像輪廓邊緣區(qū)域檢測(cè)結(jié)果

分析圖2可知,應(yīng)用本文方法可有效將機(jī)械零件初始圖像的邊緣區(qū)域使用線條標(biāo)記出來,且并未過多占用其他區(qū)域,也將機(jī)械零件所有的輪廓覆蓋其中。該結(jié)果表明本文方法在檢測(cè)機(jī)械零件圖像輪廓區(qū)域方法效果顯著,也可從側(cè)面說明本文方法提取機(jī)械零件圖像邊緣特征能力較好。

2.4 機(jī)械零件圖像邊緣特征提取測(cè)試

以一組機(jī)械零件圖像為實(shí)驗(yàn)對(duì)象,使用本文方法提取其邊緣特征,結(jié)果如圖3所示。

分析圖3可知,使用本文方法提取機(jī)械零件圖像邊緣特征時(shí),其可有效將初始圖像零件邊緣棱角提取出來,且提取完成的機(jī)械零件圖像邊緣特征也可較好地描述機(jī)械零件邊緣輪廓,將初始圖像內(nèi)機(jī)械零件表面無法觀察到的特征均呈現(xiàn)出來。上述結(jié)果表明：本文方法提取機(jī)械零件圖像能力較好,且其提取的機(jī)械零件圖像特征可較好地描述機(jī)械零件自身狀態(tài),為識(shí)別其缺陷或者種類提供了良好的基礎(chǔ)。

圖3 機(jī)械零件圖像邊緣特征提取結(jié)果

為更清楚呈現(xiàn)本文方法提取機(jī)械零件圖像邊緣特征效果,以提取特征點(diǎn)匹配對(duì)作為衡量指標(biāo),測(cè)試在不同數(shù)量的特征點(diǎn)情況下,本文方法提取特征點(diǎn)匹配度,結(jié)果如圖4所示。

圖4 提取特征點(diǎn)匹配度測(cè)試結(jié)果

分析圖4可知,本文方法提取機(jī)械零件圖像邊緣特征點(diǎn)時(shí)的匹配度與特征點(diǎn)數(shù)量成反比例關(guān)系。但在特征點(diǎn)數(shù)量為3000個(gè)之前時(shí),本文方法提取特征點(diǎn)的匹配度均為1.0,說明其提取機(jī)械零件圖像邊緣特征點(diǎn)精度為100%。當(dāng)特征點(diǎn)數(shù)量超過3000個(gè)后,本文方法提取特征點(diǎn)匹配度有所降低。在特征點(diǎn)為8000個(gè)時(shí),本文方法提取特征點(diǎn)的匹配度為0.95左右。上述結(jié)果說明：本文方法提取機(jī)械零件圖像邊緣特征點(diǎn)精度較高,其具備良好的實(shí)際應(yīng)用性能。

3 結(jié)語

本文針對(duì)機(jī)械零件類型識(shí)別或者缺陷檢測(cè)中提取零件圖像特征過程中存在的缺陷,提出了基于多尺度卷積的制造業(yè)機(jī)械零件圖像輪廓特征提取方法。然后對(duì)該方法展開了多角度實(shí)際驗(yàn)證,從其結(jié)果得知：本文方法對(duì)機(jī)械零件圖像進(jìn)行閾值分割時(shí),SSIM數(shù)值均高于0.6,具備較好的閾值分割能力；提取機(jī)械零件圖像邊緣特征點(diǎn)的匹配度在0.95～1.0之間,其提取能力較強(qiáng)。