王煜璽,袁晗,朱宗曉,何順帆,田微
(中南民族大學 計算機科學學院,武漢 430074)
隨著電子技術(shù)和現(xiàn)代工業(yè)的快速發(fā)展,大量的元件需要進行微米乃至納米級加工.電子束技術(shù)[1]是目前較為合適的加工方法之一,其主要應(yīng)用于高溫合金的打孔、焊接等熱加工和表面改性等電子束光化學加工[2].
基于復(fù)雜背景[3]的圖像處理問題是自動化圖像處理領(lǐng)域的研究重點之一,但到目前為止,還沒有學者對電子束斑圖像進行較為系統(tǒng)的處理分析,人們對于電子束斑的檢測往往通過肉眼觀察其形狀、大小、斑點分布情況來進行較為簡單、直接的分析,并不十分精確.為了得到更為準確的電子束斑相關(guān)數(shù)據(jù),本文采用圖像處理的方法,對其進行輪廓檢測等相關(guān)處理.
目前,深度學習和傳統(tǒng)算法是較為主流的兩種圖像處理的方法. 文獻[4]中基于深度學習提出的空洞卷積密集連接網(wǎng)絡(luò)模型有效地緩解了梯度消失問題,增強了邊緣特征.傳統(tǒng)算法中的Canny算子憑借低錯誤率、邊緣定位精度、單一邊緣響應(yīng)的優(yōu)點,成為邊緣檢測的標準[5].但其所使用的高斯濾波器無法很好地消除椒鹽噪聲,且需要手動設(shè)定高低閾值,在提取真實邊緣時會存在誤差.文獻[6]中提出了用混合濾波器代替高斯濾波器進行了預(yù)處理,其優(yōu)勢在于其同時考慮像素點的空間域信息與值域信息,結(jié)合Otsu 算法,以圖像的一維直方圖為依據(jù)自動選取高低閾值.文獻[7]中對Otsu 算法進行了優(yōu)化,提出了基于側(cè)抑制網(wǎng)絡(luò)的二維Otsu 算法進行閾值分割,提高了對圖像噪聲的魯棒性.
形態(tài)學梯度[8]邊緣檢測較為依賴選取的結(jié)構(gòu)元素的形狀和尺寸.相對而言,尺寸越小的結(jié)構(gòu)元素越可以保護邊緣細節(jié),但降噪能力較弱,若選取的結(jié)構(gòu)元素較大,降噪能力提升了,卻丟失了邊緣細節(jié)[5].為彌補不同尺寸對檢測效果的影響,文獻[9]中提出了多尺度多結(jié)構(gòu)元素灰度形態(tài)學邊緣檢測算子.而文獻[10]中提出一種改進的多種結(jié)構(gòu)元素多方向的形態(tài)學邊緣算子,用三種結(jié)構(gòu)單元分別對圖像進行開閉運算、膨脹腐蝕操作和邊緣檢測操作,可以檢測不同方向的邊緣,使檢測到的邊緣更趨于完整.
上述文獻中的算法對圖像邊緣檢測都有著很好的優(yōu)化,但并不完全適用于電子束斑圖像的邊緣檢測. 因此,本文提出基于OpenCV 融合Top-hat 和Canny 算子的邊緣檢測算法對電子束斑圖像進行整體輪廓檢測,并通過輪廓的圓度D和輪廓寬度Width進行雙閾值篩選目標輪廓,最終對目標輪廓圖像進行等值切割,通過網(wǎng)格計數(shù)法提出電子束斑圖像專用的均勻度標準.將得到的相關(guān)參數(shù)反饋給機器,以輔助電子束設(shè)備的實時改進.
電子束的研究,普遍以法拉第桶作為測量工具,由電子槍產(chǎn)生的電子經(jīng)加速、聚焦,高速沖擊到鋁箔紙表面而形成電子束斑,如圖1所示.在此過程中,鋁箔紙表面在高溫的作用下會產(chǎn)生形變,形成復(fù)雜背景,因而加大了圖像處理的難度.
圖1 電子束斑圖Fig.1 Electron beam spot pattern
在復(fù)雜背景中提取電子束斑的輪廓時,首先需要對圖像進行降噪處理,降噪后的圖像可以提升識別處理的精確度.本文以降噪前后兩幅圖像的峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)進行降噪優(yōu)劣的判別.若PSNR 值越高,則說明降噪后圖像的失真越少,性能越好,若SSIM 值越趨于1,則說明降噪圖像與原始圖像的結(jié)構(gòu)相似度越高,降噪效果越好[11].
通過多種邊緣檢測算子對電子束斑處理的對比實驗,Canny 算子得到的輪廓圖像效果相對較優(yōu),但輪廓圖像并不清晰且有大量的干擾輪廓,需要對其進行改進. 為了比較分析圖像邊緣檢測的效果,本文采用了邊緣檢測性能品質(zhì)因數(shù)[12]進行評價,其公式為:
其中:II表示理想邊緣圖像中的像素和,IA表示實際邊緣圖像中的像素和,a為比例系數(shù),通常取1/9,d為理想邊緣到實際邊緣點連線的垂直距離.若R的值越趨于1,則表明邊緣檢測效果越好.
在數(shù)學上,圓度D的定義為:
其中S表示輪廓內(nèi)包含的面積,l表示輪廓的周長.當圓度D等于1 時,輪廓為標準圓;而對于其他形狀的輪廓,圓度D都小于1,當輪廓越趨向圓時,圓度D越接近1[13].
邊緣檢測的輪廓圖像存在大量干擾輪廓,因此對電子束斑的輪廓圖像進行輪廓寬度Width和圓度D的分析計算,并以Width和D的值作為參數(shù)進行雙閾值提取目標輪廓.
電子束斑的均勻度[14],即為描述電子束的打點分布情況,但目前還沒有明確的分析電子束斑均勻度的方法,因此本文將基于網(wǎng)格計數(shù)法提出電子束斑專用的均勻度檢測標準.
其中網(wǎng)格計數(shù)法是Christiansen為描述噴管水量的噴灌均勻性提出的一個均勻系數(shù)[15],其公式為:
該方法是將檢測區(qū)域均勻劃分成N個小區(qū)域,計算每個小區(qū)域內(nèi)均勻度點的個數(shù)n和整個區(qū)域點的個數(shù)m,則.
并通過檢測的區(qū)域內(nèi)pi的極差X反應(yīng)電子束斑的分布及離散幅度,對上述的均勻度計算結(jié)果進行驗證,公式如下:
2.1.1 Canny算子濾波器的選取
線性濾波中的均值濾波和高斯濾波與非線性濾波中的中值濾波和雙邊濾波是圖像降噪中較為常用的方式.為了客觀地分析四種濾波對本次研究對象的降噪效果,通過四組實驗的峰值信噪比和結(jié)構(gòu)相似性進行分析比較,如表1所示.
表1 濾波的PSNR、SSIM值Tab.1 PSNR and SSIM values of filtering
表1 中,雙邊濾波對電子束斑圖像進行降噪后的PSNR 和SSIM 值均為最優(yōu),這是因為與其他濾波相比,雙邊濾波增加了一個基于空間分布的高斯方差sigma-d,結(jié)合了圖像的空間鄰近度和像素值相似度,同時考慮空域信息和灰度相似性,所以距離邊緣較遠的像素對邊緣上的像素不會有很大影響,因此邊緣附近像素值得到了較好的保存.
為驗證實際效果,分別將以上四種濾波器融入Canny算子中,結(jié)果如圖2、表2所示.
圖2中使用雙邊濾波器進行降噪處理后的邊緣檢測輪廓,較其他濾波器處理的相對清晰,且從表2可以看出,由雙邊濾波器處理得到的邊緣圖像,其品質(zhì)因數(shù)也為最優(yōu). 故本文以雙邊濾波器代替Canny算子中的高斯濾波器進行降噪處理.
圖2 濾波對比結(jié)果Fig.2 Filter contrast results
表2 不同濾波邊緣檢測的品質(zhì)因數(shù)RTab.2 The quality factor R of different filtering edge detection
2.1.2 融合頂帽的算法優(yōu)化
數(shù)學形態(tài)學是建立在數(shù)學理論基礎(chǔ)上的,以結(jié)構(gòu)元素為幾何模板探測和提取圖像中物體形狀的圖像分析與識別的方法[16]. 其基本運算包括膨脹、腐蝕、開運算和閉運算. 設(shè)f(x,y) 為輸入圖像,b(s,t)為結(jié)構(gòu)元素,Df和Db分別為f(x,y)和b(s,t)的定義域,則:
(1) 膨脹
(2) 腐蝕
(3) 開運算
(4) 閉運算
由于此次研究的電子束斑圖像背景較暗,斑點輪廓較亮,故引入頂帽變換(Top-hat)做進一步處理.Top-hat 是原圖像與開運算差的結(jié)果,它可以凸顯出輪廓周圍更亮的區(qū)域.
設(shè)g(x,y)為Top-hat的結(jié)果,其公式為:融合頂帽的對比,如圖3所示.
圖3 頂帽對比圖Fig.3 Top-hat contrast
圖3 中,融合頂帽后的二值圖像(c)與圖像(a)相比,填補了部分空白區(qū)域,同時使得邊緣細節(jié)更加完整,在進行邊緣檢測時,圖像(d)的邊緣輪廓較圖像(b)也更為清晰.
2.1.3 電子束斑圖像的邊緣檢測
如圖4所示,對于不同的電子束斑圖像,本文的算法均可以得到其目標輪廓的清晰邊緣.
圖4 邊緣檢測圖像Fig.4 Edge detection image
將本文檢測結(jié)果與文獻[6]和文獻[9]中的算法檢測結(jié)果進行比較,如表3所示,因為本文以雙邊濾波器代替高斯濾波器,較好地保留了邊緣信息,同時Top-hat使得邊緣更為完整,所以本文算法得到的結(jié)果的品質(zhì)因數(shù)高于文獻[6]和文獻[9]的邊緣檢測結(jié)果的品質(zhì)因數(shù).
表3 邊緣檢測算法的品質(zhì)因數(shù)RTab.3 The quality factor R of edge detection algorithm
邊緣檢測得到的電子束斑邊緣圖像仍有較多的干擾邊緣,但可以找到清晰的目標輪廓邊緣,經(jīng)觀察可知大部分的干擾輪廓寬度較小且不規(guī)則,因此可以以輪廓Width值和輪廓的圓度D作為閾值對邊緣圖像進行篩選.
通過邊緣檢測圖像找到每個小輪廓的外接矩形,并求其寬度Width值作為第一個篩選條件,利用圓度,計算每個小輪廓的圓度D作為第二個篩選條件,如圖5所示.
圖5 輪廓篩選流程圖Fig.5 Contour screening flow chart
目標輪廓圓度篩選結(jié)果如表4所示.
表4 輪廓圓度篩選結(jié)果Tab.4 Contour roundness screening results
經(jīng)雙閾值輪廓篩選,得到清晰且完整的目標輪廓圖像,如圖6所示.
圖6 輪廓篩選結(jié)果圖Fig.6 Contour screening result diagram
基于網(wǎng)格計數(shù)法,考慮到電子束斑并非是正常的點集合,在打點的過程中會產(chǎn)生打點重合和點的形狀大小不一的情況. 在此,提出一種計算電子束斑均勻度的標準:以輪廓內(nèi)每個區(qū)域點集的像素值之和作為n,以輪廓內(nèi)每個區(qū)域所包含點集的個數(shù)作為m.目的在于以平均像素值作為標準,減少因點集重合或單個點的大小和形狀不一造成的誤差.
本次研究將得到的輪廓圖像的外接矩形進行3 × 3的等值劃分,由于在邊緣處有部分區(qū)域不在輪廓內(nèi)部,在計算點集個數(shù)的時候需將這些點去除,而矩形內(nèi)輪廓外以黑色作為填充,所以在累加像素值時可以不予考慮.
均勻度檢測結(jié)果如圖7和表5所示.
圖7 區(qū)域像素值Fig.7 Area pixel value
表5 均勻度及極差結(jié)果Tab.5 Uniformity and range results
結(jié)合圖7 和表5 的數(shù)據(jù),圖6(a)的九個區(qū)域平均像素值較為接近,其極差較小,說明打在鋁箔紙表面的電子束斑分布較為均勻且離散幅度較小,同時驗證了其較好的均勻度的計算結(jié)果.圖6(d)與圖6(c)均為不銹鋼表面的電子束斑,相比之下,圖6(d)的均勻度更優(yōu).
電子束斑圖像的圓度和均勻度是電子束設(shè)備安裝、檢修、改造等過程中的關(guān)鍵指標參數(shù),其反映了電子束技術(shù)效果的優(yōu)劣.本文基于OpenCV 提出的電子束斑輪廓檢測、圓度和均勻度計算的算法,取得了良好的效果,尤其對加工過程中的電子束斑圖像有著顯著的效果,有利于對加工過程的實時監(jiān)測.通過網(wǎng)格計數(shù)法提出了一種電子束斑圖像的均勻度標準,在無需精確點數(shù)的情況下,本文得到了準確的均勻度參數(shù),并通過極差驗證了其正確性.但是由于電子束加工的材料各不相同,使得電子束斑的背景不一且較為復(fù)雜,要實現(xiàn)完全的自適應(yīng)輪廓檢測,仍需要進一步對電子束斑的圖像特征進行研究.可以通過深度學習的方法,尋找合適的框架結(jié)構(gòu)對其進行切割訓練,得到更優(yōu)的結(jié)果.