宋寶宇,王靖震,楊東曉,高冰,柴明亮(鞍鋼集團鋼鐵研究院,遼寧鞍山114009)
?
冷軋帶鋼表面缺陷圖像處理與分析方法研究
宋寶宇,王靖震,楊東曉,高冰,柴明亮
(鞍鋼集團鋼鐵研究院,遼寧鞍山114009)
摘要:為了提高帶鋼表面質(zhì)量檢測系統(tǒng)的運行效率及檢測效果,提出了一套可用于在線應用的圖像處理與分析方案。通過對在線采集到的圖像數(shù)據(jù)進行拼接、預處理、圖像分割等操作,簡單、高效、準確地辨識出在線采集圖像中的完整缺陷。
關鍵詞:帶鋼;表面質(zhì)量檢測;圖像處理;圖像分析
宋寶宇,碩士,系統(tǒng)分析師,2006年畢業(yè)于大連理工大學軟件工程專業(yè)。E-mail:sbyllb@sina.com
隨著科學技術(shù)的進步,冷軋帶鋼的后續(xù)加工工業(yè)正向高速度、高精度和自動化方向發(fā)展。為了發(fā)揮自動化作業(yè)線生產(chǎn)穩(wěn)定、材料利用率高、產(chǎn)品一致性好的優(yōu)勢,要求原材料的尺寸公差小、表面質(zhì)量好。因此在冷軋帶鋼生產(chǎn)規(guī)模日益擴大的同時,其表面質(zhì)量也必然會受到越來越多的關注。一直以來,大多數(shù)鋼廠一直沿用人工開卷抽檢或頻閃光法等檢測方法進行表面質(zhì)量檢測,這些方法不能真實可靠地反映帶卷上下表面的質(zhì)量狀況,實時性差,而且缺乏檢測的一致性、科學性。因此,采用機器視覺的方式在線檢測帶鋼表面質(zhì)量逐漸成為國內(nèi)外研究的熱點[1-2]。
表面質(zhì)量檢測系統(tǒng)一般由圖像采集、圖像處理與分析及缺陷分類三部分組成。在帶鋼表面質(zhì)量檢測過程中,對缺陷圖像的處理與分析是十分重要的環(huán)節(jié)。它直接決定檢測系統(tǒng)的缺陷辨識能力及后續(xù)的缺陷分類準確率。圖像采集主要依靠硬件設備來實現(xiàn),這部分實施的效果取決于硬件設備的性能。研發(fā)人員雖然在缺陷分類部分投入了大量的精力,但實際應用效果還有待進一步提高。圖像的處理與分析部分是能否找出缺陷的關鍵,目前大部分表面質(zhì)量檢測系統(tǒng)所采用的圖像處理及分析方法,或是算法比較粗糙、分析準確度低,或是算法比較復雜、運算效率低,無法實現(xiàn)在線連續(xù)使用。因此本文提出一套算法簡單、分析準確度高,且可以在線應用的圖像處理與分析方法。
1.1圖像拼接
從圖像采集設備的能力和對采集到的圖像質(zhì)量的要求角度出發(fā),圖像采集系統(tǒng)目前一般需要使用多臺照相機。為了獲得全幅在線圖像,進而進行存儲和進一步處理,因此需要對同側(cè)多臺相機采集到的同步圖像進行拼接。由于多臺相機相對帶鋼的角度不同并且對照明的顯示效果不同,所以對于同一位置的帶鋼在圖像上呈現(xiàn)不同的灰度,因此不能用常規(guī)的基于重合度原理進行拼接。
本文采用基于Surf算法的執(zhí)行策略實現(xiàn)圖像拼接[3],它的特點是對兩幅圖像上的特征進行匹配,確定拼接矩陣,在實際運行期間,直接使用拼接矩陣進行拼接。Surf算法在計算中對高斯二階微分模板進行簡化,使得模板對圖像的濾波只需要進行幾個簡單的加減法運算,這樣大大提高了算法的運行效率,對于4 MB的圖像拼接計算時間在10 s以內(nèi)。在系統(tǒng)實際運行過程中,拼接矩陣是在系統(tǒng)初始化時確定的,在系統(tǒng)正常行進時不改變拼接矩陣。
拼接矩陣的計算方法如下,首先獲取底板圖像和嵌入圖像,這時使用的是樣板圖像,因為通常情況下,帶鋼表面較為光潔,圖像特征較少,因此要特意的增加圖像特征。另外為了優(yōu)化算法性能,分別截取底板圖像的右半部(P1)和嵌入圖像的左半部(P2)進行實際運算。接著進行圖像拼接特征增強,然后基于Surf算法,提取P1和P2圖像的特征點及其描述器,并尋找P2和P1圖形之間的匹配點對,然后再根據(jù)匹配點對計算變換矩陣,最后根據(jù)變換矩陣確定拼接矩陣。系統(tǒng)進行圖像拼接特征增強采用橫向分區(qū)直方圖均衡化的方法。該方法圖像拼接效果如圖1所示。
圖1 圖像拼接效果圖
1.2帶鋼邊部檢測
系統(tǒng)在對帶鋼有效圖像分析前需要先將圖像上非帶鋼圖像剪切掉。本文提供的方法是通過圖像上縱向灰度均值差異,對帶鋼圖像進行切邊處理,處理方法如下:為了提高算法運行效率,系統(tǒng)首先對邊部可能出現(xiàn)的位置進行截取,分別截取左邊界可能出現(xiàn)的范圍和右邊界可能出現(xiàn)的范圍,截取策略采用邊界離線統(tǒng)計預設定。然后,在左邊界截取區(qū)域內(nèi)從左至右進行掃描,第一次滿足公式(1)條件則確定為左邊界位置XL。
公式(1)中,F(xiàn)(x,y)為圖像上(x,y)點圖像灰度;N為圖像縱向?qū)挾?;K為帶鋼表面圖像高斯濾波統(tǒng)計均值與非帶鋼表面圖像高斯濾波統(tǒng)計均值的差;G為非帶鋼表面圖像高斯濾波統(tǒng)計最大值。接著,在右邊界截取區(qū)域內(nèi)從右至左進行掃描,如第一次滿足公式(2)條件,則確定為右邊界位置XR。
1.3光照均衡化
光照均勻化主要是消除圖像上由于光照的不均勻性以及各相機對光照顯示效果的不同而產(chǎn)生的背光不均問題。處理過程如下:首先計算待處理圖像灰度平均值AVG及灰度值標準差SDV,并生成標記圖像FBZ。FBZ為二值圖像,生成方法如公式(3)所示。
然后計算光照補償因子BC,光照補償因子BC是一維數(shù)組,BC(i)為初始圖像每一列像素點所對應的光照補償值。本文所使用的相機為線掃描相機,因此在線掃描情況下,采樣位置在垂直掃描線方向上是不變的,因此采集到的圖片在短期內(nèi)只存在橫向上的光照不均,可以用短期縱向上的平均光照補償來計算圖像上每點的即時光照補償。所以,初始圖像每一列像素點所對應的光照補償值BC(i)的計算公式如下:
式中,F(xiàn)bz(x,y)為二值化標記圖像上(x,y)點的值;Fbz(i,y)為二值化標記圖像上x=i的點的值;N為二值化標記圖像上值為1的點的個數(shù);Ni為二值化標記圖像上第i列上值為1的點的個數(shù)。
最后按如下公式計算獲得光照均勻化后的圖像F′(x,y)。
1.4目標圖像增強
為了消除非缺陷范圍灰度波動對系統(tǒng)缺陷檢驗的影響,所以對待辨識圖像首先進行灰階過濾,將原始圖像轉(zhuǎn)化為兩張增強圖像,分別為亮缺陷圖像和暗缺陷圖像。對于亮缺陷圖像,需要進行灰階提升,提升方法是將圖像上所有低于檢驗灰階最小值KGMin像素點的灰度值提高到KGMin。檢驗灰階最小值KGMin計算方法如下:
同樣,對于暗缺陷圖像,需要進行灰階下壓,下壓方法是將圖像上所有高于檢驗灰階最大值KGMax像素點的灰度值下壓到KGMax。KGMax計算方法如下:
2.1缺陷單元辨識
由于系統(tǒng)每秒鐘要處理的圖像數(shù)據(jù)達到百MB級別,本文采用局部優(yōu)化自適應閾值分析方法進行疑似缺陷單元辨識,然后再通過缺陷密度判定方法,對疑似缺陷單元進行缺陷干擾去除。疑似缺陷單元辨識方法如圖2所示。首先對分析圖象上每一個像素點進行掃描,然后采用9×9的高斯模版以掃描點為中心計算高斯加權(quán)和,然后再進行階躍變換,計算動態(tài)閾值,再通過動態(tài)閾值判別疑似缺陷單元,對于確認是的單元點位置,加入到缺陷單元標記圖,對于確認不是的不做任何處理。
缺陷干擾去除方法是首先通過13×13的模版對加入到缺陷單元標記圖中的疑似缺陷單元統(tǒng)計周圍的疑似缺陷單元數(shù)量,如果統(tǒng)計結(jié)果小于標準缺陷密度常數(shù)PS,則將該缺陷單元剔除。標準缺陷密度常數(shù)PS根據(jù)實際圖像缺陷特征分析確定。
2.2同質(zhì)缺陷融合
同質(zhì)缺陷融合即是將空間上位置較集中或連續(xù)且特征相似的缺陷單元進行連接,已組合成實體缺陷塊。同質(zhì)缺陷融合的方法是先將相對連通的缺陷單元組成缺陷單元組,再通過對缺陷單元組進行半徑為Rd的膨脹,再對膨脹區(qū)域重合的缺陷單元組進行特征提取,對特征相似的缺陷單元組進行融合。本文使用的辨識特征包括缺陷灰度、缺陷粒度、缺陷灰度標準差。
圖2 缺陷單元辨識流程圖
上述方法在WindowsXP操作系統(tǒng)上進行實現(xiàn),計算機為DELL T7500型圖形工作站,系統(tǒng)軟件及通訊程序基于VS.NET2008平臺采用C++語言開發(fā),部分圖形學算法依靠OpenCV2.2框架開發(fā),遵循多線程、面向?qū)ο?、低耦合高?nèi)聚的開發(fā)思想,綜合實現(xiàn)冷軋帶鋼表面質(zhì)量檢測系統(tǒng)中圖像處理與分析過程。本文所述方法通過表面質(zhì)量實驗設備,采用現(xiàn)場有代表性的鋼板貼敷檢測輥的方法進行驗證實驗。實驗帶鋼寬度為600mm,行進速度為2~6m/ms,對現(xiàn)場6張鋼板采集216張2 048×500的圖片進行處理及分析,實際分析過程效果如圖3所示。通過對實驗結(jié)果的統(tǒng)計對常規(guī)缺陷的驗出率達到90%以上,驗錯率低于10%。
圖3 實際分析過程效果圖
(1)該方案可以有效解決冷軋帶鋼表面質(zhì)量檢測系統(tǒng)從圖像拼接到缺陷驗出過程一系列圖像處理及分析問題。
(2)該方案具有較好的適應性和辨識性能,適合在線應用。
(3)通過進一步與DSP等嵌入式設備的結(jié)合,可形成高性能的表面質(zhì)量檢測系統(tǒng),在提高冷軋產(chǎn)品質(zhì)量方面發(fā)揮更大的作用。
參考文獻
[1]張洪濤,段發(fā)階,丁克勤,等.帶鋼表面缺陷視覺檢測系統(tǒng)關鍵技術(shù)研究[J].計量學報,2007,28(3):216-219.
[2]劉偉嵬,顏云輝,李瞻宇,等.帶鋼表面缺陷在線檢測系統(tǒng)的圖像濾波算法[J].東北大學學報(自然科學版),2009,30 (3):430-433.
[3]劉奇,何明一.基于SURF特征匹配的圖像拼接算法[J].測控技術(shù),2010,29(10):27-31.
(編輯袁曉青)
修回日期:2015-09-07
Study on Method of Processing and Analyzing Images of Defects on Surface of Cold Rolled Strip Steel
Song Baoyu,Wang Jingzhen,Yang Dongxiao,Gao Bing,Cai Mingliang
(Iron & Steel Research Institutes of Ansteel Group Corporation,Anshan 114009,Liaoning,China)
Abstract:In order to improve the operation efficiency and checking effect on the part of the surface quality detecting system for the strip steel,the solution for online processing and analyzing images of defects on the surface of the strip steel was proposed.According to the solution,the image data by online collecting were montaged and preprocessed and then images were divided so that the full defects in images by online collecting could be identified simply,efficiently and accurately.
Key words:strip steel;surface quality detecting;image processing;image analyzing
中圖分類號:TG142
文獻標識碼:A
文章編號:1006-4613(2016)03-0028-04