申屠理鋒,奚嘉奇

(寶山鋼鐵股份有限公司研究院,上海 201900) (*通信作者電子郵箱shtulf@baosteel.com)

基于幀間灰度變化分析的在線光源位置計(jì)算

申屠理鋒*,奚嘉奇

(寶山鋼鐵股份有限公司研究院,上海 201900) (*通信作者電子郵箱shtulf@baosteel.com)

針對(duì)機(jī)器視覺系統(tǒng)在實(shí)際生產(chǎn)中光源位置無法事先確定的問題,提出一種基于幀間特征區(qū)域灰度形態(tài)分析的在線光源位置計(jì)算方法。首先基于灰度分布來確定一特征區(qū)域作為參考點(diǎn),然后運(yùn)用塊匹配算法確定相鄰兩幀中特征區(qū)域的位置變化,之后結(jié)合光照模型建立灰度和幾何位置之間的關(guān)系,運(yùn)用線性回歸對(duì)聯(lián)立方程組進(jìn)行求解,最后得到光源位置。實(shí)驗(yàn)結(jié)果表明:光源位置的計(jì)算結(jié)果與實(shí)際所測(cè)的距離相比,誤差在5%之內(nèi)。所提算法已被應(yīng)用于實(shí)際生產(chǎn),具有較好的計(jì)算精度和實(shí)時(shí)性。

幀間;灰度;光源;位置計(jì)算

0 引言

在鋼鐵制造業(yè)中表面缺陷檢測(cè)是質(zhì)量控制的一個(gè)重要環(huán)節(jié),這一工作大都由人工操作完成,隨著圖像技術(shù)的發(fā)展,許多基于機(jī)器視覺技術(shù)的系統(tǒng)被集成到生產(chǎn)線來輔助或替代人工作業(yè),而表面缺陷檢測(cè)算法是這類系統(tǒng)的最核心部分。目前主要包括三類算法[1]:基于線性及非線性濾波、基于空域-頻域的變換及重構(gòu)、基于機(jī)器學(xué)習(xí)的特征提取和分類。在基于濾波的算法中,首先需根據(jù)缺陷形態(tài)確定濾波算子,常用的算子有Laplacian和Gabor,然后調(diào)節(jié)算子參數(shù)來實(shí)現(xiàn)缺陷特征的提取[2-3]。由于參數(shù)的調(diào)節(jié)往往對(duì)光照環(huán)境的變化較為敏感,因此這類算法的魯棒性有所欠缺。為了克服這一缺點(diǎn),文獻(xiàn)[4]提出了一種基于雙光源調(diào)節(jié)的識(shí)別方法。在光照條件給定的情況下,通過光源的切換來消除非均勻光照的影響,之后通過設(shè)計(jì)有限脈沖濾波器來進(jìn)行缺陷定位。在基于空域-頻域變化的這類方法中,首先需依據(jù)缺陷及光照的特點(diǎn)選擇核函數(shù),然后通過優(yōu)化重構(gòu)系數(shù)來實(shí)現(xiàn)前景和背景的分離[5-6]。由于增加了參數(shù)的空域維度,所以與濾波算法相比,其魯棒性有一定改善。近些年也出現(xiàn)了許多基于機(jī)器學(xué)習(xí)的方法,包括運(yùn)用非監(jiān)督分類和卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行缺陷檢測(cè)[7-9]。其主要優(yōu)勢(shì)在于通過對(duì)樣本的自學(xué)習(xí),可自適應(yīng)地辨認(rèn)缺陷的特點(diǎn)和光影的影響而無需人工干預(yù)。其難點(diǎn)則在于樣本的選擇、訓(xùn)練的次序及算法的收斂速度。

可以看出,這些算法都在一定程度上實(shí)現(xiàn)了對(duì)圖像中缺陷的自動(dòng)檢測(cè)和識(shí)別功能,但對(duì)于如何克服光照環(huán)境變化帶來的影響,還缺乏有效的方法。文獻(xiàn)[10]提出了一種基于成像過程分析的算法,通過對(duì)坯料表面光照分布的計(jì)算,有效去除了非均勻光照的影響,之后根據(jù)特征分類來識(shí)別缺陷。然而在這一算法的實(shí)施過程中,需要事先知道光源所在的位置,在部分特殊工況下,這一信息是很難獲得的,同時(shí)很多生產(chǎn)過程中,光源相對(duì)于工件表面的距離和位置是不斷變化的,因此一定程度上限制了該算法的應(yīng)用領(lǐng)域。為此,本文提出了一種在線光源位置計(jì)算的方法來改進(jìn)這一不足。通過比對(duì)多幀連續(xù)圖像特征區(qū)域的像素信息變化,并結(jié)合光照模型分析,便可以準(zhǔn)確地計(jì)算出光源相對(duì)于圓坯所在的位置。從實(shí)驗(yàn)結(jié)果來看,誤差控制在5%之內(nèi),包括水平誤差和垂直誤差兩部分。將這一算法與文獻(xiàn)[10]算法相結(jié)合,便可以進(jìn)一步增強(qiáng)算法的通用性。同時(shí)由于本文算法在計(jì)算時(shí)采用了累計(jì)迭代的表示方式,使得整體處理時(shí)間嚴(yán)格控制在5 s內(nèi),因此保留了原算法的實(shí)時(shí)性。

1 在線光源位置計(jì)算算法

本文算法的基本思路是,首先找到一幀圖像中的特征區(qū)域,即灰度發(fā)生陡變的區(qū)域。為了保證特征區(qū)域能在連續(xù)多幀圖像中被穩(wěn)定地辨識(shí),要求灰度變化大于等于50%，同時(shí)所占的大小為100個(gè)像素點(diǎn)。就圓坯圖像而言,典型的特征區(qū)域可以是表面缺陷處或者是氧化鱗屑覆蓋的地方。在確定了特征區(qū)域之后,接下來便要跟蹤這一區(qū)域在連續(xù)幾幀圖像中位置的變化情況(軌跡),考慮到速度及魯棒性,本文采用的是基于塊匹配的算法。在得到了位置信息之后,利用特征區(qū)域在不同位置點(diǎn)灰度的整體性變化趨勢(shì),并結(jié)合光照模型的理論計(jì)算,來推算出光源所在的位置。從計(jì)算結(jié)果來看,它非常接近實(shí)測(cè)距離。

圖1 特征區(qū)域示意圖

1.1 特征區(qū)域運(yùn)動(dòng)計(jì)算

對(duì)于剛體運(yùn)動(dòng)而言,由于其局部和整體的運(yùn)動(dòng)狀態(tài)具有一一對(duì)應(yīng)關(guān)系,而且可以由平移和旋轉(zhuǎn)矢量完全描述,因此特征區(qū)域跟蹤這一問題等價(jià)于運(yùn)動(dòng)計(jì)算。對(duì)于這一類問題的求解,通常有兩類算法。第一類是基于相關(guān)性的算法[11],另一類則是基于特征的算法[12]。對(duì)于當(dāng)前的問題,考慮到物體在幀間的運(yùn)動(dòng)距離較小,而且光強(qiáng)分布呈連續(xù)性變化,基于塊匹配的算法較為合適。

首先根據(jù)特征區(qū)域的形態(tài)來確定塊的大小,如圖1(a)所示,然后需要確定在下一幀圖像中的搜索區(qū)域的大小,在此不妨將其設(shè)為以參考點(diǎn)p0為圓心,半徑為R的圓,其中R的值可通過對(duì)物體實(shí)際運(yùn)動(dòng)速度的測(cè)算而得到。在這一區(qū)域中,本文采用菱形算法進(jìn)行搜索[13]，目標(biāo)是在這一搜索區(qū)域中找到與參考點(diǎn)相匹配的塊,即對(duì)應(yīng)的位置p1。圖1(b)表示了這一關(guān)系,其中p0的位置用虛線表示以區(qū)分。為了定量的反映匹配程度,引入了匹配度函數(shù),表達(dá)式如下:

(1)

其中M為塊的大小。Corr是對(duì)塊內(nèi)的每一個(gè)像素點(diǎn)作差求平方后的累加和，其值越小則匹配度越好。

1.2 光源位置計(jì)算

一般而言,由于光強(qiáng)的變化,特征區(qū)域的像素值在不同幀中會(huì)有一定差異,而且這一差異往往具有趨勢(shì)性,主要依據(jù)光源和相機(jī)的位置而變化。接下來將利用這種差異來推算出光源的位置。在此之前,將先簡(jiǎn)單介紹一下光照模型。在一般成像過程中,光線到達(dá)物體表面后,一部分被物體吸收,另一部分則通過反射到達(dá)相機(jī)鏡面,其中反射的光線又包括漫反射和鏡面反射兩部分。這里主要討論漫反射部分。根據(jù)朗伯余弦定理[14],漫反射的入射光強(qiáng)與反射光強(qiáng)有如下關(guān)系：

(2)

其中:L是入射光強(qiáng);f是反射光強(qiáng);r是光源與被測(cè)物體間的距離;k是漫反射系數(shù);ui和vi分別是物體表面pi處的法向量和入射向量。

為了便于接下來的討論,考慮如圖2所示的測(cè)量情形。一面光源以一定角度對(duì)著被測(cè)物體,一CCD相機(jī)在另一側(cè)進(jìn)行圖像采集,在被測(cè)物體上擬跟蹤的特征區(qū)域位于物平面S。在檢測(cè)過程中,特征區(qū)域(以圓斑表示)隨著物體的運(yùn)動(dòng)而運(yùn)動(dòng),形成了一系列軌跡p0、p1、p2等。pi為其在ti時(shí)刻的所處的位置。特別地,相鄰兩點(diǎn)pi和pi-1具有以下關(guān)系:

pi=pi-1+di;i≥1

(3)

其中:di即為上一步所得到的運(yùn)動(dòng)矢量。本文約定t0時(shí)刻所在的位置為參考原點(diǎn),即p0=0并建立直角坐標(biāo)系。我們希望得到光源相在此坐標(biāo)系中的位置,即(xs,ys,H)。xs和ys為光源在物平面的投影,H為到物平面的垂直距離。為了實(shí)現(xiàn)這一目的,先考察光強(qiáng)在不同位置的分布情況。如果將特征點(diǎn)在ti時(shí)刻的位置pi代入式(2),將得到：

(4)

其中：θi為pi處法向量ui和入射向量vi所成的夾角。

假定它們處于同一平面,因此將pi展開成(xs,ys)的形式。對(duì)此作進(jìn)一步簡(jiǎn)化,可以得到

(5)

為了更清晰地描述ti時(shí)刻和t0時(shí)刻光強(qiáng)的相對(duì)關(guān)系,將兩者的值作比可以得到：

(6)

式(6)的左邊即為相對(duì)變化量,對(duì)此式進(jìn)行化簡(jiǎn),并將(fi/f0)開1.5次方后記作αi,0,可以得到

(1-αi,0)(H2+xs2+ys2)=xi2+yi2-2xsxi-2ysyi

(7)

對(duì)軌跡上所有的點(diǎn)依次作這般處理,可以得到一組表達(dá)式,共計(jì)n個(gè)式子：

(8)

可以發(fā)現(xiàn)表達(dá)式(8)的左邊都有著類似的結(jié)構(gòu),公共因子為H2+xs2+ys2,因此如果兩兩作比,可以得到以下n-1個(gè)式子:

(9)

由于xi和yi為pi的分量,而pi又可以由di來表示,因此均為已知量。所以此方程組為線性方程組,利用簡(jiǎn)單的線性回歸方法,便可求得關(guān)于xs和ys的解。將所得的解代入式子中,可求得H,至此光源的位置便確定了下來。

圖2 特征區(qū)域運(yùn)動(dòng)軌跡示意圖

1.3 整體表達(dá)式

對(duì)以上兩個(gè)步驟作適當(dāng)整理,便可以得到完整的算法流程如圖3所示。

圖3 本文算法流程

首先,在第一幀中確定擬跟蹤的特征區(qū)域以及它所在的位置(x0,y0)。對(duì)于此后采集到的每一幀,將其與前一幀作比較,通過塊匹配算法來得到特征區(qū)域的位移矢量di,并以第1幀為參考計(jì)算特征區(qū)域的相對(duì)灰度比αi,0,然后將其分別代入關(guān)系式(9)的兩邊。以此類推,當(dāng)?shù)玫搅薾-1組表達(dá)式之后,便可以運(yùn)用線性回歸對(duì)其求解,最終得到光源的位置。由于在一般工業(yè)檢測(cè)環(huán)境中,光源位置一般固定,因此算法只需在初始化中作一下自動(dòng)糾正即可,并不需要每步執(zhí)行。

2 實(shí)驗(yàn)與結(jié)果

本文所提出的方法已成功應(yīng)用于鋼廠圓鋼磁粉探傷表面缺陷檢測(cè)系統(tǒng)中。磁探是鋼鐵制造業(yè)中一種常用的表面檢測(cè)手段,其基本原理利用的是漏磁檢測(cè)技術(shù),被測(cè)工件被磁化后,工件缺陷處的磁力線會(huì)發(fā)生局部畸變而產(chǎn)生漏磁場(chǎng),當(dāng)磁懸液噴灑在工件上后,漏磁場(chǎng)會(huì)吸附更多磁粉,其將會(huì)輻射更多光能,從而顯示出缺陷的位置、形狀和大小。

下面將用一組實(shí)驗(yàn)數(shù)據(jù)來驗(yàn)證本文算法的實(shí)際計(jì)算精度。實(shí)驗(yàn)工序如圖4所示。

圖4 實(shí)驗(yàn)工序示意圖

圓坯在一組電機(jī)的驅(qū)動(dòng)下呈螺旋運(yùn)動(dòng),經(jīng)過磁化以及噴灑磁懸液后,來到檢測(cè)區(qū)域。在區(qū)域的兩側(cè)置有兩盞紫外燈,以一定的角度照射著坯料表面,在坯料的正上方安裝了一臺(tái)高速相機(jī),其采集的圖像通過以太網(wǎng)傳至機(jī)柜內(nèi)的工控機(jī),后者在對(duì)圖像進(jìn)行分析處理后將最終結(jié)果顯示于顯示屏。為了保證清晰成像,盡量避免因坯料運(yùn)動(dòng)造成的拖影,根據(jù)實(shí)際生產(chǎn)現(xiàn)場(chǎng)的工況條件,選用焦距為24 mm的工業(yè)相機(jī),結(jié)合坯料與相機(jī)的相對(duì)運(yùn)動(dòng)速度設(shè)定相機(jī)曝光時(shí)間為25 ms,采樣幀率設(shè)定為12.5 Hz。

首先需要確定待跟蹤的特征區(qū)域及其位置。在此,選擇了一表面鱗屑區(qū)作為跟蹤對(duì)象,并用方框標(biāo)記了其所在的位置，如圖5(a)所示。圖5(b)和(c)是之后采集的第5幀和第10幀的圖片,幀間隔為80 ms,可以看出特征區(qū)域從左上角移動(dòng)到了右下角,同樣用框標(biāo)記其位置。

圖5 幀間圖像序列

圖6顯示的是特征區(qū)域在這3幀圖像中的灰度形態(tài),可以發(fā)現(xiàn)盡管存著局部的灰度差異,但整體形態(tài)分布非常相似,因此利用塊匹配算法,將很容易對(duì)其進(jìn)行識(shí)別,經(jīng)計(jì)算平均匹配度大于95%。有了位移矢量之后,接下來便可利用幀間存在的局部明暗變化來計(jì)算光源所在的位置。在對(duì)連續(xù)10幀圖像進(jìn)行計(jì)算后,最終光源的位置穩(wěn)定在0.75 m附近,與實(shí)際所測(cè)的距離相比,誤差在5%之內(nèi)。由于運(yùn)用了迭代求解的方式,一次計(jì)算時(shí)間僅為5 s。按照這一方法又對(duì)不同規(guī)格的坯料下進(jìn)行了25組實(shí)驗(yàn),具體運(yùn)行結(jié)果如表1所示,可以看出其能較好地適應(yīng)不同工況環(huán)境。

圖6 特征區(qū)域灰度形態(tài)分布

表1 本文算法運(yùn)行結(jié)果

3 結(jié)語(yǔ)

為了解決機(jī)器視覺系統(tǒng)在實(shí)際生產(chǎn)中光源位置無法確定的問題,本文提出了一種在線光源位置計(jì)算的方法。通過比較連續(xù)多幀圖像中特征區(qū)域的灰度明暗變化情況,并結(jié)合光照模型的理論計(jì)算,可以建立灰度與幾何位置之間的關(guān)系,之后利用線性回歸的方法可高效地求解出光源位置。本文算法已被應(yīng)用于鋼廠圓坯磁粉探傷現(xiàn)場(chǎng)自動(dòng)缺陷識(shí)別系統(tǒng)中,用于計(jì)算光源位置。實(shí)驗(yàn)結(jié)果表明:光源位置的計(jì)算結(jié)果與實(shí)際所測(cè)的距離相比,誤差在5%之內(nèi)。其速度和計(jì)算精度已得到驗(yàn)證,完全滿足一般工業(yè)實(shí)際生產(chǎn)中圖像測(cè)量系統(tǒng)對(duì)光源位置的需求。

References)

[1] NEOGI N, MOHANTA D K, DUTTA P K. Review of vision-based steel surface inspection systems [J]. EURASIP Journal on Image and Video Processing, 2014, 2014: 50.

[2] YUN J P, CHOI S, KIM J W, et al. Automatic detection of cracks in raw steel block using Gabor filter optimized by univariate dynamic encoding algorithm for searches (uDEAS) [J]. Non Destructive Testing amp; Evaluation International, 2009, 42(5): 389-397.

[3] 吳秀永, 徐科, 徐金梧.基于Gabor小波和核保局投影算法的表面缺陷自動(dòng)識(shí)別方法[J]. 自動(dòng)化學(xué)報(bào), 2010, 36(3): 438-441. (WU X Y, XU K, XU J W. Automatic recognition method of surface defects based on Gabor wavelet and kernel locality preserving projections [J]. Acta Automatica Sinica, 2010, 36(3): 438-441.)

[4] JEON Y J, CHOI D C, LEE S J, et al. Steel-surface defect detection using a switching-lighting scheme [J]. Applied Optics, 2016, 55(1): 47-57.

[5] TSAI D M, HSIAO B. Automatic surface inspection using wavelet reconstruction [J]. Pattern Recognition, 2001, 34(6): 1285-305.

[6] GUAN S. Strip steel defect detection based on saliency map construction using Gaussian pyramid decomposition [J]. Transactions of the Iron amp; Steel Institute of Japan, 2015, 55(9): 1950-1955.

[7] VEITCH-MICHAELS J, TAO Y, WALTON D, et al. Crack detection in “As-Cast” steel using laser triangulation and machine learning [C]// Proceedings of the 13th Conference on Computer and Robot Vision. Piscataway, NJ: IEEE, 2016: 342-349.

[8] 吳家偉, 嚴(yán)京旗, 方志宏, 等.基于AdaBoost改進(jìn)算法的鑄坯表面缺陷檢測(cè)方法[J]. 鋼鐵研究學(xué)報(bào), 2012, 24(9): 59-62. (WU J W, YAN J Q, FANG Z H, et al. Surface defect detection of slab based on the improved AdaBoost algorithm [J]. Journal of Iron and Steel Research, 2012, 24(9): 59-62.)

[9] SOUKUP D, HUBER-M?RK R. Convolutional neural networks for steel surface defect detection from photometric stereo images [C]// Proceedings of the 10th International Symposium on Visual Computing. Berlin: Springer, 2014: 668-677.

[10] XI J Q, SHEN-TU L F, HU J K, et al. Automated surface inspection for steel products using computer vision approach [J]. Applied Optics, 2017, 56(2): 184-192.

[11] 禹晶, 蘇開娜.塊運(yùn)動(dòng)估計(jì)的研究進(jìn)展[J]. 中國(guó)圖象圖形學(xué)報(bào), 2007, 12(12): 2031-2041. (YU J, SU K N. A survey of block-based motion estimation [J]. Journal of Image and Graphics, 2007, 12(12): 2031-2041.)

[12] 鐘平, 于前洋, 金光.基于特征點(diǎn)匹配技術(shù)的運(yùn)動(dòng)估計(jì)及補(bǔ)償方法[J]. 光電子·激光, 2004, 15(1): 73-77. (ZHONG P, YU Q Y, JIN G. Motion estimation and motion compensation based on matching technology of feature point [J]. Journal of Optoelectronics·Laser, 2004, 15(1): 73-77.)

[13] 劉海峰, 郭寶龍, 馮宗哲.用于塊匹配運(yùn)動(dòng)估值的正方形-菱形搜索算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2002, 25(7): 747-752. (LIU H F, GUO B L, FEN Z Z. A square-diamond search algorithm for block motion estimation [J]. Chinese Journal of Computers, 2002, 25(7): 747-752.)

[14] PHONG B T. Illumination for computer generated pictures [J]. Communications of the ACM, 1975, 18(6): 311-317.

On-linelightsourcepositioncalculationbasedoninter-framegray-scalevariationanalysis

SHENTU Lifeng*, XI Jiaqi

(ResearchInstitute,BaoshanIronamp;SteelCompanyLimited,Shanghai201900China)

Aiming at the problem that the position of the light source cannot be determined in practical production, an on-line position calculation for the light source was proposed, which fully analyzed the gray-scale variation of the feature region in consecutive frames. In this approach, a featured region was first selected based on the local gray-scale distribution and used as a reference point, then its position was tracked in the following consecutive frames via block matching method. Combing with the analytic calculation from the light transport model, the relationship between the gray-scale value and geometric position was established. Finally, the set of equations were solved by linear regression method to find the position of light source. The experiment results show that the errors between the calculated results and the measured results are within 5%. The proposed approach has been successfully applied in the real-time manufacturing with good estimation accuracy.

inter-frame; gray-scale; light source; position calculation

2017- 04- 25;

2017- 07- 07。

國(guó)家科技支撐計(jì)劃項(xiàng)目(2015BAF22B01)。

申屠理鋒(1979—),男,浙江桐廬人,高級(jí)工程師,碩士,主要研究方向:機(jī)器視覺、自動(dòng)控制; 奚嘉奇(1989—),男,上海人,工程師,碩士,主要研究方向:機(jī)器視覺、自動(dòng)控制。

1001- 9081(2017)10- 2895- 04

10.11772/j.issn.1001- 9081.2017.10.2895

TP751

A

This work is partially supported by the National Key Technology Research and Development Program of the Ministry of Science and Technology of China (2015BAF22B01).

SHENTULifeng, born in 1979, M. S., senior engineer. His research interests include machine vision, automatic control.

XIJiaqi, born in 1989, M. S., engineer. His research interests include machine vision, automatic control.