劉小勇 李榮麗 郝兆朋 王 暉 崔高健 范依航 宮 巖

(長春工業(yè)大學(xué)機電工程學(xué)院，吉林 長春 130012)

?

基于非線性光流方程的數(shù)字圖像相關(guān)非迭代灰度梯度算法*

劉小勇 李榮麗 郝兆朋 王 暉 崔高健 范依航 宮 巖

(長春工業(yè)大學(xué)機電工程學(xué)院，吉林 長春 130012)

在傳統(tǒng)的非迭代灰度梯度數(shù)字圖像相關(guān)算法中，假設(shè)變形前后同一個像素點的灰度值相等。但在實際應(yīng)用中，圖像的采集會受到環(huán)境光照的變化、相機曝光過度/不足、加載引起被測表面圖像變化等因素的影響而引起變形前后圖像像素點灰度值的變化。針對這一問題，應(yīng)用非線性光流方程來描述變形前后像素點間的灰度關(guān)系,從而提出一種基于非線性光流方程的非迭代灰度梯度算法。應(yīng)用模擬實驗與真實單軸拉伸實驗對算法的有效性與計算精度進(jìn)行驗證。結(jié)果表明，該算法對圖像的灰度變化不敏感，具有較高的測量精度。

數(shù)字圖像相關(guān)；非線性光流方程；非迭代灰度梯度算法

經(jīng)過近40年的發(fā)展，數(shù)字圖像相關(guān)方法[1](簡稱DIC方法，又稱為數(shù)字散斑相關(guān)方法[2])已成為一種較成熟的非接觸全場變形光學(xué)計量方法，廣泛應(yīng)用于實驗力學(xué)及其他相關(guān)科學(xué)研究與應(yīng)用領(lǐng)域。在變形測量過程中，首先利用成像設(shè)備獲得被測表面變形前后的散斑圖像，然后應(yīng)用數(shù)字圖像相關(guān)算法通過跟蹤變形前后散斑圖中像素點的位置變化而獲得位移及應(yīng)變信息。

數(shù)字圖像相關(guān)方法的計算求解過程通常分為兩步，即首先進(jìn)行快速整像素位移求解(整像素定位)，然后在整像素位移的基礎(chǔ)上進(jìn)行亞像素位移求解[3-4]。通常，對整像素位移求解的精度要求不高，只需達(dá)到1像素精度即可，且求解算法較簡單易于實現(xiàn)。因此，國內(nèi)外研究人員對DIC的亞像素位移求解算法開展了大量的研究工作，并取得了豐碩的成果。逐漸形成了以Newton-Raphson 算法(簡稱N-R算法)[5]、曲面擬合法[6]、基于梯度算法(即非迭代灰度梯度算法，簡稱NIGGA)[7]、灰度梯度迭代算法 (簡稱IGGA)[8]為代表的典型DIC算法。由文獻(xiàn)[9-10]對上述4種經(jīng)典算法的比較研究可知，N-R算法和IGGA方法具有較高的計算精度和穩(wěn)定性，但在計算過程中這兩種算法均為迭代計算求解而且需要求解相關(guān)函數(shù)的二階梯度或灰度的一階導(dǎo)數(shù)，所以這兩種算法的計算效率較其他兩種算法低。曲面擬合算法雖然計算速度較快，但其計算精度為此四種算法中最低。因此，在對計算效率無特殊要求的離線測量應(yīng)用中推薦使用N-R算法和灰度梯度迭代算法；在計算精度與計算效率均有特殊要求時推薦使用非迭代梯度算法[4]。

傳統(tǒng)的非迭代灰度梯度算法是在兩幅變形前后的散斑圖像上取相同的區(qū)域(通常稱為子圖像), 并根據(jù)運動圖像序列分析中的光流法原理假設(shè)所取區(qū)域內(nèi)對應(yīng)像素點的灰度值相等(通常將這一等式關(guān)系也稱為光流方程，如圖1所示)，然后通過對光流方程的優(yōu)化找到變形子圖像的位置，進(jìn)而獲得待求點的位移向量。但在實際應(yīng)用中，由于圖像采集受照明變化、相機曝光過度或不足、加載引起被測表面圖像變化等因素的耦合影響，變形前后散斑圖的灰度值不再是簡單的相等關(guān)系。因此，本文將變形前后散斑圖灰度的非線性關(guān)系模型引入傳統(tǒng)光流方程中，建立了一種基于非線性光流方程的非迭代灰度梯度算法。

1 DIC的基本原理

數(shù)字圖像相關(guān)方法通過處理由CCD/CMOS相機采集的被測物體表面加載前后的散斑圖像而獲得變形參數(shù)。相機在加載前采集的散斑圖通常被稱為參考圖像，而加載后獲得的散斑圖稱為變形圖像。圖2給出了數(shù)字圖像相關(guān)方法的計算過程。首先以待求點P(xi,yi)為中心分別在參考圖像和變形圖像中取出兩個方形區(qū)域，分別稱為參考子圖像和變形子圖像，且變形子圖像要比參考子圖像大(如參考子圖像取31×31，變形子圖像取61×61)。然后將參考子圖像與變形子圖像按照某一預(yù)定相關(guān)函數(shù)進(jìn)行互相關(guān)計算，得到相關(guān)系數(shù)分布曲面。相關(guān)系數(shù)曲面峰值點的位置與變形子圖像中心點P的坐標(biāo)差即為P點的位移矢量。對參考圖像與變形圖像中所有像素點進(jìn)行上述操作，即可獲得被測表面的全場位移。

2 基于非線性光流方程的非迭代灰度梯度算法

考慮在實際應(yīng)用中圖像采集受到上述多種因素的影響，假設(shè)散斑圖中任意一個像素點的灰度值在變形前后呈非線性關(guān)系，因此建立其非線性光流方程如下：

i=1,2,…,N

(1)

(2)

其中：u和v分別為參考子圖像中心點沿x和y方向的整像素位移, Δx和Δy分別為參考子圖像中心點沿x和y方向的亞像素位移。

g(xi+u+Δx,yi+v+Δy)=

g(xi+u,yi+v)+Δxgx(xi+u,yi+v)+

Δygy(xi+u,yi+v)

(3)

因此，平方距離和(the sum of squared difference，SSD)相關(guān)系數(shù)可寫為：

(4)

欲求S的最小值，應(yīng)使函數(shù)取駐點值，因此有：

(5)

于是可得如下方程組：

(6)

其中:f=f(xi,yi)，g=g(xi+u,yi+v)，gx=gx(xi+u,yi+v),gy=gy(xi+u,yi+v)。

gx和gy為(x,y)點的一階灰度梯度。

方程(6)可簡寫為：AQ=C，則方程的最小二乘封閉解為：

Q=(ATA)-1ATC

(7)

為了提高計算精度，本文采用雙三次樣條插值方法計算一階灰度梯度，其表達(dá)式為：

(8)

插值區(qū)域大小為4×4像素。

3 實驗驗證

3.1 數(shù)值模擬實驗

為了消除相機鏡頭畸變、離面位移等誤差的影響，使算法的性能驗證實驗在可控的條件下進(jìn)行。本文首先進(jìn)行了數(shù)值模擬實驗。圖3為真實實驗中采集的一幅大小為416×416像素的8-bit散斑圖，將其作為本次實驗中的參考圖像。應(yīng)用插值方法[10, 12]將該參考圖像沿x方向平移-0.05像素。然后對平移后圖像進(jìn)行對比度和亮度的調(diào)整，模擬實際應(yīng)用現(xiàn)場的環(huán)境變化及系統(tǒng)的偏差波動引起的散斑圖灰度變化，進(jìn)而得到7個灰度等級的變形圖像。具體調(diào)整方法為[4]：

(1)將平移后散斑圖的亮度依次增加20%，40%，60%，……，140%，從而獲得7幅不同亮度的變形圖像；

(2)將上述7幅變形圖像的灰度值進(jìn)行歸一化處理后按照式(9)進(jìn)行對比度拉伸處理，

Iout=

(9)

式中：Iin為輸入的歸一化后變形圖像，Iout為對比度拉伸后輸出圖像；

(3)將對比度拉伸處理后的變形圖像進(jìn)行反歸一化處理，從而獲得7幅不同灰度變化等級的變形圖像。圖4給出了第7灰度等級的變形散斑圖及其灰度分布，我們可以清晰地看出圖像的灰度分布與原參考圖像有著非常顯著的變化。

應(yīng)用本文提出的改進(jìn)灰度梯度算法和傳統(tǒng)的非迭代灰度梯度算法對上述7幅變形圖像的位移進(jìn)行測量。測量計算時選取圖像中2601(51×51)個均勻分布的計算點(計算點之間的距離為6個像素)。圖5為兩種非迭代灰度梯度算法測量x方向位移誤差的平均值隨灰度等級的變化曲線。從該曲線圖中可以看出，隨著灰度變化等級的增加傳統(tǒng)算法的測量位移平均誤差急劇增大，而本文算法的測量位移平均誤差雖然也有增大的趨勢，但變化非常緩慢且趨于平穩(wěn)。在灰度變化最為顯著的第7灰度等級變形圖像測量中，傳統(tǒng)算法的測量平均誤差值已高達(dá)0.035像素，已超過真實位移(為0.05像素)的一半。而本文算法的測量平均誤差此時僅為0.008 4像素，遠(yuǎn)小于傳統(tǒng)算法的測量平均誤差。這充分說明本文所提出的非迭代灰度梯度算法對光照變化、系統(tǒng)偏差波動等外界條件的變化不敏感，對上述影響因素給散斑圖帶來的灰度變化具有較強的魯棒性。圖6為兩種算法測量第7灰度等級變形圖像位移誤差的統(tǒng)計柱狀圖。通過對比可以看出，雖然兩種算法得到的測量誤差統(tǒng)計柱狀圖形狀上較相似(近似呈正態(tài)分布)，但不難看出本文算法的誤差分布的主峰更突出且更靠近0點位置，測量誤差的分散程度明顯小于傳統(tǒng)算法。這進(jìn)一步說明本文算法在多種因素的影響下仍具有較高的測量精度(其他灰度等級變形圖像的測量誤差統(tǒng)計柱狀圖與第7灰度等級變形圖像的測量結(jié)果類似，此處不再重復(fù)給出)。

3.2 拉伸實驗

為了進(jìn)一步評價本文算法的性能，進(jìn)行了材料的拉伸試驗。本實驗所使用的試件為Q235啞鈴型標(biāo)準(zhǔn)圓棒試件，通過人工噴灑黑白漆的方法在試件表面制作出均勻的散斑。制作的試件實物及其主要結(jié)構(gòu)尺寸如圖7所示。圖8為本實驗的拉伸測量系統(tǒng)，主要包括電子萬能試驗機(長春機械科學(xué)研究院生產(chǎn))、兩臺平行安置的CCD相機(德國AVT公司生產(chǎn)，型號為Guppy PRO F-046B)、計算機、LED光源、引伸計等。兩臺CCD相機相當(dāng)于引伸計的兩個刃口，應(yīng)用本文的DIC方法測量上下相機內(nèi)中心區(qū)域變形，進(jìn)而獲得標(biāo)距內(nèi)軸向拉伸長度變化值。實驗中安裝引伸計的目的是為了用其測量數(shù)據(jù)與DIC測量數(shù)據(jù)進(jìn)行對比，進(jìn)而驗證本文提出的DIC算法的性能。

在拉伸實驗之前，先進(jìn)行像素當(dāng)量的標(biāo)定。將試驗機的上夾頭松開，以0.01 mm為步長連續(xù)移動試件5次，通過真實位移值與DIC的測量值(像素值)比值的平均值得到上下相機的像素當(dāng)量分別為0.0212 mm/pixel和0.0213 mm/pixel。然后夾緊試件，啟動試驗機與圖像采集系統(tǒng)，圖9為上下相機采集的第一幅散斑圖，并分別作為兩臺相機的參考圖像。觀察試驗機的實時數(shù)據(jù)顯示結(jié)果，當(dāng)?shù)竭_(dá)屈服階段時，停止試驗機及圖像采集系統(tǒng)。圖10為試件在彈性階段引伸計與DIC法測得的力與變形關(guān)系曲線。從圖中可以看出，兩種方法獲得的力與變形曲線非常吻合。DIC法和引伸計測得試件的彈性模量分別2.026 3和2.015，兩者均在Q235彈性模量標(biāo)準(zhǔn)值2.00～2.10范圍內(nèi)。這進(jìn)一步說明本文提出的非迭代灰度梯度DIC算法的可行性與有效性，并具有較好的測量精度。

4 結(jié)語

本文將非線性函數(shù)引入非迭代灰度梯度算法中，建立了基于非線性光流方程的非迭代灰度梯度算法。該算法無需迭代，直接獲得亞像素位移的封閉解，易于實現(xiàn)。文中采用計算機模擬圖像對傳統(tǒng)非迭代梯度算法與本文算法在不同程度的圖像灰度變化時求解精度進(jìn)行了對比研究。結(jié)果表明，本文算法對圖像灰度的變化具有較好的魯棒性，在實驗中求解灰度變化最大的第7灰度等級變形圖像時傳統(tǒng)算法的平均誤差已達(dá)0.035像素，而本文算法仍然穩(wěn)定在0.008 4像素以內(nèi)。隨后真實試件的拉伸實驗進(jìn)一步證明了本文算法的有效性并具有較高的測量精度。本文算法的研究也為非迭代灰度梯度DIC算法應(yīng)用于復(fù)雜的現(xiàn)場環(huán)境條件下的變形測量奠定了基礎(chǔ)。

[1]Pan Bing, Qian Kemao, Xie Huimin, et al.Two-dimensional digital image correlation for in-plane displacement and strain measurement: a review [J].Measurement Science & Technology，2009，20(6)：062001-17.

[2]戴相錄，謝惠民，王懷喜.二維數(shù)字圖像相關(guān)測量中離面位移引起的

誤差分析[J].實驗力學(xué)，2013，28(1)：10-19.

[3]Wang Min, Cen Yuwan, Hu Xiaofang, et al.A weighting window applied to the digital image correlation method [J].Optics & Laser Technology，2009，41(2)：154-158.

[4]劉小勇.數(shù)字圖像相關(guān)方法及其在材料力學(xué)性能測試中的應(yīng)用[D].長春：吉林大學(xué)，2012.

[5]Bruck HA，Mcneill SR，Sutton MA，et al.Digital image correlation using Newton-Raphson method of partial differential correction [J].Experimental Mechanics, 1989, 29(3)：261-267.

[6]王琛影, 何小元.相關(guān)識別中的曲面擬合法[J].實驗力學(xué), 2000, 15(9)：281-285.

[7]Davis CQ, Freeman DM.Statistics of subpixel registration algorithms based on spatiotemporal gradients or block matching [J].Optical Engineering, 1998, 37(4)，1290-1298.

[8]Zhou P, Goodson KE.Subpixel displacement and deformation gradient measurement using digital image/speckle correlation (DISC)[J].Optical Engineering, 2001, 40(8)，1613-1620.

[9]Pan Bing, Xie Huimin, Xu Boqin，et al.Performance of sub-pixel registration algorithms in digital Image correlation [J].Measurement Science & Technology，2006，17(6)：1615-1621.

[10]Xiong Lei, Liu Xiaoyong, Liu Guodong,et al.Evaluation of sub-pixel displacement measurement algorithms in digital image correlation [C].The International Conference on Mechatronic Science, Electric Engineering and Computer, 2011:1-4.

[11]潘兵, 續(xù)伯欽, 李克景.梯度算子選擇對基于梯度的亞像素位移算法的影響[J].光學(xué)技術(shù), 2005, 31(1)：26-31.

[12]Liu Xiaoyong, Li Rongli, Zhao Hongwei, et al.Quality assessment of speckle patterns for digital image correlation by Shannon entropy[J].Optik, 2015, 126(23): 4206-4211.

如果您想發(fā)表對本文的看法，請將文章編號填入讀者意見調(diào)查表中的相應(yīng)位置。

Non-iterative gray-gradient algorithm based on nonlinear optical flow equation in digital image correlation

LIU Xiaoyong, LI Rongli, HAO Zhaopeng, WANG Hui,CUI Gaojian, FAN Yihang, GONG Yan

(School of Mechatronic Engineering, Changchun University of Technology, Changchun 130012, CHN)

In traditional non-iterative gray-gradient algorithm of digital image correlation method, the gray intensity of a physical point on object surface is assumed that it does not change before and after deformation.However, in reality, the speckle images are sometimes acquired with illumination lighting variations, over/under-exposure, intensity variations during loading and so on.The gray intensity of physical points in speckle images before and after deformation is changed.In this paper, a non-iterative gray-gradient algorithm based on nonlinear optical flow equation is proposed.The nonlinear equation is employed to build the relationship between the points in the undeformed and deformed images.Both numeral experiment and real tensile experiment are conducted to verify the performance.The results show that the proposed algorithm displays the most robust for intensity variations and has high precision.

digital image correlation；nonlinear optical flow equation；non-iterative gray-gradient algorithm

* 國家自然科學(xué)基金項目( 51505038) ; 吉林省教育廳“十二五”科學(xué)技術(shù)研究項目( 吉教科合字[2015]第88 號)

0348

A

10.19287/j.cnki.1005-2402.2016.11.005

劉小勇，男，1979年出生, 博士，講師，主要從事微納米原位DIC測量技術(shù)與儀器方面的研究。

(編輯 譚弘穎)

2016-04-12)

161112