張貴陽，霍 炬，楊 明，周 婞，朱子健

（1. 哈爾濱工業(yè)大學 航天學院，黑龍江 哈爾濱 150001；2. 哈爾濱工業(yè)大學 電氣工程及自動化學院，黑龍江 哈爾濱 150001；3. 廣州東軟醫(yī)療有限公司CT 影像物理與重建研發(fā)部，廣東 廣州 510000）

1 引 言

隨著計算機技術、圖像處理和傳感器成像技術的不斷發(fā)展，視覺測量技術的應用遍及航天器對接、大型飛機制造、醫(yī)學圖像分析等不同領域［1-3］。而由兩臺或多臺相機構成的立體視覺測量系統(tǒng)，因其精度高、測量范圍大、重復性測量結果誤差穩(wěn)定而獲得了更為廣泛的關注。

近年來，基于視覺測量模式的物體三維形貌及其變形信息的測量越來越受到科研人員的高度重視，三維變形信息的測量對試件力學性能評估、結構優(yōu)化設計以及健康狀態(tài)檢測等方面提供重要的數據依據。數字圖像相關法［4-5］是當前實現變形測量應用最為廣泛的方法，立體變形測量可以借助數字圖像相關方法配準不同相機采集的物體表面圖像散斑，然后根據相機標定得到的相機內外參數，從而重構得到空間坐標，并最后計算出三維位移場和應變場［6-7］。近年來清華大學金觀昌等［8］、北京航空航天大學潘兵等［9］、東南大學何小元等［10］以及中國科技大學張青川等［3］基于數字圖像相關方法對試件變形測量進行了非常系統(tǒng)的深入研究，并取得了令人矚目的研究成果。

然而在實際測量需求中發(fā)現，對于航空器機翼、機械軸承以及試驗彈體的應變及形貌測量中，這些被測對象具有的共同特點是長寬比例較大。若只考慮圖像寬度方向尺寸，則高度方向的有效分辨率降低；而若只考慮圖像高度方向尺寸，則寬度方向尺寸會超出相機的視場范圍，不能有效地進行全場測量。為了提高成像的有效分辨率，楊峰等［11］通過拼接的方式獲取目標全場圖像。由于配準的精度有限，拼接后的全場圖像的質量會決定最終的大尺度測量精度。彭聰等［12］基于視頻相位的二維振動測量方法，并結合雙目立體視覺，設計了一種基于機器視覺的三維振動測量方法，但是振動狀態(tài)下相機標定必然會存在參數擾動。項大林等［13］所用的方法由于視差的存在，導致試件在左右相機中成像會產生一定的畸變，僅經過相關運算和亞像素定位獲得的右參考圖像上的對應投影點會存在較大偏差。文檔［14］通過控制相鄰相機之間的視場成像重疊區(qū)域，并利用傳統(tǒng)的極線幾何進行特征點立體配準，計算出的結果會具有折痕且精度不高等局限性。Dizaji 等［15］通過尋找子區(qū)相似度的整個區(qū)域較大，在立體配準過程中對目標整幅圖像進行全局搜索，消耗大量的運算時間，同時配準結果的穩(wěn)定性得不到有效保證。劉聰等［16］根據特征點檢測及配準算法定位特征點對的亞像素位置，然后通過數字圖像相關方法對特征點對進行高精度配準，最后利用發(fā)展的逐步優(yōu)化單應矩陣方法求解圖像變換關系，得到變形前后的無縫拼接圖像，但是依然沒有考慮立體相機間的固定約束關系。單寶華等［17］提出一種基于極線約束修正數字圖像相關配準的立體視覺測量方法，應用極線約束對配準計算結果進行修正，取位于右極線上距數字圖像相關配準結果最近的點作為新的配準點，并將該種配準修正方法推廣到右圖像時序配準，但是基礎矩陣的求取精度決定著修正的準確性。此外，雖有一些方法［18-19］考慮到同一個空間點在立體相機上的成像滿足一定的對應關系，然而對應關系矩陣的求取存在較大的偏差，這樣也不能保證立體配準達到一個較高的精度。

另一方面，多相機間相對位姿的高精度求取是實現散斑精確立體配準的關鍵因素。王安然等［20］先獲得小標定板的相對位置關系，然后將小標定板統(tǒng)一到同一坐標系下，最后得到多相機之間的外參數，無需考慮相機間視場是否重疊。張來剛等［21］，將空間控制點的三維坐標與其對應像素點坐標之間的共線方程作為約束條件，建立測量視場中控制點與像點坐標間的約束方程，實現了系統(tǒng)參數的在線校準。文獻［22］則致力于雙目相機系統(tǒng)中三維重建特征點坐標與真值之間的誤差距離，構建包含多參數的最小化目標方程，最后通過Levenberg-Marquardt 迭代算法尋找最優(yōu)解。張超等［23］提出基于消失點之間互相約束的多攝像機標定方法，通過靶標特征點約束結合攝像機的射影不變性排除雜點的干擾，再利用空間消失點之間夾角一致性，以及靶標特征點所構成的直線和消失點的反向射線平行性來求解相機參數。為了進一步提高相機的標定精度，誤差補償模型［24］被建立并用于減小系統(tǒng)標定誤差，通過擬合估計模型位置與實際位置之間的對應關系來補償偏心誤差，并取得了很好的效果。文獻［25］則是從標定物的靈活度入手，利用一維標定物可自由運動，不受場地環(huán)境約束的優(yōu)勢，實現了基于歸一化算法的多相機分層逐步標定法。以上用于多相機網絡標定的方法在操作步驟、計算量上存在一定的繁瑣性，同時沒有從全局的角度去構建多相機參數的聯合優(yōu)化方式。

基于上述分析，本文針對彈體、機翼等幾何尺寸比例細長型被測對象，通過建立多相機網絡聯合約束優(yōu)化把多個相機綁定為一個相機，并基于數字圖像相關法分區(qū)域實現細長型或大尺寸試件的立體變形測量。將相機間的固定約束關系引入到相關函數運算中，有效縮減亞像素搜索范圍，實現散斑的高精度快速立體配準。同時，多相機間聯合約束關系的引入優(yōu)化了試件與多相機網絡之間的位置及姿態(tài)參數，進一步提高了散斑點空間三維坐標的重構精度，從而提高變形量的測量精度。

2 三維變形測量原理

2.1 數字圖像相關方法

數字圖像相關方法（Digital Image Correlation Method，DICM）是通過處理被測試件變形前的參考圖像和變形后的目標圖像來獲取位移和變形量信息。在參考圖像中選取以待測點為中心的配準區(qū)域，在使用數字圖像相關方法進行實際計算時，通常將參考圖像中間的待計算區(qū)域劃分成虛擬網格的形式，通過依次計算每個網格節(jié)點的位移從而得到全場的位移信息。

設被測目標變形前后的子區(qū)對應關系如圖1所示，其中參考子區(qū)中心點為P，其像素坐標為(x0，y0)，配 準 區(qū) 域 包 含 像 素 數 為(2M＋1)×(2M＋1)，Q(x0＋Δx，y0＋Δy)點為參考子區(qū)內任意一點，變形后參考子區(qū)在被測物體表面的位置發(fā)生移動，形狀發(fā)生改變，Q點則移動到Q'(x'，y')點，P點變?yōu)镻'點。將這個子區(qū)內任意一點在變形前和變形后的坐標建立關系式，可得：

圖1 子區(qū)相關運算示意圖Fig.1 Schematic diagram of subset correlation operations

對于非均勻應變，還可采用二階或更高階形函數來描述變形前后的坐標關系：

2.2 立體配準問題分析

通常情況下，只需使用一階均勻應變來描述常規(guī)材質試件的變形量，從式（1）可以看出，一階形 函 數 包 含 六 個 分 量：u，ux，uy，v，vx，vy，分 別 表示水平和豎直方向上的位移量以及對應的應變系數。相關函數是評價參考圖像子區(qū)與變形圖像子區(qū)相似程度的函數。零均值歸一化最小平方距離相關函數具有很好的抗噪特性和適應性，因此本文采用該相關函數進行散斑的二維配準計算：

然而上述的數字圖像相關測量方法需要滿足被測物體為一個平面或者近似為一個平面、物體表面與光軸垂直且靠近視場中央、加載過程中的物體離面位移分量需非常小等條件，而這些必要條件限制了數字圖像相關法在實際三維變形測量中的直接運用。

而在三維變形測量中，如圖2 所示，除了使用相關函數將變形前后的圖像進行時序配準之外，還需將選用的不同相機采集的圖像對進行立體配準，從而得到被測點的空間三維坐標信息。如果依舊使用相關函數作為左右相機兩個子區(qū)相似度的評判標準，找到最大相關系數時對應的圖像點，那么在立體配準過程中對目標圖像進行全圖搜索，將會消耗大量的計算時間。同時由于視差的存在，導致試件在左右相機中成像會產生一定的畸變，那么經過相關運算和亞像素定位獲得的右參考圖像上的對應投影點會存在較大偏差，配準結果的偏差將會嚴重影響后續(xù)的三維重建效果。

圖2 多相機三維立體變形測量示意圖Fig.2 Schematic diagram of three-dimensional deformation measurement with multi-cameras

3 算法設計

3.1 多相機網絡聯合約束優(yōu)化

影響基于數字圖像相關法位移和應變測量結果的兩個關鍵性因素：一個是相機網絡內外參數精度，另一個是立體視覺的配準方法。即使是最好的配準算法也不能克服因立體相機間相對位姿不準確引起的測量誤差，因此下面將進行多相機間聯合約束關系的優(yōu)化。

設定多相機網絡中共有η＋1 個相機組成，其中一個為主相機ξ，其余η個為從相機。令空間中一點P的三維坐標為(Xw，Yw，Zw)。根據透視投影原理可以得出主相機的共線性方程：

其中：λξ是主相機投影尺度系數；(uξ，vξ)為主相機采集圖片中特征點的像素坐標；[Xw Yw Zw]T是空間三維點世界坐標；Mξ為主相機的內部參數；(Rξ，tξ)為主相機的外參矩陣。

通過式（4）分別對相機外參和空間點三維坐標分量求一階偏導，得到共線性誤差方程：

矩陣γξ表示圖像上特征點的實際坐標與用共 線 性 方 程 計 算 得 到 的 重 投 影 坐 標(u?ξ，v?ξ)之 間的差值：

多相機網絡聯合約束優(yōu)化目的是充分利用從相機與主相機之間的固定約束關系，因此需要將主從相機間的位姿關系進行統(tǒng)一表示。我們通過傳統(tǒng)標定法獲得主從相機間的相對外參作為聯合約束迭代運算的初值，記從相機與主相機之間的固定幾何約束關系分別表示為(Rξ1，tξ1)，(Rξ2，tξ2)，…，(Rξη，tξη)，則 從 相 機 的 外 參 數(Rη，tη)可通過（8）式進行轉換：

因此，根據主從相機間的相對外參關系，第η個相機的共線性方程可以表示為：

式（9）中：λη是從相機投影尺度系數；(uη，vη)為第η個相機下圖像特征點像素坐標；Mη為第η個相機的內參矩陣。

結合式（8）和（9）可以得到第η個從相機的共線性誤差方程：

式（10）中參數含義可以與式（5）進行類比。由式（10）可以看出，只需要對主相機外部參數進行求導并且只用計算主相機外參和三維點的改正數即可。這極大程度上減少了對所有相機都進行運算的時間與運算量。

接下來是對法化矩陣進行推導，首先Jacobi矩陣J可以表示為：

從（13）式可以看出多相機聯合約束優(yōu)化算法在處理時，方程總個數不變，但是待優(yōu)化的參數減少了。并且隨著相機數量增多，此算法的優(yōu)勢愈明顯。為了直觀體現多相機網絡聯合優(yōu)化步驟，其流程圖如圖3 所示。

圖3 多相機網絡聯合優(yōu)化流程圖Fig. 3 Flowchart of multi-camera network joint optimization

由于多相機間的外部參數直接影響變形測量的精度，基于多相機網絡聯合約束優(yōu)化的數字圖像相關方法能夠實現相機間位置及姿態(tài)參數的優(yōu)化，提高了散斑點的空間坐標重構精度。

3.2 散斑立體配準策略

基于數字圖像相關法的三維變形測量中，需要將左右相機采集的散斑圖像進行立體配準，通過二維像素信息還原被測目標表面各點的三維空間坐標信息，以此來完成目標表面三維形貌及變形信息的全場測量。圖像對間相配準的散斑滿足極線約束關系，而2.1 節(jié)則精確地獲得相機間的外參關系，因此可以進行相機網絡約束條件與相關函數的結合，這樣立體配準中僅需在極線附近的閾值范圍內進行對應點搜索，能夠節(jié)省散斑立體配準的時間。

將通過聯合約束優(yōu)化得到的立體相機間外參的數學關系式代入到相關函數中，設極線方程為：

多相機網絡外參相對關系的確定，使得不同相機成像的圖像對之間同名散斑點的立體配準搜索區(qū)域被限制在極線約束的鄰近范圍內。因此所組成的雙目相機系統(tǒng)中，右相機成像面的散斑搜索范圍可表示為：

式（15）中，emin和emax分別表示在右相機圖像中在極線附近搜索對應散斑點亞像素的下限和上限。

我們通過[emin，emax]設定了在極線方程的上下界內浮動的搜索區(qū)域，尋求最優(yōu)的相關系數峰值。則新生成的相關函數可改寫成式（16）關于x'i和e的 約 束 方 程：

使用加入極線約束后的相關函數進行亞像素搜索能夠簡化在后續(xù)的迭代算法的過程中的Jacobi 矩陣及Hessian 矩陣的求取?；诙嘞鄼C網絡聯合約束優(yōu)化的數字圖像相關三維變形測量方法，加快了散斑點立體配準速度的同時，提高了變形測量精度并擴大了有效的測量范圍。

3.3 三維變形測量實現步驟

設空間中的散斑點P(Xw，Yw，Zw)在選定的左右兩臺相機中畸變矯正后的投影點坐標分別為(ul，vl)和(ur，vr)，選取左相機坐標系為世界坐標 系，u0l，v0l，αl，βl為 左 相 機 的 內 參 數，[r1，r2，...，r9]和[tx，ty，tz]分別是構成雙目相機間的外參數。在完成左右相機圖像對中同名散斑的立體配準后，就可以通過下式求取散斑在世界坐標系下的立體坐標。

基于多相機網絡聯合約束優(yōu)化的高精度三維變形全場測量流程如圖4 所示，具體實施步驟如下：

圖4 基于多相機網絡聯合約束優(yōu)化的三維變形測量流程Fig. 4 Schematic of three-dimensional deformation measurement based on multi-camera network joint constraint optimization

Step 1：搭建視覺測量系統(tǒng)硬件架構，通過解算立體相機間聯合約束優(yōu)化方程，精確獲得相機網絡的內外參數，內參數包括：焦距、主點、畸變系數等；外參數包括兩個相機之間的旋轉矩陣和平移向量。

Step 2：對附有散斑的被測試件進行圖像采集，對各個相機從不同角度采集的圖像進行編號。由于受到噪聲、環(huán)境干擾等因素的影響，需要對圖像進行預處理。

Step 3：利用步驟1 中多相機間的內外優(yōu)化參數，結合式（16）完成選定的左右相機下的散斑圖像子區(qū)立體配準。

Step 4：進行散斑圖像的時序配準，通過選定的左相機獲取試件變形前的參考圖像與變形后的目標圖像，進行時序配準運算。然后再次用步驟3 完成變形后左右圖像中同名散斑點配準。

Step 5：對運算子區(qū)散斑點坐標進行畸變矯正，然后根據立體相機間的外參數，采用式（17）進行散斑的空間三維坐標重構。

Step 6：在物體表面建立坐標系，然后對變形場數據進行擬合，進而完成變形量的計算。

4 實驗結果與分析

4.1 位移測量實驗

測量系統(tǒng)由4 臺4M140MCX 數字相機和采集傳輸設備組成。 像幅尺寸設定為2 048×2 048 pixels，圖像的采樣幀頻設為30 Hz，相機鏡頭型號均為CHIOPT HC1605A 12.5 mm/1∶1.4。多相機采集系統(tǒng)硬件架構如圖5 所示。

圖5 中的具有99 個圓的平面標定板用于校準多相機間的聯合約束關系，平面標定板的圓心間距為10 mm，加工精度是5 μm，能夠滿足使用要求。

在進行散斑圖像采集之前，先對多相機間的聯合約束關系進行優(yōu)化求解。為了方便求解，考慮到相機型號相同，因此4 個相機的內參在一定程度上是相同的?；谌鐖D5 所示的相機分布方式，對視場內不同位姿下的平面標定板進行圖像采集，然后提取圓心、編碼，得到基于多相機聯合約束優(yōu)化算法的多相機參數如表1 所示：

圖5 測量系統(tǒng)相機架構Fig. 5 Camera architecture in measurement system

表1 相機內參以及相對位姿參數Tab.1 Camera internal parameters and fixed pose relationship

通過表1 中的相機參數可以將多相機綁定在一起，重構出的多相機網絡空間位置和姿態(tài)相對關系如圖6 所示。

圖6 多相機網絡空間分布重構Fig.6 Multi-camera network space scene reconstruction

在完成多相機網絡間的相對參數優(yōu)化后，就可以采用該多相機架構進行目標的位移測量實驗。將附有人工散斑圖案的測試鋁板固定在三坐標測量機（Hexagon Global SR）的測頭上，如圖7 所示。三坐標機測量范圍為900 mm×2000 mm×800 mm，測量分辨率為0.2 μm，測量精度為0.8＋L/400 μm（L為測量距離）。

圖7 三坐標測量機實驗裝置Fig. 7 The CMM experimental device

三坐標機測頭能夠在X-Y-Z三個方向分別移動。先通過攝像機采集運動之前的圖像作為基準圖像，然后讓鋁板依次在X，Y和Z方向上每隔5 mm 做一次點到點的運動，并進行圖像采集，等間隔選取150 個測試點，子區(qū)尺寸為41×41，步長為15 pixel，利用本文方法進行位移計算與分析，并將計算結果與三坐標機給定的真值數據進行比對，得到的測量誤差歸一化統(tǒng)計直方圖如圖8 所示。

從圖8 可以看出X與Y方向的誤差范圍均在在0.036 mm 以內，同時根據直方圖發(fā)現誤差較為集中的分布在0.022 mm～0.030 mm 范圍內。對于Z方向面外位移最大誤差是0.044 mm，最小誤差是0.014 mm，深度方向位移測量誤差比面內位移測量誤差大。

圖8 位移測量誤差統(tǒng)計直方圖Fig. 8 Statistical histogram of displacement measurement error

接著分析本文算法在不同數量散斑點下的運行時間。為了方便敘述，基于本文聯合約束關系優(yōu)化的配準方法記為RJCO（Registration with Joint Constraint Optimization）算 法，并 與IGGA（Iterative and Gray-Gradient Algorithm）［26］，Normal-SRPG（Normal Stereo Registration Based on Polar Geometry）［14］和IC-GN（Inverse Compositional Gauss–Newton）［27］三 種 具 有 代 表 性 的 方法進行執(zhí)行效率的對比，經過MATLAB 多次計時的平均耗時結果如圖9 所示。

從圖9 中可以看出，隨著被測散斑點數量的增加，這四種算法的運行時間均呈增大趨勢。雖然MATLAB 的tic 和toc 組合計時指令具有一定的誤差，但是在散斑配準條件一致的情況下，從耗時的相對性來看，本文RCJO 算法立體配準速度要比Normal-SRPG 與IC-GN 算法快；雖然IGGA 算法耗時較少，但是設置迭代精度較低，不然難以收斂。

圖9 同名散斑點立體配準時間Fig. 9 Homologue speckle registration time

由此可見本文算法在保證測量精度的基礎上具有效率上的優(yōu)勢，這是因為聯合約束關系的優(yōu)化將圖像對間立體配準點的搜索限制在對極線附件，而不是整幅圖像上，由此提高了搜索效率。

4.2 變形測量實驗

位移測量實驗證明了本文方法能夠對成功匹配的散斑點進行高精度三維重建，接著進行試件三維變形測量實驗。將噴有散斑的測試鋁板緊固在三坐標測量機固定位置上，首先采集變形前參考圖像作為基準，然后將外力作用于鋁板進行不同程度的彎曲變形，采集的圖像如圖10（a）所示。對采集的圖像進行ROI 區(qū)域的選定和測量。通過本文方法測量的結果如圖10（b）和（c）所示。

圖10 計算區(qū)域三維形貌重構Fig. 10 Reconstruction of 3D shape of calculated region

從圖10（b）可以直觀地看出測量結果與試件的實際三維變形是一致的。圖10（c）顯示試件變形較為均勻，而且通過本文方法測量結果擬合較為平滑，結果較為穩(wěn)定。此外，圖10（b）中三個變形圖離面方向的最大位移量分別是3.690 mm，6.985 mm 與10.260 mm，與三坐標機校準的結果是一致的。

為了體現本文方法的變形測量精度，與另外三種方法測量結果進行定量對比。其中，IGGA和IC-GN 算法的三維重建參數獲取均采用Normal-SRPG 方法中的立體相機標定方式。用三坐標測量機在如圖10（b）中藍色直線上進行等間距采樣點坐標測量并記錄，通過相對應的分量相減，獲得離面（Z向）變形量曲線，如圖11 所示。同時，通過以上四種視覺變形測量方法對藍色直線上的對應點進行空間三維坐標重建，并繪制出離面位移量曲線，如圖12（a）所示；與三坐標測量機提供的真值之間的誤差絕對值曲線如圖12（b）所示。

圖11 三坐標機校準曲線Fig. 11 Deformation curve by CMM

圖12 藍色標識線上點的離面變形測量結果Fig. 12 Measurement of the off-surface deformation of the points on blue marking line

總體來看，圖12 表明相機間聯合約束關系的優(yōu)化很好地修正了散斑圖像的立體配準，能夠將三維變形測量誤差控制在0.06 mm 范圍內，有效提高了三維變形的測量精度和穩(wěn)定性。對于Normal-SRPG 算法，其測量結果很穩(wěn)定，但由于基礎矩陣求解的精度不高，導致圖像間的極線方程有所偏差，從而影響最終測量精度。相比之下，IC-GN 算法雖然在二維圖像相關求解時精度很高，但是直接用于圖像對間的同名散斑立體配準時，會受視差的影響導致匹配精度下降。如果在相機光軸角度較大情況下采集的圖像對間的同名散斑點進行立體配準，那么IC-GN 和IGGA算法容易會出現去相關現象。而本文的RJCO算法對選定左右相機部分成像的區(qū)域進行配準，因此減小了圖像畸變的影響，同時也提高了圖像的有效分辨率。此外，在這種情況下，相機之間位置關系得到的基礎矩陣元素所確定的極線斜率較小，減小了豎直軸的搜索方向范圍。綜上可知，RJCO 算法的總體性能優(yōu)于其它三種算法。

5 結 論

本文提出一種基于多相機網絡聯合約束優(yōu)化的三維變形實用測量方法。每對相機僅獲取試件的部分圖像，從而提高了圖像的有效分辨率。通過相機間約束關系的優(yōu)化求解，使圖像對間的立體配準點搜索范圍限于極線附近，以使得散斑圖像對中的同名點可以被準確且快速地搜索。然后利用立體視覺視差原理重構求出變形前后同名空間點的坐標，進而可以進行變形量的擬合。此外，通過優(yōu)化試件與多相機網絡之間的位置及姿態(tài)參數，進一步提高了散斑點空間三維坐標的重構精度。最后，實際測量實驗驗證了本文所提方法的有效性。

下一步工作將考慮散斑圖像的對比度對三維變形測量的影響，同時研究適用于環(huán)境光照變化下的立體配準策略，以便實現能夠在場外環(huán)境下進行立體變形測量的視覺應用系統(tǒng)。