中圖分類號:TP391.4 文獻標志碼:A 文章編號:2095-2945(2025)18-0071-04
Abstract:Circularpatternswithencoded informationare favoredincameracalibrationduetotheirhighaccuracyand stability.However,incomplexindustrialenvironments,calibrationboardsmayfaceisuessuchasrotationandoclusionand traditionalglobalthresholddetectionmethodsarepronetofailure,leadingtocalibrationfalures.Therefore,anewmethod combiningdeplearmingwithedgesubpixeldetectionisproposed.Thismethodfirstdetectstheminimumcircumscribedframeby rotatingtheboundingbox,thenusesaffnetransformationtoeliminateecentrcityerrors,andfinallyuseslocalthresholdsto detectedgesub-pixelstoachieveacuratecalibration.Experimentalresultsshowthattheproposedmethodismoreeficientand robust than traditional methods.
Keywords:camera calibration; coded target;rotated bounding box;deep learning;edgesubpixel detection
計算機視覺的三維測量因非接觸、高精度、快速響應(yīng)和強適應(yīng)性而廣受研究與應(yīng)用[-]。攝像機標定是建立圖像與空間點關(guān)系的關(guān)鍵,直接影響測量精度。圓形編碼圖案因高定位精度、易識別和穩(wěn)定性好,在相機校準和三維測量中廣泛應(yīng)用。靶標檢測是確保高精度的關(guān)鍵,現(xiàn)有算法能在復雜環(huán)境中快速準確定位靶標。然而,在復雜工業(yè)環(huán)境中,標定板可能面臨旋轉(zhuǎn)、遮擋、光照不足和過曝等問題,傳統(tǒng)全局統(tǒng)一閾值檢測易失效?,F(xiàn)代基于深度學習的目標檢測算法在低光照或新環(huán)境下識別性能顯著,如Kniaz的深度卷積網(wǎng)絡(luò)和李福祿等的YOLOv5模型。但圓形編碼靶標經(jīng)相機投影可能產(chǎn)生偏心誤差,需進一步考慮。因此,提高復雜工況下標定精度仍是研究重點。
1方法
在本節(jié)中,描述了所設(shè)計標定方法的細節(jié)。設(shè)計的同心圓編碼標定板用于系統(tǒng)相機標定,以實現(xiàn)抗噪聲的魯棒檢測?;赮OLO-obb進行同心圓靶標的檢測,檢測正圓形靶標經(jīng)過仿射變換成像的旋轉(zhuǎn)橢圓,并將帶有旋轉(zhuǎn)角的橢圓進行仿射變換,以實現(xiàn)同心圓中心點坐標的精確提取。最后,使用迭代優(yōu)化的方式對單目相機與雙目相機參數(shù)進行精細優(yōu)化,以得到在復雜工業(yè)場景下的相機高精度標定。
1.1標定板靶標檢測
1.1.1 編碼同心圓標定板
本節(jié)介紹我們設(shè)計的 11×9 編碼標定板,采用獨立唯一編碼的同心圓固定排列。即使部分圓心特征點被遮擋,只要數(shù)量滿足要求,通過檢測到的特征點碼值推算剩余點的世界坐標,仍可完成標定。
1.1.2基于深度學習的靶標檢測
本文采用了YOLO(You OnlyLook Once)算法,這是一種流行的目標檢測方法。YOLO-obb模型則是在YOLO的基礎(chǔ)上進行改進,專門用于處理方向性邊界框,在復雜的目標檢測任務(wù)中展現(xiàn)出更好的性能。
基于YOLOv5-obb模型檢測到的目標被表示為橢圓外接的最小檢測框。該旋轉(zhuǎn)邊界框的表示形式為
B=(xc,yc,w,h,θ)
式中: (xc,yc) 為邊界框中心的坐標; w 為邊界框的寬度; h 為邊界框的高度; θ 為旋轉(zhuǎn)角度, θ 通常是從水平線逆時針測量的角度,范圍為 [-90°,90°] □
1.2 控制點提取
1.2.1 仿射變換
在透視投影模型中,目標平面中的圓若與圖像平面不平行,會成像為橢圓,導致圓心坐標偏差。因此,需對橢圓進行仿射變換為正圓,以減少特征中心點提取誤差,確保相機標定精度?;跈z測得到的橢圓長短軸信息,設(shè)置正圓形靶標的直徑為 s ,對圖像進行仿射變換
式中: (x,y,1)T 和 (x′,y′,1)T 為變換前與變換后的坐標; M 為變換矩陣,可通過旋轉(zhuǎn)邊界框信息計算得出。
對圖片進行仿射變換,得到正圓圖像,以進行后續(xù)的邊緣檢測。經(jīng)過變換后的正圓形圖案消除了橢圓成像的偏心誤差。
1.2.2 基于Hession矩陣的橢圓亞像素邊緣檢測
為了提高橢圓的擬合精度,提出了一種基于優(yōu)化的亞像素輪廓提取方法。提取圖像中邊緣線的標準是該點的二階導數(shù)的大小為零。一種可能的方法是檢查黑森(Hessian)矩陣。Hessian矩陣是一個包含多元函數(shù)二階偏導數(shù)的方陣,它提供了函數(shù)局部曲率的信息。設(shè)I(x) 為灰度圖像 I 中點 x=(x,y)T 的灰度值。點 x 處的Hessian矩陣可以表示為
式中: 分別表示沿 u 和 v 的一階導數(shù)。為了有效地計算圖像的一階和二階導數(shù),引入了二維高斯平滑核 G(u,ν;σ) 如下
式中: σ 為預(yù)定義的高斯方差變量,它指定了卷積核的大小。
將原始圖像與高斯偏導數(shù)卷積核進行卷積,得到圖像的偏導數(shù)。因此,式(4)中的Hessian矩陣可以改寫為
式中:符號“*\"表示卷積運算。
通過將圖像與高斯一階導數(shù)卷積核進行卷積,可以有效地計算一階偏導數(shù) ?I ,如下所示
二階泰勒多項式在像素點 x 附近的亞像素點 x′= x+Δx=(x+Δx,y+Δy)T 的灰度值可以通過一階偏導數(shù)和Hessian矩陣構(gòu)造。根據(jù)泰勒展開式, ?I 可表示為
由于沿垂直于梯度方向的法向量 (nu,nv)T 的方向上,灰度值的變化最大,因此可以通過在泰勒多項式中加上增量 (δnu,δnv) 來計算出與像素點對應(yīng)的最優(yōu)子像素點 x′ 。則偏導數(shù)的計算公式為
令式(8)的值等于零,得出
當相對偏移量 (Δx,Δy)T=(δnu,δnv)T 滿足 (δnu,δnv)T∈ [-1/2,1/2]×[-1/2,1/2 ]時,其為有效的。更新后的輪廓點的亞像素坐標 x′=(x′,y′)T 可以通過在原輪廓點 x=(x,y)T 上加上偏移量 (Δx,Δy)T 來計算 x′=(x′,y′)T=(x+Δx,y+Δy)T/ 然后迭代地改進所有輪廓點的坐標,直到收斂。
經(jīng)過上述亞像素細化處理后,所有有效圓形的輪廓都得到了亞像素級的坐標信息。這樣就可以通過擬合亞像素輪廓來確定每個控制點更精確的坐標位置。
1.2.3 控制點提取
經(jīng)過仿射變換的橢圓恢復成了正圓,其一般表達式為
C(x,y)=x2+y2-2hx-2ky+c=0o
常使用矩陣形式表示
C(p)=pTQp=0,
式中: 表示亞像素點的像素坐標;
為系數(shù)矩陣。
通過最小二乘法對亞像素坐標的點集進行擬合,得到最佳圓方程。求出同心圓內(nèi)圓心與外圓心坐標 O1 和 O2 ,則控制點的坐標為
O′=(O1+O2)/2
求出雙目相機拍攝的所有特征點坐標,使用解碼方式對雙目特征點進行匹配,以用于隨后的單目與雙目參數(shù)求解。
1.3 相機標定與優(yōu)化
通過對標定板編碼圓的檢測求取特征點,本文采用單目與雙目相機標定,并通過迭代方法精細調(diào)整相機參數(shù),精確計算透視投影、畸變系數(shù)及雙目相機間旋轉(zhuǎn)平移矩陣,為視覺測量和三維重建提供可靠基礎(chǔ)。
由于制造原因,使得成像過程存在著畸變,主要有徑向畸變和切向畸變2類,采用Brown-Conrady鏡頭畸變模型,它通過多項式函數(shù)對鏡頭畸變進行建模,由透鏡畸變引起的真實觀測圖像坐標可以建模為
式中: (xc,yc) 為未失真的圖像物理坐標系中點的坐標; (xd,yd) 為 (xc,yc) 對應(yīng)的畸變后的坐標; r 為點到畸變中心的距離,即 為鏡頭的畸變系數(shù),其中 k1,k2 和 k3 為徑向畸變系數(shù), p1 和 p2 為切向畸變系數(shù)。
隨后,采用非線性優(yōu)化算法對標定參數(shù)進行改進,將標定參數(shù)定義為重投影誤差平方和,即
式中: J 表示圖像總數(shù); N 表示目標上的特征點總數(shù); pj,n 表示第 n 個特征點在第 j 位置的圖像坐標; f(.) 表示目標點從世界坐標到圖像坐標的重投影過程。
在進行單目相機標定之后,為了實現(xiàn)雙目測量,還需要對2臺攝像機之間的剛性變換矩陣。因此增加一個額外的代價函數(shù),即 式中:下標中的數(shù)字表示變量屬于的相機。
在優(yōu)化過程中,采用LM方法細化雙目立體相機系統(tǒng)參數(shù),改善模型精度,通過迭代優(yōu)化提升相機標定準確性,為后續(xù)應(yīng)用奠定堅實基礎(chǔ)。
2 實驗部分
2.1復雜工況下標定板同心圓中心點提取實驗
復雜工況下,精確提取標定板同心圓中心點至關(guān)重要。本文方法可有效抑制噪聲干擾,在不利條件下仍能準確提取中心點,具有顯著抗干擾能力和更高定位精度,驗證了其有效性。
2.2標定板同心圓中心重建精度驗證實驗
在標定實驗中使用的同心圓標定板本身為高精度標定目標,其圖案本身為一個標準平面。利用標定參數(shù)通過立體視覺系統(tǒng)在 700~1100mm 的深度范圍采集25組左右任意放置的同心圓標定板圖像對,計算標定板上同心圓中心點的三維坐標。將中心點的三維坐標用理想平面擬合,并計算中心點與理想平面之間的距離,重構(gòu)的同心圓中心點三維坐標到平面的最大誤差值為 0.023mm 。圖1(a)顯示了其中一組圖像同心圓中心點三維坐標與擬合平面的三維坐標關(guān)系。
圖1(b顯示了重建的同心圓標定板的誤差分布。圖1(a)中重建的三維點與擬合的平面非常吻合。在圖1(b)中可以發(fā)現(xiàn),重構(gòu)點偏差與擬合平面中心大致呈對稱分布,拐角處偏差更顯著,最大偏差約為0.027mm 。30組不同位姿下,所有重構(gòu)三維點與對應(yīng)擬合平面距離的RMS為 0.0153mm ,實驗結(jié)果驗證了本文標定方法有效、準確。
2.3雙目相機實驗精度測量
為了驗證本文方法在復雜工況下的標定與測量精確性與穩(wěn)定性,實驗設(shè)計了基于立體視覺系統(tǒng)的標準基準尺尺寸測量實驗,并與文獻[4]和文獻[5]中的方法進行性能比較。實驗采用圖立體視覺系統(tǒng)標準基準尺進行測量,以評估3種方法在不同工況下的標定與測量能力。使用本文方法得到的立體視覺系統(tǒng)中的左右相機參數(shù)見表1。
測量誤差結(jié)果見表2。表2數(shù)據(jù)顯示了本文方法在正常工況及復雜工況下均表現(xiàn)出更低的測量誤差均值及較低的最大誤差。在正常工況下,本文方法的誤差均值僅為 0.08mm ,顯著優(yōu)于文獻[4]和文獻[5]的方法。同時,本文方法在正常工況下的最大誤差為0.12mm ,展現(xiàn)出良好的重復性和穩(wěn)定性。這表明本文方法在理想環(huán)境下能夠提供更高的測量精度。
在強光、反光工況下,本文方法的誤差均值均優(yōu)于文獻[4]和文獻[5的方法,體現(xiàn)了其抗光照干擾能力的優(yōu)勢,同時表明其在抑制反射干擾方面具有顯著優(yōu)勢。
通過分析表2數(shù)據(jù)可知:本文方法在標定與測量精度、誤差分布和工況適應(yīng)性方面均優(yōu)于文獻[4]和文獻[5]的方法。其在復雜工況下的魯棒性和可靠性,證明了本文方法對實際工業(yè)應(yīng)用的適用性和推廣價值。
3結(jié)論
本文提出了一種新的相機標定方法,應(yīng)對復雜工業(yè)環(huán)境挑戰(zhàn)。結(jié)合深度學習與邊緣亞像素檢測,可靠檢測圓形編碼靶標,確保標定準確。利用旋轉(zhuǎn)邊界框檢測最小外接邊界,仿射變換消除偏心誤差,增強特征點提取可靠性。局部閾值邊緣檢測提高的同時檢測所有編碼靶標能力,克服全局閾值局限。實驗表明,新方法在效率和魯棒性上優(yōu)于傳統(tǒng)方法。此進展促進復雜條件下相機標定準確性,為未來自動化工業(yè)測量系統(tǒng)研究奠定基礎(chǔ)。
參考文獻:
[1]束安.空間非合作目標的三目立體視覺位姿測量技術(shù)研究[D]上海:中國科學院大學(中國科學院上海技術(shù)物理研究所),2021.
[2]楊昭輝,朱華炳,殷玉龍,等.基于編碼立體靶標的高精度雙目相機標定[J].中國激光,2023,50(6):65-73.
[3]李福祿,吉喆,段修生.基于YOLOv5深度學習模型的動態(tài)靶標識別跟蹤方法[J].石家莊鐵道大學學報(自然科學版),2022,35(3):111-117.
[4]黃臻臻,黃曉梅,鄭蓮玉,等.同心圓偏心誤差補償?shù)南鄼C標定方法[J].光學學報,2022,42(19):73-81.
[5]姜濤,程筱勝,崔海華,等.基于單應(yīng)性矩陣的變焦雙目視覺標定方法[J].光學學報,2018,38(3):360-368.