吳俊杰,陳藝文,樓國(guó)紅,張俊生
(1.太原師范學(xué)院,山西 晉中 030619; 2.太原工業(yè)學(xué)院,山西 太原 030008)
隨著圖像技術(shù)、汽車等行業(yè)的不斷發(fā)展,圖像處理與視覺(jué)技術(shù)能夠?qū)?fù)雜目標(biāo)進(jìn)行識(shí)別,在生產(chǎn)自動(dòng)化及工業(yè)產(chǎn)品的檢測(cè)與智能分類中得到越來(lái)越廣泛的應(yīng)用。在傳統(tǒng)輪轂生產(chǎn)流程中,輪轂鑄造生產(chǎn)后需要人工識(shí)別、統(tǒng)計(jì)型號(hào)并進(jìn)行分類,工作量大、效率低、成本高[1]。
目前,美國(guó)愛(ài)迪生工業(yè)系統(tǒng)中心的Behrouz N.Shabestari等人研制出了一種實(shí)時(shí)性強(qiáng)、成本低的汽車輪轂分類識(shí)別系統(tǒng)[2]。華中科技大學(xué)朱焜[3],針對(duì)帶有較大毛刺的毛坯輪轂圖像進(jìn)行了幅窗多邊形形狀化簡(jiǎn)來(lái)進(jìn)行特征提取。中北大學(xué)的郭智杰[4]通過(guò)提取了輪緣直徑和輪轂高度作為尺寸特征,并提取輻條數(shù)目、幅窗周長(zhǎng)面積比等作為形狀特征,最后通過(guò)序列號(hào)匹配識(shí)別型號(hào)。但是,以上研究并未考慮輪轂的深度信息,由于剛生產(chǎn)出來(lái)的輪轂輪輻與輪輻之間可能并沒(méi)有完全的間隙,如果使用單目相機(jī)進(jìn)行測(cè)量輪輻數(shù)量時(shí),就會(huì)出現(xiàn)測(cè)量不準(zhǔn)確,這種情況會(huì)被認(rèn)為無(wú)法識(shí)別或者誤識(shí)別。
針對(duì)以上問(wèn)題,本研究提出一種基于雙目立體視覺(jué)的輪轂型號(hào)識(shí)別研究,通過(guò)改進(jìn)雙目立體視覺(jué)算法,提高三維重建的精度,減少誤差,能夠有效地提高識(shí)別準(zhǔn)確率。
在進(jìn)行圖像采集前,由于相機(jī)結(jié)構(gòu)和相機(jī)制造工藝等因素的影響,鏡頭都存在不同程度的畸變,因此需要進(jìn)行相機(jī)標(biāo)定,獲取每個(gè)相機(jī)的內(nèi)部參數(shù)以及相機(jī)之間的位置信息。本研究采用張正友標(biāo)定法,該方法具有較高的標(biāo)定精度且魯棒性好。在搭建雙目立體視覺(jué)系統(tǒng)時(shí),由于現(xiàn)實(shí)中不存在完全平行的兩臺(tái)相機(jī),所以在實(shí)際操作中,將標(biāo)定好的兩臺(tái)相機(jī)進(jìn)行Bouguet極線立體校準(zhǔn),以減少相機(jī)誤差和因相機(jī)擺放位置造成的圖像偏移。
相機(jī)拍攝的圖像都具有一定的噪聲[5],因此在使用之前需對(duì)其進(jìn)行降噪處理。本研究使用雙邊濾波進(jìn)行降噪處理,雙邊濾波在平滑圖像和降低噪聲的同時(shí),對(duì)輪轂的邊緣信息具有很好的保留效果,有利于后續(xù)的操作,如圖1(b)所示。圖像分割能夠使目標(biāo)信息與圖像背景分為兩個(gè)部分,本文使用最大類間方差法[6]對(duì)圖像進(jìn)行分割,分割完成后使用形態(tài)學(xué)運(yùn)算[7]去除毛刺等微小結(jié)構(gòu)并填補(bǔ)孔洞。其中,開(kāi)運(yùn)算可以消除細(xì)小物體圖像、平滑物體圖像的邊緣;閉運(yùn)算可以填充圖像存在的細(xì)小的空洞。運(yùn)算效果如圖1(c)所示。
圖1 原圖和運(yùn)算后圖像
SGBM算法[6]是半全局匹配算法,該算法可以進(jìn)行稠密匹配且消耗的時(shí)間少于全局匹配,實(shí)驗(yàn)的魯棒性較高。由SGBM匹配算法可得,灰度值大的表示距離相機(jī)較近,即深度值??;反之則距離相機(jī)較遠(yuǎn)。
1) 輪轂輪廓特征
輪轂輪廓特征是十分重要的一個(gè)識(shí)別特征,本研究在提取輪轂輪廓特征時(shí)先將輪轂圖像進(jìn)行預(yù)處理,然后進(jìn)行Canny算子[8]提取特征邊緣。
2)輪輻個(gè)數(shù)
由于輪轂生產(chǎn)的輪輻基本位于距輪轂圓心的4/10半徑至7/10半徑區(qū)域內(nèi),因此本文計(jì)算輪轂輪輻個(gè)數(shù)時(shí)首先在此區(qū)間分三個(gè)等距的同心圓環(huán),這樣可以保證至少有一個(gè)圓環(huán)與輪輻相交。隨后將輪轂二值化圖像與圓環(huán)圖像做與運(yùn)算,統(tǒng)計(jì)各個(gè)同心圓環(huán)的輪輻個(gè)數(shù),選取最多的輪輻個(gè)數(shù),但是由于輪輻與輪輻之間可能存在鑄液連接,因此需計(jì)算該半徑下圓的深度值,統(tǒng)計(jì)深度值變化次數(shù)的一半即為輪輻個(gè)數(shù),如圖2所示。
圖2 獲取輪輻個(gè)數(shù)
3) 輪轂直徑
輪轂直徑可以描述不同類型和尺寸的輪轂,具有重要作用。本研究使用最小二乘法提取擬合圓,用來(lái)獲取左右圖像大致視差。接著在左右圖像提取特征點(diǎn)進(jìn)行立體匹配,得到準(zhǔn)確視差值。本文使用的特征點(diǎn)為輪轂外圓上每隔45o選取一個(gè)特征點(diǎn),在立體匹配過(guò)程中主要是找到兩幅圖像的特征點(diǎn)的點(diǎn)對(duì)即可。獲取對(duì)應(yīng)點(diǎn)視差值后,計(jì)算出其三維坐標(biāo)。由于提取的輪轂外圓上的特征點(diǎn)具有對(duì)稱性,因此,直徑可以直接由對(duì)稱的空間點(diǎn)的距離公式求出來(lái)。
(1)
將空間點(diǎn)帶入公式,計(jì)算直徑,并計(jì)算平均值,用于代表作為測(cè)量的直徑值。
4) 輪轂高度
輪轂的高度信息通過(guò)輪轂外圓的深度坐標(biāo)取均值得到。
為了提高立體匹配精度,本研究通過(guò)調(diào)整相機(jī)的基距與光軸角度來(lái)優(yōu)化雙目立體視覺(jué)算法??臻g點(diǎn)P坐標(biāo)可以表示為:
(2)
其中,α1和α2為光軸角度與相機(jī)基距B的夾角;β1和β2分別為O1P′、O2P′與相機(jī)光軸的夾角;γ1和γ2分別為O1P′、O2P′與O1P、O1P的夾角。
經(jīng)過(guò)分析可得,空間點(diǎn)坐標(biāo)的精度受到相機(jī)基距和光軸角度的影響,主要為:
1) 基線距離B是工作距離的0.8~2.2倍時(shí)測(cè)量誤差較??;
2) 雙目立體視覺(jué)的結(jié)構(gòu)對(duì)稱時(shí),測(cè)量系統(tǒng)的誤差比較小且精度高;
3) 當(dāng)左右相機(jī)光軸與雙目基線的夾角相同時(shí),相機(jī)光軸與雙目基線的夾角在(30°,50°)區(qū)間時(shí),對(duì)目標(biāo)測(cè)量比較一般;當(dāng)夾角在(15°,30°)區(qū)間時(shí),此時(shí)對(duì)遠(yuǎn)處測(cè)量精度比較高;當(dāng)夾角在(50°,75°)區(qū)間時(shí),此時(shí)對(duì)近處測(cè)量精度比較高。
基于灰度的模板匹配算法是指提取待識(shí)別圖像的灰度值作為特征值與模板輪轂圖像進(jìn)行灰度值相關(guān)匹配。其中,NCC算法又稱歸一化互相關(guān)算法,其算法思想是根據(jù)相關(guān)系數(shù)公式計(jì)算待匹配圖像與模板圖像之間的相關(guān)系數(shù)。NCC的取值范圍為-1≤NCC≤1,當(dāng)NCC值越大時(shí),相似性越高,最大值處即為最佳匹配處。本文采用NCC算法,將模板圖像在待識(shí)別輪轂圖像上平移,并計(jì)算NCC的值,找到最佳匹配模板圖像。
在輪轂識(shí)別分類前,需制作輪轂型號(hào)模板庫(kù),首先選擇表面平滑的輪轂,對(duì)圖像采用雙邊濾波進(jìn)行降噪處理;使用最大類間方差法優(yōu)化輪轂圖像;使用SGBM算法進(jìn)行三維重建計(jì)算輪轂的高度和直徑等信息;將輪輻個(gè)數(shù)作為第一目錄,輪轂高度作為第二目錄;利用Canny算子獲取輪轂邊緣輪廓,并將該圖像以輪轂型號(hào)為文件名存放在對(duì)應(yīng)高度目錄下。在進(jìn)行輪轂識(shí)別分類時(shí)首先計(jì)算輪轂輻條的個(gè)數(shù)并進(jìn)行篩選第一目錄,其次計(jì)算輪轂高度篩選第二目錄,由于輪轂高度計(jì)算可能存在誤差,因此選取計(jì)算值上下兩個(gè)二級(jí)目錄,然后對(duì)兩個(gè)目錄下的輪轂?zāi)0暹M(jìn)行匹配得出輪轂型號(hào)。這種方法避免了對(duì)所有模板都進(jìn)行匹配,可以高效地獲取當(dāng)前輪轂的型號(hào)。本研究使用了5種不同型號(hào)的輪轂,每種輪轂各200個(gè),分別進(jìn)行識(shí)別率測(cè)試,在相機(jī)基距等于工作距離,光軸角度在50°~75°之間時(shí),輪轂表面特征信息清晰,高度信息誤差較小,此時(shí)模板匹配時(shí)間較快,平均每個(gè)識(shí)別用時(shí)約109 ms。
本研究的研究方向是利用雙目立體視覺(jué)的方式減少輪轂深度信息獲取不全面的問(wèn)題,對(duì)輪轂生產(chǎn)廠家的毛坯輪轂進(jìn)行識(shí)別,通過(guò)三維重建獲取輪轂直徑和高度信息,以及模板匹配進(jìn)行輪轂型號(hào)識(shí)別,優(yōu)化雙目立體視覺(jué)算法識(shí)別輪轂型號(hào)有較高的精確度,精確度達(dá)到了98.65%。研究結(jié)果表明該方法對(duì)輪轂型號(hào)識(shí)別具有明顯的研究和應(yīng)用價(jià)值,并且對(duì)低成本、高效率的識(shí)別輪轂型號(hào)具有一定的重要意義。