張懷濤,張 剛,張玉雷,衛(wèi) 兵,劉洪彬
(1.信發(fā)集團(tuán),茌平 252100;2.北京機(jī)械工業(yè)自動(dòng)化研究所有限公司,北京 100120;3.山東建筑大學(xué),250101)
隨著國(guó)民經(jīng)濟(jì)的大幅提升,汽車(chē)已經(jīng)成為人們生活中的重要交通工具。輪胎作為車(chē)輛主要的零部件之一,如果存在凹坑、裂縫等質(zhì)量問(wèn)題,會(huì)直接影響車(chē)輛的行駛安全,甚至引發(fā)一系列交通事故。因此,輪胎的生產(chǎn)過(guò)程與質(zhì)量把控,是汽車(chē)制造廠商重點(diǎn)關(guān)注的環(huán)節(jié)。同時(shí),人工智能、虛擬現(xiàn)實(shí)、云計(jì)算等技術(shù)的飛速發(fā)展,促使傳統(tǒng)工業(yè)發(fā)生巨大變革。智能生產(chǎn)制造面臨解決系統(tǒng)精準(zhǔn)估計(jì)產(chǎn)品尺寸參數(shù),并建立尺寸變化和工藝參數(shù)之間映射關(guān)系的重大挑戰(zhàn),其中構(gòu)建三維圖像(或稱(chēng)為三維重構(gòu))技術(shù)正是完成這項(xiàng)任務(wù)的有效手段之一[1]。
近年來(lái),三維重構(gòu)技術(shù)在智能制造、智慧建筑、智慧城市等領(lǐng)域得到了廣泛應(yīng)用。林祥國(guó)等[2,3]提出了一種基于架空輸電線走廊機(jī)載LiDAR點(diǎn)云的電力線三維重建方法,可以完成自動(dòng)化、高精度的長(zhǎng)距離架空輸電線的三維重建任務(wù)。文獻(xiàn)[4]基于地面激光雷達(dá)點(diǎn)云數(shù)據(jù),提出一種重建森林場(chǎng)景三維模型的方法,可有效表達(dá)亞熱帶山區(qū)森林樣地的真實(shí)形態(tài)。工業(yè)部件的三維重構(gòu)也受到了更多的關(guān)注,對(duì)輪胎的三維重構(gòu),能夠通過(guò)準(zhǔn)確估計(jì)工藝參數(shù),確保產(chǎn)品的尺寸質(zhì)量,并可以進(jìn)一步通過(guò)深度學(xué)習(xí)等算法[5]實(shí)現(xiàn)輪胎缺陷檢測(cè)等功能,提高輪胎生產(chǎn)質(zhì)量。
當(dāng)前,國(guó)內(nèi)外學(xué)者利用機(jī)器視覺(jué)技術(shù)對(duì)輪胎圖像識(shí)別、缺陷檢測(cè)等內(nèi)容進(jìn)行了很多研究。國(guó)外研究機(jī)構(gòu)主要集中在機(jī)器視覺(jué)檢測(cè)元件和系統(tǒng)的供應(yīng)商中[6]。如美國(guó)的Allen-Bradley公司將其研制的視覺(jué)傳感器應(yīng)用于輪胎生產(chǎn)數(shù)據(jù)采集和閉環(huán)控制中[7]。普利司通輪胎公司設(shè)計(jì)了一種面向輪胎內(nèi)部缺陷的檢測(cè)方法[8]。另外,德國(guó)的西克(SICK)、美國(guó)的康耐視(COGNEX)、日本的基恩士(KEYENCE)等也開(kāi)發(fā)了輪胎數(shù)據(jù)采集、缺陷檢測(cè)等相關(guān)設(shè)備。國(guó)內(nèi)也開(kāi)展了一系列立足于輪胎行業(yè)的機(jī)器視覺(jué)技術(shù)研究。文獻(xiàn)[9]采用計(jì)算機(jī)視覺(jué)研究了一種航空輪胎表面缺陷識(shí)別系統(tǒng),基于分時(shí)和同步兩種方式實(shí)現(xiàn)了對(duì)航空輪胎表面缺陷的在線檢測(cè),為復(fù)雜的輪胎測(cè)量提供實(shí)時(shí)、有效的測(cè)量途徑。王國(guó)林等[10]應(yīng)用線結(jié)構(gòu)光視覺(jué)法,設(shè)計(jì)了一種基于計(jì)算機(jī)視覺(jué)的輪胎輪廓測(cè)量系統(tǒng),通過(guò)對(duì)成品輪胎的實(shí)驗(yàn)檢測(cè),驗(yàn)證了系統(tǒng)具有非接觸、無(wú)磨損和高效率的優(yōu)點(diǎn)。文獻(xiàn)[11]利用激光傳感器的測(cè)距原理設(shè)計(jì)了輪胎外形輪廓測(cè)量系統(tǒng),實(shí)現(xiàn)了對(duì)輪胎的自動(dòng)輸送、精確定位、外形輪廓數(shù)據(jù)自動(dòng)采集等功能。文獻(xiàn)[12]提出了一種輪胎內(nèi)部缺陷X光圖像檢測(cè)算法,對(duì)輪胎氣泡等缺陷的檢測(cè)進(jìn)行了分析和改進(jìn)。張巖[13]采集輪胎激光剪切散斑圖像及X光圖像,研究輪胎缺陷檢測(cè)和識(shí)別系列方法,構(gòu)建了輪胎缺陷自動(dòng)無(wú)損檢測(cè)系統(tǒng)的理論框架和體系結(jié)構(gòu)。
當(dāng)前機(jī)器視覺(jué)技術(shù)在輪胎行業(yè)應(yīng)用研究,主要集中于輪胎圖像檢測(cè)、識(shí)別和分析處理研究,對(duì)于輪胎三維圖像顯示大多采用3dmax等軟件,需要人工參與,這樣不利于自動(dòng)獲取輪胎尺寸參數(shù)、缺陷特征等重要信息。因此,本文研究輪胎三維圖像重構(gòu)技術(shù),獲得輪胎原始尺寸測(cè)量參數(shù),構(gòu)建便于自動(dòng)完成質(zhì)量監(jiān)控和輪胎缺陷檢測(cè)任務(wù)的三維圖像,提出一種基于幾何坐標(biāo)變換的輪胎三維圖像構(gòu)建方法。首先采集輪胎3D點(diǎn)云數(shù)據(jù),然后采用幾何坐標(biāo)變換方法,將輪胎三維矩形圖像轉(zhuǎn)換為三維圓形圖像,最后通過(guò)圖像拼接技術(shù)構(gòu)建輪胎3D模型。實(shí)驗(yàn)表明,本文方法能夠有效實(shí)現(xiàn)輪胎三維圓形圖像轉(zhuǎn)換、構(gòu)建輪胎三維圖像等內(nèi)容。
本文所提出基于幾何坐標(biāo)變換的輪胎三維圖像構(gòu)建方法總體框圖,如圖1所示。首先,采集輪胎3D點(diǎn)云數(shù)據(jù),并分別獲取上胎側(cè)、胎冠、下胎側(cè)的三維矩形圖像;其次,采用幾何坐標(biāo)變換方法將三維矩形圖像轉(zhuǎn)換為三維圓形圖像,并去除噪聲區(qū)域;最后,將上胎側(cè)、胎冠、下胎側(cè)的三維圓形圖像進(jìn)行拼接,得到重構(gòu)后的輪胎三維圖像。本節(jié)通過(guò)采集輪胎3D點(diǎn)云數(shù)據(jù)、幾何坐標(biāo)變換、圖像拼接三部分內(nèi)容,介紹輪胎三維圖像重構(gòu)方法原理。
輪胎在傳送帶上到達(dá)指定位置時(shí),機(jī)械臂根據(jù)輪胎二維碼中提供的參數(shù)首先將輪胎固定,并移動(dòng)到檢測(cè)區(qū)。輪胎定位后,軸承帶動(dòng)輪胎以圓心為中心進(jìn)行旋轉(zhuǎn),支架上固定的3個(gè)輪廓儀分別獲取上胎側(cè)、胎冠及下胎側(cè)的3D點(diǎn)云數(shù)據(jù)。采集輪胎3D點(diǎn)云數(shù)據(jù)的裝置,如圖2所示。
圖2 輪胎3D點(diǎn)云數(shù)據(jù)采集裝置
輪廓儀采集數(shù)據(jù)完成后,獲得上胎側(cè)、胎冠、下胎側(cè)的3D點(diǎn)云數(shù)據(jù)矩陣,分別表示為Au、Ag、Ad。圖3給出了矩陣Au的示例,Au由M行N列元素組成,每個(gè)元素的行號(hào)和列號(hào)為像素的x、y值,元素值為像素的z值,這些x、y、z值就組成了點(diǎn)云數(shù)據(jù)點(diǎn)的三維坐標(biāo)。比如,圖3中Au(m,n)=(xm,n,ym,n,zm,n)表示矩陣Au中第xm,n行、第ym,n列元素值為zm,n,其中xm,n=4,ym,n=3,zm,n為第4行、第3列的元素值。那么,Au(m,n)=(xm,n,ym,n,zm,n)的坐標(biāo)值即為Au(4,3)=(4,3,z4,3),從而可以根據(jù)該坐標(biāo)值描述三維空間中的一個(gè)點(diǎn)。
圖3 輪胎3D點(diǎn)云數(shù)據(jù)圖像和矩陣
輪廓儀采集到的原始輪胎3D點(diǎn)云數(shù)據(jù)圖像是矩形的,如圖3所示。然而,輪胎三維圖像要求顯示為圓形圖像。因此,本文提出利用幾何坐標(biāo)變換的方法,將輪胎的矩形圖像轉(zhuǎn)換為圓形圖像,所提出方法的原理圖,如圖4所示。
為了便于演示輪胎矩形圖像轉(zhuǎn)換為圓形圖像的過(guò)程,圖4中假設(shè)輪胎3D點(diǎn)云數(shù)據(jù)矩陣以大小為16行6列,并將矩陣的每一列看作一條直線,那么該矩陣可簡(jiǎn)化為6條直線。本文以第6列元素,即第6條直線(最右側(cè)直線)為例,闡述幾何坐標(biāo)變換的原理。
圖4 矩形轉(zhuǎn)換圓形原理圖
假設(shè)幾何坐標(biāo)變換前,直線中點(diǎn)的坐標(biāo)為(xm,ym),直線上半段和下半段分別有兩個(gè)隨機(jī)點(diǎn)坐標(biāo)分別為(xi,yi)和(xj,yj);直線變換為圓形后,直線中點(diǎn)所對(duì)應(yīng)的坐標(biāo)變?yōu)?xm,ym),兩個(gè)隨機(jī)點(diǎn)所對(duì)應(yīng)的坐標(biāo)變?yōu)?xi,yi)和(xj,yj)。那么,在二維直角坐標(biāo)系中,直線轉(zhuǎn)換為圓的幾何坐標(biāo)變換公式可以表達(dá)為:
其中,式(1)為上半圓幾何坐標(biāo)變換公式,式(2)為下半圓幾何坐標(biāo)變換公式,d1為點(diǎn)(xm,ym)與(xi,yi)連接所形成弦的長(zhǎng)度,d2為點(diǎn)(xm,ym)與(xj,yj)連接所形成弦的長(zhǎng)度,θ1、θ2分別為弦d1、d2與半徑之間的夾角。
針對(duì)式(1),求解(xi,yi)的過(guò)程如下。根據(jù)輪胎3D點(diǎn)云數(shù)據(jù)矩陣大小,可知矩陣簡(jiǎn)化后的直線長(zhǎng)度(將該長(zhǎng)度表示為L(zhǎng),比如圖4中L=16),那么直線中點(diǎn)和第i點(diǎn)的坐標(biāo)(Xm,Ym)與(xi,yi),均可根據(jù)L值設(shè)定為xy直角坐標(biāo)系中的已知點(diǎn)。那么,只需求取d1、cosθ1、sinθ1,即可由式(1)解得(xi,yi)坐標(biāo)值。如圖4所示,cosθ1、sinθ1可利用弦長(zhǎng)d1和半徑R表示為:
弦長(zhǎng)d1、圓心角α與弦所對(duì)應(yīng)圓弧長(zhǎng)度l之間的關(guān)系為:
利用式(5)和式(6),可以推導(dǎo)得出:
將式(3)、式(4)、式(7)代入式(1),可得:
經(jīng)過(guò)幾何坐標(biāo)變換,上胎側(cè)、胎冠、下胎側(cè)的3D點(diǎn)云數(shù)據(jù)矩陣Au、Ag、Ad所描述的三維圖像,會(huì)由矩形變?yōu)閳A形。假設(shè)上胎側(cè)矩陣Au轉(zhuǎn)換后的數(shù)據(jù)矩陣變?yōu)閄u、Yu、Zu,胎冠矩陣Ag轉(zhuǎn)換后的數(shù)據(jù)矩陣變?yōu)閄g、Yg、Zg,下胎側(cè)矩陣Ad轉(zhuǎn)換后的數(shù)據(jù)矩陣變?yōu)閄d、Yd、Zd。此處,幾何坐標(biāo)變換前后數(shù)據(jù)矩陣由1個(gè)變?yōu)?個(gè)是因?yàn)椋狠喞獌x采集的原始3D點(diǎn)云數(shù)據(jù)矩陣中,行號(hào)和列號(hào)代表數(shù)據(jù)點(diǎn)的xy坐標(biāo)值,元素值代表z坐標(biāo)值;然而,幾何坐標(biāo)變換后,xy坐標(biāo)值變?yōu)榉钦麛?shù),不能繼續(xù)用行號(hào)和列號(hào)表達(dá),因此將xyz坐標(biāo)值分為3個(gè)矩陣存儲(chǔ)。
為了實(shí)現(xiàn)圖像拼接,需要尋找拼接邊界。本文將三維數(shù)據(jù)矩陣中全零區(qū)域的邊界作為拼接邊界,同時(shí)切割全零區(qū)域保留輪胎圖像區(qū)域,實(shí)現(xiàn)圖像去噪,從而上胎側(cè)、胎冠、下胎側(cè)切割后的三維圓形圖像數(shù)據(jù)矩陣。最終,將該三種數(shù)據(jù)矩陣按列的順序串行排列,即可實(shí)現(xiàn)輪胎三維圖像拼接,圖像拼接后的數(shù)據(jù)矩陣表示為
本文首先利用德國(guó)西克(SICK)輪廓儀采集輪胎上胎側(cè)、胎冠、下胎側(cè)的3D點(diǎn)云數(shù)據(jù),并顯示輪胎矩形圖像,然后采用幾何坐標(biāo)變換將3D點(diǎn)云數(shù)據(jù)矩形圖像轉(zhuǎn)換為圓形圖像,最后將上胎側(cè)、胎冠、下胎側(cè)的圖像進(jìn)行拼接,獲得輪胎三維圖像。實(shí)驗(yàn)基于MATLAB平臺(tái)實(shí)現(xiàn),CPU處理器為Intel(R) Core(TM) i7 2.3GHZ,內(nèi)存16GB。
利用上胎側(cè)3D點(diǎn)云數(shù)據(jù),截取2701行3200列數(shù)據(jù)矩陣,顯示為二維灰度圖像,結(jié)果如圖5(a)所示;顯示為二維亮度圖(二值化圖),結(jié)果如圖5(b)所示。圖像兩側(cè)的全黑區(qū)域?yàn)樵刂禐?的點(diǎn),用于保證掃描輪胎區(qū)域的完整性。
圖5 上胎側(cè)二維灰度和亮度圖
采用MATLAB平臺(tái)中的surf函數(shù)繪制輪胎三維矩形圖像,圖6給出了上胎側(cè)的不同視點(diǎn)角度的三維矩形圖像。實(shí)驗(yàn)結(jié)果表明,所采集的輪胎3D點(diǎn)云數(shù)據(jù)可以有效顯示輪胎三維矩形圖像。通過(guò)對(duì)比圖6(d)的俯視圖和圖6(a)中的二維灰度圖可知,所顯示的三維矩形圖像與二維灰度圖像內(nèi)容具有一致性。
圖6 不同視點(diǎn)情況下輪胎三維矩形圖像
為了驗(yàn)證輪胎三維矩形圖像轉(zhuǎn)換成三維圓形圖像的效果。圖7給出了上胎側(cè)轉(zhuǎn)換完成后的三維圓形圖像,圖像已將全零區(qū)域切割,只保留了輪胎區(qū)域。圖7(a)為三維俯視圖,結(jié)果表明幾何坐標(biāo)變換方法可以有效地將三維矩形圖像轉(zhuǎn)換為三維圓形圖像;圖7(b)為不同視點(diǎn)下的三維圓形圖像,可以顯示輪胎花紋的不同高度,便于測(cè)量輪胎紋路寬度、深度等尺寸參數(shù)信息。
圖7 輪胎三維圓形圖像
將上胎側(cè)、胎冠、下胎側(cè)的三維圓形圖像進(jìn)行拼接,獲得整體輪胎三維圖像,結(jié)果如圖8所示。實(shí)驗(yàn)結(jié)果表明,本文方法可以有效實(shí)現(xiàn)輪胎三維圖像重構(gòu)技術(shù)。
圖8 整體輪胎三維圖像
本文提出一種基于幾何坐標(biāo)變換的輪胎三維圖像重構(gòu)方法,首先利用輪廓儀采集輪胎3D點(diǎn)云數(shù)據(jù),讀取輪胎三維矩形圖像,然后采用一種幾何坐標(biāo)變換方法將三維矩形圖像轉(zhuǎn)換為圓形圖像,最后將上胎側(cè)、胎冠和下胎側(cè)的三維圓形圖像拼接,實(shí)現(xiàn)輪胎三維圖像重構(gòu)。實(shí)驗(yàn)結(jié)果表明,本文方法能夠有效實(shí)現(xiàn)輪胎三維圓形圖像轉(zhuǎn)換、輪胎三維圖像重構(gòu)等技術(shù)。