摘 要 針對機器人自動化打磨生產需求,設計線激光三維測量系統(tǒng)。以上位機為控制核心,選用線激光發(fā)生器與工業(yè)相機組成視覺采集模塊,工業(yè)機器人作為執(zhí)行機構。自主實現相機參數標定;研究線激光中心線提取算法,結合直線擬合、矩陣奇異值分解、平面擬合等數學原理,實現基于平面棋盤格標定板的光平面標定法;機械臂帶動視覺模塊采集圖像,上位機處理視覺信息,經過灰度化、圖像濾波、二值化等圖像預處理步驟,提取激光中心線,結合標定結果得到工件三維數據;上位機根據工件三維信息指引機器人加工工件,實現測量、加工一體化工作站。實驗結果表明:該系統(tǒng)在50~80 mm工作范圍內,最大誤差小于1 mm,滿足工件打磨等加工場景的應用需要。
關鍵詞 機器視覺 線激光 激光平面方程 相機標定 三維測量
中圖分類號 TP391.41" "文獻標志碼 A" "文章編號 1000-3932(2024)06-1061-09
隨著社會工業(yè)化水平的不斷提升,機器視覺在制造業(yè)中的應用愈加廣泛,極大地提升了制造業(yè)的生產效率以及工藝的復雜度。傳統(tǒng)的機器視覺系統(tǒng)多使用單目工業(yè)相機對環(huán)境信息進行采集,上位機處理圖像獲取工件的二維位置信息或固定高度工件的三維信息,但無法滿足焊接、分揀等領域的應用需求[1]。
目前,三維測量廣泛應用于工業(yè)產品質量檢測、零件三維輪廓測量、自動焊接等需要實體建模的領域[2]。獲取工件三維信息的主流策略有雙目相機法[3]、TOF法和線激光掃描法[4]。雙目相機系統(tǒng)由兩個相機組成,每個相機捕捉到的圖像稍有差異,這種差異被用于計算物體的深度信息。該方法對紋理豐富的物體具有較好的深度估計能力,但如果物體表面缺乏足夠的紋理,則雙目相機法難以準確計算視差,從而影響深度估計的精度,因此該方法在工業(yè)生產環(huán)境中實用性較差。TOF法原理為:測量從發(fā)射光脈沖到接收反射光脈沖所經歷的時間,該時間與物體的距離成正比,從而計算得到深度信息[5]。該方法不需要復雜的算法,但是需要精度很高的傳感器,另外環(huán)境光源也會對測量精度產生較大影響。線激光掃描法中,線激光照射在工件上,單目工業(yè)相機采集包含線激光條紋中心的圖片,然后結合中心線像素坐標與激光平面標定參數,計算出工件三維信息。該方法成本較低,并且可以根據具體的工作環(huán)境要求來調整線激光與相機規(guī)格,應用場景廣泛。
美國Cognex公司開發(fā)的工業(yè)三維掃描儀系列產品的工作距離為40~410 mm,z軸分辨率達到0.02 mm;TRAN T T和HA C K針對車輛生產裝配場景,提出了一種基于工業(yè)相機與多線激光發(fā)生器的非接觸式縫隙和平整度測量方法,完成了對車輛裝配過程中各工件三維信息的準確測量[6];瑞士Soudronic公司采用多線激光傳感器開發(fā)了一個焊縫跟蹤和飛濺監(jiān)測系統(tǒng),目前已應用于奧迪汽車激光焊接流水線,實現了可靠高效的焊接質量監(jiān)測[7]。
我國機器視覺發(fā)展也緊隨其后,合肥富煌君達公司生產的產品實現了工作距離為0.2~5.0 m的工件三維信息提取應用場景全覆蓋;梅卡曼德公司研發(fā)的Mech系列相機可以實現0.01 mm的分辨率,目前已經廣泛應用于3D視覺引導、外觀檢測等方面。
目前設計的三維掃描儀,大多采用線激光結合工業(yè)相機整體封裝,數據通過網絡接口對外傳輸。但在實際應用中,三維掃描儀是一個孤立的模塊,一般需要移動平臺來傳送工件,每到新的生產環(huán)境都需要重新進行標定,并借助額外的執(zhí)行機構協同工作,讀取模塊獲取的三維信息從而完成生產任務[8]。另外,在需要獲取工件三維信息的智能化制造領域,由于工作任務類型多種多樣,執(zhí)行設備也多種多樣,因此針對不同的儀器設備、環(huán)境條件,需要進行系統(tǒng)二次開發(fā)。為解決上述兩個問題,筆者自主構建線激光三維測量系統(tǒng),以上位機為核心,結合工業(yè)相機、線激光發(fā)射器、珞石工業(yè)機器人等硬件,自主編程設計上位機軟件子系統(tǒng),開發(fā)三維測量、加工全流程工作站,實現對指定類型工件的三維測量和打磨一體化。
1 線激光三維測量系統(tǒng)設計
線激光三維測量系統(tǒng)硬件主要包括:作為系統(tǒng)控制核心的上位機;以珞石XB7-R717型工業(yè)機器人為核心的執(zhí)行機構,取代傳統(tǒng)移動平臺;以工業(yè)2D相機、激光發(fā)生器為核心的影像采集子系統(tǒng)。
系統(tǒng)工作流程為:工業(yè)機器人帶動相機與激光發(fā)生器掃描工件,按照設定的采樣頻率與特征點識別個數采集包含工件表面三維信息的二維圖像,圖像信息通過TCP/IP通信協議發(fā)送給上位機的同時,工業(yè)機器人發(fā)送對應時間戳至上位機,由上位機調用圖像處理子程序,結合加工環(huán)境的標定結果,計算得到切面三維信息并轉換至世界坐標系。完整的掃描過程可以得出物體多組表面三維信息,最終得以實現工件表面在世界坐標系下的定位。上位機需要作為系統(tǒng)核心引導整個系統(tǒng)的工作流程。系統(tǒng)硬件結構與軟件結構如圖1所示。
2 圖像處理
圖像處理是機器視覺的基礎,涉及到對圖像進行數字化、分析和處理,使計算機能夠理解和解釋圖像。在線激光三維測量系統(tǒng)標定過程中,相機內外參標定、激光平面標定以及提取工件表面反射的激光中心線等步驟都需要用到對應的圖像處理方法。結合具體應用場景選取合適的處理策略,對標定工作與三維信息獲取的精度、抗干擾性等均具有重要作用。
2.1 圖像預處理
首先,進行灰度化[9]處理,將彩色圖像轉換為灰度圖像,減少后續(xù)的計算量,并去除色彩信息干擾;然后,應用濾波器去除噪聲,提高圖像質量,并通過自適應閾值法[10]進行圖像二值化,分離激光線與背景;最后,采用灰度重心法提取激光中心線的二維像素點集。良好的圖像預處理方法可以使系統(tǒng)在復雜的生產環(huán)境中準確提取工件特征信息,為后續(xù)加工過程提供可靠的數據基礎。
2.1.1 灰度化
灰度化是指將相機采集到的原始彩色圖像轉換為更利于圖像識別算法處理的灰度圖像。彩色圖像通常包含R、G、B這3個通道的像素值,而灰度圖像只包含單個通道的像素值,不體現環(huán)境色彩信息。彩色圖像相比灰度圖像雖然包含了更多的環(huán)境信息,但由于本系統(tǒng)要識別的關鍵信息為黑白棋盤格角點和激光中心線信息,只需要圖像的亮度信息,而色彩信息在當前應用場景下作用較小,此時通過將圖像灰度化,可以減少計算量和內存消耗,并減少光照、白平衡等因素帶來的數據噪聲[11]。本系統(tǒng)使用OpenCV圖像庫提供的顏色空間轉換函數獲得灰度圖像,以便進行下一步處理。
2.1.2 濾波
工廠生產環(huán)境復雜,圖像中可能存在各種類型的噪聲,如高斯噪聲、椒鹽噪聲等,而線激光傳感器的圖像質量嚴重依賴工件表面反射的激光線質量,噪聲會對線激光中心線的提取產生干擾,導致結果不準確。這些噪聲在數學特性上可以理解為圖像中非期望的隨機變化,可能由傳感器噪聲、信號傳輸或其他環(huán)境因素引起。通過應用適當的濾波器,對圖像中的高頻成分進行抑制或平滑處理,抑制噪聲對圖像質量和后續(xù)處理算法的影響,可以提高圖像的清晰度和準確性。
此外,濾波器可以通過增強或凸顯圖像中的某些頻率成分或結構特征來幫助提取感興趣的信息。不同類型的濾波器對圖像的不同頻率或空間特征進行增強,從而使這些特征更加突出、易于分析和識別[12]。例如,邊緣檢測濾波器可以幫助提取圖像中的邊緣信息,紋理濾波器可以突出圖像中的紋理特征。
本系統(tǒng)選用中值濾波實現圖像濾波。中值濾波器是將每個像素點周圍鄰域中的像素值進行排序,并將中間值作為該像素點的輸出值的一種非線性濾波方法。中值濾波對噪聲(尤其是脈沖噪聲、椒鹽噪聲等離散噪聲)具有較強的抑制能力,同時還能相對保持圖像中的邊緣和細節(jié)信息。中值濾波不像線性濾波(如均值濾波)那樣對整個鄰域的像素進行加權平均,而是選擇中間值作為輸出,這極大地避免了模糊邊緣和細節(jié)的問題[13]。中值濾波實現簡單、響應迅速,更符合本系統(tǒng)對圖像中激光中心線在清晰度方面的要求。圖2為掃描工件原始圖像,圖3a、b分別為該圖像的中值濾波與均值濾波結果。
2.1.3 二值化
圖像經灰度化、濾波等操作后,仍有無關激光中心線的其他區(qū)域背景,若要提取激光中心線,還需要將多余背景去除。圖像二值化是將圖像的像素值分為兩個離散的值,通常是黑色和白色,在計算機圖形學中表現為對應像素灰度值為0或255。激光線通常具有較高的亮度,而背景則相對較暗。通過將圖像進行二值化,可以將激光線與背景像素分離開來,使之在二值化圖像中形成鮮明對比。因此,選擇合適的二值化方法進行圖像分割,準確提取激光中心線,可為后續(xù)的圖像分析提供可靠的數據基礎。
常用的圖像分割方法包括邊緣檢測法、聚類法和閾值法[14]。邊緣檢測法對于具有明顯邊緣的圖像分割較為有效,但在噪聲較多或邊緣不清晰的情況下可能產生誤檢測。聚類法是一種無監(jiān)督學習方法,通過將像素分組成不同的聚類或類別來進行圖像分割。聚類法可以根據像素的特征相似性進行分割,但在處理復雜圖像時需要選擇合適的特征表示和聚類算法,復雜度較高。閾值法是圖像分割中最簡單和最常用的方法之一。它按照設定的一個或多個閾值對圖像的像素進行歸類,將圖像的像素分為不同的類別。閾值可以手動選擇,也可以自動選擇(如自適應閾值法)。閾值法實現簡單,計算效率高,適用于簡單的圖像分割任務。在本系統(tǒng)圖像分割場景中僅粗提取線激光,重點在快速性和適用性,因此采用自適應閾值法實現圖像二值化,能在保證快速性的同時更好地保留關鍵激光信息,有助于實現本系統(tǒng)所需的圖像預處理目標。
將圖像經過濾波操作后,進一步進行二值化處理,結果如圖4所示。
經過上述圖像預處理工作,得到了保留關鍵信息的預處理圖像,為后續(xù)的角點識別、中心線提取等工作奠定了基礎。
2.2 中心線提取
圖像預處理完成后,根據每張圖像中工件表面反射的激光線信息,得到二維像素點集,這些點集可以結合標定結果計算得到對應的三維點集,多組點集共同組成工件的三維點云。激光中心線二維信息識別的準確性,直接影響后續(xù)三維信息的獲取精度。
常用的激光中心線提取方法有邊緣法、細化法和灰度質心法[15]。邊緣法是直接以光條紋的一條邊緣(內邊緣或外邊緣)作為光條紋中心線,邊緣法處理速度快,但是誤差較大,因此要求圖像質量好且結構光特性高。對于一些大型物體的測量,由于其精度要求不高,故可以采用邊緣法。細化法是一種形態(tài)學處理方法,通過不斷地對光條紋進行腐蝕操作,迭代剝離光條紋邊界,最終得到單像素寬度的光條紋連通線,構成這一光條紋連通線的點即是工件切面的特征點。細化法是一種基于形態(tài)學的方法,它只提取光條紋骨架,而不考慮光條紋截面灰階分布的特征,因此通過細化法提煉出來的光條紋中心線容易受環(huán)境光和激光發(fā)生器照射角度的影響,其精確度有限。另外,細化法反復細化操作需要大量時間,使得提取算法的運算速度大幅降低。灰度質心法的原理是逐行掃描圖像,求解當前行的灰度質心坐標(xc,yc),該方法減小了光條紋灰度分布不均勻導致的誤差,提高了光條紋中心線提取精度,提取光條紋中心線時運算速度快、實時性好[16]。本系統(tǒng)對提取精度、響應時間均有較高要求,因此選用灰度質心法進行激光中心線提取,橫、縱方向灰度質心計算式如下:
x■=■" " " "(1)
y■=■" " " "(2)
其中,I(x,y)表示圖像在坐標(x,y)處的灰度值。
此外,二值化圖像可能會包含亮度過高的背景等無關信息,在這一步可以通過設置合適的輪廓面積閾值,進一步去除二值化圖像中的無關信息,得到線激光中心線,根據該中心線二維點集可求得工件對應表面區(qū)域的三維空間信息。對二值化圖像(圖4)進一步進行中心線提取,結果如圖5所示。
3 標定算法
3.1 系統(tǒng)坐標系關系
線激光三維測量系統(tǒng)各坐標系關系如圖6所示,其中各坐標系x、y、z軸分別用紅、綠、藍三色標注。為便于系統(tǒng)內部各坐標系標定關系說明,以o■-x■y■z■為世界坐標系(World),原點為工作臺一固定點,其z軸垂直于桌面豎直向上;o■-x■y■z■為基坐標系(Base),以機器人安裝基座為基準,原點為機器人底座中心;o■-x■y■z■為相機坐標系(Camera),其原點為工業(yè)相機CMOS中心,z軸垂直于CMOS平面坐標系;o■-x■y■z■為工具坐標系(TCP),其原點為工具中心點。
在掃描工件及加工過程中,o■-x■y■z■世界坐標系與o■-x■y■z■■■基坐標系相對位置不變,由工業(yè)機器人內置的標定工具可得到表明兩者相對關系的旋轉矩陣R與平移向量T;同樣可從機器人控制器得到o■-x■y■z■世界坐標系與o■-x■y■z■工具坐標系的關系;本系統(tǒng)為眼在手上模式,掃描工件過程中,o■-x■y■z■相機坐標系與o■-x■y■z■世界坐標系相對位置會發(fā)生變換,但在系統(tǒng)掃描工件過程中,相機僅在x軸或y軸水平方向移動,本系統(tǒng)實質上可以簡化為眼在手外的機器視覺系統(tǒng),結合掃描中記錄的機器人位姿數據與固定姿態(tài)下相機外參標定結果,即可實時得到相機坐標系與世界坐標系的關系,無需進行復雜的實時解算,極大地降低了計算成本[17]。
系統(tǒng)以世界坐標系為絕對參考?;鴺讼?、工具坐標系、世界坐標系的關系通過機器人控制器和高精度標定工具實現;而相機坐標系與世界坐標系的標定則依賴于標定算法。最終將相機坐標系下的工件三維點云轉換為具體加工點位,進行后續(xù)打磨加工。
3.2 標定意義
相機成像的過程實際上是將現實世界三維空間坐標系中的物體或場景映射到相機的成像平面上,這個平面是一個二維空間坐標系,通??梢允褂眯】壮上衲P蛠砗喕@個復雜的過程[18]。
一般,將相機二維平面像素坐標系到相機坐標系的變換矩陣稱為相機內參矩陣,相機坐標系與世界坐標系的變換矩陣稱為相機外參矩陣。
假設三維空間中有一點P,其在相機坐標系o■-x■y■z■中的坐標P■=[X■,Y■,Z■]T;其像點p在像素坐標系下的齊次坐標p=[u,v,1]T,兩者之間的變換關系如下:
■■■■=■X■Y■Z■=K■uv1" " "(3)
其中,K為內參矩陣;Z■是三維點P與相機成像平面在z軸方向的距離,當Z■不確定時,無法直接求解X■和Y■的具體值,只能得到它們與Z■之間的比例關系,以X′■、Y′■、Z′■表示。這意味著,給定像素坐標(u,v),其對應同一射線上無數個可能的三維點。
單目相機無法獲取物體深度信息,僅依靠相機內參標定結果無法將圖像中的工件二維特征點對應至三維空間,因此需要引入線激光發(fā)生器,組建線激光視覺模塊(圖7)。
在線激光視覺系統(tǒng)中,激光條紋具有兩個重要作用。首先,它在工件表面發(fā)生調制,反映工件的表面形狀變化,從而提供有關工件表面形狀的信息。其次,光條紋上的點滿足激光平面方程Ax+By+Cz=D,具體為:
Z■=■" " " (4)
繼而得到光條紋上的特征點對應的三維信息:
X■=■×Z■Y■=■×Z■Z■=■×Z■ (5)
根據式(4)、(5)即可實現對像素平面中工件特征點從二維到三維的轉換。
在相機內參標定的基礎上完成對線激光平面的標定,即可從圖像中得到工件特征點在相機坐標系下的三維信息。再結合相機外參矩陣,即可在上位機計算得到該點在世界坐標系下的精確信息[19]。隨后進行基坐標系、TCP坐標系與世界坐標系的機器人外部標定工作。最終由上位機向機器人發(fā)送空間坐標信息,指引機器人進行下一步的打磨、加工等操作。
3.3 相機標定
相機標定使用張氏標定法[20],相機在多種角度下拍攝固定位置的棋盤格標定板,獲得圖片中角點的二維信息,計算角點像素坐標與三維世界坐標的對應關系,得到相機的內參矩陣和畸變系數;然后在固定位置拍攝棋盤格,求得相機外參矩陣。相機的內參矩陣主要與相機焦距、像素尺寸等內部特性參數有關,外參矩陣則表征相機坐標系相對于世界坐標系的空間位置。
角點是圖像處理和計算機視覺領域中的一個重要概念,它是指圖像中突出的、明顯的、角狀或邊界交匯點的像素位置。這些角點通常是由兩個或多個邊界或紋理區(qū)域交匯而產生的,因此它們在圖像中具有獨特性質,廣泛應用于相機標定領域[21]。本系統(tǒng)相機內外參標定、激光平面方程標定均需要以檢測棋盤格角點為基礎。筆者采用OpenCV庫提供的Harris算法進行棋盤格角點識別,結果如圖8所示。
對于相機內參與外參標定的具體方法,攝像機需要在兩個以上不同的位置對同一棋盤格標定板進行拍攝,棋盤格標定板方格的角點即為標定點,具體步驟如下:
a. 對相機在不同位姿下拍攝的棋盤格標定板圖片,提取該位姿下對應的角點集合,得到該位姿下單應性矩陣H。
b. 無論相機在何種位姿下,相機內參恒定。通過計算至少兩個不同位姿的棋盤格標定圖片各自對應的單應性矩陣H■,即可組合計算求解得到內參矩陣K。
c. 利用一個模板圖像的單應性矩陣H和已知的內參矩陣K,求解該圖像所對應的相機位姿下的世界坐標系與像機坐標系間的外參矩陣。
經過上述步驟得到在相機固定位姿下,系統(tǒng)中像素坐標系到世界坐標系的轉換關系,用矩陣表示如下:
uv1=f■ 0 c■0 f■ c■0 0 1R■ R■ R■ t■R■ R■ R■ t■R■ R■ R■ t■ 0" "0" "0" "1X■Y■Z■ 1" (6)
其中,c■、c■為相機主點相對于像素坐標系的坐標;f■、f■表示相機在x和y方向上的焦距;元素R■組成的矩陣表示相機坐標系與世界坐標系的旋轉關系;t■、t■、t■表示相機坐標系與世界坐標系的平移關系。
使用OpenCV提供的標定工具箱初步得到原始參數值,隨后應用最大似然估計來精確校正參數,得到本系統(tǒng)中相機內參矩陣K以及相機在初始掃描位置的外參矩陣E分別為:
K=4945.64" 0.00" "638.75 0.00 4944.68 512.96" "0.00" " 0.00" " 1.00" " (7)
E=-0.99 -0.02" 0.01" " 2.15-0.02" 0.99" 0.03" "25.24-0.01" 0.03 -0.99 425.03 0.00" "0.00" "0.00" "1.00" "(8)
3.4 激光平面標定
傳統(tǒng)的單目視覺系統(tǒng)只能獲取工件的二維信息,本系統(tǒng)視覺模塊引入線激光協同單目相機工作,可以實現對任意高度、姿態(tài)下工件三維信息的獲取。相機在不同方位拍攝M對關閉激光的棋盤格圖片以及對應開啟激光的圖片,每對照片都可以經角點檢測得到角點集合,有N行角點,進一步得到每行角點所在的直線與激光線的交點,將這些交點組合為三維點集,N組三維點集結合其各自對應的外參,統(tǒng)一至相機坐標系下,平面擬合得到相機坐標系下的激光平面方程。
以第1行角點線交點為例。記第1行角點中前三點分別為A■、B■、C■,角點線與激光線交點記為D■,其對應像點為d■。由于棋盤格內格邊長固定,可得A■、B■、C■點在世界坐標系o■-x■y■z■下的三維坐標以及D■點在相機坐標系下的y、z軸坐標,具體過程如下。
角點檢測得到第1行角點像素坐標,擬合第1行角點構成的直線l■與激光骨架信息構成的直線l■,計算兩直線交點,得出d■點像素坐標。同理,得出各行角點線與激光線的交點d■。
D■點在y、z方向的三維信息已存儲,通過交比原理計算D■點在世界坐標系下x方向的坐標為:
Cr=■" " "(9)
X■=■" (10)
其中,Cr表示交比;X■、X■、X■、X■表示A■、B■、C■、D■這4個點在世界坐標系下x軸的坐標。
同理,得出各行角點線與激光線的交點D■,記錄為點集D={D■,D■,D■,…,D■}。
重復處理M對圖片,結合各自外參矩陣,得到相機坐標系下M×N個激光平面上的三維點集合,擬合得出激光平面方程。
最終,求解得出本系統(tǒng)激光平面方程為3.653x+0.213y-z+281.169=0。
4 線激光三維測量系統(tǒng)實驗
搭建實物系統(tǒng)平臺(圖9),測試系統(tǒng)運行效果。對藍色平衡梁工件按照10 mm的采樣間隔掃描,得到點云結果如圖10所示。
使用機器人示教器控制機器人帶動視覺模塊,分別對平衡梁工件在不同截面高度下拍照采樣,計算對應高度信息,平衡梁三維測試結果見表1??梢钥闯?,系統(tǒng)在50~80 mm測量范圍內,最大誤差在1 mm以內,平均誤差0.48 mm,最大相對誤差1.48%,在后續(xù)的打磨加工環(huán)節(jié)中,重點在去除平衡梁工件表面的凸起或毛刺,系統(tǒng)的三維測量結果滿足加工環(huán)節(jié)的精度需求。
5 結束語
筆者設計了一種適用于機器人自動打磨的三維測量系統(tǒng),介紹了面向機器人打磨的線激光三維測量系統(tǒng)的設計思想、技術路線、實現方案。完成了系統(tǒng)內部各坐標系關系的分析;設計了一種操作簡單、適用廣泛的相機標定及激光平面標定算法;通過自主設計的上位機軟件系統(tǒng)以及基于TCP協議的局域網通信,實現了系統(tǒng)各個模塊協同工作,完成了三維測量、加工一體式工作站的開發(fā)。該系統(tǒng)具有三維測量功能,可以在50~80 mm的測量范圍內將最大測量誤差控制在1 mm以內,滿足打磨加工環(huán)節(jié)的精度需求,基本達到項目預期的各項性能指標。
參 考 文 獻
[1] 方志強,熊禾根,肖書浩,等.基于單目視覺多種平面尺寸的規(guī)則工件測量系統(tǒng)[J].機械設計與制造,2020(11):241-245;249.
[2] 孔強,黃元鳳,李彥樺,等.常壓儲罐表面形貌視覺檢測機器人技術研究[J].化工自動化及儀表,2021,48(4):335-341.
[3] 黃及遠,李敏,謝兵兵,等.雙目視覺關鍵技術研究綜述[J].制造業(yè)自動化,2023,45(5):166-171.
[4] 董潔,王宗平,歐登熒,等.基于線激光掃描的葉片三維型面重構方法[J].四川大學學報(自然科學版),2023,60(3):104-111.
[5] 王世程,于微波,楊宏韜.TOF相機深度數據測量中的空間配準方法研究[J].組合機床與自動化加工技術,2020(7):55-59;64.
[6] TRAN T T,HA C K.Non-contact Gap and Flush Measurement Using Monocular Structured Multi-line Light Vision for Vehicle Assembly[J].International Journal of Control,Automation,and Systems,2018,16(5):2432-2445.
[7] LAHDENOJA O,S?魧NTTI T,POIKONEN J K,et al.Embedded processing methods for online visual analysis of laser welding[J].Journal of Real-Time Image Processing,2019,16(4):1099-1116.
[8] 張麗芳,陳素平,李坊平.三維視覺系統(tǒng)提升機器人激光焊接效率[J].金屬加工(熱加工),2014(10):42-44.
[9] 李春陽.彩色圖像灰度化及其效果的客觀評價方法研究[J].流行色,2021(12):93-95.
[10] 趙世峰,何皙健.基于OpenCV的復雜環(huán)境下圖像二值化方法[J].電子測量技術,2018,41(6):55-59.
[11] 顧梅花,蘇彬彬,王苗苗,等.彩色圖像灰度化算法綜述[J].計算機應用研究,2019,36(5):1286-1292.
[12] 王科俊,熊新炎,任楨.高效均值濾波算法[J].計算機應用研究,2010,27(2):434-438.
[13] ZHU Y,HUANG C.An Improved Median Filtering Algorithm for Image Noise Reduction[J].Physics Procedia,2012,25:609-616.
[14] 黃旭,張世義,李軍.圖像分割技術研究綜述[J].裝備機械,2021(2):6-9.
[15] 冀振燕,宋曉軍,付文杰,等.激光光條中心線提取研究綜述[J].測控技術,2021,40(6):1-8.
[16] 曾超,王少軍,盧紅,等.線結構光光條中心提取算法[J].中國圖象圖形學報,2019,24(10):1772-1780.
[17] 鄧仕超,梅楓,高興宇,等.單目機器人手眼標定研究[J].組合機床與自動化加工技術,2021(12):53-57.
[18] 楊森,張壽明,劉亦興,等.基于同步定位與地圖構建的色彩追蹤智能小車系統(tǒng)[J].化工自動化及儀表,2022,49(4):492-501.
[19] 趙麗麗.基于OpenCV的三維重建系統(tǒng)研究[J].化工自動化及儀表,2018,45(5):396-398.
[20] LIU W Y,LI W J.A New Technique for Camera Calibration Using Circle Template[J].Key Engineering Materials,2011,1104(467-469):1917-1920.
[21] 趙文彬,張艷寧.角點檢測技術綜述[J].計算機應用研究,2006,23(10):17-19;38.
(收稿日期:2023-12-06,修回日期:2024-09-26)
Design of Line Laser 3D Measurement System for Robot Grinding SHI Shao-qian, WANG Xue-wu
(MOE Key Laboratory of Smart Manufacturing in Energy Chemical Process,East China University of Science and Technology)
Abstract" "Aiming at the robot’s auto-grinding production, a line laser 3D measurement system was designed. In which, having the host computer taken as the control core, and the line laser generator and the industrial camera employed to form visual acquisition module, and the industrial robot used as the actuator to calibrate camera parameters automatically; through investigating the laser centerline extraction algorithm and basing on the principles of mathematics like the straight line fitting, matrix singular value decomposition and plane fitting, the plane checkerboard-based optical plane calibration method was obtained. In addition, through making use of mechanical arm drive the vision module to collect images, employing the host computer to process visual information, adopting image preprocessing steps such as grayscale, image filtering and binarization, the laser center line was extracted and the workpiece’s 3D data was obtained through combining the calibration results; basing on the workpiece’s 3D information, the host computer guided the robot to process the workpiece and the workstation for both measurement and processing was realized. The experimental results show that, the system’s maximum error is less than 1 mm when the working range stays at 50 mm to 80 mm, which meets the application needs like the workpiece grinding and other processing.
Key words" "machine vision, line laser, laser plane equation, camera calibration, 3D measurement