劉呈龍，閆志鴻，盧振洋

（北京工業(yè)大學機械工程及應用電子技術學院，北京100124）

基于Linux嵌入式系統(tǒng)的焊縫激光結構光視覺傳感系統(tǒng)

劉呈龍，閆志鴻，盧振洋

（北京工業(yè)大學機械工程及應用電子技術學院，北京100124）

焊縫跟蹤是自動化焊接的關鍵。以ARM為開發(fā)平臺，在嵌入式Linux系統(tǒng)的基礎上開發(fā)了一套焊縫激光結構光的視覺傳感系統(tǒng)，體積小，成本低。經(jīng)過一臺網(wǎng)絡交換機將視覺傳感器模塊、傳感器人機交互模塊、機器人控制器模塊以及機器人手控盒模塊進行組網(wǎng)，形成了一個焊縫自動跟蹤網(wǎng)絡系統(tǒng)，便于設備的擴展和各個模塊之間的數(shù)據(jù)交換和共享。針對焊接中常用的V型坡口，采用簡化的hough變換圖像處理算法，得到了坡口激光結構光條紋的特征點位置。

嵌入式系統(tǒng)；視覺傳感；圖像處理；機器人；人機交互

0 前言

近年來，隨著工業(yè)水平的進步、焊接工業(yè)制品數(shù)量的提升，人們對焊縫質量的要求越來越高，焊接機器人逐漸成為焊接的主力軍，其中焊縫跟蹤是自動化焊接的關鍵。傳感器是決定整個系統(tǒng)跟蹤方式和跟蹤精度的首要因素[1-2]。目前，應用最廣的焊縫跟蹤系統(tǒng)包括接觸式傳感系統(tǒng)、電弧式傳感系統(tǒng)和基于視覺的傳感系統(tǒng)。視覺傳感技術在焊縫跟蹤系統(tǒng)中發(fā)展最為迅速，整個視覺傳感系統(tǒng)由三個部分構成：圖像采集、圖像處理以及焊槍的實時跟蹤。相比于其他兩種傳感方式，視覺傳感器的精度更高、實用性更強，所以成為研究的焦點。

德國Precitec公司、英國Meta公司以及加拿大賽融公司均開發(fā)了一系列用于焊縫跟蹤的視覺傳感器。加拿大賽融公司的TX/S&TX/P系列激光視覺傳感器采用可見光半導體激光和數(shù)字CMOS，橫向和高度的最高分辨率分別達到35 μm、60 μm[3]。國內(nèi)許多高校也在基于視覺的焊縫跟蹤領域取得了很多成果。中科院的研究人員利用基于DSP的圖像采集系統(tǒng)，以PLC作為焊槍的調(diào)整機構，建立了一套用于集裝箱薄板焊接的視覺焊縫跟蹤系統(tǒng)；山東建筑大學的范文利[4]等人基于PLC開發(fā)了一套角焊縫跟蹤系統(tǒng)。

以前，由于嵌入式芯片的技術不夠成熟，處理速度較慢，所以研究中多采用工業(yè)攝像機+PC的模式，這種方法不僅成本高，而且體積龐大不便于攜帶。隨著智能化技術的進步帶動芯片產(chǎn)業(yè)的發(fā)展，使得ARM技術有了長足的進步，處理速度大為提升，視覺傳感焊縫跟蹤系統(tǒng)的性能和效率有了很大提高[5]，基于嵌入式的焊縫跟蹤系統(tǒng)成為可能。嵌入式設備與傳統(tǒng)的設備相比，體積小、成本低、運算速度大大提高。而且現(xiàn)在小型攝像頭的成像質量越來越高，USB總線的傳輸速度也非?？?，使用價格較低的USB攝像頭就可以滿足研究需求。

本研究針對上述需求研發(fā)了一套基于ARM的圖像采集及處理系統(tǒng)，通過USB總線接口的攝像頭將圖像采集到傳感器上，經(jīng)過處理以后再經(jīng)過以太網(wǎng)與機器人控制器和人機交互界面進行數(shù)據(jù)交換。人機交互界面可以根據(jù)收到的數(shù)據(jù)實時顯示焊縫圖像，機器人控制根據(jù)收到的數(shù)據(jù)對電機的狀態(tài)進行調(diào)整。

1 焊縫激光結構光的視覺傳感系統(tǒng)

1.1 總體結構

基于激光結構光的焊縫視覺引導系統(tǒng)包括USB接口的視覺傳感器、圖像采集及處理器、網(wǎng)絡交換機、機器人控制器、焊槍糾偏機構、傳感器人機界面、機器人手控盒等，如圖1所示。

圖1 視覺傳感系統(tǒng)框圖

1.2 視覺傳感系統(tǒng)工作原理

首先，將激光條紋投射到焊縫坡口上，用USB攝像頭將坡口上的激光條紋采集到ARM處理器上，如圖2所示。采集的圖像像素大小為640×480，采集速度為30幀/s。圖像采集完成后通過USB總線將數(shù)據(jù)傳輸?shù)綀D像采集處理器上，在基于Linux嵌入式平臺下完成圖像處理，最后得到焊縫位置特征點的坐標。再通過以太網(wǎng)將數(shù)據(jù)發(fā)送到機器人控制器和傳感器人機界面，完成數(shù)據(jù)的傳輸和共享。

圖2 焊縫坡口成像示意

1.3 視覺傳感系統(tǒng)的軟硬件結構

焊縫視覺引導系統(tǒng)的USB攝像頭采用CMOS傳感器，最高像素可以達到300萬，圖像采集的最快速度30幀/s，傳輸接口采用USB2.0，具有更快的傳輸速度和兼容性。圖像采集及處理器芯片采用基于Cortex-A8架構的S5PV210，主頻1 GHz，運算能力可達每秒20億條指令集。傳感器人機界面通過網(wǎng)絡交換機與圖像采集處理器相連，核心處理器芯片為基于ARM11架構的S3C6410處理器，系統(tǒng)采用便于進行界面開發(fā)的Wince系統(tǒng)，既可設置傳感器參數(shù)，又能實時顯示圖像的狀態(tài)。機器人控制器通過網(wǎng)絡交換機與圖像傳感器相連，核心處理器為基于Cortex-M3架構的STM32芯片，網(wǎng)口硬件協(xié)議棧芯片采用W5500，可以根據(jù)接收的數(shù)據(jù)對電機姿態(tài)進行調(diào)整。而機器人手控盒主要負責機器人控制器的參數(shù)設置，采用的硬件平臺和操作系統(tǒng)與人機界面保持一致。

圖3為機器人控制器的設計框圖。

圖3 機器人控制器設計框圖

2 視覺傳感系統(tǒng)的軟件設計

2.1 Linux嵌入式操作系統(tǒng)移植

在嵌入式系統(tǒng)中應用較為廣泛的操作系統(tǒng)有Wince、Vxworks、uCOS、Linux等，其中Linux經(jīng)過多年的發(fā)展可以使用多種不同的CPU，其中包括ARM，支持多種硬件設備，具有強大的網(wǎng)絡功能[6]。代碼和內(nèi)核完全對外公開，而且內(nèi)核可以根據(jù)需要進行剪裁，經(jīng)過裁剪后的內(nèi)核大小和運算速度都有了很大提升，足以滿足傳感器對實時性的要求。所以選擇嵌入式Linux系統(tǒng)作為ARM的開發(fā)系統(tǒng)。

嵌入式Linux系統(tǒng)的移植主要包括：移植Linux內(nèi)核到ARM開發(fā)板、編譯Linux內(nèi)核并移植到ARM開發(fā)板、編譯根文件系統(tǒng)并移植到ARM開發(fā)板，在開始移植之前首先要完成交叉環(huán)境的編譯工作[7]。嵌入式Linux系統(tǒng)的移植過程如圖4所示。

圖4 嵌入式Linux系統(tǒng)的移植流程

由于嵌入式系統(tǒng)的資源有限，運算能力不高，所以要在PC上建立一套交叉編譯環(huán)境。交叉編譯是指在PC平臺上通過交叉編譯器編譯出可以在ARM平臺上運行代碼的過程。PC端的編譯環(huán)境為VM虛擬機+Ubuntu，本研究選擇的交叉編譯器為armlinux-gcc-4.3.2。首先，將交叉編譯器加壓到新建目錄下，并在/etc/profile文件中添加中環(huán)境變量。重啟系統(tǒng)，在終端里執(zhí)行arm-linux-gcc命令，終端出現(xiàn)提示信息表示交叉編譯器安裝成功。

研究用到的bootloader啟動程序為uboot 1.1.6。將壓縮包解壓到新建目錄下，進入ubbot源碼目錄，在終端里執(zhí)行命令：#makeforlinx_nand_ram128_config指令，編譯成功后在所建立目錄下生成u-boot.bin映像文件，它是用于嵌入式Linux的啟動文件。

Linux內(nèi)核是整個嵌入式操作系統(tǒng)的核心，負責整個系統(tǒng)的任務調(diào)度、進程管理、虛擬文件系統(tǒng)，影響著整個系統(tǒng)的穩(wěn)定性。Linux內(nèi)核龐大，在嵌入式系統(tǒng)的應用必須對Linux內(nèi)核進行配置以節(jié)省系統(tǒng)資源，提高運行效率。通過去掉一些外設支持、驅動支持、網(wǎng)絡支持、文件格式，可以大大減小內(nèi)核，提高系統(tǒng)的運行效率。本研究采用Linux 3.0.1版本的內(nèi)核。在shell終端下輸入Makemenuconfig命令進行內(nèi)核配置，在內(nèi)核中加入支持V4L的選項。在Multimedia devices配置中將V4L選項設置為Yes，點擊V4L，將V4L information in proc filesystem設置為Yes。將V4L加入到內(nèi)核以后，配置USB support選項。最后，保存并退出配置界面。接下來就是對內(nèi)核的編譯，執(zhí)行#make zImage命令，編譯完成后在新建目錄下就會生成Linux內(nèi)核的映像文件。

根文件系統(tǒng)是嵌入式Linux系統(tǒng)的重要組成部分，是內(nèi)核啟動時所掛載的第一個文件系統(tǒng)。常用的根文件系統(tǒng)包括：jffs2、rafs、nfs、yaffs2等，本研究所采用的文件系統(tǒng)為yaffs2。利用根文件系統(tǒng)制作工具，在終端中執(zhí)行命令：#./mkyaffs2image-nand2g FileSystem-Yaffs2 yaffs，所生成的yaffs2文件即是要移植到ARM上的根文件系統(tǒng)映像。

2.2 圖像采集模塊的軟件設計

圖像采集軟件是基于Linux的V4L2接口設計的，采集到的圖像格式為YUYV格式，最后將格式轉化為常用的RGB格式。圖像采集軟件的設計流程包括：第一，枚舉要訪問的攝像頭的設備。第二，讀取video_capability結構體中的信息，列舉攝像頭所支持的像素格式，設置所要采集圖像的像素格式。第三，申請若干個緩存區(qū)，獲取每個緩存區(qū)的信息并映射到用戶空間。第四，將申請到的幀緩沖區(qū)放到圖像采集隊列中，開始采集圖像。取出緩存中的圖像數(shù)據(jù)之后再將其放回圖像采集隊列中，循環(huán)完成圖像的采集工作。對采集到的圖像進行必要的格式轉換。第五，停止圖像采集，關閉設備，停止采集，釋放系統(tǒng)資源。

2.3 圖像處理模塊的軟件設計

圖像處理過程就是通過一定的方法對采集到的圖像信息進行加工，通過模式識別方式從圖像中

提取有用的控制信息，從而實現(xiàn)工業(yè)生產(chǎn)的自動化控制[8]。本研究將采集到的圖像在現(xiàn)有平臺上進行特定的算法處理，得到焊縫位置特征點的坐標。首先，將采集到內(nèi)存中的圖像像素點取出，然后利用圖像處理算法對像素點進行運算操作，經(jīng)過一系列運算之后可以求出焊縫位置特征點的坐標，再通過以太網(wǎng)將數(shù)據(jù)發(fā)送出去。

3 基于網(wǎng)絡的視覺傳感系統(tǒng)集成

3.1 傳感器人機界面設計

傳感器人機界面可以選擇坡口類型，可以設置焊縫間隙、板材厚度、前視距離等參數(shù)。通過以太網(wǎng)將設置好的參數(shù)發(fā)送到圖像采集處理器，圖像處理器根據(jù)不同的參數(shù)選擇適當?shù)膱D像處理算法。人機界面還能實時顯示激光條紋中心線的一系列坐標點，讓操控者對焊接環(huán)境有一個更加直觀的了解。

3.2 網(wǎng)絡拓撲結構的建立

設備之間的通信在焊縫激光結構光視覺傳感系統(tǒng)中起著非常關鍵的作用。串口通信距離短，傳輸速度較慢，而且只能實現(xiàn)一對一的傳輸，不利于多個功能模塊之間的數(shù)據(jù)傳輸和共享。近些年，網(wǎng)絡技術的發(fā)展使得以太網(wǎng)的傳輸速度有了很大提高，而且傳輸距離長，抗干擾能力強，而且可以進行組網(wǎng)操作實現(xiàn)數(shù)據(jù)的共享。

機器人控制器的以太網(wǎng)通信功能是通過W5500硬件協(xié)議棧芯片實現(xiàn)的。圖像采集及處理器上的以太網(wǎng)通信軟件是在Linux系統(tǒng)基礎上設計的，采用Socket進行數(shù)據(jù)的接收和發(fā)送。機器人控制器在W5500提供驅動程序的基礎上直接調(diào)用庫函數(shù)就可以完成數(shù)據(jù)的收發(fā)工作。W5500的軟件驅動程序設計如圖5所示。以太網(wǎng)通信常用的通信寫包括TCP、UDP，為了保證數(shù)據(jù)傳輸?shù)目煽啃?，本研究采取TCP通信協(xié)議，并采用Client/Server模式進行設計。將圖像采集處理器作為客戶端，機器人控制器作為服務器端。在圖像處理完成后圖像采集處理器進入等待連接狀態(tài)，當服務器接收接請求后，客戶端開始進行數(shù)據(jù)的收發(fā)工作。

圖5 W550軟件驅動程序設計流程

整個系統(tǒng)各個模塊之間采用的通信方式都是以太網(wǎng)通信，所以建立一個網(wǎng)絡拓撲結構十分重要。通過華為公司S1700-8G-AC型號的交換機將整個系統(tǒng)各個模塊組成一個星型網(wǎng)絡拓撲結構，各個模塊之間通過目標地址和端口號的不同將數(shù)據(jù)發(fā)送到指定模塊。星型網(wǎng)絡拓撲結構的網(wǎng)絡延時較小，傳輸誤差很低，而且便于維護，客戶端因出現(xiàn)問題而死機時也不會影響其他用戶之間的通信，所以這種結構對于集中控制各個模塊之間的通信具有非常大的優(yōu)勢。

4 圖像處理算法研究

圖像處理工作是在基于ARM平臺的嵌入式Linux系統(tǒng)下完成的，通過對圖像中的各個像素點進行操作完成對焊縫激光條紋位置特征點的求取。本研究要處理的焊縫圖像主要是針對厚板的V型坡口，如圖6所示。

圖6 厚板V形坡口焊縫

在嵌入式Linux系統(tǒng)基礎上基于V4L2的圖像采集設備驅動程序的接口，可以采集到YUYV格式的圖像數(shù)據(jù)，為了便于操作首先要將YUYV格式的圖像數(shù)據(jù)轉化成常用的RGB格式。其中YUYV格式

到RGB格式的轉換關系為：

焊接過程中環(huán)境較為惡劣，采集到的圖像的噪聲較多，所以對圖像進行去噪聲處理是必不可少的步驟，即對圖像進行閾值分割處理。首先，在圖像中設置一個較高的閾值。由于激光條紋的能量較高，所在位置的像素點的值也非常大。然后逐列掃描圖像文件將像素值低的點過濾掉，剩下的點即為激光條紋所在位置的像素點。

得到的彩色圖像的每個像素點由3個字節(jié)組成，對于圖像處理來說數(shù)據(jù)量較大，要占用非常多的CPU內(nèi)存空間，而且數(shù)據(jù)的精確度也不高。通過對圖像的灰度處理即將每個像素點的R分量取出，既可以減小圖像的體積也可以過濾掉一些干擾信號。進行灰度處理后的圖像如圖7所示。

圖7 焊縫坡口的灰度圖像

獲得焊縫激光條紋的灰度圖像之后，提取焊縫上激光條紋的上下邊界。首先，對圖像進行從上到下的逐列掃描，當遇到激光條紋的上邊界的高像素點時停止掃描，記錄下此時激光條紋上邊界所在的高度值。然后再由下向上逐列掃描可以得到圖像上激光條紋的下邊界高度，再與上邊界的高度值相加求平均值即可得到焊縫激光條紋中心線。以此類推，對圖像進行逐行掃描即可得到焊縫激光條紋中心線的一系列坐標點，將求得的中心線作為焊槍跟蹤的位置。圖8為焊縫坡口激光條紋的中心線。

圖8 焊縫坡口激光條紋中心線

得到要跟蹤的中心線以后，接下來就是求取特征點。通過對中心線數(shù)據(jù)的逐行掃描可以得到V型坡口的左右起始點和最低點。將激光條紋中心線擬合成四條直線，首先求取直線的截距和斜率，得知直線的方程，通過求解方程組獲得四條直線相交所形成的三個特征點。

Hough變換是圖像處理算法中一種常用的特征提取技術，通過對特定物體進行投票算法，通過計算累計結果的局部最大值作為Hough變換的結果，通過簡化的Hough變換可以求得直線的截距和斜率。從中心線的做起始點開始到最低點結束，取其中的兩個點并求取其斜率，然后變換步長再次計算，在求取的多個斜率值中將出現(xiàn)次數(shù)最多的作為要求取的斜率值，將不符合要求的斜率值過濾掉。將斜率值放大20倍，減小后續(xù)數(shù)據(jù)處理的誤差，再通過直線方程的逆運算可以得到直線的截距，為減小誤差，截距值做放大處理。Hough變換算法結束以后再將斜率和截距的值縮小回原型。以此類推，可以得到最低點左側水平直線方程、左側斜線方程、右側斜線方程、右側直線方程，將四條直線聯(lián)立求解即可得到焊槍跟蹤的位置特征點。圖9中所標注的三個點為所要求取的三個特征點。

圖9 焊縫坡口激光條紋特征點

5 結論

目前嵌入式技術取得了長足發(fā)展，本研究在該技術的基礎上構建了一套激光結構光視覺系統(tǒng)，并針對常見的焊縫V形坡口進行了圖像處理算法研究。

（1）在ARM平臺的嵌入式Linux操作系統(tǒng)下開發(fā)的焊縫激光結構光視覺傳感系統(tǒng)，處理器架構采用Cortex-A8，運算速度滿足實驗要求，嵌入式Linux系統(tǒng)的內(nèi)核經(jīng)過剪裁以后也滿足實時性的要求。整個系統(tǒng)集成后，體積更小，成本更低。

Page 65

Structure light vision sensing system of weld laser based on Linux embedded system

LIU Chenglong，YAN Zhihong，LU Zhenyang
（Department of Mechanical Engineering&Applied Electronics Technology，Beijing University of Technology，Beijing 100124，China）

The seam tracking become the key of automatic welding.Based on the ARM as a development platform，we has developed a laser weld structure light vision sensing system on the basis of embedded Linux system，smaller and costless.Form a weld automatic trackingnet systemwith Visual sensor module，sensors，human-computer interaction module，robot controller module and robot control box through a network switch,to facilitate the expansion ofthe equipment and data exchange and sharing between the various modules.In view of the"V"groove is commonly used in welding，use simplified hough transform image processing algorithms to get the feature point of the groove laser structured light stripe.

embedded system；visual sensing；image processing；robotics；human computer interaction

TG409

A

1001-2303（2016）10-0056-06

10.7512/j.issn.1001-2303.2016.10.11

獻

劉呈龍，閆志鴻，盧振洋.基于Linux嵌入式系統(tǒng)的焊縫激光結構光視覺傳感系統(tǒng)[J].電焊機，2016，46（10）：56-60，65.

2016-03-09

劉呈龍（1988—），男，河北保定人，在讀碩士，主要從事嵌入式系統(tǒng)研發(fā)、機器視覺、網(wǎng)絡通信的研究工作。