李鵬飛，王云飛，盧榮勝

(合肥工業(yè)大學儀器科學與光電工程學院，安徽合肥 230009)

0 引言

近年來，人們對圖像圖形信息的要求日益增高，主要表現(xiàn)為三維圖像圖形信息的獲取[1]。物體形狀測量是對物體的定位，三維輪廓測量技術(shù)在逆向、產(chǎn)品設(shè)計、目標檢測等領(lǐng)域應(yīng)用廣泛[2-5]，涂膠工藝是汽車在涂裝車間的重要工藝，隨著各種新型車引入，涂膠工藝變得越為復(fù)雜[6]。傳統(tǒng)涂膠軌跡采用人工抽檢的方法，用游標卡尺測量其寬度、高度等三維信息[7]。該方法測量不準確，容易使膠體變形，效率低。趙宇龍等[8-10]使用Predator 3D來檢測汽車膠體，效果不錯，但其使用的視覺檢測系統(tǒng)價格昂貴、匹配性差，沒有做到自主研發(fā)。本文從實際應(yīng)用出發(fā)，設(shè)計搭建了一套膠體三維檢測的信號采集系統(tǒng)，其基于小圖像的采集、傳輸中心線方法具有速度快、效率高、結(jié)構(gòu)簡單等優(yōu)勢，在復(fù)雜環(huán)境下也可以有高的檢測精度[11]。本文分析了雙目視覺信號采集方案設(shè)計，對系統(tǒng)圖像采集、處理、發(fā)送進行介紹，并對關(guān)鍵問題和解決辦法進行了闡述。

1 總體設(shè)計方案

雙目視覺信號采集系統(tǒng)基于TX2的Linux系統(tǒng)平臺，采用2個雙目板級相機提供了4路相機的采集，同時每路相機配備一個線激光器，以此形成了4路線結(jié)構(gòu)光采集系統(tǒng)，滿足了實時雙目采集的要求。系統(tǒng)結(jié)構(gòu)圖如圖1所示。采集系統(tǒng)結(jié)構(gòu)包括待采集層、圖像采集層、圖像處理層、PC機處理層。待采集層為線結(jié)構(gòu)光打射在物體上；圖像采集層包括4路相機，工作模式為其中2路相機對線結(jié)構(gòu)光進行拍攝采集；圖像處理層將采集圖像中的線激光條提取中心線；PC機處理層為PC機通過以太網(wǎng)接收圖像處理層發(fā)送的中心線坐標。系統(tǒng)工作流程圖如圖2所示。采集的工作流程為：在TX2系統(tǒng)下使用設(shè)計的界面設(shè)置相機采集參數(shù)以PWM觸發(fā)其中一個雙目板級相機。每采集1幀圖像后會對圖像中的線激光條提取中心線。若TX2與PC機通過以太網(wǎng)建立連接，則將提取的中心線坐標存儲到一定大小后以數(shù)據(jù)包的形式發(fā)給PC機。PC機接收到數(shù)據(jù)后并進行拆包操作，將每幀圖像的中心線坐標拆分出來，等待后續(xù)處理。

圖1 信號采集系統(tǒng)結(jié)構(gòu)

圖2 系統(tǒng)工作流程圖

2 系統(tǒng)硬件介紹

采集系統(tǒng)核心使用了NVIDIA TX2，其內(nèi)部有四核ARM A57以及256顆CUDA核心。豐富的內(nèi)核資源滿足了系統(tǒng)采集高幀率的要求，CUDA核心為后續(xù)提高圖像處理速度提供了保障。千兆以太網(wǎng)可以實時地將采集信號發(fā)送至上位機。2路USB3.0和2路USB2.0支持了2個板級相機以及鍵盤鼠標的連接。HDMI滿足了連接顯示器的要求。

相機使用了板級工業(yè)相機VEN-134-90U3M-D NIR，其通過FPC軟排線靈活地與2個成像板連接。TX2使用一個引腳輸出PWM對相機進行觸發(fā)采集。此外TX2通過USB3.0與板級相機連接進行圖像傳輸。線激光器光面角度為30°，工作距離為150 mm，線寬為1 mm。

3 相機采集設(shè)計

相機工作模式分3種：連續(xù)采集、軟觸發(fā)采集、外觸發(fā)采集。本系統(tǒng)采用了外觸發(fā)采集模式。使用1個輸出PWM的引腳以及1個USB3.0口即可對雙目板級相機進行觸發(fā)采集。雙目相機采集的圖像通過1個USB口同步傳輸至TX2系統(tǒng)。4路相機采集使用了2個PWM引腳以及2個USB3.0口，極大地節(jié)省了接口資源，縮小了系統(tǒng)的體積。

3.1 雙目相機采集參數(shù)設(shè)置

相機采集參數(shù)眾多，其中包括圖像分辨率、數(shù)據(jù)格式、采集模式、觸發(fā)模式、曝光、增益、帶寬等[12]。該系統(tǒng)設(shè)計了圖像分辨率、采集模式、觸發(fā)模式、曝光、幀率、帶寬等參數(shù)，雙目相機的參數(shù)統(tǒng)一設(shè)置，使用相機自帶SDK開發(fā)設(shè)計。參數(shù)設(shè)置如表1所示。系統(tǒng)中相機的采集模式為連續(xù)采集。觸發(fā)模式為外部觸發(fā)，使用TX2一個引腳輸出PWM給相機上升沿連續(xù)觸發(fā)采集。幀率設(shè)置為140 fps。為了滿足相機采集幀率，其對應(yīng)的曝光時間設(shè)置為2 ms。圖像分辨率通過ROI設(shè)置為640×480(雙目)。帶寬設(shè)置為20 000 000 Bps。

表1 雙目相機采集參數(shù)設(shè)計

3.2 相機觸發(fā)采集設(shè)計

相機觸發(fā)采集設(shè)計如圖3所示。首先設(shè)置相機采集模式為連續(xù)模式，打開外部觸發(fā)模式，最后發(fā)送開始采集命令[13]。TX2輸出PWM給相機外部引腳，當相機引腳檢測到輸入上升沿時即觸發(fā)一次采集命令。隨后相機開始采集一幀圖像幀1。當檢測到下一個上升沿，即開采下一幀圖像幀2。當采集到幀N時對相機發(fā)送停止采集命令，之后相機便停止了圖像采集。

圖3 相機圖像采集流程圖

3.3 相機圖像采集工作流程

相機圖像采集流程圖如圖4所示。首先構(gòu)造相機類對象，然后初始化相機函數(shù)庫，之后根據(jù)相機的序列號選擇打開的雙目相機，隨后設(shè)置相機的采集模式和觸發(fā)模式以及其他相機參數(shù)(曝光、分辨率等)。待發(fā)送開始采集命令后，TX2輸出PWM給相機。相機識別到一個上升沿后便會采集一幅圖像。最后從回調(diào)函數(shù)中調(diào)取采集的圖像進行后續(xù)處理。

圖4 相機圖像采集流程圖

4 軟件系統(tǒng)設(shè)計

軟件設(shè)計包括TX2系統(tǒng)界面設(shè)計、PC機界面設(shè)計、中心線提取設(shè)計、以太網(wǎng)傳輸數(shù)據(jù)設(shè)計。

4.1 TX2系統(tǒng)操作界面設(shè)計

QT是跨平臺圖像界面程序開發(fā)框架，其在Linux系統(tǒng)以及Windows系統(tǒng)都具有友好的支持與操作簡單的特性。QT Embedded是為嵌入式設(shè)備上的圖形用戶接口和應(yīng)用開發(fā)而訂作的C++開發(fā)工具包，QT Embedded為本系統(tǒng)的設(shè)計提供了便捷方式。

基于QT Embedded的應(yīng)用程序開發(fā)是比較復(fù)雜的過程，需要對Linux操作系統(tǒng)、C++和交叉編譯等很多內(nèi)容的熟練掌握。本文中Linux系統(tǒng)下設(shè)計的界面用于配置相機參數(shù)以及實時采集圖像的顯示。操作界面如圖5所示。其中“open”按鍵實現(xiàn)方法為在QT設(shè)計界面添加Push Buttons按鈕，修改名稱右鍵單擊選擇go to slot選項，在彈出對話框中選擇clicked()信號，至此就構(gòu)造了Push Buttons_clicked()槽函數(shù)，在槽函數(shù)中編寫需要運行的代碼即可[14]，其他按鍵設(shè)計類似于此?！皁pen”按鍵內(nèi)容為打開相機并初始化相機采集曝光、幀率、圖像大小等信息以及PWM輸出頻率、占空比?！癱lose”按鍵為關(guān)閉相機及激光器設(shè)備，其涵蓋了關(guān)閉相機采集命令、關(guān)閉相機函數(shù)庫命令以及關(guān)閉PWM輸出命令?！皊ave_one_pic”按鍵為在采集過程中保存一幅圖像，其調(diào)用了相機SDK中保存1幀圖像的函數(shù)。

圖5 TX2系統(tǒng)操作界面

按鍵“trigger1”、“trigger2”為相機觸發(fā)控制參數(shù)，其輸入?yún)?shù)將會傳遞給PWM輸出占空比函數(shù)，實現(xiàn)方法為在QT設(shè)計界面添加QSpinBox，右鍵選擇valueChanged()槽函數(shù)，在槽函數(shù)中寫入需要實現(xiàn)代碼即可。其他輸入?yún)?shù)窗口編寫類似于此?！皃wmfre”為設(shè)置輸出PWN輸出頻率，其輸入?yún)?shù)將會傳遞給PWM輸出頻率函數(shù)?！癢idth”、“height”、“exposure”、“frame_rate”、“daikuan”分別表示采集圖像的寬度、高度、曝光、幀率、帶寬設(shè)置項，其輸入?yún)?shù)將會傳遞給相應(yīng)的控制輸出函數(shù)。message show窗口為打印出程序運行步驟到此窗口。show rate窗口顯示實時采集幀率，實現(xiàn)方法為在程序中開始設(shè)置定時器T1，在結(jié)尾處設(shè)置定時器T2，當兩者的差值為1 s時輸出所記個數(shù)。showimage窗口為顯示實時采集圖像，將采集處理的圖像調(diào)出來并實時顯示在界面上，其實現(xiàn)方法為定義Qlabel，將圖像轉(zhuǎn)換為Qimage形式在Qlabel顯示并實時刷新，顯示大小會根據(jù)圖像大小變化而變化。

4.2 PC機界面設(shè)計

PC機界面設(shè)計是為了接收TX2系統(tǒng)發(fā)送的采集信號，通訊協(xié)議為以太網(wǎng)。系統(tǒng)設(shè)計基于QT的應(yīng)用程序開發(fā)。操作界面如圖6所示。按鈕類、顯示類實現(xiàn)方法與TX2系統(tǒng)下的實現(xiàn)方法相同。按鍵“連接”的作用是與TX2系統(tǒng)建立以太網(wǎng)連接，其調(diào)用了TCP連接協(xié)議，包括IP地址的調(diào)用以及端口的寫入?！罢埱蟆卑粹o的功能是請求TX2系統(tǒng)發(fā)送采集信息，其背部函數(shù)為TCP發(fā)送特點字符串供TX2系統(tǒng)識別。“receiveCount”按鍵為TCP傳輸次數(shù)，“imageCount ”按鍵為接收圖像幀數(shù)，其實現(xiàn)方法是在程序中以定時器計數(shù)顯示的。

圖6 PC機操作界面

4.3 光條中心線的提取

圖像質(zhì)心計算是圖像處理中重要的環(huán)節(jié)，灰度質(zhì)心法原理是基于二值化分割，取閾值Z將圖像分成上、下2部分，對閾值Z以上部分進行高頻采樣，然后根據(jù)平面幾何中積分求質(zhì)心的原理計算其面積中心，以代替能量中心[15]。該方法具有穩(wěn)定性好、定位精度高、速度快等優(yōu)點，本文中采用該方法對光條中心線進行提取。

對于圖像中的線激光條紋，假設(shè)圖像的像素為m×n，(x0,y0)即為求得的質(zhì)心坐標值。假設(shè)所有大于閾值Z的像素坐標為(xi,yi)，其相應(yīng)的坐標灰度值fij。計算公式如式(1)、式(2)。

(1)

(2)

4.4 以太網(wǎng)數(shù)據(jù)傳輸

TCP是用于數(shù)據(jù)傳輸?shù)牡讓拥木W(wǎng)絡(luò)協(xié)議，在局域網(wǎng)、廣域網(wǎng)、互聯(lián)網(wǎng)中均可完美運行。此外其還具有一套完整網(wǎng)絡(luò)地址分配方案，所有TCP/IP設(shè)備在網(wǎng)絡(luò)中有唯一地址。該系統(tǒng)采用了QT中為TCP提供的接口QTcpSocket類[16]。

該系統(tǒng)中采集處理圖片并得到了中心線，TX2系統(tǒng)使用TCP協(xié)議將提取的中心線坐標發(fā)送到PC機。數(shù)據(jù)發(fā)送的程序流程圖如圖7所示，將采集處理后的中心線坐標存入向量vector中，在TCP打開的狀態(tài)下，處理完一幀圖像之后向vector讀取中心線坐標點并以x,y;的形式進行打包存儲。讀取1幀圖像中心線坐標之后接著判斷發(fā)送數(shù)據(jù)包Buff的大小是否滿足要求，如果不滿足要求則接著讀取下一幀圖像的中心線坐標繼續(xù)存儲至Buff中，每幀圖像的存儲以“<”區(qū)分開來。如果Buff大小滿足了要求之后將會把其內(nèi)容發(fā)送至PC端，Buff首字節(jié)為Buff大小。PC機接收到數(shù)據(jù)之后，拆包過程是打包過程的逆向操作。當PC機接收到數(shù)據(jù)之后首先判斷接收的數(shù)據(jù)大小是否足夠，如果不足則說明接收未完成繼續(xù)返回接收直到滿足數(shù)據(jù)大小。接著先對數(shù)據(jù)包中符號“<”進行分割，以此識別出的幀個數(shù)[17]。之后對于每幀圖像的坐標x,y;拆去其中的符號“，”和“；”，得到的每幅圖像坐標在PC機界面中顯示。

圖7 以太網(wǎng)數(shù)據(jù)收發(fā)程序流程圖

5 測試結(jié)果

打開TX2上位機界面與PC機上位機界面。在TX2界面上配置相機采集參數(shù)，設(shè)置圖像輸出大小為640×480(2幅圖，分左右2個，單幅圖為640×320)、曝光時間為2 ms、PWM輸出頻率均為140 Hz(即采集幀率為140 fps)，相機觸發(fā)占空比為2 000(50%)。配置完成之后打開相機并將激光器打在平面上，在PC機界面點擊連接。此時已經(jīng)開始了中心線坐標的提取與發(fā)送。實驗效果如圖8所示。

(a)激光線條

(b)TX2系統(tǒng)采集、處理效果圖

(c)PC機系統(tǒng)接收、顯示效果圖8 實驗采集、處理、發(fā)送結(jié)果

圖8(a)為線激光條實際效果圖。圖8(b)為TX2系統(tǒng)界面采集、處理效果。圖8(c)為PC機界面接收效果圖，在界面上定義一個全黑灰度圖，將接收到的坐標點以白色畫出，實時采集發(fā)送幀率為140 fps，采集處理圖像無丟幀失幀現(xiàn)象，發(fā)送數(shù)據(jù)包無丟包現(xiàn)象，穩(wěn)定性好，滿足了設(shè)計要求。

6 結(jié)論

針對膠體三維信息檢測面臨的缺失高幀率、采集實時性的問題，設(shè)計了一套雙目視覺信號采集系統(tǒng)，該采集系統(tǒng)具有4路線結(jié)構(gòu)光采集系統(tǒng)，實現(xiàn)了雙目實時信號采集。其中以嵌入式 NVIDIA TX2為核心詳細介紹了圖像采集、處理以及中心線坐標發(fā)送的全過程，結(jié)合了小型化硬件以及簡便的上位機界面，集成了一套小體積、高效率、方便操作和移動的采集系統(tǒng)。實驗測試表明系統(tǒng)穩(wěn)定性好，精度高，滿足了設(shè)計要求，為汽車關(guān)鍵部件膠體三維測量做好了充分準備，具有較好的實用價值。