錢程，蔣明

（蘇州科技大學土木工程學院，江蘇　蘇州　215011）

基于機器視覺的無線自動監(jiān)測系統(tǒng)設計

錢程，蔣明

（蘇州科技大學土木工程學院，江蘇蘇州215011）

針對工程中對遠程、長期、實時、自動監(jiān)測的需要，設計了一套基于機器視覺的無線自動監(jiān)測系統(tǒng)。在OpenWrt平臺上，根據無線路由器映射原理、Web服務器訪問原理以及MJPG-streamer的工作原理進行編程設計，實現了監(jiān)測端的實時采集與遠程無線傳輸；在LabVIEW平臺上，結合MATLAB的函數功能，設計了系統(tǒng)登錄、圖像預覽、區(qū)域選擇、循環(huán)采集、實時計算、數據可視化、自動報警等模塊；計算模塊根據圖像相關法、圖像處理技術等算法進行編程，實現了對全場應變、裂縫寬度等參數的監(jiān)測，并針對實際監(jiān)測中環(huán)境振動與變焦距的影響，提出了標定修正公式。文中給出了監(jiān)測鋁板全場應變與混凝土塊裂縫這兩個應用實例。

機器視覺；無線自動監(jiān)測；OpenWrt；LabVIEW；MATLAB

機器視覺近似于人眼視覺系統(tǒng)，可直接獲得物體的空間位置，而且結構簡單、便于使用，因而被廣泛應用于實驗力學、材料力學、工業(yè)檢測等諸多領域的監(jiān)測方面［1］。其中，Bales［2］將機器視覺方法運用到了三跨連續(xù)鋼橋的位移測量中；加拿大的Michel K.等［3］將數字圖像相關方法的位移場測量技術運用到鋼筋混凝土梁的剪切裂縫研究中；清華大學陳俊達等［4］采用數字圖像相關技術對橋梁連接節(jié)點進行全場變形測量，分析得到應力集中位置；張維峰等人［5］綜合圖像處理技術，采用Visual C++開發(fā)環(huán)境，研制出了一套適用于橋梁裂縫遠距離檢測的裂縫圖像識別軟件。

機器視覺作為監(jiān)測領域內一個新的方向，具有全場、非接觸、高精度的優(yōu)點，越來越廣泛應用于實際監(jiān)測中，但在實際的監(jiān)測應用中，機器視覺的監(jiān)測方法還沒有形成一個完整的監(jiān)測系統(tǒng)，使用比較單一，自動化程度、實時性、長期性、簡易性還有待提高，尤其在遠程監(jiān)測中的應用還不夠完善。由于遠程監(jiān)測大多采用有線連接，所以存在線路布設繁雜、接線麻煩、安裝代價大、后期維護耗費大、傳輸距離有限等問題。隨著計算機技術與通訊技術的發(fā)展，將機器視覺技術、嵌入式系統(tǒng)技術、無線通訊技術、基于TCP/IP的Internet技術結合應用成為了可能，從而為遠程監(jiān)測的提高提供了方案。2000年，AXIS制造了以Linux為平臺的無線攝像機，這種無線攝像機主要采用無線技術和嵌入式操作系統(tǒng)?，F在越來越多的無線模塊已被嵌入到網絡攝像機里，使無線控制與傳輸成為了可能［6-8］。2009年，華南理工大學將視頻服務器用于無人機的導航系統(tǒng)中，實現了對無人機飛行的控制［9］；2010年，西南交通大學開發(fā)出了基于嵌入式的運動物體自動跟蹤視頻監(jiān)控系統(tǒng)［10］。

該文結合機器視覺、無線傳輸技術以及軟件編程，設計了一套基于機器視覺的無線自動監(jiān)測系統(tǒng)。在監(jiān)測端構建了遠程無線采集系統(tǒng)，在監(jiān)控端構建了系統(tǒng)登錄、圖像預覽、區(qū)域選擇、循環(huán)采集、實時計算、數據可視化、自動報警等模塊，并在計算模塊構建了圖像處理的算法程序，最終實現了監(jiān)測系統(tǒng)的無線、自動、實時、數據可視化、自動報警等功能。

1　基于OpenWrt的遠程監(jiān)測端設計

1.1監(jiān)測端的硬件設計

系統(tǒng)的遠程監(jiān)測端由硬件系統(tǒng)和軟件系統(tǒng)兩部分組成，硬件系統(tǒng)的主要功能是能量供給、圖像采集以及為軟件開發(fā)提供平臺。硬件系統(tǒng)組成結構圖見圖1，它由以下幾部分組成:監(jiān)測攝像機，接口類型為USB2.0；TP-Link703N無線路由器，該路由器升級了內存和flash，為軟件開發(fā)提供平臺，控制圖像采集與無線傳輸；移動電源，輸出規(guī)格為5V/2A，直接為路由器供電，并儲存電量，而為移動電源充電的為太陽能電池，該電池帶USB充電頭，電性參數為5V/1 100mA。監(jiān)測端由無線路由器控制攝像機采集目標圖片，并以無線的方式進行遠距離傳輸。

圖1　監(jiān)測端硬件結構設計圖

1.2監(jiān)測端的軟件設計

OpenWrt是一個嵌入式的Linux系統(tǒng)，該系統(tǒng)可寫入文件，其內部包含了從工具鏈到內核，到軟件包，再到根文件系統(tǒng)的整個體系，可定制合適的應用軟件，并建立一個完整的嵌入式產品。

圖2為監(jiān)測端的軟件結構設計圖，監(jiān)測端是以OpenWrt系統(tǒng)為軟件開發(fā)平臺。首先設置OpenWrt的端口映射，將無線路由器映射到OpenWrt，再映射到192.168.1.1的8080端口上，則遠端對該廣域網服務端口的訪問將會被重新定位給通過IP地址指定的局域網服務器，即由8080端口轉接到192.168.1.1，實現遠程計算機與采集裝置的連接，然后客戶端通過HTTP協(xié)議向OpenW rt中的Web服務器發(fā)送請求信息，如mjpg_streamer-i"input_uvc.so-d/dev/video0"-o"output_http.so-p 8080-w/www/camwww"，服務器則調用相應的CGI程序來處理信息并啟動視頻服務器軟件MJPG-streamer，MJPG-streamer以功能塊為單位進行設計，而功能塊也被稱為組件，其中由輸入組件input_uvc中的input_uvc_so文件定義的函數調用攝像機采集圖片，并將圖片轉換和壓縮成JPEG格式圖像，然后由輸出組件output_http中的output_http.so文件定義的函數將壓縮后JPEG格式圖像以HTTP視頻數據服務流形式輸出，即http://IP:8080/？action=stream，傳送至遠端的瀏覽器中。

圖2　監(jiān)測端軟件結構設計圖

2　基于LabVIEW的系統(tǒng)監(jiān)控端設計與實現

2.1監(jiān)控端的總體設計

圖3為監(jiān)控端的結構設計圖，監(jiān)控端是以LabVIEW為軟件開發(fā)平臺，調用系統(tǒng)的硬件與軟件進行工作。LabVIEW利用IPCamera Adapter軟件與監(jiān)測端進行通信，將遠端的視頻流轉換為可調用的本地圖像，利用MATLAB Script節(jié)點調用MATLAB算法，實現圖像計算與數據可視化，并結合自身函數功能對系統(tǒng)各模塊進行設計。監(jiān)控端按運行的先后順序分為登錄模塊、監(jiān)測前的預覽模塊、監(jiān)測過程中的循環(huán)模塊。其中登陸模塊包含了系統(tǒng)登錄與監(jiān)測方向選擇；監(jiān)測前的預覽模塊里包含了圖像預覽與區(qū)域選擇；監(jiān)測過程中的循環(huán)模塊是監(jiān)測系統(tǒng)正式工作部分，主要分為圖像循環(huán)采集、圖像實時計算與結果可視化、系統(tǒng)自動報警。系統(tǒng)的監(jiān)測界面見圖4。

圖3　監(jiān)控端結構設計圖

圖4　監(jiān)控界面

2.2監(jiān)控端登錄模塊設計

系統(tǒng)的登錄界面見圖5，登陸模塊的設計是在大循環(huán)中嵌套一個事件結構，該事件結構的值改變量與登錄鍵相連，當輸入好信息后，按下登錄鍵則事件被觸發(fā)，該模塊開始循環(huán)運行，用戶名與密碼先后通過字符串比較語句進行比較驗證，驗證后該程序正式激活，否則一直循環(huán)。另外本系統(tǒng)針對多個方向的監(jiān)測，因此包含了多個子系統(tǒng)，這些子系統(tǒng)是根據LabVIEW動態(tài)調用子程序功能來實現的，在登錄界面可通過下拉菜單進行選擇調用。

圖5　登陸界面

2.3監(jiān)測前的預覽模塊設計

LabVIEW控制相機拍照并在前面板中顯示是利用NI-IMAQdx函數庫中各個函數來實現的。首先利用函數IMAQdx Open Camera來調用相機，然后由函數IMAQ Create為圖像采集創(chuàng)建圖像緩沖區(qū)，函數IMAQdx Configure Grab配置抓取屬性，最后函數IMAQdx Grab利用while循環(huán)結構從緩沖區(qū)循環(huán)抓取單張圖像，停止循環(huán)結構則結束預覽，并由函數IMAQdx Close Camera關閉相機。其中圖片顯示是利用Image Display從函數IMAQdx Grab的ImageOut處獲得該循環(huán)抓取的單張圖像，IMAQWrite File2函數同樣從該處獲取圖片，然后利用預設路徑以及連接字符串函數將名字字符串與格式字符串合并，實現對照片的保存與命名。手動選擇計算區(qū)域由MATLAB編程實現，利用函數imrect可選擇框圖區(qū)域，并由getPosition獲得區(qū)域坐標；利用函數ginput可雙擊鼠標選擇計算的特征點，并由函數floor獲得特征點坐標。

2.4監(jiān)測過程中的循環(huán)模塊

監(jiān)測過程為定時循環(huán)，該過程由while循環(huán)結構與時間函數來實現的。在采集模塊，遠程相機被調用需要一定的緩沖時間，所以在采集模塊使用一個For循環(huán)結構，使采集結構中的IMAQdx Grab循環(huán)指定次數后再抓取圖片，避免抓取到不穩(wěn)定的花屏圖像；另外該模塊將循環(huán)次數轉換成字符串并與圖片格式字符串相結合實現圖片的自動命名，其他編程與預覽采集圖片一樣。在計算模塊與數據可視化模塊，根據監(jiān)測方向不同分別進行設計，對于全場應變監(jiān)測，根據圖像相關法原理使用MATLAB進行編程，得到的數據自動保存，并以循環(huán)次數命名，同時使用MATLAB繪出全場應變云圖，特征點數據依據循環(huán)次數依次保存到預定數組，并利用LabVIEW圖表函數在前面板顯示；對于裂縫監(jiān)測，使用MATLAB編程計算，并在LabVIEW前面板中顯示裂縫二值圖與裂縫寬度隨時間變化曲線。在報警模塊，該模塊使用了一個條件結構，條件結構為真時通過SMTPEmail發(fā)送郵件，并與聲音及布爾燈函數形成比較結構，大于危險值時布爾燈亮并且發(fā)出報警聲；條件結構為假時該循環(huán)工作結束，進入下一個循環(huán)監(jiān)測。監(jiān)控端的程序框圖見圖6。

圖6　程序框圖

3　消除環(huán)境振動與變焦距的實時標定

圖7　標定與坐標換算過程

相機采集的圖片以像素為單位，需要根據標定換算為實際尺寸，另外由于相機變焦距和環(huán)境振動的影響，前后兩幅圖的標定和坐標會產生差異，所以本文提出了消除影響的修正公式。在監(jiān)測中從固定處向目標發(fā)射兩道平行激光，以激光斑點為參照物，如圖7所示，A、B為參考點，C為目標點，圖M為運動前的圖片，以圖M中的0點為參考原始點，A0與B0的實際距離為已知，由實際距離與像素距離比值獲得標定比例b0，然后可獲得各點相對于0點的實際距離坐標，見式（1）；圖N為目標移動后發(fā)生變焦距的圖片，圖N相對于圖M以一定的比例進行縮放，按上述方法可獲得各點相對于1點的實際距離坐標，另外參考點0與參考點1之間實際距離為兩幅圖片所對應的實際尺寸差值的一半，即縮放位移，見式（2）；圖P為相機發(fā)生變焦距和剛體位移后的圖片，A1相對0點的實際距離并未改變，根據b1和A1在圖P中的像素坐標，可獲得A1相對于點10的實際距離，再根據點1相對于點0的縮放距離、A1相對于點0的實際距離可獲得點10與點1之間的剛體位移。根據縮放位移、剛體位移、C1在圖P中的像素坐標以及尺寸標定比例即可獲得在變焦距和環(huán)境振動下C點相對原始參考點的實際坐標，見式（3）。

式中，b為尺寸比標定比例；L實為激光斑點的實際距離；x、y為圖片中的像素坐標；X、Y為目標點相對于原始參考點的實際坐標；L、H為圖片的像素尺寸；us、vs為縮放位移；ug、vg為攝像頭的剛體位移。

4　全場應變監(jiān)測的實現

該系統(tǒng)應用于全場應變監(jiān)測時，在登錄界面選中全場應變監(jiān)測方向進行登錄，見圖8。系統(tǒng)會自動調用全場應變的子程序，該子程序是在計算模塊中嵌入了圖像相關算法，該算法由MATLAB編程實現。

4.1圖像相關法原理及精度分析

數字圖像相關方法是根據物體表面散斑圖像在變形前后的相關性來確定物體變形信息的一種非接觸測量方法［11］。假設圖像變形前后的灰度場分別為f（i，j）和g（i，j），將變形后圖像中待配區(qū)域沿圖像坐標逐點平移，計算變形前的子區(qū)域與變形后所有待配區(qū)域的相關系數，其中相關系數最大處的坐標表示圖像位移的方向和大?。?2］，其中相關函數為

圖像相關法的計算精度主要受環(huán)境因素與算法因素影響。環(huán)境因素中，散斑尺寸大小、數目以及分布密度影響物體特征的識別，光源的強弱影響圖片灰度分布，相機的擺放位置影響標定精度；算法因素中，亞像素插值函數、相關函數以及子區(qū)域的大小影響相關計算的精度，差分計算的方法影響應變的精度。該系統(tǒng)實際操作時盡量減小環(huán)境影響，并且亞像素插值采用三次樣條插值，應變差分采用最小二乘擬合的方法，位移計算精度可達到0.01像素，應變測量精度大約在100με左右。

4.2全場應變監(jiān)測試驗

在拉伸機上對鋁板進行拉伸試驗，使用文中監(jiān)測系統(tǒng)對試驗過程中的全場變形進行監(jiān)測。其中試件材質為A16061T6鋁板，厚度為3mm，寬度為12.5mm，長度為45mm，試驗的加載速度為1.2 mm/min，監(jiān)測系統(tǒng)的采集速度為10 s/幅。加載前的圖像預覽與計算區(qū)域選擇見圖9。

圖8　全場應變監(jiān)測啟動界面

圖9　選擇計算區(qū)域

圖10為監(jiān)測過程中監(jiān)控端的結果可視化圖，可視化圖中包含了鋁板拉伸過程的實時圖片、鋁板沿y軸方向的全場應變圖、特征點應變隨時間變化的關系曲線。當鋁板最大變形值超過預設閾值，報警燈亮，發(fā)出警報聲，并將全場應變數據發(fā)送到指定的郵箱。

圖10　監(jiān)測過程

5　裂縫寬度監(jiān)測的實現

該系統(tǒng)應用于裂縫監(jiān)測時，在登錄界面選中裂縫監(jiān)測方向進行登錄，見圖11。系統(tǒng)會自動調用裂縫的子程序，該子程序是在計算模塊中嵌入了裂縫圖像識別算法，該算法由MATLAB編程實現。

5.1裂縫圖像識別原理及精度分析

圖像中裂縫的識別是基于裂縫灰度小于背景灰度，將裂縫與背景分割開，提取裂縫信息的。其中由灰度對數拉伸與中值濾波對裂縫圖像進行預處理，根據最大類間方差法設定灰度閥值，將裂縫從圖像背景中提取出來，再將提取出的裂縫細化成只有一個像素寬的線條，線條的像素個數即為長度L，裂縫區(qū)域內的像素個數為面積S，裂縫寬度即為d=S/L［14］。

裂縫的計算精度主要受環(huán)境因素與算法因素的影響。環(huán)境因素中，裂縫邊緣的污跡等會對裂縫的識別產生干擾，光源與相機的影響與應變計算同理；算法因素中，灰度變換與濾波的優(yōu)劣決定排除干擾的程度，閾值分割算法直接影響裂縫提取的精度，圖像細化的精度決定裂縫長度的精度。該系統(tǒng)采用灰度拉伸、中值濾波、最大類間方差法等，精度可達0.2mm。

5.2裂縫監(jiān)測試驗

在拉伸機上對一塊帶裂縫的混凝土塊進行加載試驗，使用文中監(jiān)測系統(tǒng)對裂縫的擴展過程進行監(jiān)測。其中混凝土塊的長寬為55mm，厚度為30mm，試驗加載速度為0.5mm/min，系統(tǒng)采集速度為10 s/幅。加載前的圖像預覽與計算區(qū)域選擇見圖12。

圖12　選擇計算區(qū)域

圖13為監(jiān)測過程中監(jiān)測端的實時監(jiān)控狀況，包括混凝土裂縫擴展的實時照片、裂縫與背景分割后的二值化圖形、裂縫寬度隨監(jiān)測時間變化的關系曲線。當裂縫寬度達到報警閾值時，報警燈亮，發(fā)出警報聲，并將裂縫的數據發(fā)送到指定的郵箱。

圖13　監(jiān)測過程

6　結語

該文在遠端對硬件與軟件進行設計，實現了監(jiān)測端的實時采集與遠程無線傳輸；在LABVIEW平臺上進行開發(fā)設計，調用了系統(tǒng)的硬件與軟件，實現了對系統(tǒng)登錄、圖像預覽、區(qū)域選擇、循環(huán)采集、實時計算、數據可視化、自動報警等模塊的設計；計算模塊利用消除環(huán)境振動與變焦距的修正標定公式、圖像相關法以及圖像處理技術進行編程，實現了對圖像中變形數據的提取，并以鋁板拉伸試驗與混凝土壓縮試驗為例，表明該系統(tǒng)實現了實時性、自動化、遠程無線傳輸、監(jiān)測結果可視化、自動報警等功能，為遠距離全場應變、裂縫寬度等參數的獲取提供有效的監(jiān)測方法。

［1］章毓晉.圖像工程（上冊）圖像處理和分析［M］.北京:清華大學出版社，2000.

［2］BALESF B.Close-range photogrammetry for bridgemeasurement［J］.Transportation Research Record，1984（1）:39-44.

［3］MICHEL K，JOLIN M，BASTIEN J，et a1.Digital image correlation analysis of crack behavior in a reinforced concrete beam during a load test［J］. Journal of Civil Engineering，2006，33（11）:1418-1425.

［4］CHEN JD，JIN G C，MENG L.Applications of digital correlation method to structure inspection［J］.Tsinghua Sci&Tec，2007，12（3）:237-243.

［5］張維峰，劉萌，楊明慧.基于數字圖像處理的橋梁裂縫檢測技術［J］.現代交通技術，2008，5（5）:34-36.

［6］劉宇.基于嵌入式系統(tǒng)的視頻采集與無線傳輸系統(tǒng)的設計與實現［D］.銀川:寧夏大學，2014.

［7］趙冰，霍春寶，李巖松.基于嵌入式Linux的3G無線視頻監(jiān)控系統(tǒng)［J］.應用天地，2013（3）:56-58.

［8］危思思.基于OpenWrt開源平臺的移動智能裝備［D］.杭州:浙江大學，2014.

［9］陳亮.基于RTSP協(xié)議的實時視頻服務器實現［J］.網絡與通信，2009，5（5）:62-65.

［10］張科.嵌入式運動物體自動跟蹤視頻監(jiān)控器的設計實現［D］.成都:西南交通大學，2010.

［11］PETERSW，RANSON F，SUTTON M.Application of digital correlationmethods to rigid bodymechanics［J］.Opt Eng，1983，22（6）:738-742.

［12］胡浩，梁晉，唐正宗，等.數字圖像相關方法測量金屬薄板焊接的全場變形［J］.光學精密工程，2012，20（7）:1636-1644.

［13］吳太廣.數字圖像相關方法及其應用研究［D］.長沙:長沙理工大學，2010.

［14］王靜，李鴻琦，邢冬梅，等.數字圖像相關方法在橋梁裂縫變形監(jiān)測中的應用［J］.力學季刊，2003，24（4）:512-516.

The design of the wireless and automaticmonitoring system based on robot vision

QIAN Cheng，JIANGMing
（School of Civil Engineering，SUST，Suzhou 215011，China）

As to the need of the remote，long-term，real-time，automaticmonitoring system in the project，the paper designs a wireless and automatic monitoring system based on themachine vision.The programming design is made according to the wireless routermapping principle，the server access principle and the working principles of the MJPG-streamer，which helps realize the real-time collection and the remote wireless transmission at the monitoring terminal on the platform of OPENWRT.The modules such as system login，image preview，regional selection，cycle collection，real-time computation and data visualization，automatic alarm，etc.are designed by combining the functionality of MATLAB on the platform of LABVIEW.The calculation module carries out the programming according to the image correlation method and image processing technology，and implements the monitoring of parameters in full strain and crack width.Based on the effects of the ambient vibration and zooms in the practical monitoring，the correction formula is proposed.Two application examples of full strain of the monitoring aluminum plate and the crack width of the concrete block are also given in this paper.

machine vision；wireless and automaticmonitoring；OpenWrt；LabVIEW；MATLAB

TU198

A

1672-0679（2016）03-0028-07

2016-04-25

國家自然科學基金項目（11172193）

錢程（1990-），男，安徽蕪湖人，碩士研究生。

通信聯系人:蔣明（1961-），女，教授，博士，主要從事結構工程與光測力學的研究，Email:jiangming@mail.usts.edu.cn。

（責任編輯:經朝明）