孫宏軍, 趙作霖, 徐冠群

(1.天津大學(xué) 電氣與自動化工程學(xué)院,天津 300072；2.天津市過程檢測與控制重點實驗室,天津 300072)

?

塔式起重機機器視覺監(jiān)控系統(tǒng)設(shè)計

孫宏軍1,2, 趙作霖1,2, 徐冠群1,2

(1.天津大學(xué) 電氣與自動化工程學(xué)院,天津 300072；2.天津市過程檢測與控制重點實驗室,天津 300072)

為解決各類施工現(xiàn)場以塔機運行過程中的安全問題，設(shè)計了一套基于視覺傳感技術(shù)的智能視頻監(jiān)控系統(tǒng)，根據(jù)實際需要，在嵌入式平臺上配合圖像傳感器和視覺跟蹤TLD算法，實現(xiàn)了對塔機吊臂運動軌跡的追蹤定位、判斷和預(yù)警。測試結(jié)果表明：系統(tǒng)的檢測率和正確率均能達到95 %以上。

塔式起重機； 機器視覺； TLD算法； 圖像傳感器

0　引　言

塔式起重機存在著碰撞等一系列安全隱患。鑒于塔機使用的普遍性以及潛在的事故可能性，國外學(xué)者做出了許多相關(guān)研究，塔機區(qū)域控制和防碰撞系統(tǒng)也相繼出現(xiàn)：新加坡的TAC-3000塔機防碰撞、區(qū)域保護系統(tǒng)通過32位CPU實現(xiàn)了128 bit的數(shù)據(jù)加密算法，用于實現(xiàn)塔機之間的數(shù)據(jù)無線交互[1]；日本大林組開發(fā)了基于GPS傳感器的3臺塔機防碰撞系統(tǒng)[2]；德國的Liebherr、法國的Potain等公司也通過引入激光、超聲等先進傳感器技術(shù)實現(xiàn)了對塔機運行狀態(tài)更加精確的測量。

國內(nèi)產(chǎn)品大多基于傳統(tǒng)傳感設(shè)備或安裝復(fù)雜，或功能簡單、智能化不足，基于計算機視覺、圖像傳感器測量技術(shù)的快速發(fā)展，本文提出了一種基于視覺傳感技術(shù)的安全監(jiān)控系統(tǒng)，為塔機吊臂的運行范圍劃定一片“安全區(qū)域”，即“電子圍欄”，通過在嵌入式平臺上運行TLD視覺跟蹤算法，對圖像傳感器采集到的視頻、圖形的關(guān)鍵信息進行分析處理，實現(xiàn)對塔臂運動軌跡的追蹤定位、判斷和預(yù)警，保障塔機安全作業(yè)的順利進行。

1　系統(tǒng)概述

1.1系統(tǒng)總體框架

設(shè)計系統(tǒng)總體框架如圖1，其中：1)圖像采集模塊：負責(zé)采集塔機視頻畫面，輸入至運算處理模塊；2)運算處理模塊：進行機器視覺智能算法識別運算和處理；3)用戶界面：經(jīng)運算處理模塊識別和處理的數(shù)據(jù)輸出并呈現(xiàn)給用戶，同時該模塊也負責(zé)接受用戶輸入;4)軟件部分又包括任務(wù)管理和線程管理等環(huán)節(jié)。

圖1　系統(tǒng)整體框架Fig 1　System overall framework

1.2系統(tǒng)功能模塊

傳統(tǒng)的視頻監(jiān)控系統(tǒng)均是基于PC或服務(wù)器平臺，在本設(shè)計中，結(jié)合其應(yīng)用現(xiàn)場性強的特點，提出了嵌入式塔機智能視頻監(jiān)控平臺，將顯示和控制部分用嵌入式軟硬件的方式實現(xiàn)，并包含智能機器視覺的模塊，形成一套“智能黑盒子”迷你系統(tǒng)。

嵌入式硬件平臺方案，實現(xiàn)了框架中提出的基本功能，嵌入式平臺基于ARM，硬件電路參考了開源硬件Beagle-Board—xM并進行合理優(yōu)化，整個系統(tǒng)封裝成智能視頻監(jiān)控盒，更適合于直接安裝在作業(yè)現(xiàn)場。

基于圖1的框架設(shè)計，根據(jù)系統(tǒng)需要實現(xiàn)的功能逐一細化為各功能模塊如圖2。

圖2　系統(tǒng)模塊設(shè)計Fig 2　System module design

其中主要功能模塊為：

1)視頻畫面采集模塊：返回需要處理的塔機視頻畫面幀，本系統(tǒng)采用了USB攝像頭和本地文件兩種方式，以滿足不同需要：

a.本系統(tǒng)中，圖像傳感器是系統(tǒng)中關(guān)鍵的硬件設(shè)備，采用的USB攝像頭即通過USB連接線與本地計算機或嵌入式硬件相連的標準USB2.0圖像采集設(shè)備，內(nèi)置CMOS圖像傳感器，適于直接與嵌入式硬件結(jié)合應(yīng)用于監(jiān)視現(xiàn)場[3]。

b.本地視頻文件輸入是本系統(tǒng)的特色功能，通過來自視頻文件的畫面，為監(jiān)控人員訓(xùn)練目標特征、測試目標算法以及分析事故錄像提供方便。

c.畫面?zhèn)鬏斚到y(tǒng)：將前端視頻畫面采集模塊采集到的數(shù)據(jù)傳輸給后續(xù)顯示和處理模塊。攝像頭直接通過USB連接線實現(xiàn)數(shù)據(jù)傳送，本地文件用系統(tǒng)提供的API函數(shù)進行讀取。

2)后端處理系統(tǒng)，即控制、顯示和智能追蹤系統(tǒng)，是本智能視頻監(jiān)控系統(tǒng)的核心部分，包含視頻解碼、圖像顯示、智能算法、用戶交互和存儲報警多個模塊。

2　系統(tǒng)(嵌入式平臺)硬件設(shè)計

本設(shè)計的嵌入式平臺部分基于ARM處理器，結(jié)構(gòu)組成如圖3所示。

圖3　嵌入式平臺硬件結(jié)構(gòu)框圖Fig 3　Hardware structure block diagram of embedded platform

本設(shè)計中，嵌入式硬件主板選用開源硬件主板BeagleBoard—xM。該主板具有高性能的處理器、大容量內(nèi)存、豐富的通信接口和視頻源以及軟件資源，刪減串口、專用攝像頭插針、用戶自定義按鈕等無關(guān)部分，完成系統(tǒng)搭建。

本設(shè)計的嵌入式平臺系統(tǒng)如圖4所示。

圖4　嵌入式平臺系統(tǒng)框圖Fig 4　System block diagram of embedded platform

3　系統(tǒng)軟件設(shè)計

3.1軟件結(jié)構(gòu)

塔機智能視頻監(jiān)控系統(tǒng)的軟件將位置分散的硬件組合成統(tǒng)一的整體，并且直接向用戶提供最有用的信息，結(jié)合前文提出的系統(tǒng)基本要求和特征，按照功能劃分，軟件部分主要模塊結(jié)構(gòu)如5所示。

圖5　系統(tǒng)軟件部分框圖Fig 5　Block diagram of system software

如圖5，智能視頻監(jiān)控系統(tǒng)主要包括圖像獲取、智能算法和用戶交互三個主要的部分，其中：圖像獲取部分獲得來自USB攝像頭或本地文件的視頻畫面幀，并且解碼成RGB矩陣；視頻監(jiān)控部分則負責(zé)運行TLD算法并將跟蹤結(jié)果予以呈現(xiàn)；用戶交互部分則負責(zé)與使用者進行交互。

3.2算法實現(xiàn)

本文設(shè)計采用的TLD算法是一種基于在線模型并且實時在線訓(xùn)練的單目標長時間追蹤算法，主要由跟蹤器、檢測器以及學(xué)習(xí)器組成[4]。跟蹤器通過上一幀的視頻畫面中目標物體的位置計算目標在當前幀的位置；檢測器通過不斷訓(xùn)練、學(xué)習(xí)在線樣本庫檢測出目標的位置，通過分析整合，找出當前畫面幀中目標物體最有可能出現(xiàn)的位置；學(xué)習(xí)器根據(jù)檢測器以及現(xiàn)有知識不斷更新分類器，使得算法在面對物體的輕微形變、旋轉(zhuǎn)及體態(tài)變化時具備一定的自學(xué)習(xí)能力，使算法可以長時間追蹤同一目標。

TLD算法通過檢測和跟蹤雙重策略確保了跟蹤的可靠性，通過PN學(xué)習(xí)的方式實時更新樣本庫，達到在線學(xué)習(xí)的效果，但相對的，運算復(fù)雜度較高，系統(tǒng)實現(xiàn)困難，對此，本系統(tǒng)中算法進行了以下修正：

1)TLD算法封裝

TLD算法實現(xiàn)中，直接使用源碼級的TLD算法會導(dǎo)致代碼復(fù)雜度高，不便于閱讀和修改。本設(shè)計基于模塊化程序設(shè)計的思想，將TLD算法進行封裝，以功能塊為單位封裝成類庫[5]，并留出API接口供上層程序進行調(diào)用。

2)軟件系統(tǒng)多線程設(shè)計

監(jiān)控系統(tǒng)的軟件界面直接負責(zé)與用戶進行交互，因此在進行GUI(圖形用戶界面)程序設(shè)計時，需保證用戶輸入事件響應(yīng)的實時性，避免界面卡死失去響應(yīng)[6]。故在本系統(tǒng)中，因TLD算法、視頻畫面輸入及其解碼均是較為耗時的環(huán)節(jié)，因此采用了現(xiàn)代程序設(shè)計中的多線程思想，可以有效地提高用戶輸入事件的響應(yīng)速度，改善用戶交互體驗。

3)基于有限狀態(tài)機的任務(wù)循環(huán)

本設(shè)計中，機器視覺線程負責(zé)圖像幀的獲取、TLD算法運行、電子圍欄越界判定等，其中圖像幀的獲取和電子圍欄的越界判定是通用的(無論視頻源為攝像頭還是文件)，在每一次循環(huán)中均需執(zhí)行。對于TLD算法部分，采用了狀態(tài)機的思想，使程序流程更清晰，維護更加便利[7]。

最終用戶界面如圖6～圖7。

圖6　電子圍欄(雙線型/多點型)Fig 6　Bilinear type and multi-point type electronic fence

圖7　嵌入式平臺軟件運行時截圖Fig 7　Screenshot of embedded platform software while operating

4　系統(tǒng)測試

4.1評價指標

根據(jù)塔機智能視頻監(jiān)控系統(tǒng)的實際情況，提出如下的性能指標[8,9]：1)監(jiān)控幀率：單位時間內(nèi)視頻畫面刷新的數(shù)量，幀/s；2)檢測幀率：單位時間內(nèi)運行TLD算法的幀的數(shù)量，一般取長時間平均值，幀/s。視頻源是USB攝像頭時，監(jiān)控和跟蹤分別進行，監(jiān)控和檢測幀率可能不相等；當視頻源來自文件時，則對每一幀進行跟蹤，二者相等；3)檢測率(%):TLD算法能夠跟蹤到任何物體的幀占所有TLD算法輸入幀的比重；4)檢測正確率(%):在跟蹤到任何物體的幀中，追蹤到的區(qū)域可認定為物體真實區(qū)域的幀所占的比重。

4.2嵌入式平臺測試

調(diào)試完成后，嵌入式平臺與PC平臺上搭建的系統(tǒng)進行對比測試，其中視頻包括USB攝像頭和本地文件兩種視頻源，結(jié)果如表1～表3。

表1　PC/嵌入式平臺USB攝像頭作為視頻源測試結(jié)果

表2　PC平臺本地文件作為視頻源測試結(jié)果

表3　嵌入式平臺本地文件作為視頻源測試結(jié)果

4.3測試結(jié)果分析

在嵌入式和PC平臺上，USB攝像頭作為視頻源時均能達到5幀/s以上的速度，取決于具體跟蹤時選定的目標不同這個速度或快或慢。讀取文件時，取決于文件編碼和分辨率不同，效率有所差異，但是檢測率和正確率均基本達到95 %以上。

在嵌入式平臺上，監(jiān)控和跟蹤分離進行，因此其效率是不同的。使用USB攝像頭時，監(jiān)控幀率基本能達到5幀/s，而跟蹤幀率基本能達到1.5～2 s一幀；文件作為視頻源時效率基本相同，而檢測率和正確率也均達到了95 %以上。

綜上，跟蹤效率和準確率會受到諸如具體的視頻源等一些因素影響，但經(jīng)過上述模擬測試，雖然軟硬件較PC端均作出精簡設(shè)計，但系統(tǒng)在嵌入式平臺上同樣能達到相近的跟蹤速度和很高檢測精度，滿足目前工程實施過程的需要。

5　結(jié)　論

設(shè)計了基于機器視覺的塔機智能視頻監(jiān)控系統(tǒng)，針對保障施工作業(yè)現(xiàn)場塔機的安全運行的需求，提出了基于嵌入式平臺的軟硬件設(shè)計方案。模擬測試結(jié)果表明：嵌入式平臺上，監(jiān)控和跟蹤幀率滿足工程要求，檢測率和正確率高，可顯著改善塔機施工作業(yè)過程中的安全性和可靠性。

[1]李浩.塔機自動安全監(jiān)控系統(tǒng)[D].大連:大連海事大學(xué),2008.

[2]謝小光.基于GPRS的塔機實時狀態(tài)遠程監(jiān)控系統(tǒng)研究[D].杭州:浙江工業(yè)大學(xué),2009.

[3]賈佳,白瑞林,錢勇,等.嵌入式彩色圖像傳感器重構(gòu)系統(tǒng)的設(shè)計與實現(xiàn)[J].傳感器與微系統(tǒng),2011,30(3)：121-124.

[4]龔小彪.基于TLD框架的目標跟蹤算法研究[D].成都:西南交通大學(xué),2014.

[5]Emami E,Fathy M,Kozegar E.Online failure detection and cor-rection for CAMShift tracking algorithm[C]∥2013 The 8th Ira-nian Conference on Machine Vision and Image Processing,Iran:MVIP,2013:180-183.

[6]任強,彭瑞.嵌入式Linux下MiniGUI的編譯、移植與實現(xiàn)[J].計算機技術(shù)與發(fā)展,2010(3):13-16.

[7]崔家瑞,李擎.基于有限狀態(tài)機的智能抄表集中器設(shè)計與實現(xiàn)[J].實驗室研究與探索,2014(8):134 -139.

[8]姜莉莉,蔣瀟,陳昕怡,等.OpenCV在車牌識別中的應(yīng)用[J].軟件,2014(3):45-47.

[9]龔愛平.基于嵌入式機器視覺的信息采集與處理技術(shù)研究[D].杭州:浙江大學(xué),2013.

趙作霖,通訊作者，E—mail：joey_zhao@tju.edu.cn。

Design of computer vision surveillance system for tower cranes

SUN Hong-jun1,2, ZHAO Zuo-lin1,2, XU Guan-qun1,2

(1.School of Electrical Engineering and Automation,Tianjin University,Tianjin 300072,China;2.Tianjin Key Laboratory of Process Measurement and Control,Tianjin 300072,China)

In order to solve security problems in the operation process of tower crane,an intelligent video surveillance system based on machine vision is designed.According to actual needs,image sensors and TLD algorithm are selected for the embedded platform to realize positioning,judging and warning of jib motion trajectory.Test results show that detection rate and accuracy of the system can reach above 95 %.

tower crane; computer vision; TLD algorithm; image sensor

2015—11—11

TP 212.9

A

1000—9787(2016)08—0070—04

孫宏軍(1974-)，女，副教授，主要研究方向為過程參數(shù)檢測的數(shù)字信號處理、流體參數(shù)檢測與數(shù)值模擬。

DOI:10.13873/J.1000—9787(2016)08—0070—04