董晨龍李 宏李文駒嚴(yán) 華3

(1.成都萬(wàn)江港利科技股份有限公司，成都，610015；2.四川大學(xué)智能控制研究所，成都，610065；3.四川大學(xué)水利信息化聯(lián)合實(shí)驗(yàn)室，成都，610065)

隨著經(jīng)濟(jì)社會(huì)的不斷進(jìn)步、信息技術(shù)的迅猛發(fā)展和水利事業(yè)的全面推進(jìn)，大力推進(jìn)水利信息化已成為一種趨勢(shì)[1-3]。水利圖像視頻監(jiān)控[4]作為水利信息化的重要內(nèi)容，在水利業(yè)務(wù)管理方面發(fā)揮著重要作用。目前水利圖像視頻監(jiān)控系統(tǒng)多采用數(shù)字視頻處理編碼技術(shù)，對(duì)水雨情、工情、災(zāi)情等現(xiàn)場(chǎng)進(jìn)行圖像視頻采集錄像與傳輸存儲(chǔ)，這類(lèi)系統(tǒng)存在一個(gè)主要問(wèn)題：“重硬件采集”、“輕數(shù)據(jù)處理”，無(wú)法發(fā)揮圖像視頻信息的內(nèi)在價(jià)值[5-6]。監(jiān)控系統(tǒng)的分析判斷主要依靠人工完成，存在漏報(bào)誤報(bào)率較高、反應(yīng)不及時(shí)、智能化程度不高等問(wèn)題，導(dǎo)致圖像視頻信息無(wú)法真正發(fā)揮使用價(jià)值。同時(shí)，水利圖像視頻監(jiān)控對(duì)象常常遇到交通不便、現(xiàn)場(chǎng)環(huán)境惡劣、人工管理難度大等情況，傳統(tǒng)的圖像視頻監(jiān)控系統(tǒng)的通信存在較大的限制。

本文提出了一種智慧視頻識(shí)別系統(tǒng)，其在國(guó)內(nèi)首次將圖像視頻處理、模式識(shí)別、人工智能等技術(shù)應(yīng)用到水利行業(yè)水資源與水利工程的相關(guān)數(shù)據(jù)采集監(jiān)測(cè)系統(tǒng)中。該系統(tǒng)由實(shí)時(shí)智能圖像視頻采集與自動(dòng)分析兩部分組成，通過(guò)對(duì)水源地、河流防洪地區(qū)和水庫(kù)等關(guān)鍵點(diǎn)的實(shí)時(shí)視頻監(jiān)控，智能系統(tǒng)能及時(shí)對(duì)可能或正在發(fā)生的汛情、險(xiǎn)情、災(zāi)情進(jìn)行動(dòng)態(tài)監(jiān)視和分析報(bào)警，充分發(fā)揮視頻技術(shù)在水利信息化中的作用。

1 智慧視頻識(shí)別系統(tǒng)的設(shè)計(jì)

本文設(shè)計(jì)的智慧視頻識(shí)別系統(tǒng)是一種基于機(jī)器視覺(jué)的系統(tǒng)[7]，機(jī)器視覺(jué)系統(tǒng)一般結(jié)構(gòu)如圖1所示，主要包含圖像采集單元、圖像傳輸單元以及圖像分析單元。運(yùn)用到的技術(shù)包括：機(jī)器視覺(jué)技術(shù)、深度學(xué)習(xí)技術(shù)以及近景攝影測(cè)量技術(shù)。主要工作機(jī)理為圖像采集單元將場(chǎng)景信息進(jìn)行實(shí)時(shí)采集，采集完畢后通過(guò)圖像傳輸單元上傳至機(jī)器視覺(jué)分析服務(wù)器，圖像分析單元結(jié)合相關(guān)圖像處理算法實(shí)時(shí)對(duì)場(chǎng)景圖像進(jìn)行分析，管理人員可以根據(jù)分析結(jié)果做出更準(zhǔn)確的決策

圖1 機(jī)器視覺(jué)系統(tǒng)的一般結(jié)構(gòu)

1.1 智慧視頻識(shí)別系統(tǒng)組成

本系統(tǒng)在機(jī)器視覺(jué)系統(tǒng)的一般結(jié)構(gòu)上做了相應(yīng)的設(shè)計(jì)與改進(jìn)，將系統(tǒng)分為智能圖像視頻采集子系統(tǒng)和智能圖像視頻處理中心平臺(tái)子系統(tǒng)兩部分，二者通過(guò)有線或者無(wú)線的方式聯(lián)通。具體結(jié)構(gòu)如圖2所示

智能圖像視頻采集子系統(tǒng)也稱(chēng)前端子系統(tǒng)，主要任務(wù)是通過(guò)部署在監(jiān)控點(diǎn)的嵌入式采集設(shè)備接入前端監(jiān)控?cái)z像機(jī)的實(shí)時(shí)視頻。該子系統(tǒng)具有通用智能監(jiān)控功能以及水利智能圖像視頻處理功能，并可以對(duì)水位、流速、含沙量、天氣狀況等水文特征參數(shù)進(jìn)行圖像預(yù)處理。系統(tǒng)能夠與智能圖像視頻處理中心平臺(tái)子系統(tǒng)進(jìn)行信息交互，并支持分析信息與告警信息存儲(chǔ)、轉(zhuǎn)發(fā)、遠(yuǎn)程設(shè)置等功能且系統(tǒng)在野外環(huán)境下具有較高的穩(wěn)定性。

智能圖像視頻處理中心平臺(tái)子系統(tǒng)由部署在視頻監(jiān)控中心的高性能服務(wù)器與VPN網(wǎng)關(guān)等設(shè)備組成。通過(guò)連接前端子系統(tǒng)能夠?qū)η岸俗酉到y(tǒng)進(jìn)行遠(yuǎn)程設(shè)置，能夠?qū)η岸说姆治鼋Y(jié)果進(jìn)行管理和顯示；能夠?qū)崿F(xiàn)對(duì)前端視頻實(shí)時(shí)顯示、存儲(chǔ)與檢索回放；并能支持復(fù)雜的多路智能圖像視頻處理算法；支持復(fù)雜的多路水位、流速、含沙量、天氣狀況、水利場(chǎng)景等特征參數(shù)精確計(jì)算以及與常用視頻監(jiān)控系統(tǒng)的集成。

圖2 水利智能圖像視頻采集與處理系統(tǒng)結(jié)構(gòu)

1.2 智慧視頻識(shí)別系統(tǒng)功能指標(biāo)及性能指標(biāo)

智慧視頻識(shí)別系統(tǒng)目前具有五個(gè)主要功能，包括：圖像增強(qiáng)功能、通用視頻監(jiān)控功能、智能監(jiān)控分析功能、水利視頻專(zhuān)業(yè)分析功能和輔助功能。

圖像增強(qiáng)功能對(duì)野外低質(zhì)量圖像視頻進(jìn)行增強(qiáng)處理，改善圖像視覺(jué)效果。支持對(duì)霧天圖像、低照度圖像、夜晚圖像的圖像效果實(shí)時(shí)改善。

通用視頻監(jiān)控功能包括圖像視頻采集、存儲(chǔ)、回放、檢索、轉(zhuǎn)發(fā)、顯示等功能。

智能監(jiān)控分析功能能夠?qū)崿F(xiàn)穿越警戒線檢測(cè)、進(jìn)入離開(kāi)入侵區(qū)域檢測(cè)、重要水利設(shè)施搬移、煙霧以及視頻異常檢測(cè)。

水利視頻專(zhuān)業(yè)分析功能包括水位、水色、流速、含沙量等水文水資源要素檢測(cè)，還包括水面漂浮物檢測(cè)以及違規(guī)行為(釣魚(yú)、游泳等)分析等功能。

輔助功能主要包括用戶(hù)管理、日志管理、系統(tǒng)參數(shù)配置和吿警信息管理等。

系統(tǒng)的性能指標(biāo)包括：系統(tǒng)支持壓縮與原始圖像視頻檢測(cè)，支持D1、H264格式視頻實(shí)時(shí)檢測(cè)；在保持90%的極高檢測(cè)率的同時(shí)，每路具有少于5次/d的極低誤報(bào)率；在野外惡劣天氣環(huán)境、低能見(jiàn)度、低光照度等條件下檢測(cè)水利關(guān)鍵目標(biāo)；視頻傳輸和智能報(bào)警延時(shí)小于0.2s；系統(tǒng)的平均無(wú)故障工作時(shí)間MTBF>30000h；支持16×16像素的小目標(biāo)檢測(cè)；支持每秒25幀圖像實(shí)時(shí)增強(qiáng)；系統(tǒng)具有自學(xué)習(xí)自適應(yīng)調(diào)整功能；系統(tǒng)提供Web Service開(kāi)放接口。

1.3 智慧視頻識(shí)別系統(tǒng)工作原理

通過(guò)布置在前端的監(jiān)控?cái)z像機(jī)實(shí)時(shí)對(duì)場(chǎng)景進(jìn)行監(jiān)控，對(duì)場(chǎng)景內(nèi)包含的物體(水體、堤岸和船只等)做初步判斷，并將捕獲到的監(jiān)控視頻通過(guò)有線或者無(wú)線的方式實(shí)時(shí)傳送到數(shù)據(jù)中心的服務(wù)器。當(dāng)監(jiān)控?cái)z像機(jī)初步判斷出目標(biāo)檢測(cè)物時(shí)，服務(wù)器首先增強(qiáng)圖像視頻數(shù)據(jù)，并對(duì)視頻中目標(biāo)檢測(cè)物進(jìn)行識(shí)別并將其分為靜態(tài)和動(dòng)態(tài)目標(biāo)兩類(lèi)。對(duì)靜態(tài)目標(biāo)，例如水體、水尺、堤壩等目標(biāo)的識(shí)別，根據(jù)圖像的多種特征與水文水資源實(shí)時(shí)數(shù)據(jù)(水位、水色、流量、含沙量、水質(zhì)、水生態(tài)等)的關(guān)系與數(shù)學(xué)模型，分析計(jì)算水文水資源參數(shù)；對(duì)于運(yùn)動(dòng)的目標(biāo)，如漂浮物、船只等感興趣目標(biāo)的行為與軌跡進(jìn)行跟蹤分析，由決策報(bào)警模塊根據(jù)視頻圖像處理的結(jié)果和預(yù)定的報(bào)警規(guī)則，自動(dòng)啟動(dòng)報(bào)警的判斷與決策。主要流程如圖3所示。

圖3 智慧視頻識(shí)別系統(tǒng)工作流程

在整個(gè)過(guò)程中使用到的主要算法包括圖像分割算法以及卷積神經(jīng)網(wǎng)絡(luò)算法。

第一步，教師審閱班級(jí)學(xué)生習(xí)作，將需要面批的學(xué)生叫上講臺(tái)。第二步，教師就學(xué)生習(xí)作中的行文思路、表達(dá)主旨、篇章結(jié)構(gòu)和遣詞用句進(jìn)行詢(xún)問(wèn)，根據(jù)學(xué)生回答加以引導(dǎo)。第三步，學(xué)生根據(jù)教師的引導(dǎo)理清思路，并整理出修改意見(jiàn)，最終形成升格作文給教師復(fù)評(píng)。

(1)圖像分割算法

圖像分割算法主要使用的是邊緣檢測(cè)方法，邊緣檢測(cè)的實(shí)質(zhì)是提取出圖像中前景與背景間的交界線。本系統(tǒng)中邊緣檢測(cè)算法的算子采用Canny 算子，Canny 算子是先對(duì)處理的圖像進(jìn)行微分運(yùn)算，因?yàn)閳D像的邊緣處灰度變化較大，所以該處的微分計(jì)算值就較高，這樣可以通過(guò)閾值的判斷來(lái)提取邊緣點(diǎn)，如果微分值大于閾值，則為邊緣點(diǎn)，否則就不是邊緣點(diǎn)。

(2)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)和多層神經(jīng)網(wǎng)絡(luò)，由輸入層、卷積層、激活函數(shù)層、池化層、全連接層及輸出層組成。

本系統(tǒng)利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)識(shí)別水位標(biāo)尺字符，算法實(shí)現(xiàn)過(guò)程為輸入原始數(shù)據(jù)，經(jīng)過(guò)卷積、激活函數(shù)及池化等層層操作，將原始數(shù)據(jù)中的高層語(yǔ)義概念剝離出來(lái)。通過(guò)誤差函數(shù)計(jì)算真實(shí)值和輸出值之間的誤差值，反向逐層反饋，更新每層參數(shù)，通過(guò)前饋運(yùn)算與反饋運(yùn)算，最終使模型收斂，實(shí)現(xiàn)完成訓(xùn)練的目的。同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)的性能與所提供的訓(xùn)練樣本息息相關(guān)，好的訓(xùn)練樣本需要同時(shí)滿足樣本數(shù)量和樣本質(zhì)量?jī)煞矫娴囊?。因此，收集大量高質(zhì)量的樣本是至關(guān)重要的，直接影響到最終水位觀測(cè)結(jié)果的準(zhǔn)確性。由于在日常的水位觀測(cè)中，會(huì)有氣象、光照、風(fēng)浪等因素的影響，因此，本系統(tǒng)選取了大量具有代表性的水尺圖像，形成多幅帶干擾的字符圖像，通過(guò)這些圖像整理出多組樣本?？紤]到在分割的時(shí)候去除了很多干擾，所以選取噪聲少的樣本用來(lái)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。

2 智慧視頻識(shí)別系統(tǒng)的應(yīng)用

2.1 水位自動(dòng)監(jiān)測(cè)

智慧視頻識(shí)別系統(tǒng)的水位自動(dòng)監(jiān)測(cè)系統(tǒng)由前端子系統(tǒng)，傳輸子系統(tǒng)，中心子系統(tǒng)以及移動(dòng)端APP四部分組成。前端子系統(tǒng)包括機(jī)器視覺(jué)分析儀、專(zhuān)用水位標(biāo)尺、太陽(yáng)能供電系統(tǒng)以及避雷防雷系統(tǒng)；傳輸子系統(tǒng)由一臺(tái)北斗通信機(jī)組成；中心子系統(tǒng)是一套機(jī)器視覺(jué)分析服務(wù)器。整個(gè)系統(tǒng)的布設(shè)如圖4所示。該系統(tǒng)能夠?qū)崿F(xiàn)全自動(dòng)化水位值測(cè)讀，且測(cè)量量程可定制，水位測(cè)量精度為≤±1cm，支持自定義采集周期；能夠?qū)v史數(shù)據(jù)存儲(chǔ)，并對(duì)水勢(shì)結(jié)果進(jìn)行分析，可實(shí)時(shí)展示水位信息；當(dāng)水位超出預(yù)設(shè)閾值時(shí)，能夠發(fā)出預(yù)警信息。

圖4 水位自動(dòng)監(jiān)測(cè)系統(tǒng)組成示意

通過(guò)在水位監(jiān)測(cè)點(diǎn)布設(shè)水位自動(dòng)監(jiān)測(cè)系統(tǒng)，利用機(jī)器視覺(jué)技術(shù)，從而實(shí)現(xiàn)水位標(biāo)尺的自動(dòng)測(cè)讀[8-9]。水位標(biāo)尺的自動(dòng)測(cè)讀具體實(shí)現(xiàn)過(guò)程如圖5所示。首先采集當(dāng)前幀水尺圖像，對(duì)圖像進(jìn)行類(lèi)型變換、去噪濾波、疊加平滑、二值化等一系列圖像預(yù)處理操作，再采用Hough 變換算法對(duì)水尺圖像進(jìn)行傾斜校正，截取水尺目標(biāo)區(qū)域的圖像，對(duì)水尺目標(biāo)區(qū)域進(jìn)行圖像畸變校正以及增強(qiáng)處理，提取水位線和水尺頂部邊緣線位置，按水尺頂部和水位線的行坐標(biāo)對(duì)水尺目標(biāo)區(qū)域進(jìn)一步截取，以得到最終的水尺目標(biāo)。根據(jù)水尺刻度線定位和數(shù)字字符圖像，對(duì)該數(shù)字字符圖像進(jìn)行預(yù)處理，再采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)分割出的數(shù)字字符進(jìn)行識(shí)別，即可確定水位值。實(shí)地試驗(yàn)演示如圖6所示。

圖5 水位自動(dòng)測(cè)讀執(zhí)行流程

圖6 水位自動(dòng)監(jiān)測(cè)系統(tǒng)實(shí)地試驗(yàn)演示

2.2 水色自動(dòng)監(jiān)測(cè)

智慧視頻識(shí)別系統(tǒng)的水色自動(dòng)監(jiān)測(cè)系統(tǒng)同樣由四大部分組成，其前端子系統(tǒng)中不包含專(zhuān)用水位標(biāo)尺，其余組成部分均與水位自動(dòng)監(jiān)測(cè)系統(tǒng)組成相同。整個(gè)系統(tǒng)的布設(shè)如圖7所示。該系統(tǒng)能夠?qū)崿F(xiàn)全自動(dòng)化水色識(shí)別；支持洪水、水質(zhì)富營(yíng)養(yǎng)化等事件檢測(cè)，并且支持事件顏色自定義；能夠?qū)崿F(xiàn)顏色驟變檢測(cè)，支持色度變化速率自定義；支持自定義采集周期；支持觀測(cè)畫(huà)面存檔；當(dāng)檢測(cè)到水質(zhì)顏色變化時(shí)，會(huì)發(fā)布預(yù)警信息；還具有水色變化大數(shù)據(jù)分析，能夠?qū)崟r(shí)展示水色信息。

圖7 水色自動(dòng)監(jiān)測(cè)系統(tǒng)及漂浮物自動(dòng)監(jiān)測(cè)系統(tǒng)組成示意

通過(guò)在水色監(jiān)測(cè)點(diǎn)布設(shè)機(jī)器視覺(jué)水色自動(dòng)監(jiān)測(cè)系統(tǒng)，利用機(jī)器視覺(jué)技術(shù)，實(shí)現(xiàn)水色的自動(dòng)識(shí)別、事件檢測(cè)和水色驟變檢測(cè)[10]。水色檢測(cè)具體實(shí)現(xiàn)過(guò)程如圖8所示。首先采集當(dāng)前場(chǎng)景圖像，在圖像中提取若干子區(qū)域樣本，對(duì)樣本圖像進(jìn)行校正，去除圖像中的陰影和反光，結(jié)合相關(guān)顏色識(shí)別算法，例如色差法，對(duì)提取的樣本進(jìn)行顏色分析，與事先訓(xùn)練好的顏色信息值以及事件信息進(jìn)行對(duì)比，判斷水質(zhì)顏色、判斷是何種水質(zhì)事件以及判斷水色是否發(fā)生了驟變。實(shí)地試驗(yàn)演示如圖9所示。

圖8 水色檢測(cè)流程

圖9 水色自動(dòng)監(jiān)測(cè)系統(tǒng)實(shí)地試驗(yàn)演示

2.3 漂浮物自動(dòng)監(jiān)測(cè)

智慧視頻識(shí)別系統(tǒng)的漂浮物自動(dòng)監(jiān)測(cè)系統(tǒng)與水色自動(dòng)監(jiān)測(cè)系統(tǒng)有著相同的系統(tǒng)組成。整個(gè)系統(tǒng)的布設(shè)如圖7所示。該系統(tǒng)能夠?qū)崿F(xiàn)全自動(dòng)化水面漂浮物檢測(cè)，若檢測(cè)到水面漂浮物面積超過(guò)限制時(shí)，會(huì)發(fā)布預(yù)警信息且能夠?qū)崟r(shí)展示漂浮物信息。

通過(guò)漂浮物監(jiān)測(cè)點(diǎn)布設(shè)機(jī)器視覺(jué)漂浮物自動(dòng)監(jiān)測(cè)系統(tǒng)，利用機(jī)器視覺(jué)技術(shù)，實(shí)現(xiàn)水面漂浮物的自動(dòng)檢測(cè)[11]。漂浮物檢測(cè)具體實(shí)現(xiàn)過(guò)程如圖10所示。首先采用自適應(yīng)背景模型創(chuàng)建背景圖像，然后利用當(dāng)前圖像與背景圖像相差分的技術(shù)檢測(cè)出圖像中的變化區(qū)域，再?gòu)乃凶兓瘏^(qū)域中將對(duì)應(yīng)于漂浮物的區(qū)域單獨(dú)提取出來(lái)。用卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)水面漂浮物樣本特征進(jìn)行訓(xùn)練，建立漂浮物分類(lèi)器；對(duì)檢測(cè)出來(lái)的漂浮物進(jìn)行特征化，將特征化后的數(shù)據(jù)輸入分類(lèi)器中，根據(jù)輸出數(shù)據(jù)決定其屬類(lèi)。實(shí)地試驗(yàn)演示如圖11所示。

圖10 漂浮物自動(dòng)檢測(cè)流程

圖11 漂浮物自動(dòng)監(jiān)測(cè)系統(tǒng)實(shí)地試驗(yàn)演示

目前智慧視頻識(shí)別系統(tǒng)已投入到四川省都江堰灌區(qū)人民渠一處運(yùn)行。圖12為四川省都江堰灌區(qū)人民渠一處網(wǎng)頁(yè)端操控界面。由圖12可以看出，子畫(huà)面1～3用于實(shí)時(shí)顯示水位信息，通過(guò)多畫(huà)面對(duì)比，能得到更加精確的結(jié)果。子畫(huà)面4～8用于檢測(cè)水色以及漂浮物，左側(cè)為預(yù)警信息流，對(duì)漂浮物分類(lèi)識(shí)別后，檢測(cè)出河流中垃圾含量超標(biāo)，提醒工作人員采取相關(guān)措施。

圖12 四川省人民渠網(wǎng)頁(yè)端操控界面

3 總結(jié)

本文以水利信息化為前提，展現(xiàn)了智能視頻識(shí)別系統(tǒng)在水利信息化中的建設(shè)思路及應(yīng)用效果。智能視頻識(shí)別系統(tǒng)的使用是為了更好地利用現(xiàn)代通信、計(jì)算機(jī)網(wǎng)絡(luò)等信息技術(shù)，深入開(kāi)發(fā)和利用水利信息資源，實(shí)現(xiàn)水利信息的采集、輸送、存儲(chǔ)、處理和服務(wù)的現(xiàn)代化，全面提升水利事業(yè)活動(dòng)效率和效能，全面實(shí)現(xiàn)水利信息化，提高水利行業(yè)的科學(xué)管理水平。

智慧視頻識(shí)別系統(tǒng)的研制與建設(shè)對(duì)于推進(jìn)河流治理、防汛抗旱工作以及水資源調(diào)控具有重要價(jià)值；同時(shí)對(duì)于保障人民群眾生命財(cái)產(chǎn)安全，有效減輕洪澇災(zāi)害和水污染損失，改善民生和維護(hù)社會(huì)穩(wěn)定，支撐經(jīng)濟(jì)社會(huì)可持續(xù)發(fā)展也具有十分重要的作用。