王 珊，馮燕青，游振州

（1.南京市江寧區(qū)水務局，江蘇 南京 211100；2.南京市水利規(guī)劃設計院股份有限公司，江蘇 南京 210001）

視覺AI 中臺是基于人工智能和大數(shù)據(jù)分析技術的一項創(chuàng)新性中臺產(chǎn)品，旨在幫助用戶通過圖像和視頻分析實現(xiàn)對世界的了解和認知。計算機視覺是計算機科學學科的一個新興領域，也稱之為視覺AI，通過計算機的訓練和學習識別圖像和視頻，使計算機復制人類視覺系統(tǒng)，具有感知能力。這使得前端感知數(shù)字設備（如視頻監(jiān)控攝像機、人臉識別攝像機、ORC 識別攝像機等）能夠如人類和動物一樣，識別和處理圖像或視頻中的實體。機器視覺是基于使用智能相機和圖像捕獲技術的“照相機機器人”，能夠利用視覺自動進行檢查，最終實現(xiàn)利用機器來代替人眼進行測量和判斷，從而實現(xiàn)智能化［1］。通過視覺AI，硬件設備和軟件系統(tǒng)可以表現(xiàn)出智能行為。

在水利工程監(jiān)管領域，視覺AI也具有廣闊的應用場景。目前各大視頻監(jiān)控設備的原廠商（如海康威視、大華股份、天地偉業(yè)等），針對通用場景（如人、車、船等）的AI 識別都積累了一些成熟的算法，甚至將這些成熟的通用算法集成到邊緣側，方便安裝、調(diào)試和使用。目前視覺AI技術并沒有涵蓋水利工程監(jiān)管領域的全場景，當水利工程管理者提出個性化需求時，很難在AI算法市場上找到訓練成熟的算法對其進行個性化開發(fā)，很難滿足項目資金的需求和研發(fā)周期的要求。為解決以上難點，本文討論視覺AI中臺的設計方案與應用實踐。

1 視覺AI中臺的建設目標

目標是形成一套工具體系，把視頻圖像接入、算法配置、結果集輸出、API 接口進行模塊化封裝，降低應用系統(tǒng)使用視覺AI算法的技術門檻；針對水利工程監(jiān)管的應用領用通過配置訓練成熟的算法（如混凝土運輸車識別、渣土車識別、安全帽識別、煙霧識別、抽煙識別等），具有一鍵導入成熟行業(yè)算法的能力；針對個性化研發(fā)的算法具有配置功能。

2 技術架構

視覺AI 中臺的架構設計參考了T/CESA1037—2019《信息技術人工智能面向機器學習的系統(tǒng)框架和功能要求》，總體架構如圖1所示。

圖1 視覺AI中臺技術架構

本文提出的視覺AI中臺是將視頻、圖片分析中共用的AI相關中間件整合，形成服務于業(yè)務的體系結構，從硬件基礎到上層應用，主要分為基礎設施、視覺處理、算法倉庫、對外服務及運維管理。在基礎設施層，既能部署各類通用物理計算設備，也能基于虛擬化的設備設施運行；在視覺處理層，主要實現(xiàn)圖像識別、視覺解析、行為檢測，以及基于規(guī)則的視覺認知；算法倉庫主要包含算法管理和算法調(diào)度2 項功能；對外服務提供標準的API 接口服務和管理，以及原生的SDK 服務組件；運維管理主要實現(xiàn)系統(tǒng)的運行監(jiān)管和統(tǒng)一管理。

3 流式處理引擎

視頻流、視頻文件、圖片作為輸入的數(shù)據(jù)源，視覺中樞會進行數(shù)據(jù)預處理，然后將處理后的數(shù)據(jù)傳輸給視覺認知，通過調(diào)用算法倉庫的算法，視覺認知會根據(jù)配置的算法進行數(shù)據(jù)計算分析，通過對外服務將視覺認知的處理結果輸出給上層業(yè)務應用，見圖2。

圖2 流式處理引擎

4 算法倉庫

參考T/CESA1037—2019 算法服務的標準化概念，算法倉庫是一個可以執(zhí)行算法管理和算法調(diào)度的AI算法集合。算法管理具有提供生命周期管理、運行管理、評價管理等功能。算法調(diào)度屏蔽底層異構計算資源的差異，靈活服務不同類型的算法，并為這些算法任務的執(zhí)行提供高效的任務分解和調(diào)度。

4.1 算法調(diào)度

算法與大數(shù)據(jù)具有“天然緊密性”，算法倉庫在算法的調(diào)度框架上，選擇業(yè)界主流的基于HadoopYarn分布式任務調(diào)度框架，通過設計任務框架、整合資源池，提升計算執(zhí)行效率和資源利用率。Client（TFClient）：負責啟動作業(yè)及獲取作業(yè)執(zhí)行狀態(tài)；ApplicationMaster（TFAM）：負責輸入數(shù)據(jù)分片、啟動及管理Container、執(zhí)行日志保存等；Container（Worker）：作業(yè)的實際執(zhí)行者，負責啟動深度學習框架的Worker 或ParameterServer 進程，監(jiān)控并向AM匯報進程狀態(tài)、端口信息、上傳作業(yè)的輸出等。具體見圖3。

圖3 基于Yarn的算法調(diào)度

圖4 混凝土運輸車識別

圖5 渣土車識別

圖6 安全帽識別

圖7 火焰識別

圖8 抽煙識別

4.2 算法管理

視覺AI中臺通過配置集成業(yè)界成熟的算法，如混凝土運輸車識別、渣土車狀態(tài)識別（滿載、空載）、安全帽識別、火焰識別、抽煙識別等智能算法輔助工程的安全監(jiān)管監(jiān)督，通過AI技術在水利工程管理上的應用，實現(xiàn)水利工程實時在線監(jiān)管。

4.2.1 混凝土運輸車識別

混凝土運輸車識別是基于車型識別功能，系統(tǒng)利用車輛動態(tài)視頻或靜態(tài)圖像進行數(shù)據(jù)分析識別車型。系統(tǒng)進行視頻車輛的檢測，通過預訓練的算法，在不掉幀的情況下實現(xiàn)圖像采集并處理。

4.2.2 渣土車識別（滿載、空載、半載）

渣土車識別（滿載、空載、半載）是基于車型識別功能+貨箱檢測功能，系統(tǒng)利用車輛動態(tài)視頻或靜態(tài)圖像進行數(shù)據(jù)分析識別車型。同時系統(tǒng)對貨箱進行檢測，通過預訓練的貨箱檢測算法，在不掉幀的情況下實現(xiàn)圖像采集并處理。

4.2.3 安全帽識別

安全帽識別，系統(tǒng)利用人員的動態(tài)視頻或靜態(tài)圖像進行數(shù)據(jù)分析，通過成熟的深度學習的目標檢測算法，對提取到的圖像采用二分類方法，判斷工人是否佩戴安全帽已經(jīng)成為安全帽佩戴檢測的落地應用場景之一。

4.2.4 火焰識別

火焰識別，系統(tǒng)利用采集的動態(tài)視頻或靜態(tài)圖像進行數(shù)據(jù)分析，通過深度學習神經(jīng)網(wǎng)絡技術，實時對監(jiān)控區(qū)域內(nèi)的火焰進行識別，可動態(tài)識別出火焰從無到有，從小到大的狀態(tài)轉變。

4.2.5 抽煙識別

抽煙識別，系統(tǒng)利用采集的動態(tài)視頻或靜態(tài)圖像進行數(shù)據(jù)分析，通過深度學習結合人體姿態(tài)方式，既能識別香煙實物，又支持吸煙動作行為識別。

5 應用案例

在秦淮河流域，通過部署覆蓋水利工程的多維度感知體系，結合視頻監(jiān)控、智能AI、BIM等技術手段，研發(fā)了基于視覺AI 中臺的數(shù)字孿生工程管理平臺，該平臺利用高空鐵塔視頻監(jiān)控及工程配套的視頻攝像機，實時采集視頻和圖像。數(shù)字孿生工程管理平臺依靠視覺AI 中臺提供的視頻和圖像分析能力，形成一些具有水利工程特色的智慧場景應用。

人員管理通過人臉識別算法賦能人員的進出場登記、考勤。在工程建設期施工階段，實現(xiàn)對安全員、施工員、材料員、預算員、質(zhì)量員、資料員、監(jiān)理員、勞務員的到崗管理；在工程運行期，輔助工程管理人員的日?？记冢粘Ｑ膊檫\維。

設備管理，在工程建設期施工階段，通過配置特種設備的智能識別算法，實現(xiàn)特種設備的進出場自動登記和現(xiàn)場作業(yè)規(guī)范的遠程監(jiān)控提醒；在工程運行期，通過圖像獲取設備的儀表參數(shù)，運行狀態(tài)，實現(xiàn)對設備的智能監(jiān)控。

進度管理，通過車型和裝載貨物識別算法，通過關聯(lián)分析粗略估計工程進度和施工量，與工程的形象進度進行比對分析。

安全管理，通過安全帽、火焰、抽煙等危險源識別算法賦能工程的安全管理巡查，自動派發(fā)自動巡檢工單督促整改。

通過新技術的運用，實現(xiàn)了對工程入場人員的實時監(jiān)管、設備的遠程智能監(jiān)控、工程進度和質(zhì)量的智能評估以及安全的專項稽察。滿足了各級水行政主管部門對秦淮河流域典型水利工程在建設期和運行期的信息化、智能化、精細化管理要求。

6 應用成果介紹

視覺AI 中臺在水利工程領域的應用場景還有待探索創(chuàng)新，目前已經(jīng)形成應用成果的主要有如下幾點：

（1）AI 視頻監(jiān)測，全面提升預報預警能力。關注河道水位、周邊有無洪澇災害，及時通報周邊汛情，也需要及時檢測河道重點區(qū)域的水位變化、降水量及水位異常情況，提供及時準確的汛情預警，避免山洪災害的發(fā)生。傳統(tǒng)人力巡檢和人工排查需要耗費大量人力精力［2-3］。通過在工程的重點部位部署視頻自動監(jiān)測設備，在滿足基本視頻監(jiān)控的同時通過采用先進的AI視覺智能水位分析、流速流量分析、報警聯(lián)動等技術，對河湖水面、河湖岸線等進行24h實時AI智能監(jiān)測。

（2）多功能預警，自動觸發(fā)多種警情預報。水利工程管理監(jiān)測站安全警戒功能能夠在全天候、全方位實時監(jiān)控基礎上，設置閾值，自動觸發(fā)報警信息，同時可通過設備的語音提示及時發(fā)現(xiàn)報警畫面，并可以遠程喊話處理警情。

（3）算法的更替和創(chuàng)新。算法是圖像識別技術得以應用的核心依據(jù)，同時也是視覺AI中臺在水利工程監(jiān)管領域發(fā)揮功能的最重要保障。綜合當前實際情況來看，在部分環(huán)境下算法的精準性還未能達到最高的標準，對人以及車的識別精準率較低，在未來發(fā)展的過程中，關鍵任務是全面提升圖像識別算法的準確率。

另外，為進一步提升視覺AI 中臺的服務價值，還需要及時地聯(lián)動用戶打造更具實用性的產(chǎn)品。行業(yè)用戶可以建立在自身發(fā)展需求的基礎上不斷落實算法及性能的研究，通過行業(yè)的共同努力能夠切實反饋視覺AI中臺實際應用情況，也可以進一步總結具有創(chuàng)造性和建設性的意見［4-6］。

7 結 語

視覺AI 中臺建設為后續(xù)水利工程管理中人工智能的發(fā)展搭建了堅實的設施基礎和能力基礎。在未來的建設中，進一步實現(xiàn)面向水利工程管理的視覺AI智能應用的算法接入和能力開放標準，為水利工程管理業(yè)務提供豐富的、可自主調(diào)用的、可基于場景的和數(shù)據(jù)監(jiān)控的人工智能能力和資源，提供多來源算法沉淀、數(shù)據(jù)集服務、能力迭代閉環(huán)的開放平臺，供各水利工程管理業(yè)務單位使用。