劉文璇,巫世峰,夏紅霞,鐘 忺,3
(1.武漢理工大學(xué)計算機與人工智能學(xué)院,湖北 武漢 430070;2.中乾立源工程咨詢有限公司,湖北 武漢 430071;3.武漢理工大學(xué)交通物聯(lián)網(wǎng)技術(shù)湖北省重點實驗室,湖北武漢 430070)
隨著計算機技術(shù)的蓬勃發(fā)展,人工智能(Artificial Intelligence,AI)的應(yīng)用需求急劇增長。自AI 步入商業(yè)領(lǐng)域,單一地利用CPU 或GPU 進行計算已經(jīng)無法滿足工業(yè)化應(yīng)用的需要,在此背景下工業(yè)互聯(lián)網(wǎng)應(yīng)運而生。2019 年于我國召開的工業(yè)互聯(lián)網(wǎng)全球峰會提到:“工業(yè)互聯(lián)網(wǎng)是工業(yè)經(jīng)濟實現(xiàn)數(shù)字化、網(wǎng)絡(luò)化、智能化發(fā)展的關(guān)鍵支撐?!币虼耍粩嗵嵘I(yè)互聯(lián)網(wǎng)的創(chuàng)新能力,為工業(yè)領(lǐng)域的發(fā)展注入新能量是目前關(guān)注的重點[1]。近年來,各種規(guī)模的企業(yè)紛紛參與建造工業(yè)互聯(lián)網(wǎng),增強我國在國際工業(yè)領(lǐng)域的競爭力。例如,沈陽格微軟件有限責(zé)任公司面向航空制造企業(yè)的工業(yè)設(shè)計智能化需求,通過機器學(xué)習(xí)等技術(shù)完成了數(shù)據(jù)挖掘與關(guān)聯(lián);上海汽車集團股份有限公司通過數(shù)據(jù)同步技術(shù)搭建汽車供應(yīng)鏈制造平臺,對汽車數(shù)據(jù)進行協(xié)同管理等智能分析。工業(yè)互聯(lián)網(wǎng)與人工智能技術(shù)相輔相成,為工業(yè)生產(chǎn)、產(chǎn)業(yè)制造提供了強有力的支撐。
通過梳理相關(guān)案例發(fā)現(xiàn),目前關(guān)于城市隧道交通領(lǐng)域的工業(yè)互聯(lián)網(wǎng)技術(shù)研究尚顯不足。城市隧道中存在超大規(guī)模的常態(tài)化高強度運營,隧道監(jiān)控分布范圍廣,監(jiān)控對象定位難,對設(shè)備性能的要求非常高。同時由于光照、天氣、角度等原因,隧道場景復(fù)雜多樣,設(shè)備維護與整修難度大。隨著城市隧道的逐漸增多,維護人員的工作壓力日益增長。此外,不同的環(huán)境條件會對隧道數(shù)據(jù)產(chǎn)生不同程度的噪聲干擾,給算法的精度與計算效率造成負面影響[2-3]。為此,許多新算法被提出。例如在隧道場景分割任務(wù)中,F(xiàn)CN 算法利用卷積層替換全連接層實現(xiàn)對每個像素的分類[4];SpyGR 算法引入空間金字塔的圖推理以識別圖像特征[5];RAPNet 采用殘差多孔金字塔網(wǎng)絡(luò)檢測目標(biāo)[6]。然而以上算法計算成本較高且效率低下,在實際應(yīng)用場景中不能與工業(yè)互聯(lián)網(wǎng)很好地結(jié)合,從而導(dǎo)致分割精度下降。在行人搜索任務(wù)中,MGTS 方法通過區(qū)分前后景,將檢測和重識別作為兩個不同的網(wǎng)絡(luò)分開訓(xùn)練,從而達到搜索的目的[7];CGPS 方法以圖學(xué)習(xí)為基本網(wǎng)絡(luò)框架,通過圖像中的上下文信息輔助搜索任務(wù)[8];IGPN 方法探索全局與局部的關(guān)系,通過學(xué)習(xí)人員候選區(qū)域與目標(biāo)人員之間的相似度提升搜索精度[9]。然而以上方法忽略了實際監(jiān)控場景的復(fù)雜性,無法解決因目標(biāo)之間互相遮擋而導(dǎo)致的不對齊問題。在隧道異常事件識別任務(wù)中,簡單使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)或融合通道信息等方法無法解決隧道場景的復(fù)雜噪聲問題。
因此,本文針對城市隧道監(jiān)控系統(tǒng),基于隧道應(yīng)用措施,結(jié)合實際復(fù)雜場景中存在的問題提出基于工業(yè)互聯(lián)網(wǎng)技術(shù)的城市隧道視頻監(jiān)控信息采集與語義分析方法,為城市隧道監(jiān)控的工業(yè)設(shè)計與算法設(shè)計提供參考。本文主要關(guān)注以下幾個方面的問題:①基于工業(yè)互聯(lián)網(wǎng),通過檢測隧道內(nèi)交通情況、預(yù)警危險環(huán)境對隧道交通進行管控,提高應(yīng)對突發(fā)情況的效率;②通過對隧道監(jiān)控大數(shù)據(jù)進行分析,更加科學(xué)地進行值班人員的周期性與區(qū)域性分配;③利用數(shù)據(jù)整合處理等工業(yè)大數(shù)據(jù)技術(shù),結(jié)合人工智能算法模型,實現(xiàn)對視頻圖像數(shù)據(jù)的理解,采用視頻圖像語義分析算法進行異常事件識別、行人搜索、對象分割等實際應(yīng)用,為技術(shù)人員進行視頻搜索以及隧道異常環(huán)境預(yù)警提供有力的數(shù)據(jù)支撐。
工業(yè)互聯(lián)網(wǎng)的發(fā)展歷程如圖1 所示。從200 年前水利、畜牧業(yè)的動力設(shè)備到蒸汽機時代的機械調(diào)節(jié)器,這個階段的機械操作基本上依靠人工完成。20 世紀70 年代,電子計算機的發(fā)展使得可編程邏輯控制器(Programmable Logic Controller,PLC)得以應(yīng)用。隨著傳感器進入工業(yè)產(chǎn)線,現(xiàn)場總線于20 世紀80 年代被用于工業(yè)領(lǐng)域,傳統(tǒng)的現(xiàn)場總線架構(gòu)借鑒了ISO/OSI 模型。與商業(yè)互聯(lián)網(wǎng)的7 層架構(gòu)不同,工業(yè)網(wǎng)絡(luò)由于有實時性需求,通常將工業(yè)總線設(shè)計為由物理層、數(shù)據(jù)鏈路層、應(yīng)用層組成的3 層架構(gòu)[10](見圖2)。現(xiàn)場總線的快速發(fā)展在帶來一定便利的同時,也暴露出許多問題。工廠之間的互聯(lián)需要彼此適配的現(xiàn)場總線,但差異巨大的物理介質(zhì)、傳輸機制、帶寬等導(dǎo)致了不良互聯(lián)效果。為使整個工廠的設(shè)備實現(xiàn)良好連接,需要花費大量硬件成本配置中轉(zhuǎn)模塊。此外,在通過中轉(zhuǎn)模塊進行互聯(lián)的過程中,不同的中轉(zhuǎn)模塊需要不同的驅(qū)動程序,導(dǎo)致成本進一步增加。21 世紀初,實時以太網(wǎng)引入高精度定位的控制技術(shù),降低了生產(chǎn)系統(tǒng)中現(xiàn)場總線的成本。其統(tǒng)一化現(xiàn)場總線的物理層與數(shù)據(jù)鏈路層,逐漸成為工業(yè)互聯(lián)網(wǎng)的主流,代表性實時以太網(wǎng)包括POWER LINK、Ether-CAT 等。2015 年,“互聯(lián)網(wǎng)+”行動計劃被確立為國家戰(zhàn)略。2019 年3 月,“工業(yè)互聯(lián)網(wǎng)”被寫入政府工作報告。
Fig.1 Development of Industrial Internet圖1 工業(yè)互聯(lián)網(wǎng)發(fā)展歷程
Fig.2 Three-layer architecture of industrial network圖2 工業(yè)網(wǎng)絡(luò)的3 層架構(gòu)
傳統(tǒng)的隧道交通監(jiān)控系統(tǒng)往往由不同廠家提供的設(shè)備及配套操作軟件組成,各個子系統(tǒng)獨立割裂,限制了信息共享,增加了操作人員的工作量。產(chǎn)線互聯(lián)需要在異構(gòu)網(wǎng)絡(luò)中獲得信息與語義的互操作,OPC(OLE for Process Control)的出現(xiàn)恰好可以解決平臺管理系統(tǒng)的集成問題,實現(xiàn)“集中管理、分散控制”的管控一體化[11]。然而,OPC 需要基于Windows 操作系統(tǒng),一直無法得到大范圍推廣,同時工業(yè)互聯(lián)網(wǎng)中數(shù)據(jù)傳輸存在的驅(qū)動程序問題也限制了交流互通。隨后,OPC UA 的跨平臺通信功能解決了這一問題[4]。
從工業(yè)互聯(lián)網(wǎng)發(fā)展歷程來看:繼電器邏輯不靈活且維護成本較高;現(xiàn)場總線雖然降低了接線與工程成本,但信息集成能力不強,可維護性較低;實時以太網(wǎng)引入分布式控制與管理,但應(yīng)用到工業(yè)現(xiàn)場時,面對惡劣的工作條件和嚴重的線路間干擾,會不可避免地降低可靠性??梢钥闯觯I(yè)網(wǎng)絡(luò)對可靠性、可恢復(fù)性和可維護性具有很高要求,而以上幾種技術(shù)都有其局限性。工業(yè)網(wǎng)絡(luò)中的OPC UA over TSN 結(jié)構(gòu)可覆蓋會話層與表示層,TSN 的網(wǎng)絡(luò)機制與配置管理可理解為以太網(wǎng)、網(wǎng)絡(luò)層與傳輸層的覆蓋,同時滿足了工業(yè)4.0、邊緣計算等新任務(wù)發(fā)展語義互操作的迫切需求。因此,本文將OPC UA over TSN 應(yīng)用于城市隧道監(jiān)控系統(tǒng),提供一個實時開放、可靠性高的工業(yè)通信網(wǎng)絡(luò)架構(gòu),以滿足隧道監(jiān)控系統(tǒng)的工業(yè)生產(chǎn)安全性和可靠性需求,彌補傳統(tǒng)實時工業(yè)以太網(wǎng)在易用性、語義互操作性、帶寬上的不足。
以隧道交通企業(yè)及政府相關(guān)管理部門為服務(wù)對象,以隧道監(jiān)控網(wǎng)、通風(fēng)照明、交通控制、視頻數(shù)據(jù)、排水泵、廣播、電力、無線通信等為管理對象,通過使用工業(yè)大數(shù)據(jù)、異構(gòu)網(wǎng)絡(luò)、工業(yè)無線網(wǎng)絡(luò)等技術(shù),構(gòu)建城市隧道視頻監(jiān)控信息采集與語義分析平臺。該平臺對海量隧道監(jiān)控數(shù)據(jù)進行及時的分析與處理,作出相應(yīng)處理結(jié)果輔助決策,實現(xiàn)交通協(xié)助控制、環(huán)境災(zāi)害預(yù)警、應(yīng)急搶險指揮、節(jié)能降損等多種功能,完善隧道資源管理、安全調(diào)度及危險預(yù)警功能。
如圖3 所示,采用工業(yè)互聯(lián)網(wǎng)中的現(xiàn)場總線技術(shù)、工業(yè)以太網(wǎng)技術(shù),結(jié)合語義互操作的需求,將分散、時空隔離的眾多監(jiān)控攝像頭集成到一個平臺中,通過對車道交通運行參數(shù)、隧道環(huán)境、交通信號燈等各類信息的自動采集、整合、智能分析與共享,使操作員掌握各級信息,逐步實現(xiàn)系統(tǒng)業(yè)務(wù)的標(biāo)準化、流程化、集成化、自動化與智能化。通過對城市隧道監(jiān)控系統(tǒng)現(xiàn)有集成方法進行分析,結(jié)合2020 年6 月OPC 發(fā)布的工作方案,可以通過OPC UA 與TSN 融合的方式改進現(xiàn)有集成方法[12]。
Fig.3 Framework of urban tunnel surveillance system information collection and semantic analysis based on Industrial Internet圖3 基于工業(yè)互聯(lián)網(wǎng)的城市隧道監(jiān)控系統(tǒng)信息采集與語義分析整體架構(gòu)
圖3 中,IaaS 云網(wǎng)層基于虛擬化、分布式存儲、并行計算、負載調(diào)度等技術(shù),提供計算資源、存儲資源、網(wǎng)絡(luò)資源等基礎(chǔ)設(shè)施服務(wù),實現(xiàn)存儲、網(wǎng)絡(luò)、計算等資源池的優(yōu)化與管理,根據(jù)用戶資源使用情況進行資源彈性分配以確保訪問安全。
PaaS 平臺層提供面向企業(yè)與開發(fā)者的一站式平臺開發(fā)服務(wù),支持工業(yè)模型開發(fā)、調(diào)度與管理,支持基于工業(yè)模型封裝的工業(yè)微服務(wù)應(yīng)用的全生命周期管理,并提供大規(guī)模容器集群管理、資源調(diào)度與中間件服務(wù)等通用服務(wù),幫助用戶快速構(gòu)建工業(yè)應(yīng)用。
SaaS 應(yīng)用層根據(jù)隧道視頻監(jiān)控的具體需求,封裝了城市隧道視頻監(jiān)控系統(tǒng)不同場景下的工業(yè)知識、應(yīng)用方法和技術(shù)軟件,如通風(fēng)控制、隧道洞口變電、電力監(jiān)控等。
核心層(網(wǎng)絡(luò)傳輸與信息采集層)同時兼容4G/5G 傳輸、工業(yè)無線網(wǎng)傳輸、LAN/WAN 傳輸?shù)?,負?zé)建造架構(gòu)的數(shù)據(jù)基礎(chǔ),包括監(jiān)控視頻數(shù)據(jù)、隧道環(huán)境、交通運行參數(shù)、信號燈數(shù)據(jù)等基礎(chǔ)信息的采集。
城市隧道視頻監(jiān)控信息采集系統(tǒng)主要包括視頻監(jiān)控子系統(tǒng)、交通控制子系統(tǒng)、照明控制子系統(tǒng)、通風(fēng)控制子系統(tǒng)、排水泵控制子系統(tǒng)、廣播/緊急電話控制子系統(tǒng)、電力監(jiān)控子系統(tǒng)、無線通信子系統(tǒng)、火災(zāi)自動報警子系統(tǒng)、聯(lián)動控制子系統(tǒng)十大模塊,主要功能為對采集數(shù)據(jù)的設(shè)備狀態(tài)進行集中顯示,通過監(jiān)測數(shù)據(jù)分析不同設(shè)備的工作效率、故障情況等。圖4 為隧道視頻監(jiān)控信息采集系統(tǒng)架構(gòu),具體功能為:
(1)視頻監(jiān)控子系統(tǒng)基于IP 網(wǎng)絡(luò)實現(xiàn)視頻信號的傳輸、交換與處理,整個子系統(tǒng)包括前端設(shè)備采集、網(wǎng)絡(luò)傳輸、視頻監(jiān)控管理平臺。信息采集的范圍包括但不限于隧道交通流參數(shù)、隧道及隧道群區(qū)域的交通事件、隧道洞口及隧道內(nèi)緊急電話呼叫信號、隧道及變電所的圖像畫面、隧道各種設(shè)備的檢測信息及工作狀態(tài)反饋信息、隧道事故、隧道內(nèi)車輛行人信息、外場設(shè)備檢測及工作狀態(tài)反饋信息等。
(2)交通控制子系統(tǒng)由車輛檢測器、車道指示器、交通信號燈等設(shè)備組成。車輛檢測器主要用于檢測隧道內(nèi)的車速、車流量和車道占有率;車道指示器、交通信號燈的狀態(tài),可變情報板、可變限速板的內(nèi)容應(yīng)設(shè)置多種預(yù)案,以便根據(jù)車輛檢測器的數(shù)據(jù)快速啟用相應(yīng)預(yù)案。該子系統(tǒng)可通過PLC 進行自動或手動控制。
(3)照明、通風(fēng)、排水泵、火災(zāi)、電力監(jiān)控5 個子系統(tǒng)主要檢測隧道內(nèi)部的環(huán)境情況,通過各隧道節(jié)點的電力測控裝置實時采集隧道內(nèi)部的環(huán)境數(shù)據(jù),對災(zāi)害及時預(yù)警,保證車輛暢通。
(4)廣播/緊急電話控制、無線通信兩個子系統(tǒng)通過設(shè)置緊急電話和事件預(yù)警分析服務(wù)器實現(xiàn)對隧道內(nèi)所有緊急電話、廣播的注冊配置、號碼分配、路由中繼等,其還可收集廣播信號、無線信號數(shù)據(jù),為隧道內(nèi)搶修與控制管理人員建立無線信號通訊。這兩個系統(tǒng)采用大容量主控機設(shè)備實現(xiàn)統(tǒng)一管理,具有集中管控的優(yōu)勢。
(5)聯(lián)動控制子系統(tǒng)通過采集分析視頻數(shù)據(jù)、環(huán)境數(shù)據(jù)、交通數(shù)據(jù)、火災(zāi)光纖傳感器監(jiān)測數(shù)據(jù)、設(shè)備控制參數(shù)、交通控制參數(shù)、隧道擁塞參數(shù)、火災(zāi)報警參數(shù)等,根據(jù)報警區(qū)域、事件分類與等級啟動預(yù)先設(shè)置的災(zāi)害緊急預(yù)案,對相關(guān)設(shè)備進行聯(lián)動控制。
隧道視頻監(jiān)控信息采集系統(tǒng)針對隧道內(nèi)部的海量數(shù)據(jù),通過分布式大數(shù)據(jù)技術(shù),由多個分布結(jié)點組成的集群提供服務(wù),提升了數(shù)據(jù)處理效率,縮短了響應(yīng)時間。其在存貯上使用FastDFS 等分布式文件系統(tǒng),對數(shù)據(jù)進行存儲、訪問等;分布式內(nèi)存計算采用Spark 技術(shù),通過彈性分布式數(shù)據(jù)集實現(xiàn)對分布式內(nèi)存的抽象使用[13];在應(yīng)用開發(fā)上,其支持Java 等多種語言。該系統(tǒng)在保證關(guān)鍵數(shù)據(jù)采集實時性的同時降低了計算量,采用極簡工業(yè)互聯(lián)網(wǎng)中的常用數(shù)據(jù)庫對信息采集平臺進行優(yōu)化配置,使其最大程度地滿足業(yè)務(wù)系統(tǒng)的需求,具有高吞吐量、強穩(wěn)定性、支持Hadoop 并行數(shù)據(jù)加載等工業(yè)特性。
隧道數(shù)據(jù)分析是城市交通系統(tǒng)監(jiān)管的重要內(nèi)容。傳統(tǒng)方法依靠人力進行視頻的搜集、裁剪,手動對目標(biāo)進行標(biāo)注,耗時久且無法滿足智能交通系統(tǒng)對視頻數(shù)據(jù)的實時性分析要求[14]。因此,本文將深度學(xué)習(xí)方法與語義特征相結(jié)合,對視頻圖像進行分析建模,得到不同數(shù)據(jù)流并建立制程數(shù)據(jù)反饋,提高隧道數(shù)據(jù)的利用率[15]。本文提出的視頻圖像場景分割算法、視頻圖像行人搜索算法以圖像識別和語義理解為基礎(chǔ),通過聯(lián)合機器學(xué)習(xí)與深度學(xué)習(xí)方法解決隧道監(jiān)控系統(tǒng)的復(fù)雜場景分割問題;提出的視頻圖像異常事件識別算法基于知識圖譜思想,面向工業(yè)知識,解決隧道內(nèi)異常事件的判識問題。以上3 種算法模型均在GPU服務(wù)器或云端通過大數(shù)據(jù)深度學(xué)習(xí)平臺進行分布式訓(xùn)練。
2.3.1 場景分割算法
視頻圖像場景分割算法的目的是解析隧道監(jiān)控視頻中的場景。由于不同設(shè)備的設(shè)置不同,傳入視頻畫面可能存在多尺度問題。為此,本文算法根據(jù)網(wǎng)絡(luò)聯(lián)機提供的畫面解析場景信息,方便后續(xù)行人搜索、事件識別等任務(wù)的進行,具有解析速度快、精度高的優(yōu)勢。算法步驟如下:
其中,R1、R2、R3、R4為Resnet50[16]得到的不同階段的特征圖;Xi為第i層得到的特征圖;σ為sigmoid 函數(shù);H、W、C分別為圖像的高度、寬度、通道數(shù);P為SE 模塊[17]中得到的特征圖;為網(wǎng)絡(luò)結(jié)構(gòu)中第i層的第j個結(jié)點;B為網(wǎng)絡(luò)中的瓶頸塊。
在Cityscapes 數(shù)據(jù)集上進行仿真實驗,以FCN、RAPNET、SpyGR 作為對照,以mIoU 為語義分割評價指標(biāo)。表1實驗結(jié)果表明,本文算法的mIoU 高于FCN、RAPNET、SpyGR,在隧道場景中的應(yīng)用表現(xiàn)優(yōu)異。該算法的樹形結(jié)構(gòu)解決了場景分割任務(wù)中的多尺度問題,可根據(jù)設(shè)備輸入的視頻進行畫面分割,區(qū)分隧道背景與車輛主體前景,通過定位車輛主體,減少因突發(fā)故障導(dǎo)致的損失[17]。
Table 1 Results of Cityscapes dataset表1 Cityscapes 數(shù)據(jù)集實驗結(jié)果
2.3.2 行人搜索算法
視頻行人搜索算法的目的是在視頻中搜索目標(biāo)人物[18-19]。具體操作為將前端攝像機拍攝的模擬/數(shù)字視頻信號輸入到檢測設(shè)備中進行DSP(Digital Signal Processing)前端處理,再提取行人及其背景信息,對相應(yīng)畫面進行裁剪。該算法針對視頻畫面進行分析,經(jīng)由網(wǎng)絡(luò)聯(lián)機主動提供行人身份信息,與目標(biāo)人物進行匹配,具體步驟如下:
其中,O′為經(jīng)分割算法得到的行人檢測圖像;O″為行人的外觀特征圖為行人的全局特征。通過輔助插件得到行人圖像的8 個部分,Pɑrti為行人的頭部、肩膀、胸部、腹部、手臂、腿部、鞋子,Bɑcki為背景部分。Wg、Wq分別為全局特征與查詢目標(biāo)的特征權(quán)重。
在CUHK-SYSU 數(shù)據(jù)集上進行實驗,以MGTS、CGPS、IGPN 為對照,以Top-1、mAP 作為目標(biāo)檢測的評價指標(biāo)。表2 實驗結(jié)果表明,本文算法在CUHK-SYSU 數(shù)據(jù)集上的mAP 和Top-1 準確度上分別達到92.8%和95.7%,相較于單純區(qū)分前景、背景進行特征提取再融合的MGTS 方法提高了12.0%和9.2%,相較于以圖學(xué)習(xí)為框架的CGPS 方法提高了9.2%和8.7%,相較于以全局與局部關(guān)系解析為基礎(chǔ)的IGPN 方法提高了4.3%和2.5%。該算法在隧道應(yīng)用中表現(xiàn)優(yōu)異,其可根據(jù)設(shè)備輸入的視頻進行工程技術(shù)人員的搜索查詢,定位其所在位置,經(jīng)過工業(yè)互聯(lián)網(wǎng)整體架構(gòu)的傳輸,實時為隧道整修提供精確指導(dǎo),減少人力損耗。
Table 2 Results of CUHK-SYSU dataset表2 CUHK-SYSU 數(shù)據(jù)集實驗結(jié)果
2.3.3 異常事件識別算法
視頻事件識別是指基于視頻事件識別算法,將前端攝像機拍攝的模擬/數(shù)字視頻信號輸入到檢測設(shè)備中進行DSP 前端處理,再提取表征信息,實現(xiàn)自動監(jiān)視攝像機視野內(nèi)異常交通事件的功能。視頻圖像異常事件識別算法針對逆行車輛、停等車輛、行人、拋灑物等進行判定,再經(jīng)由網(wǎng)絡(luò)聯(lián)機主動提供事件報警信息,觸發(fā)監(jiān)控中心與數(shù)據(jù)服務(wù)器進行事件記錄[20]。具體實現(xiàn)步驟如下:
其中,I為整個概念語義樹結(jié)構(gòu)的最大概念節(jié)點深度;i為概念節(jié)點x、y之間的距離;Nx和Ny分別表示概念x、概念y與對應(yīng)祖父節(jié)點之間的有向邊數(shù)量;Ns表示W(wǎng)ordNet 樹中根節(jié)點到概念x和概念y的公共祖父節(jié)點的有向邊數(shù)量;Wl為概念x和概念y最近的公共祖先節(jié)點密度;Wx、Wy分別表示概念x和概念y的兄弟節(jié)點數(shù);Wmax表示整個WordNet 樹結(jié)構(gòu)所有分支中兄弟節(jié)點的最大值;FA,B(C)為概念節(jié)點A、B與其祖父節(jié)點C的語義重合度。將概念A(yù)、B在WordNet樹中所有的祖父節(jié)點分別定義為TA、TB,則TA-TB表示W(wǎng)ordNet 樹中概念A(yù) 的獨立祖父概念節(jié)點,TB-TA同理。I′為圖像的概念評分向量;wij為概念語義相似度度量生成的相似度矩陣;L、S 為拉普拉斯矩陣,S=L或S=Lp,p∈?;α、β、γ為融合參數(shù);I k為對角陣;μ為控制函數(shù)穩(wěn)定性的約束條件。
WIDER 數(shù)據(jù)集來源于日常生活,圖像數(shù)據(jù)中存在較大噪聲信息,在該數(shù)據(jù)集上進行實驗,以mAP 為評價指標(biāo)。表3 實驗結(jié)果表明,本文算法相較于早期僅使用CNN 和融合CNN 通道信息算法的識別性能分別提升了15.1% 和13.2%,相較于ImageNet CNN 算法提升了5.7%,相較于GoogLeNet GAP 算法提升了3.1%。
Table 3 Results of WIDER dataset表3 WIDER 數(shù)據(jù)集實驗結(jié)果
基于概念評分的視頻圖像事件識別算法在隧道應(yīng)用中表現(xiàn)優(yōu)異,其可根據(jù)設(shè)備輸入的視頻預(yù)測隧道內(nèi)可能發(fā)生的異常事件,通過結(jié)果定位異常行為主體,及時通過工業(yè)互聯(lián)網(wǎng)連接應(yīng)用層使設(shè)備作出響應(yīng),減少因突發(fā)故障導(dǎo)致的損失。
以AI 為核心的新一代信息技術(shù)與工業(yè)互聯(lián)網(wǎng)持續(xù)融合發(fā)展,推動城市隧道交通產(chǎn)業(yè)不斷前進。目前城市隧道監(jiān)控系統(tǒng)與工業(yè)互聯(lián)網(wǎng)產(chǎn)業(yè)的結(jié)合仍處于初級階段,本文結(jié)合深度學(xué)習(xí)語義分析,設(shè)計了一個綜合全面、技術(shù)先進的隧道監(jiān)控架構(gòu),同時提出若干基于該架構(gòu)的監(jiān)控視頻圖像分析算法,與經(jīng)典算法相比,本文提出的算法在隧道視頻圖像場景分割、行人搜索、異常事件識別任務(wù)中的表現(xiàn)有明顯優(yōu)勢。同時,本文提出的算法與工業(yè)互聯(lián)網(wǎng)技術(shù)相輔相成,驅(qū)動了工業(yè)互聯(lián)網(wǎng)的創(chuàng)新發(fā)展,具體體現(xiàn)在:在生產(chǎn)模式方面,借助智能算法升級,以深度學(xué)習(xí)為基礎(chǔ)實現(xiàn)面向個性化和定制化需求的快速響應(yīng),充分發(fā)揮深度學(xué)習(xí)的特性優(yōu)化監(jiān)控視頻中工業(yè)線的平衡;在服務(wù)模式方面,人工智能驅(qū)動服務(wù)模式從被動式向主動式轉(zhuǎn)變,視頻圖像場景分割算法、視頻圖像異常事件識別算法構(gòu)建和訓(xùn)練監(jiān)控系統(tǒng)進行預(yù)測性維護,從事故的被動式響應(yīng)和處置轉(zhuǎn)變成主動式防范;在商業(yè)模式方面,本文提出的算法催生了“產(chǎn)品即服務(wù)”的新型模式,如隧道監(jiān)控系統(tǒng)通過嵌入視頻圖像行人搜索算法,從單純的監(jiān)控制造商轉(zhuǎn)變?yōu)樘峁┬腥怂阉?、狀態(tài)檢測等綜合性服務(wù)的供應(yīng)商。隨著產(chǎn)業(yè)的變革,需結(jié)合人工智能技術(shù),在管理、技術(shù)、安全等多方面協(xié)同構(gòu)建基于工業(yè)互聯(lián)網(wǎng)的城市隧道監(jiān)控系統(tǒng)。此外,在后續(xù)工作中,還可探究本文算法與工業(yè)互聯(lián)網(wǎng)在其他復(fù)雜工業(yè)場景中的還融合情況以及將其拓展到小區(qū)智能監(jiān)控、公共場合安防等場景中的可行性。