周前飛 慶光蔚

南京市特種設(shè)備安全監(jiān)督檢驗(yàn)研究院 南京 210000

0 引言

目前，基于物聯(lián)網(wǎng)的電梯遠(yuǎn)程視頻監(jiān)控系統(tǒng)實(shí)現(xiàn)了視頻圖像的遠(yuǎn)距離傳輸、存儲(chǔ)與監(jiān)視等功能，但智能化程度低、實(shí)時(shí)性差，不具備扒門、擋門、困人、蹦跳、超載等電梯異常事件及制動(dòng)器、控制柜等關(guān)鍵部件故障自動(dòng)檢測報(bào)警功能，普遍存在視頻資源利用率低、視頻資源共享率低、視頻大數(shù)據(jù)關(guān)聯(lián)分析率低，視頻圖像應(yīng)用效能不足等問題，難以滿足電梯動(dòng)態(tài)監(jiān)管和精準(zhǔn)監(jiān)管要求。隨著5G、人工智能等新技術(shù)的發(fā)展，基于AI、邊緣計(jì)算、霧計(jì)算、云計(jì)算的嵌入式視頻物聯(lián)網(wǎng)(Internet of Video Things)技術(shù)為電梯智慧監(jiān)管提供了新手段[1]。

岳彬等[2]提出一種基于智能視覺物聯(lián)網(wǎng)的油庫人員行為識(shí)別與監(jiān)測系統(tǒng)，首先建立智能視覺物聯(lián)網(wǎng)監(jiān)測系統(tǒng)架構(gòu)，滿足信號(hào)采集、傳輸、處理與反饋需求，然后提出一種視頻語義分析模型，將人體行為識(shí)別與人臉識(shí)別進(jìn)行協(xié)同分析，實(shí)現(xiàn)對(duì)油庫作業(yè)人員行為的分析與監(jiān)測；陳智雄[3]提出了一種智慧管廊中基于視頻的異常事件預(yù)警系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)方案，該方案采用了FFmpeg（Fast Forward MPEG）、邊緣計(jì)算、深度學(xué)習(xí)和物體檢測技術(shù)，將監(jiān)控?cái)z像頭視頻數(shù)據(jù)進(jìn)行接入和物體檢測，根據(jù)設(shè)置規(guī)則對(duì)檢測結(jié)果進(jìn)行過濾，降低了誤報(bào)的概率，實(shí)現(xiàn)了異常事件智能預(yù)警；Singla D等[4]提出一種神經(jīng)形態(tài)視覺傳感器(Neuromorphic vision sensors)，像素以異步方式觸發(fā)，從而提供更高的傳輸速率，時(shí)間分辨率和動(dòng)態(tài)范圍，以及低延遲和功率；Nikita A等[5]提出一種以邊緣為中心的物聯(lián)網(wǎng)中對(duì)攝像機(jī)的并發(fā)訪問方法，設(shè)計(jì)一種適用于高效編碼視頻監(jiān)控系統(tǒng)(H.265/HEVC)的運(yùn)動(dòng)估計(jì)協(xié)處理器；Perala S S N等[6]提出一種試圖平衡物聯(lián)網(wǎng)環(huán)境下相機(jī)的內(nèi)容生成率方法，例如在本地存儲(chǔ)、網(wǎng)絡(luò)利用和計(jì)算約束下的視頻監(jiān)控人臉識(shí)別，同時(shí)實(shí)現(xiàn)最高可能的準(zhǔn)確性；Yang S W等[7]通過協(xié)同使用視頻物聯(lián)網(wǎng)中的邊緣設(shè)備、中間網(wǎng)關(guān)、服務(wù)器或云計(jì)算平臺(tái)來高效處理連續(xù)視頻流，闡述了可視化霧計(jì)算框架的需求，并對(duì)可視化霧計(jì)算框架的實(shí)例化提出了有前景的研究方向。

紅外熱成像技術(shù)是一種非接觸式的檢測/監(jiān)測方法，不受強(qiáng)電磁干擾，不對(duì)電氣、電路設(shè)備造成損傷，可用于電氣設(shè)備故障或者運(yùn)動(dòng)部件的磨損嚴(yán)重情況檢測。黃四彬[8]采用紅外熱成像儀對(duì)電梯制動(dòng)器的制動(dòng)器電氣回路進(jìn)行紅外熱成像分析，發(fā)現(xiàn)電梯的制動(dòng)器抱閘線圈的溫度相對(duì)于相同型號(hào)和相同工況下溫度明顯過高，對(duì)電梯抱閘回路的各個(gè)因素進(jìn)行分析，以避免因電梯制動(dòng)器失效引發(fā)的危險(xiǎn)；鄭強(qiáng)[9]結(jié)合多年來電梯故障診斷經(jīng)驗(yàn)，介紹紅外熱成像技術(shù)在電梯故障診斷中的常見應(yīng)用，并重點(diǎn)分析一起電梯電腦板故障的原因，確定電腦板中的故障器件；鄭祥盤[10]闡述了基于紅外熱成像技術(shù)的電梯電氣控制系統(tǒng)檢測一般方法，并對(duì)電梯電氣系統(tǒng)元件故障紅外熱成像缺陷診斷的分析判斷方法作了研究。

紅外熱成像技術(shù)在電梯設(shè)備檢測中的應(yīng)用還處于較為初級(jí)階段，在監(jiān)測方面應(yīng)用幾乎為空白，對(duì)紅外圖像的分析診斷多依賴人工，而紅外檢測/監(jiān)測人員較少且無法滿足對(duì)海量紅外圖像的分析工作，再加上部分檢測/監(jiān)測人員的專業(yè)知識(shí)水平和監(jiān)測經(jīng)驗(yàn)積累不足，因此對(duì)缺陷的分析判斷能力較差，這大大制約了設(shè)備狀態(tài)監(jiān)測智能化水平的提升。

當(dāng)前電梯設(shè)備紅外圖像分析存在人為因素影響大、圖像分析效率低等缺點(diǎn)，單純的紅外檢測技術(shù)已經(jīng)不能滿足電梯設(shè)備檢測/監(jiān)測需求，將紅外技術(shù)與圖像處理技術(shù)、深度學(xué)習(xí)方法的結(jié)合成為了突破口。因此，本文設(shè)計(jì)了基于AI+云邊協(xié)同+5G的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，提出基于深度學(xué)習(xí)的電梯轎廂多目標(biāo)復(fù)雜模式嵌入式在線識(shí)別方法、基于紅外圖譜分析的制動(dòng)器和控制柜故障預(yù)警方法，對(duì)電梯運(yùn)行狀態(tài)進(jìn)行可視化監(jiān)測和故障分析預(yù)警，降低不安全乘梯行為和關(guān)鍵部件故障引起的電梯安全隱患，實(shí)現(xiàn)報(bào)警聯(lián)動(dòng)與可視化應(yīng)急指揮，避免電梯困人時(shí)自救不當(dāng)引發(fā)的次生傷害，提高電梯運(yùn)行安全性。

1 系統(tǒng)設(shè)計(jì)思想與技術(shù)路線

本文研發(fā)一套融合物聯(lián)網(wǎng)、AI、邊緣計(jì)算、云計(jì)算、5G技術(shù)的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，實(shí)現(xiàn)視頻監(jiān)控、困人故障識(shí)別、報(bào)警聯(lián)動(dòng)、可視化救援、電動(dòng)車進(jìn)電梯識(shí)別、不安全乘梯行為識(shí)別、開關(guān)門狀態(tài)識(shí)別、制動(dòng)器和控制柜故障預(yù)警、視頻檢索、統(tǒng)計(jì)分析、態(tài)勢分析等多維功能，系統(tǒng)設(shè)計(jì)思想與技術(shù)路線如圖1所示。

圖1 系統(tǒng)設(shè)計(jì)思想與技術(shù)路線

通過電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)設(shè)計(jì)與研發(fā)，實(shí)現(xiàn)對(duì)電梯領(lǐng)域大量前端已安裝可見光攝像機(jī)及新裝紅外熱像儀的圖像采集、聯(lián)網(wǎng)傳輸、智能分析與自動(dòng)報(bào)警，實(shí)現(xiàn)跨網(wǎng)絡(luò)(有線網(wǎng)、5G無線網(wǎng))的信息采集和遠(yuǎn)程管理系統(tǒng)，盡量減少對(duì)已投資的前端視頻系統(tǒng)的干擾或重構(gòu)，同時(shí)減少對(duì)后端(云平臺(tái))的存儲(chǔ)和訪問壓力，可以通過軟件分析算法模型的升級(jí)和快速分發(fā)不斷適應(yīng)各種智能分析應(yīng)用要求的變化。

研究電梯場景異常事件識(shí)別與故障預(yù)警算法，并將算法移植到邊緣計(jì)算設(shè)備的嵌入式系統(tǒng)中，實(shí)現(xiàn)嵌入式視頻分析功能。建立電動(dòng)車、人、制動(dòng)器、轎門等目標(biāo)的圖像數(shù)據(jù)庫，構(gòu)建基于深度學(xué)習(xí)的電梯場景視頻語義分析模型，用于視頻中復(fù)雜事件的檢測和分析，主要研究內(nèi)容包括電梯困人故障識(shí)別、電動(dòng)車進(jìn)電梯識(shí)別、不安全乘梯行為識(shí)別、電梯開關(guān)門狀態(tài)識(shí)別、制動(dòng)器故障識(shí)別、控制柜故障識(shí)別等，并采取相關(guān)處置措施，及時(shí)排除事故隱患，減少困人故障自救不當(dāng)引起的次生傷害，將故障信息和樓層信息傳輸?shù)胶蠖嗽破脚_(tái)，并反饋給使用單位和維保單位，督促其加強(qiáng)電梯使用安全管理，及時(shí)進(jìn)行設(shè)備維護(hù)保養(yǎng)，將設(shè)備安全隱患消除在萌芽狀態(tài)。

將本項(xiàng)目研究的算法、方法工具化和云化，并基于中臺(tái)理念將數(shù)據(jù)、AI算法、基礎(chǔ)業(yè)務(wù)能力進(jìn)行中臺(tái)化封裝，以實(shí)現(xiàn)功能的有效整合和匯聚，建設(shè)面向?qū)嶋H應(yīng)用的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，作為NJ智慧電梯平臺(tái)的視頻AI模塊。其中，數(shù)據(jù)中臺(tái)功能是構(gòu)建原始視頻數(shù)據(jù)庫、人體數(shù)據(jù)庫、電動(dòng)車數(shù)據(jù)庫、以及制動(dòng)器、控制柜紅外熱像數(shù)據(jù)庫等圖像數(shù)據(jù)庫；業(yè)務(wù)中臺(tái)對(duì)所有視頻智能分析網(wǎng)關(guān)設(shè)備進(jìn)行統(tǒng)一配置、策略統(tǒng)一分發(fā)，能對(duì)各個(gè)網(wǎng)關(guān)運(yùn)行狀態(tài)實(shí)時(shí)監(jiān)控，能接收并存儲(chǔ)報(bào)警信息，并提供觸發(fā)報(bào)警場景的圖片和短視頻，為事后取證提供依據(jù)，包含視頻檢索、數(shù)據(jù)挖掘、可視化分析等算法，實(shí)現(xiàn)視頻大數(shù)據(jù)的云端處理；AI中臺(tái)具有AI智能算法調(diào)度功能，包括系統(tǒng)加載具體哪種類型的AI智能算法、前端感知設(shè)備植入具體哪種類型的AI智能算法、遠(yuǎn)程設(shè)置算法模型參數(shù)等。

2 關(guān)鍵技術(shù)

2.1 電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)

如圖2所示，通過設(shè)計(jì)邊緣智能分析網(wǎng)關(guān)，實(shí)現(xiàn)電梯領(lǐng)域大量前端已安裝攝像機(jī)及新裝紅外熱像儀視頻數(shù)據(jù)采集，同時(shí)加載深度學(xué)習(xí)AI識(shí)別算法，通過邊緣計(jì)算進(jìn)行AI智能分析，從視頻、圖片中提取人員、物（轎門、電動(dòng)車、制動(dòng)器、控制柜）、行為（扒門、蹦跳等）、特征（如控制柜的異常發(fā)熱點(diǎn)）等結(jié)構(gòu)化數(shù)據(jù)，識(shí)別電梯場景下的各種異常事件或故障信息進(jìn)行在線實(shí)時(shí)報(bào)警，并將檢測結(jié)果（文本形式結(jié)構(gòu)化數(shù)據(jù)）、圖片以及小視頻經(jīng)5G通信網(wǎng)絡(luò)傳輸至后端云平臺(tái)，極大程度上減小了后端云平臺(tái)的傳輸、訪問、處理和存儲(chǔ)負(fù)擔(dān)，有效降低網(wǎng)絡(luò)延遲與視頻數(shù)據(jù)的傳輸量，為視頻大數(shù)據(jù)的大規(guī)模聯(lián)網(wǎng)傳輸?shù)於嘶A(chǔ)。涉及智能視頻分析網(wǎng)關(guān)的硬件配置、算法的嵌入式移植、Agent(代理)程序設(shè)計(jì)、智能化聯(lián)網(wǎng)方法等內(nèi)容。

圖2 電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)硬件配置

在網(wǎng)關(guān)上設(shè)計(jì)一個(gè)Agent(代理)程序，對(duì)網(wǎng)關(guān)的分析能力及分析策略進(jìn)行遠(yuǎn)程管理和調(diào)度，與后端云平臺(tái)通信進(jìn)行分析模型的遠(yuǎn)程更新、分析策略和參數(shù)統(tǒng)一配置、視頻源與分析運(yùn)算調(diào)度、分析結(jié)果和監(jiān)控?cái)?shù)據(jù)存儲(chǔ)管理和上傳等；具有視頻質(zhì)量檢測功能，將攝像機(jī)不在線、網(wǎng)絡(luò)不通、信號(hào)丟失、黑屏等異常情況實(shí)時(shí)記錄。為適應(yīng)已安裝攝像頭的各種前端網(wǎng)絡(luò)情況，根據(jù)國標(biāo)GB/T 28181—2016《公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求》、Onvif（開放型網(wǎng)絡(luò)視頻接口）協(xié)議以及設(shè)備SDK（軟件開發(fā)工具包）開發(fā)接口和協(xié)議，采用單設(shè)備接入和智能化網(wǎng)絡(luò)接入等多種接入手段，實(shí)現(xiàn)跨網(wǎng)絡(luò)(有線網(wǎng)、5G無線網(wǎng)、Wi fi等)的信息采集?；谶吘売?jì)算、AI技術(shù)實(shí)現(xiàn)終端設(shè)備視頻數(shù)據(jù)的嵌入式在線智能分析，結(jié)合5G Mmtc高帶寬、低延時(shí)、大規(guī)模低功耗聯(lián)網(wǎng)特性，通過全新的智能化聯(lián)網(wǎng)設(shè)計(jì)，在嵌入式在線數(shù)據(jù)處理、智能化緩存和高效傳輸之間取得平衡，解決視頻大數(shù)據(jù)的大規(guī)模聯(lián)網(wǎng)傳輸難題。

2.2 電梯場景異常事件識(shí)別與故障預(yù)警算法研究

研究與電梯安全直接相關(guān)的異常乘梯行為和故障狀態(tài)智能識(shí)別算法，實(shí)現(xiàn)電梯困人故障識(shí)別、電動(dòng)車進(jìn)電梯識(shí)別、不安全乘梯行為識(shí)別、電梯開關(guān)門狀態(tài)識(shí)別、制動(dòng)器和控制柜故障識(shí)別等，并進(jìn)行自動(dòng)報(bào)警、語音提示等相關(guān)處置措施，主要包括幾個(gè)方面內(nèi)容：

1）乘客不安全乘梯行為及困人故障監(jiān)測與識(shí)別研究雙流CNN網(wǎng)絡(luò)、3D卷積、LSTM網(wǎng)絡(luò)、SSD、YOLOv3、Faster R-CNN、R-FCN等深度神經(jīng)卷積網(wǎng)絡(luò)算法，利用電梯場景關(guān)鍵目標(biāo)數(shù)據(jù)集對(duì)算法網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練和測試，實(shí)現(xiàn)電梯困人故障、電動(dòng)車進(jìn)電梯行為以及乘客扒門、蹦跳、異常倒地（摔倒）、小朋友單獨(dú)乘梯等不安全乘梯行為在線識(shí)別；通過人臉、人形的區(qū)域計(jì)數(shù)算法和絆線統(tǒng)計(jì)人流量算法，捕捉電梯載客流量、載客人數(shù)，識(shí)別電梯超載行為。

當(dāng)識(shí)別出困人故障或人員異常倒地時(shí)，自動(dòng)連通96333應(yīng)急處置平臺(tái)進(jìn)行報(bào)警呼救，傳輸視頻數(shù)據(jù)到96333平臺(tái)，自動(dòng)啟動(dòng)雙向語音對(duì)講，以便工作人員進(jìn)行語音安撫和救援調(diào)度，提高應(yīng)急處置與救援能力；當(dāng)識(shí)別出乘客扒門行為時(shí)，進(jìn)行語音勸阻，防止扒門引起的墜落事故發(fā)生，起到事故預(yù)防作用；當(dāng)識(shí)別出超載和蹦跳行為時(shí)，進(jìn)行語音勸阻，降低安全隱患；當(dāng)識(shí)別出電動(dòng)車進(jìn)電梯或小朋友單獨(dú)乘梯時(shí)，自動(dòng)進(jìn)行語音阻攔警告，并實(shí)時(shí)將檢測結(jié)果反饋給后臺(tái)，方便物業(yè)監(jiān)督管理，加強(qiáng)電梯使用監(jiān)管。

2）電梯開關(guān)門狀態(tài)監(jiān)測與故障識(shí)別 通過背景減法、形態(tài)學(xué)膨脹和腐蝕、閾值分割等圖像處理方法，實(shí)時(shí)檢測電梯開關(guān)門運(yùn)行狀態(tài)，考慮開關(guān)門過程時(shí)間因素，識(shí)別開關(guān)門失靈、物體或人長期擋門、門區(qū)逗留、非平層區(qū)域開門等故障。例如當(dāng)識(shí)別出電梯非平層區(qū)域開門時(shí)，第一時(shí)間進(jìn)行語音提醒和自動(dòng)報(bào)警，防止人員從轎廂與井道之間間隙墜入井道；同時(shí)，提取樓層顯示屏區(qū)域圖像，通過支持向量機(jī)模型識(shí)別所在樓層信息，將故障信息和樓層信息傳輸?shù)胶蠖嗽破脚_(tái)，并反饋給使用單位和維保單位，督促其加強(qiáng)電梯使用安全管理，及時(shí)進(jìn)行設(shè)備維護(hù)保養(yǎng)，將設(shè)備安全隱患消除在初始狀態(tài)。

3）制動(dòng)器紅外監(jiān)測與故障預(yù)警 采用數(shù)值模擬的方法對(duì)曳引式電梯制動(dòng)熱機(jī)耦合過程進(jìn)行分析，建立不同類型制動(dòng)摩擦導(dǎo)致的閘瓦溫度變化理論計(jì)算模型；采用紅外熱成像技術(shù)對(duì)制動(dòng)器摩擦部件、電磁線圈進(jìn)行發(fā)熱量方面的監(jiān)測，提取帶閘運(yùn)行、制動(dòng)力不足（制動(dòng)閘瓦磨損導(dǎo)致抱閘間隙變大、制動(dòng)摩擦面表面油污等因素引起）、制動(dòng)器卡阻等故障的紅外熱圖特征，建立不同結(jié)構(gòu)形式電梯制動(dòng)器的典型故障特征圖譜，采用特征圖譜聚類法對(duì)帶閘運(yùn)行、制動(dòng)力不足、制動(dòng)器卡阻等故障進(jìn)行預(yù)警。

4）電梯控制柜紅外監(jiān)測與故障預(yù)警 利用紅外熱像儀對(duì)機(jī)房控制柜進(jìn)行監(jiān)測，研究相對(duì)溫差判斷法、同類比較判斷法和圖像特征判斷法等故障診斷方法，對(duì)控制柜接線端子接觸不良、繼電器觸點(diǎn)粘連、變頻器過壓故障、電路板元器件故障等電氣設(shè)備缺陷和異常情況進(jìn)行識(shí)別和預(yù)警，例如通過監(jiān)測門鎖回路接線端子發(fā)熱量對(duì)層門或轎門異物卡阻、門鎖繼電器粘連等故障進(jìn)行識(shí)別等，實(shí)現(xiàn)電梯門控制系統(tǒng)故障的檢測、診斷和預(yù)判。

2.3 電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)設(shè)計(jì)與構(gòu)建

考慮開放性、擴(kuò)展性和兼容性原則，采用基礎(chǔ)設(shè)施層、平臺(tái)層、應(yīng)用層、交互層的分層架構(gòu)模式，設(shè)計(jì)高可靠性的電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，實(shí)現(xiàn)困人故障識(shí)別、報(bào)警聯(lián)動(dòng)、可視化應(yīng)急指揮救援、電動(dòng)車進(jìn)電梯識(shí)別、不安全乘梯行為識(shí)別、開關(guān)門狀態(tài)識(shí)別、制動(dòng)器和控制柜故障預(yù)警，以及視頻檢索、統(tǒng)計(jì)分析、態(tài)勢分析等多維功能，系統(tǒng)總體架構(gòu)如圖3所示。

圖3 電梯可見光/紅外監(jiān)測視頻分析網(wǎng)關(guān)硬件配置

1）基礎(chǔ)設(shè)施層 基礎(chǔ)設(shè)施層是系統(tǒng)的物理層，包括用于轎廂監(jiān)控的可見光攝像機(jī)、用于制動(dòng)器、控制柜監(jiān)測的紅外熱像儀等終端感知設(shè)備，邊緣計(jì)算智能視頻分析網(wǎng)關(guān)、云計(jì)算設(shè)備、5G通信網(wǎng)絡(luò)、安全設(shè)備、存儲(chǔ)設(shè)備及其虛擬化、資源池、云服務(wù)器等基礎(chǔ)設(shè)施，以及數(shù)據(jù)機(jī)房、應(yīng)急處置指揮控制中心等配套設(shè)施。

2）平臺(tái)層 將數(shù)據(jù)、AI算法、基礎(chǔ)業(yè)務(wù)能力進(jìn)行中臺(tái)化封裝，為應(yīng)用層和交互層等提供服務(wù)。數(shù)據(jù)中臺(tái)包括數(shù)據(jù)源、數(shù)據(jù)引擎、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)服務(wù)、數(shù)據(jù)運(yùn)維監(jiān)控等模塊。業(yè)務(wù)中臺(tái)為系統(tǒng)的基礎(chǔ)業(yè)務(wù)智能管理中心，包括網(wǎng)關(guān)管理、用戶管理、權(quán)限管理、日志管理、報(bào)警聯(lián)動(dòng)、電視墻控制、視頻點(diǎn)播、視頻預(yù)覽、錄像回放、視頻檢索、統(tǒng)計(jì)分析、態(tài)勢分析等功能模塊。AI中臺(tái)包括算法倉庫和調(diào)度引擎等功能模塊，打造視頻智能解析、乘客行為識(shí)別、電梯故障預(yù)警等業(yè)務(wù)。

3）應(yīng)用層 應(yīng)用層依托平臺(tái)層，作為系統(tǒng)應(yīng)用功能的統(tǒng)一入口，為電梯安全監(jiān)管部門、應(yīng)急處置中心、檢驗(yàn)機(jī)構(gòu)、使用和維保單位，提供基于視頻、圖片和人體、電動(dòng)車、轎門、制動(dòng)器、控制柜結(jié)構(gòu)化數(shù)據(jù)及模型數(shù)據(jù)的視頻智能應(yīng)用服務(wù)，開發(fā)電梯困人故障識(shí)別、電動(dòng)車進(jìn)電梯識(shí)別、不安全乘梯行為識(shí)別、開關(guān)門狀態(tài)識(shí)別、制動(dòng)器故障識(shí)別、控制柜故障識(shí)別、可視化應(yīng)急救援指揮調(diào)度等功能模塊。

4）交互層 開發(fā)與電梯使用單位、維保作業(yè)人員、檢驗(yàn)檢測人員、應(yīng)急處置人員、安全監(jiān)管人員進(jìn)行交互的智能終端，包括PC網(wǎng)絡(luò)平臺(tái)終端、大屏展示終端、應(yīng)急處置指揮控制終端，用于展示電梯的運(yùn)行狀態(tài)、監(jiān)測預(yù)警和可視化應(yīng)急指揮。

基于J2EE開發(fā)平臺(tái)和開源框架springMVC，配置Apache Tomcat服務(wù)器，選用Echarts，GIS等開源工具，利用Java開發(fā)語言完成電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)研發(fā)。研究視頻大數(shù)據(jù)統(tǒng)計(jì)分析與檢索方法，基于 AI 智能化分析技術(shù)，從視頻資源中提取人、車、物、行為等結(jié)構(gòu)化數(shù)據(jù)，通過大數(shù)據(jù)平臺(tái)關(guān)聯(lián)分析處理，形成可視化結(jié)果進(jìn)行呈現(xiàn)。云平臺(tái)檢索視頻錄像信息時(shí)，向視頻云存儲(chǔ)子系統(tǒng)管理服務(wù)器發(fā)送文字檢索指令，管理服務(wù)器查詢本地?cái)?shù)據(jù)庫后直接將檢索信息發(fā)送到云平臺(tái)。支持對(duì)接入的大量視頻數(shù)據(jù)資源進(jìn)行存儲(chǔ)和管理，對(duì)音視頻錄像進(jìn)行分類并設(shè)計(jì)高效存儲(chǔ)格式，主要分為：實(shí)時(shí)視頻數(shù)據(jù)云存儲(chǔ)、異常行為和設(shè)備故障視頻云存儲(chǔ)、重要數(shù)據(jù)云存儲(chǔ)。

3 結(jié)語

本文提出了基于AI+云邊協(xié)同+5G的電梯高可靠性視頻物聯(lián)網(wǎng)智能雙光監(jiān)測方法，基于邊緣計(jì)算、AI技術(shù)實(shí)現(xiàn)終端可見光、紅外視頻數(shù)據(jù)的嵌入式在線智能分析，結(jié)合5G Mmtc高帶寬、低延時(shí)、大規(guī)模低功耗聯(lián)網(wǎng)特性，通過全新的智能化聯(lián)網(wǎng)設(shè)計(jì)，在嵌入式在線數(shù)據(jù)處理、智能化緩存和高效傳輸之間取得平衡，解決視頻大數(shù)據(jù)的大規(guī)模聯(lián)網(wǎng)傳輸難題。提出了基于深度學(xué)習(xí)的電梯轎廂多目標(biāo)復(fù)雜模式嵌入式在線識(shí)別方法，包含人、電動(dòng)車、轎門等多種目標(biāo)的復(fù)雜模式類型，在線識(shí)別出電梯轎廂場景下的各種不安全行為和故障狀態(tài)，包括電動(dòng)車進(jìn)電梯、扒門、超載、蹦跳、摔倒（異常倒地）、小朋友單獨(dú)乘梯等不安全乘梯行為識(shí)別，電梯困人、轎廂開關(guān)門失靈、長期擋門、門區(qū)逗留、非平層區(qū)域開門等異常事件識(shí)別，實(shí)現(xiàn)報(bào)警聯(lián)動(dòng)和可視化應(yīng)急救援指揮。提出了基于紅外圖譜分析的制動(dòng)器和控制柜故障預(yù)警方法，分析曳引式電梯制動(dòng)熱機(jī)耦合過程，建立不同結(jié)構(gòu)形式電梯制動(dòng)器的典型故障特征圖譜，采用特征圖譜聚類法對(duì)帶閘運(yùn)行、制動(dòng)力不足、制動(dòng)器卡阻等故障進(jìn)行預(yù)警；采用相對(duì)溫差判斷法、同類比較判斷法和圖像特征判斷法，對(duì)控制柜接線端子接觸不良、繼電器觸點(diǎn)粘連、變頻器過壓故障、電路板元器件故障等電氣設(shè)備缺陷和異常情況進(jìn)行識(shí)別和預(yù)警。設(shè)計(jì)了電梯視頻物聯(lián)網(wǎng)智能雙光監(jiān)測與故障預(yù)警系統(tǒng)，可以在線識(shí)別不安全乘梯行為和困人故障進(jìn)行自動(dòng)報(bào)警，并采取相關(guān)處置措施，減少困人故障自救不當(dāng)引起的次生傷害，同時(shí)將故障信息反饋給使用單位和維保單位，督促其加強(qiáng)電梯使用安全管理，及時(shí)進(jìn)行設(shè)備維護(hù)保養(yǎng)，將設(shè)備安全隱患消除在初始狀態(tài)，可以全面提升本區(qū)域電梯安全防范處置能力、使用與維保管理質(zhì)量，為高層次、全局性的分析決策提供數(shù)據(jù)支撐。