馬驍，何劍鋒，尹中裕

（中時(shí)訊通信建設(shè)有限公司，廣州 510030）

0 引言

隨著電梯的安裝量逐年增加，電梯運(yùn)行的安全監(jiān)管變成需要社會(huì)各界共同解決的迫切問(wèn)題。當(dāng)前電梯運(yùn)行存在典型的安全風(fēng)險(xiǎn)有：求救告警網(wǎng)絡(luò)鏈路不通暢、消防隱患無(wú)法及時(shí)發(fā)現(xiàn)、加裝電梯的安全監(jiān)管困難。尤其，加裝電梯由于安裝分散、安全管理機(jī)制不嚴(yán)謹(jǐn)，危及人身安全的電梯運(yùn)行風(fēng)險(xiǎn)極高，比如電動(dòng)車(chē)進(jìn)梯。

電梯系統(tǒng)聯(lián)網(wǎng)管理和運(yùn)行數(shù)據(jù)商業(yè)化、公眾服務(wù)是必然趨勢(shì)。在此方向上，國(guó)內(nèi)外的電梯公司、互聯(lián)網(wǎng)公司以及監(jiān)管部門(mén)持續(xù)地進(jìn)行探索。當(dāng)前電梯聯(lián)網(wǎng)監(jiān)管大致有3個(gè)層次：電子表單的維保記錄系統(tǒng)、物聯(lián)網(wǎng)技術(shù)的告警求助系統(tǒng)、以AI視頻分析和物聯(lián)網(wǎng)技術(shù)融合的智能運(yùn)行管理系統(tǒng)。由于融合AI視頻分析和物聯(lián)網(wǎng)技術(shù)的電梯智能運(yùn)營(yíng)管理系統(tǒng)能夠提供降低人工監(jiān)管需求、實(shí)現(xiàn)故障預(yù)警和事故告警等技術(shù)優(yōu)勢(shì)，此方向?yàn)樾袠I(yè)認(rèn)可的發(fā)展方向。

電梯智慧運(yùn)營(yíng)能力系統(tǒng)以5G高速無(wú)線互聯(lián)網(wǎng)和邊緣大數(shù)據(jù)處理能力為底座，打造針對(duì)特定場(chǎng)景的、開(kāi)放式行業(yè)應(yīng)用平臺(tái)。此方向良好地契合5G技術(shù)部署穩(wěn)步推進(jìn)、國(guó)產(chǎn)芯片以及人工智能研發(fā)能力面向生活場(chǎng)景落地、產(chǎn)生社會(huì)價(jià)值和經(jīng)濟(jì)效益的大趨勢(shì)。

1 系統(tǒng)技術(shù)架構(gòu)

本系統(tǒng)設(shè)計(jì)方案的核心是采用電梯無(wú)侵入式信號(hào)通用采集技術(shù)和智能采集終端運(yùn)行分析技術(shù)，在電梯轎廂頂部安裝AI攝像頭和物聯(lián)網(wǎng)智能終端，以實(shí)現(xiàn)電梯場(chǎng)景實(shí)時(shí)目標(biāo)的智能識(shí)別。系統(tǒng)通過(guò)智能數(shù)據(jù)終端及AI攝像頭采集并智能識(shí)別收集電梯轎廂視頻圖片（大于300張）以及室內(nèi)火焰、煙霧、電動(dòng)車(chē)圖片進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)，模型訓(xùn)練，最終得到電梯場(chǎng)景下的AI模型；統(tǒng)計(jì)電梯實(shí)時(shí)乘客及分時(shí)段乘客等多項(xiàng)運(yùn)行數(shù)據(jù)，通過(guò)無(wú)線5G網(wǎng)絡(luò)或有線傳輸?shù)热W(wǎng)絡(luò)模式，將采集到的電梯運(yùn)行數(shù)據(jù)、視頻信息傳輸?shù)街悄芄芾砥脚_(tái)。

整套系統(tǒng)采用“智能采集終端+平臺(tái)+AI+服務(wù)”的技術(shù)支撐體系，保障電梯設(shè)備安全運(yùn)行的監(jiān)控、預(yù)警、救援、監(jiān)管、運(yùn)營(yíng)、維護(hù)及業(yè)務(wù)聯(lián)動(dòng)服務(wù)的一體化方案?？蓾M足AI識(shí)別、一鍵報(bào)警、視頻監(jiān)控、視頻對(duì)講、WIFI探針采集、人臉身份采集、5G通信、商業(yè)廣告、公益宣傳等應(yīng)用需求。智慧電梯物聯(lián)系統(tǒng)的技術(shù)架構(gòu)如圖1所示。

圖1 智慧電梯物聯(lián)系統(tǒng)的技術(shù)架構(gòu)

2 系統(tǒng)設(shè)備

2.1 智聯(lián)電梯物聯(lián)網(wǎng)終端

智慧電梯物聯(lián)網(wǎng)終端安裝于電梯轎廂頂上，實(shí)時(shí)監(jiān)測(cè)電梯運(yùn)行安全狀態(tài)，并在故障發(fā)生時(shí)能自動(dòng)報(bào)警。該終端內(nèi)置集成電梯承運(yùn)質(zhì)量分析軟件精度的傳感器MPU-6050/9250，與電梯非接觸，可靠性高；可兼容所有品牌垂直電梯，兼容性好。該設(shè)備主要功能有：實(shí)時(shí)采集統(tǒng)計(jì)電梯每次運(yùn)行距離、方向、最大速度、加速度，梯內(nèi)圖像驗(yàn)證不同搭乘情景下電梯運(yùn)行狀況；可導(dǎo)出原始數(shù)據(jù)做深度分析；電梯運(yùn)行過(guò)程中能實(shí)時(shí)上傳狀態(tài)數(shù)據(jù)。

2.2 智慧物聯(lián)網(wǎng)監(jiān)控?cái)z像頭

半球智慧物聯(lián)網(wǎng)監(jiān)控?cái)z像頭安裝于電梯轎廂，監(jiān)測(cè)主機(jī)內(nèi)置算法和分發(fā)機(jī)制，直接處理視頻信號(hào)；視頻信號(hào)在主控板上處理和索引保存，有效降低聯(lián)網(wǎng)帶寬需求和費(fèi)用，不占用云資源，極大降低無(wú)效流量。

其主要功能：完成對(duì)梯內(nèi)攝像頭信號(hào)進(jìn)行逐幀處理，通過(guò)調(diào)用相應(yīng)的算法引擎，能夠?qū)崿F(xiàn)人臉特征獲取、行人特征統(tǒng)計(jì)、梯內(nèi)和井道聲光環(huán)境（煙霧、火焰）分析。

2.3 瑞芯rk3399系列國(guó)產(chǎn)芯片

瑞芯rk3399系列國(guó)產(chǎn)芯片作為視頻處理的邊緣設(shè)備，切實(shí)執(zhí)行了技術(shù)國(guó)產(chǎn)自主的國(guó)家政策。瑞芯rk3399系列有2款產(chǎn)品rk3399、rk3399pro。其中高端型號(hào)rk3399Pro采用CPU+GPU+NPU硬件結(jié)構(gòu)設(shè)計(jì)的AI芯片，其集成的NPU（神經(jīng)網(wǎng)絡(luò)處理器）融合了Rockchip在機(jī)器視覺(jué)、語(yǔ)音處理、深度學(xué)習(xí)等領(lǐng)域的多年經(jīng)驗(yàn)。相較傳統(tǒng)芯片，典型深度神經(jīng)網(wǎng)絡(luò)IncepTIon V3、ResNet34、VGG16等模型在rk3399Pro芯片上的運(yùn)行效果表現(xiàn)出眾，獲近百倍提升。除了專(zhuān)門(mén)的AI功能外，rk3399Pro還擁有超強(qiáng)的通用計(jì)算性能，其采用big.LITTLE大小核CPU架構(gòu)，雙核Cortex-A72+四核Cortex-A53，在整體性能、功耗方面具技術(shù)領(lǐng)先性；四核ARM高端GPU Mali-T860，集成更多帶寬壓縮技術(shù)，整體性能優(yōu)異。

在擴(kuò)展能力，rk3399Pro更是強(qiáng)大，如：支持雙TypeC接口；雙ISP，單通道最大支持1300萬(wàn)像素；支持4 096×2 160顯示輸出等功能；支持8路數(shù)字麥克風(fēng)陣列輸入。軟件方面，支持眾多API（應(yīng)用開(kāi)發(fā)接口），包括OpenGL ES 1.x/2.x/3.1/3.2、Vulkan 1.0、OpenCL 1.1/1.2、RenderScript等。

2.4 百度飛漿深度學(xué)習(xí)框架

百度的PaddlePaddle是我國(guó)自主研發(fā)、功能完備、開(kāi)源開(kāi)放的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)框架?；诖丝蚣埽脩?hù)可以在自己的環(huán)境里進(jìn)行深度學(xué)習(xí)模型的開(kāi)發(fā)。在當(dāng)前版本上，官方支持的動(dòng)態(tài)圖算法數(shù)量達(dá)到200+，涵蓋計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音、推薦等多個(gè)領(lǐng)域，并且在動(dòng)態(tài)圖的訓(xùn)練效率和部署效率方面都有所提升。當(dāng)前版本的動(dòng)態(tài)圖支持了自動(dòng)混合精度和量化訓(xùn)練功能，實(shí)現(xiàn)了比靜態(tài)圖更簡(jiǎn)潔靈活的混合精度訓(xùn)練接口，達(dá)到媲美靜態(tài)圖的混合精度和量化訓(xùn)練效果。

3 系統(tǒng)設(shè)計(jì)開(kāi)發(fā)方法

3.1 研究開(kāi)發(fā)方法

收集電梯轎廂視頻圖片（大于300張）以及室內(nèi)火焰、煙霧、電動(dòng)車(chē)圖片進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)，模型訓(xùn)練，最終得到A電梯場(chǎng)景下的AI模型。部署基于國(guó)產(chǎn)rk3399邊緣設(shè)備在電梯轎廂頂部和電梯控制室；基于移動(dòng)互聯(lián)網(wǎng)絡(luò)技術(shù)，與云端服務(wù)器相連，動(dòng)態(tài)地加載AI模型驗(yàn)證實(shí)時(shí)視頻處理能力。按照不同類(lèi)型的用戶(hù)，把電梯運(yùn)行數(shù)據(jù)脫敏（比如，遮掩人臉）再進(jìn)行發(fā)送。

3.2 研究開(kāi)發(fā)內(nèi)容

以云、邊、端協(xié)調(diào)的技術(shù)架構(gòu)搭建系統(tǒng)平臺(tái)。數(shù)據(jù)中臺(tái)在云端的數(shù)據(jù)中心，以容器、虛擬機(jī)等云原生技術(shù)實(shí)現(xiàn)，包括k8s，docker，python；以國(guó)產(chǎn)rk3399邊緣設(shè)備在電梯轎廂進(jìn)行實(shí)時(shí)視頻AI推理分析和傳感器數(shù)據(jù)獲?。灰?G移動(dòng)互聯(lián)網(wǎng)技術(shù)聯(lián)系不同節(jié)點(diǎn)的數(shù)據(jù)匯聚到數(shù)據(jù)平臺(tái)和發(fā)送告警圖文到使用者的5G移動(dòng)設(shè)備。

以社會(huì)生活密切相關(guān)的電梯運(yùn)行安全場(chǎng)景、綜合驗(yàn)證AI人工智能技術(shù)在國(guó)產(chǎn)邊緣設(shè)備實(shí)現(xiàn)電梯視頻數(shù)據(jù)采集、AI模型快速開(kāi)發(fā)、AI系統(tǒng)能力中臺(tái)技術(shù)。項(xiàng)目主要內(nèi)容有4個(gè)方面。

（1）5G技術(shù)下的電梯運(yùn)行數(shù)據(jù)（傳感器和視頻）傳輸?shù)慕?jīng)濟(jì)效益和用戶(hù)體驗(yàn)。據(jù)預(yù)測(cè)5G時(shí)代約85%的業(yè)務(wù)流量將發(fā)生在室內(nèi)場(chǎng)景，室內(nèi)覆蓋的好壞直接關(guān)系到5G室內(nèi)應(yīng)用的體驗(yàn)。電梯廣泛地安裝在商業(yè)樓宇、居民樓宇。以電梯運(yùn)行數(shù)據(jù)傳輸效率和用戶(hù)體驗(yàn)作為評(píng)估對(duì)象，能夠驗(yàn)證5G技術(shù)在樓宇公共空間的覆蓋效能；以及承載AI智能應(yīng)用、連接邊緣計(jì)算設(shè)備的效果。

（2）電梯安全AI模型開(kāi)發(fā)（火焰、煙霧、電動(dòng)車(chē)檢測(cè)）。面向特定場(chǎng)景的AI模型開(kāi)發(fā)具有更高的準(zhǔn)確性、也能實(shí)現(xiàn)更好的社會(huì)和經(jīng)濟(jì)價(jià)值。電梯的背景環(huán)境相對(duì)單一，因此開(kāi)發(fā)出的AI檢測(cè)模型所需的訓(xùn)練素材較少、訓(xùn)練的模型具有較好的廣泛部署能力。

（3）基于國(guó)產(chǎn)芯片的邊緣處理設(shè)備。當(dāng)前半導(dǎo)體全球缺芯的背景下，使用國(guó)產(chǎn)瑞芯rk3399系列高性能ARM芯片進(jìn)行電梯運(yùn)行數(shù)據(jù)、AI模型推理的即時(shí)結(jié)果輸出。

（4）面向多類(lèi)型用戶(hù)的電梯運(yùn)行數(shù)據(jù)中臺(tái)。面向不同用戶(hù)（政府監(jiān)管、物業(yè)維保、住戶(hù)業(yè)主）提供電梯安全運(yùn)行數(shù)據(jù)的中臺(tái)能力是云計(jì)算技術(shù)、AI技術(shù)實(shí)現(xiàn)社會(huì)價(jià)值、規(guī)模經(jīng)營(yíng)和經(jīng)濟(jì)效益的可持續(xù)發(fā)展之路。通過(guò)數(shù)據(jù)中臺(tái)，在確保數(shù)據(jù)安全、尊重個(gè)人隱私的同時(shí)，不同類(lèi)型的用戶(hù)能夠有效地使用電梯運(yùn)行數(shù)據(jù)進(jìn)行相應(yīng)的工作、業(yè)務(wù)開(kāi)展。比如，電梯維保公司獲得電梯每天搭載人數(shù)信息，以評(píng)估電梯元件壽命；物業(yè)、消防部門(mén)及時(shí)處置消防事故。

4 系統(tǒng)功能

（1）數(shù)據(jù)處理

電梯數(shù)據(jù)采集和處理主機(jī)是基于ARM A72架構(gòu)的四核心高性能低功耗處理器，并且內(nèi)置了MPU9250運(yùn)動(dòng)傳感器。該主機(jī)持續(xù)地分析由廣角攝像頭提供的視頻信息：內(nèi)置的視頻分析算法即時(shí)得到電梯搭乘狀態(tài)；6dbi高增益天線用于實(shí)現(xiàn)電梯并道與頂部控制室的網(wǎng)絡(luò)互聯(lián)。使用視頻傳輸協(xié)議監(jiān)測(cè)主機(jī)具有同時(shí)向多個(gè)用戶(hù)傳送實(shí)時(shí)轎廂畫(huà)面的能力；監(jiān)測(cè)主機(jī)具有接收梯內(nèi)求助按鈕信號(hào)和視頻分析自動(dòng)告警（困梯/梯門(mén)故障）的能力；使用獨(dú)特的信息分發(fā)機(jī)制，能夠以短信/IM API接口形式向不限數(shù)量的相關(guān)人員發(fā)出告警信息；以TTS語(yǔ)音合成實(shí)現(xiàn)規(guī)范的梯內(nèi)語(yǔ)音播報(bào)。

（2）大屏呈現(xiàn)

數(shù)據(jù)大屏提供多臺(tái)電梯信息和各自支持電梯良好服務(wù)的業(yè)務(wù)流程的可視化功能；管理人員通過(guò)分析匯總數(shù)據(jù)獲取整體協(xié)調(diào)的決第依據(jù)。本系統(tǒng)針對(duì)電梯維保、物業(yè)管理、安全監(jiān)管起供不同維度的數(shù)據(jù)匯聚和渲染?；谙嗤碾娞葸\(yùn)行數(shù)據(jù)（比如維保簽到、搭乘問(wèn)題求助），和本單位在電梯日常維護(hù)和電梯事件的響應(yīng)效率（比如到達(dá)現(xiàn)場(chǎng)時(shí)間、處理完結(jié)時(shí)間）電梯相關(guān)責(zé)任方能夠客觀地評(píng)估組織效率，以達(dá)到持續(xù)維持良好的電梯維保水平。

（3）搭乘者體驗(yàn)

從電梯服務(wù)角度，運(yùn)行管理涉及兩個(gè)領(lǐng)域：電氣機(jī)械和乘梯環(huán)境。在傳統(tǒng)的電梯運(yùn)行管理系統(tǒng)，這兩個(gè)領(lǐng)域分屬于不同的信息系統(tǒng)。專(zhuān)業(yè)電梯維保公司關(guān)注電梯運(yùn)行數(shù)據(jù)的收集和分析，以確定電梯安全可靠；物業(yè)維保關(guān)注電梯環(huán)境清潔、乘梯人員管理。但是，從搭乘者、電梯所有者和監(jiān)管部門(mén)角度，電梯運(yùn)行質(zhì)量是各種因素疊加的結(jié)果。因此，一個(gè)綜合的服務(wù)質(zhì)量評(píng)估加上具體問(wèn)題細(xì)分為厘清責(zé)任各方協(xié)力提供真實(shí)合理的數(shù)據(jù)模型。面向不同品牌、不同年份、不同維保單位的電梯運(yùn)行狀態(tài)，復(fù)雜的各因素疊加無(wú)法給出各方信服的評(píng)估結(jié)果?；诙嗄攴?wù)質(zhì)量監(jiān)測(cè)領(lǐng)域的技術(shù)積累，提出了以時(shí)間維度評(píng)估電梯運(yùn)行服務(wù)水平的數(shù)據(jù)模型。

（4）云邊端三體協(xié)同

電梯運(yùn)行智能管理平臺(tái)的目標(biāo)是全面的電梯運(yùn)行數(shù)起收集，向不同責(zé)任關(guān)切方提供客觀、真實(shí)的數(shù)據(jù)呈現(xiàn)和事件消息通知。根據(jù)電梯運(yùn)行系統(tǒng)的特有場(chǎng)景，選擇強(qiáng)化邊緣處理能力，視頻數(shù)據(jù)本地保存和云端應(yīng)用容器化的系統(tǒng)架構(gòu)。當(dāng)前具有視頰監(jiān)控的系統(tǒng)普遍需要持續(xù)網(wǎng)絡(luò)帶寬及依賴(lài)云端算法處理?；谏羁痰卣J(rèn)識(shí)到視頻應(yīng)用對(duì)帶寬的依賴(lài)導(dǎo)致的部署成本上升、網(wǎng)絡(luò)資源規(guī)劃復(fù)雜和數(shù)據(jù)隱私顧慮。本系統(tǒng)由轎和頂部的監(jiān)控主機(jī)直接管理視頻信號(hào)的算法分析、視頻片段索引保存和對(duì)外分發(fā)，極大地降低成本和保護(hù)搭乖者的數(shù)據(jù)隱私。

（5）自研技術(shù)

電梯運(yùn)行智能管理平臺(tái)基于視頻處理和傳輸技術(shù)，在滿足部署成本合理和數(shù)據(jù)采集全面的開(kāi)發(fā)需求，選擇在開(kāi)放的計(jì)算平臺(tái)上進(jìn)行算法和任務(wù)調(diào)度的優(yōu)化。當(dāng)前電梯運(yùn)行監(jiān)測(cè)主機(jī)是全球廣泛使用的ARM A72四核高性能低功耗處理器。監(jiān)測(cè)主機(jī)直接從轎廂攝像頭和內(nèi)置運(yùn)動(dòng)傳感器獲取數(shù)據(jù)；以?xún)?nèi)置算法分析，主機(jī)判斷搭乘狀態(tài)并在本地保存。業(yè)務(wù)管理系統(tǒng)通過(guò)主機(jī)消息上報(bào)和API機(jī)制獲得必要的數(shù)據(jù)更新。

5 結(jié)束語(yǔ)

基于電梯設(shè)備的廣泛安裝產(chǎn)生的巨量維保需求，從開(kāi)始的電梯合理維保、電梯故障告警以致電動(dòng)車(chē)進(jìn)梯告警。本文以當(dāng)前國(guó)內(nèi)可用的領(lǐng)先技術(shù)元素：5G無(wú)線傳輸、瑞芯rk3399系列國(guó)產(chǎn)高性能芯片、百度飛漿深度學(xué)習(xí)平臺(tái)并融合多個(gè)技術(shù)領(lǐng)域最新科研成果解決現(xiàn)實(shí)廣泛存在的電梯安全監(jiān)管需求。以5G高速無(wú)線互聯(lián)網(wǎng)和邊緣大數(shù)據(jù)處理能力為底座，打造針對(duì)特定場(chǎng)景的、開(kāi)放式行業(yè)應(yīng)用平臺(tái)。此方向良好地契合5G技術(shù)部署穩(wěn)步推進(jìn)、國(guó)產(chǎn)芯片以及人工智能研發(fā)能力面向生活場(chǎng)景落地、產(chǎn)生社會(huì)價(jià)值和經(jīng)濟(jì)效益的大趨勢(shì)。可預(yù)見(jiàn)，一個(gè)國(guó)產(chǎn)自主、技術(shù)創(chuàng)新為基礎(chǔ)的電梯智慧運(yùn)營(yíng)系統(tǒng)將有廣闊的市場(chǎng)機(jī)遇。