歐陽惠卿 舒文華 李楊 祝瑞男 張瑞

摘要：為了降低因為乘客危險行為導致的自動扶梯安全事故/傷人事件，基于三維視覺和人工智能技術，提出了一種自動扶梯乘客危險行為識別和預警技術，并詳細介紹了該系統(tǒng)主要硬件和現(xiàn)場布置方案。為了對該系統(tǒng)進行科學評價，還提出了準確率、查全率、誤報率、響應時間等綜合性能評價指標，并分別在實際現(xiàn)場和實驗室模擬條件下對該系統(tǒng)進行了大量的測試，測試結果表明，所構建的系統(tǒng)在不同光照、不同客流強度環(huán)境下，均能有效識別自動扶梯乘客攜帶嬰兒車、摔倒、逆行、出入口逗留、出入口擁堵、探頭等多種危險行為。

關鍵詞：自動扶梯;乘客行為;三維視覺

中圖分類號：TU857文獻標志碼：A文章編號：1009-9492（2021）11-0059-04

Application of 3D Machine Vision in Escalator Passenger Dangerous Behavior Recognition and Early Warning

Ouyang Huiqing1，Shu Wenhua1，Li Yang2，Zhu Ruinan 3， Zhang Rui4

（1. Shanghai Institute of Special Equipment Inspection and Technical Research， Shanghai 200062， China;2. School of Electronic Science andEngineering， Nanjing University， Nanjing 210023， China;3. Beijing Metro Operation Co.， Ltd.， Electromechanical Branch， Beijing 100044，

China;4. Beijing Metro Technology Development Co.， Ltd.， Beijing 100044， China）

Abstract： In order to reduce the escalator safety accidents/injuries caused by passengers′dangerous behaviors， based on three-dimensional vision and artificial intelligence technology， a kind of escalator passengers′dangerous behavior recognition and early warning technology was proposed， and the main hardware and layout scheme of the system was introduced in detail. In order to evaluate the system scientifically， also the comprehensive performance evaluation indexes were put forward， such as precision， recall， false alarm rate， average response time， etc.， and a lot of tests under the actual field and laboratory simulation conditions were carried out respectively. The test results show that the system constructed has good performance under different lighting and different passenger flow intensity environments. It can effectively identify a variety of dangerous behaviors of escalator passengers， such as carrying baby carriage， falling， retrograde， staying at the entrance or exit， congestion， head out of handrail and so on.

Key words： escalators; passenger behavior;3D vision

0 引言

截止2020年底，我國在用電梯數(shù)量已達786.55萬臺[1]，穩(wěn)居世界第一，其中自動扶梯和自動人行道約85萬臺，且主要應用于軌道交通樞紐、商場等人流量大的場所。以北京軌道交通為例，軌道交通總里程達到727 km，自動扶梯數(shù)量近4000部，自動扶梯已經成為公共安全的重要組成部分，每天客流量超過1000萬人次。近年來，自動扶梯安全事故/傷人事件偶有發(fā)生，往往造成嚴重的人身傷害和惡劣的社會影響。除了設備的不安全狀態(tài)，人的不安全行為也是導致事故的重要原因，比如乘客在自動扶梯上逆行、出入口滯留等，特別是在近幾年，兒童在自動扶梯上玩耍造成的事故呈現(xiàn)高發(fā)趨勢。

為了提高自動扶梯的安全水平，電梯行業(yè)一直致力于通過增加各種安全保護裝置來提高設備的本質安全水平。但是，針對自動扶梯乘客危險行為導致的故事，傳統(tǒng)技術手段有很大的局限性。近年來，隨著機器視覺和人工智能等新一代信息技術的發(fā)展，機器視覺已經具備了對乘客的行為、姿態(tài)進行智能識別的可能性，特別是三維機器視覺，優(yōu)勢特別明顯，為自動扶梯的乘客危險行為識別和預警帶來新的解決思路，從而提高自動扶梯的事故預防和應急能力，降低事故率[2]。

雙目立體視覺（Binocular Stereo Vision）是計算視覺中一種重要的三維感知手段，它是基于視差原理并利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。雙目立體視覺測量方法具有效率高、精度合適、系統(tǒng)結構簡單、成本低等優(yōu)點，對運動物體（包括動物和人體形體）測量中，由于圖像獲取是在瞬間完成的，因此立體視覺方法是一種更有效的測量方法。

本文將基于三維視覺和人工智能技術，開發(fā)自動扶梯乘客危險行為識別與預警技術研究及應用，該技術采用三維視覺和人工智能技術對電梯乘客行為進行識別和預警，一旦識別到乘客危險行為或狀態(tài)，根據(jù)預先設定的方案，通過聲光報警或及時停止扶梯運行，防止事故的發(fā)生或擴大。

1 三維視覺行為分析的研究背景

人體姿態(tài)估計通過檢測圖像中人體的關鍵點（如頭部、肩部、髖部、四肢等）得到人的姿態(tài)，根據(jù)其輸出信息維度，可以分為二維（2D）和三維（3D）的人體姿態(tài)估計，而根據(jù)輸入圖片的目標人體數(shù)量，又可以分為單人和多人的姿態(tài)估計。對于2D 的人體姿態(tài)估計有較長的研究歷史，目前基于深度學習人體姿態(tài)估計在精度方面取得了很大的突破，CPM[3]基于熱圖、Hourglass[4]基于堆疊 U 型神經網(wǎng)絡網(wǎng)絡層都得到了很好的效果。

檢測人體關鍵點的3D 的姿態(tài)估計主要有兩類。一類是先采用2D 姿態(tài)估計方法獲取2D 關鍵點，再映射到3D 。如 Deva Ramenan等[5]提出“3D人體姿態(tài)估計=2D姿態(tài)估計+匹配”的策略，采用 CPM的方法估計出圖像中人體的2D關節(jié)點，選擇最相近的2D關節(jié)點骨架對應的3D關節(jié)點骨架作為測試數(shù)據(jù)的3D關節(jié)點。Martinez 等[6]首先基于 Hourglass做一個2D關節(jié)點的姿態(tài)估計，然后根據(jù)獲得的2D關節(jié)點，在神經網(wǎng)絡后面接入兩個全連接層，直接回歸3D坐標點，將2D到3D關節(jié)點的估計問題轉化為2D 到3D 坐標的求映射關系問題。 Li C 等[7]于2019年提出混合密度模型，提出了多峰混合密度網(wǎng)絡預測多個可能的3D關節(jié)點骨架，選取其中權重最高的作為最終估計的3D關節(jié)點骨架。另一類3D姿態(tài)估計則將3D 的估計認為是一個整體。如 Sun X等[8]將2D 以及3D 的關節(jié)點骨架估計問題結合來做優(yōu)化，訓練模型前背景點分割能力，然后只需要關注前景的3D骨架估計。L Zhao等[9]根據(jù)2D人體關節(jié)點的圖連接結構提出使用圖卷積的方法生成3D 的姿態(tài)坐標。

一些研究者嘗試通過將人體模型如 SMPL[10]作為先驗信息，獲得更準確稠密的3D人體姿態(tài)。Bogo F等[11]提出了SMPLify方法，采用DeepCut檢測出2D 骨骼關鍵點，優(yōu)化使得 SMPL模型投影到圖像后關節(jié)點與 CNN檢測出的關節(jié)點之間的距離最小，從而最終獲得一組 SMPL模型的參數(shù)。Kanazawa A 等[12]提出 HMR 方法，實現(xiàn)了由圖像直接得到 SMPL模型參數(shù)的端到端的估計方法，輸入圖像經過編碼器提取圖像特征，然后通過回歸器獲得 SMPL模型參數(shù)。

在實際場景中，往往面臨多人的姿態(tài)估計，往往存在多個人關鍵點靠的很近或互相重疊。OpenPose[13]采取自底向上的策略，基于 CPM首先找到所有關鍵點，并基于 Part Affinity Field （ PAF）進行人體的拼接，將相鄰且可靠的關鍵點組裝成一個完整的人，從而實現(xiàn)對多人場景下的人體姿態(tài)檢測。AlphaPose[14]則采取自頂向下的方式，先進行目標檢測，并對每個檢測到的人進行單人的姿態(tài)估計。

2基于三維機器視覺的扶梯乘客危險行為識別與預警系統(tǒng)

本文所述方法采用的雙目視覺傳感器（Visual Sens- ing Module ，VSM）本質上是一個雙目深度傳感器，通過兩個存在視差的幀同步圖像信號計算場景的深度信息，運用雙目立體匹配算法獲取視差圖并輸出深度圖，實時測量三維環(huán)境中的目標，具體參數(shù)如表1所述，外觀如圖1所示。

本文介紹的系統(tǒng)如圖2所示，其核心硬件部分包括一個雙目深度傳感器（Visual Sensing Module， VSM）、行為分析模組（Visual Processing Module， VPM）、聲光報警，該系統(tǒng)可以進一步拓展，將相關系統(tǒng)傳輸至控制服務器，融入扶梯物聯(lián)網(wǎng)系統(tǒng)。VSM 用于捕捉環(huán)境內的 RGB-D 數(shù)據(jù)信息（彩色圖像與深度信息），傳輸?shù)?VPM 上進行處理。VPM 接收數(shù)據(jù)后進行計算和處理，實時檢測是否有異常行為，并對異常行為進行聲光報警或傳輸?shù)骄W(wǎng)絡平臺（中控室），也可以接入自動扶梯控制系統(tǒng)，在緊急情況下制停自動扶梯。該系統(tǒng)既能實現(xiàn)邊緣計算，也可以將數(shù)據(jù)通過網(wǎng)絡傳送至遠程服務器，實現(xiàn)云端處理。

雙目深度傳感器的布置和覆蓋范圍如圖2所示。 VSM安裝在自動扶梯入口梳齒板上方約3 m處，單個傳感器能夠有效監(jiān)測距離梳齒板前后共3～5 m的范圍，該范圍也是乘客最容易發(fā)生傷害的地方。該方案的最大優(yōu)點是避免了人員相互遮擋，能適應大流量的人群。

3 測試結果分析

3.1 評價指標

本文采用準確率（ Precision ）、查全率（Recall）、誤報率（False Alarm Rate）、平均響應時間（Average Re- sponding Time）等對系統(tǒng)的識別水平進行評價。系統(tǒng)識別到相關事件，并發(fā)出報警，視為檢出。事件定義如表2所示。

（1） 準確率： P =

（2） 誤報率： F =

（3） 查全率： R =

（4） 平均響應時間為事件發(fā)生時間至系統(tǒng)檢測出來并做出響應的時間。

3.2 實際應用現(xiàn)場測試

本文介紹的系統(tǒng)在北京地鐵某車站上行扶梯進行了長期測試。項目組在實際場景通過實際客流可模擬測試兩種形式對系統(tǒng)進行了測試，測試結果如表3～4所示。表3所示為實際客流測試條件下的測試結果。測試選取了連續(xù)3036 h的測試數(shù)據(jù)，系統(tǒng)檢測到443822人次乘客通行。為了分析客流統(tǒng)計精度，人工選取了10000人次客流進行人工復查核驗，得到表4中的結果。

此外，為了進一步驗證不安全行為的性能，項目組還對系統(tǒng)進行了模擬客流測試，模擬測試還在不同的光照、客流強度等情況下進行測試，由測試人員對主要功能進行了測試，結果如表4所示。

從測試結果來看，本項目的研究成果具有很高的準確性，而且具有很好的環(huán)境適用能力。

4 結束語

本文介紹了一種基于三維視覺與人工智能相結合的、自動扶梯和自動人行道乘客危險行為識別與預警技術。該方法通過三維視覺對人體進行精確的測量，基于人體的深度信息和彩色信息，結合人體姿態(tài)的語義分析和深度學習，能對人的行為做出精確的識別和判斷?，F(xiàn)場和實驗室測試結果表明，本文介紹的方法具有很高的識別準確度和很好的環(huán)境適應能力，將為提高自動扶梯和自動人行道的事故預防能力和應急能力、降低電梯事故/傷人事件概率提供新的有效解決方案。

對于新技術的應用，還需要思考以下問題：一方面，新技術的應用如何融合自動扶梯的整體安全。自動扶梯屬于特種設備，其安全性是產品生產和使用中最重要的關注點?；跈C器視覺和人工智能技術，為乘客危險行為識別和實現(xiàn)自動扶梯自主管理提供了新的思路和解決方案，但是也應思考新技術的應用帶來新的風險，包括新技術的可靠性、信息的安全、科技倫理等。另一方面，自動扶梯本身的設計（包括標準）如何適應新的技術發(fā)展?；跈C器視覺和人工智能技術，為乘客危險行為識別和實現(xiàn)自動扶梯自主管理提供了新的解決方案，但是緊急情況下的停梯會產生新的風險，可以引入“緩?！钡牟呗裕瓤梢栽诰o急情況下及時制停扶梯，又可以避免過大的減速度，造成其他乘客摔倒。

參考文獻：

[1]市場監(jiān)管總局.關于2020年全國特種設備安全狀況的通告[Z].2020.

[2]何成， 史熙，歐陽惠卿.基于 AI 圖像識別與功能安全的自動扶梯智能監(jiān)控系統(tǒng)及相關安全標準要求[J].中國電梯，2019，30（15）：6-8.

[3] Wei S E ， Ramakrishna V ， Kanade T ， et al. Convolutional Pose Machines[C]//CVPR. IEEE， 2016.

[4] Newell A ， Yang K ， Deng J . Stacked Hourglass Networks for Hu- man Pose Estimation[C]//European Conference on Computer Vi- sion. Springer International Publishing， 2016.

[5] Chen C H ， Ramanan D .3D Human Pose Estimation =2D Pose Estimation + Matching[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2017.

[6] Martinez J ，Hossain R ，Romero J ， et al. A Simple Yet Effective Baseline for 3d Human Pose Estimation[C]//2017 IEEE In- ternational Conference on Computer Vision （ICCV）. IEEE， 2017.

[7] Li C ，Lee G H . Generating Multiple Hypotheses for 3D Human PoseEstimationwithMixtureDensityNetwork[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

[8] Sun X ， Shang J ， Liang S ， et al. Compositional Human Pose Re- gression[C]//Computer Vision and Image Understanding， 2017.

[9] L Zhao， X Peng， Y Tian， et al. Metaxas， Semantic graph convolu- tional networks for 3D human pose regression[J]. Proc. IEEEComput. Soc. Conf. Comput. Vis. Pattern Recognit.，2019（6）：3420–3430.

[10] Loper， Matthew， Mahmood， et al. SMPL： a skinned multi-per- son linear model[J]. Acm Transactions on Graphics， 2015.

[11] FBogo，Kanazawa A ，Lassner C ， et al. Keep It SMPL： Auto- matic Estimation of 3D Human Pose and Shape from a Single Image[J]. European Conference on Computer Vision， 2016.

[12] Kanazawa A ， Black M J ， Jacobs D W ， et al. End-to-End Re- covery of Human Shape and Pose[C]//2018 IEEE/CVF Confer- enceonComputerVisionandPatternRecognition （CVPR）. IEEE， 2018.

[13] Z Cao， T Simon， S Wei， et al. Realtime Multi-person 2D Pose Estimation Using Part Affinity Fields[C]//2017 IEEE Confer- ence on Computer Vision and Pattern Recognition （CVPR）， Ho- nolulu， HI， 2017.

[14] Fang H S ，Xie S ， Tai Y W ， et al. RMPE： Regional Multi-per- son PoseEstimation[C]//2017 IEEEInternationalConference on Computer Vision （ICCV）， 2017.

第一作者簡介：歐陽惠卿（1979-），男，湖南衡南縣人，正高級工程師，研究領域為電梯技術研發(fā)及其標準化。

（編輯：刁少華）