孫浩翔，陶杰，張航

（江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院，江蘇 南京 210036）

以往的電梯監(jiān)控系統(tǒng)只能做到對(duì)視頻信息進(jìn)行捕捉，并不能針對(duì)人員的不安全行為進(jìn)行制止，因此，也難以避免危險(xiǎn)舉動(dòng)對(duì)安全乘坐帶來(lái)的威脅。對(duì)于這樣的問(wèn)題，可以將OpenPose算法引入轎廂電梯環(huán)境下的人體行為識(shí)別中，不僅可以顯著提升動(dòng)作識(shí)別對(duì)比的準(zhǔn)確度，還可以解決傳統(tǒng)識(shí)別技術(shù)交互性不強(qiáng)、數(shù)據(jù)量較大等缺陷，進(jìn)而最大限度地對(duì)電梯不安全行為進(jìn)行預(yù)警，進(jìn)一步為人員的安全乘坐提供堅(jiān)實(shí)保障。

1 OpenPose轎廂電梯人體行為監(jiān)測(cè)系統(tǒng)技術(shù)路線

1.1 OpenPose算法

OpenPose是一種對(duì)姿態(tài)進(jìn)行實(shí)時(shí)監(jiān)測(cè)與估計(jì)的算法，最早是由美國(guó)卡耐基梅隆大學(xué)研究團(tuán)隊(duì)所提出。OpenPose識(shí)別算法最突出的特點(diǎn)就是以自下而上的方向完成對(duì)人體骨骼關(guān)鍵節(jié)點(diǎn)的獲取，進(jìn)而以各個(gè)關(guān)鍵節(jié)點(diǎn)的位置為基礎(chǔ)構(gòu)成完成的人體骨架圖。作為機(jī)器學(xué)習(xí)理論中的重要組成部分，深度學(xué)習(xí)相關(guān)內(nèi)容在OpenPose識(shí)別算法中也得到了十分顯著的應(yīng)用。通過(guò)深度學(xué)習(xí)識(shí)別系統(tǒng)，可以進(jìn)一步完善對(duì)人肢體運(yùn)動(dòng)和面部表情的檢測(cè)，不斷提升運(yùn)行姿態(tài)向關(guān)鍵節(jié)點(diǎn)轉(zhuǎn)換的效能，進(jìn)而可以適用于單目標(biāo)和多目標(biāo)等多種應(yīng)用環(huán)境下，同時(shí)，對(duì)噪聲干擾也體現(xiàn)出較強(qiáng)的魯棒性。OpenPose算法在投入使用后，可以有效改善傳統(tǒng)RGB圖像以及食品提取過(guò)程中存在的不足，因此，也進(jìn)一步被應(yīng)用于智能監(jiān)控系統(tǒng)、智能穿戴系統(tǒng)以及部分手機(jī)APP功能中。

1.2 Open CV計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)軟件庫(kù)

Open CV（Open Source Computer Vision Library）是一個(gè)計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)軟件庫(kù)，可以在大部分操作系統(tǒng)當(dāng)中實(shí)現(xiàn)跨平臺(tái)使用。Open CV最主要的編寫語(yǔ)言為C++，但同時(shí)也具備多種其他類型的接口。

1.3 人體行為的判斷與處理

在對(duì)模型數(shù)據(jù)進(jìn)行構(gòu)建的過(guò)程中，需要將捕捉到的人體動(dòng)作信息按照正常和異常兩種標(biāo)準(zhǔn)進(jìn)行分類，結(jié)合轎廂電梯的實(shí)際情況來(lái)看，異常動(dòng)作中主要包括奔跑、跳躍、打鬧等，將靜止站立等劃分到正常行為中。在建立識(shí)別模型的時(shí)候，需要先借助OpenPose算法完成對(duì)正常行為與異常行為的提取，并通過(guò)建立集合來(lái)得出相應(yīng)的動(dòng)作特征，同時(shí)，根據(jù)個(gè)體的體型與身高差異分析出其特征量，進(jìn)而通過(guò)BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在完成對(duì)各類權(quán)重參數(shù)分析的基礎(chǔ)上進(jìn)行識(shí)別模型的構(gòu)建。

2 數(shù)據(jù)處理與模型構(gòu)建

2.1 數(shù)據(jù)集的建立與處理

在實(shí)驗(yàn)過(guò)程中，考慮到實(shí)際轎廂電梯內(nèi)的人員數(shù)量以及人員行為是不確定的，因此，在實(shí)驗(yàn)中想完成對(duì)所有類型樣本的測(cè)試也是不現(xiàn)實(shí)的。對(duì)于這種情況，可以將所有的樣本類型分為單目標(biāo)、雙目標(biāo)、多目標(biāo)以及轎廂內(nèi)沒(méi)有目標(biāo)四種情況。在此過(guò)程中，考慮到多目標(biāo)情況下出現(xiàn)異常行為的空間較小，一旦出現(xiàn)也會(huì)被制止，因此，將多目標(biāo)與轎廂為空兩種情況都劃分到正常中。單目標(biāo)與多目標(biāo)屬于研究的重點(diǎn)范圍，結(jié)合相關(guān)規(guī)章制度以及電梯安全管理內(nèi)容來(lái)看，將奔跑、跳躍、打鬧等定為異常行為，將靜止站立等確定為正常行為。

2.2 模型的建立與數(shù)據(jù)評(píng)估

在進(jìn)行模型的建立與評(píng)估過(guò)程中，其中會(huì)具備一定的行為特征與時(shí)空特征，不同特征下也代表著不同的數(shù)據(jù)集合。結(jié)合深度學(xué)習(xí)理論對(duì)正常行為和異常行為分別的數(shù)據(jù)集合進(jìn)行統(tǒng)計(jì)，進(jìn)而借助BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)該模型的建立，進(jìn)而完成對(duì)不同特征行為的識(shí)別。在進(jìn)行數(shù)據(jù)獲取的時(shí)候，從三個(gè)角度對(duì)單目標(biāo)多行為以及雙目標(biāo)多行為進(jìn)行分析和評(píng)估，并保證可以避免攝像頭成像系統(tǒng)、介質(zhì)以及設(shè)備等方面因素對(duì)圖像獲取的質(zhì)量造成影響。模型建立分為單目標(biāo)多行為模型以及雙目標(biāo)多行為模型，并對(duì)不同角度下的識(shí)別率進(jìn)行對(duì)比。

2.2.1 單目標(biāo)多行為模型

在單目標(biāo)多行為模型建立的過(guò)程中，一般會(huì)通過(guò)MATLAB平臺(tái)完成對(duì)數(shù)據(jù)的預(yù)處理，再根據(jù)神經(jīng)網(wǎng)絡(luò)調(diào)整隱層節(jié)點(diǎn)數(shù)取值范圍，進(jìn)而結(jié)合實(shí)際環(huán)境進(jìn)行調(diào)試，保證取得最佳的圖像獲取效果，同時(shí)將建立完成的模型進(jìn)行保存，為后續(xù)的實(shí)時(shí)行為識(shí)別做好準(zhǔn)備工作。該模型各個(gè)攝像頭的識(shí)別率如表1所示。

表1 單目標(biāo)模型識(shí)別率

2.2.2 雙目標(biāo)多行為模型

考慮到雙目標(biāo)多行為模型與單目標(biāo)多行為模型在建立過(guò)程中存在一定的差異，因此，可以在之間建立的模型上加以調(diào)整，通過(guò)數(shù)據(jù)讀入和拼接來(lái)從三個(gè)角度完成雙目標(biāo)多行為數(shù)據(jù)集特征的采集。三種角度攝像頭的訓(xùn)練集識(shí)別率以及測(cè)試集識(shí)別率如表2所示。完成后仍需要對(duì)模型進(jìn)行保存，進(jìn)而為后續(xù)的實(shí)時(shí)行為識(shí)別做好準(zhǔn)備工作。

表2 雙目標(biāo)模型識(shí)別率

兩個(gè)模型的建立可以進(jìn)一步看出，三種角度攝像頭的訓(xùn)練集識(shí)別率以及測(cè)試集識(shí)別率差別不大，同時(shí)，在識(shí)別精度方面也都符合相應(yīng)的規(guī)定與要求，因此，相關(guān)人員結(jié)合轎廂電梯的實(shí)際情況最終選定1號(hào)攝像頭作為監(jiān)測(cè)系統(tǒng)的位置捕捉。

3 行為的捕捉與識(shí)別

3.1 實(shí)時(shí)視頻的捕捉

在對(duì)實(shí)時(shí)視頻進(jìn)行捕捉的時(shí)候，需要借助Open CV計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)軟件庫(kù)完成對(duì)視頻的捕捉、處理和保存。與此同時(shí)，還需要與Python環(huán)境進(jìn)行結(jié)合，通過(guò)Open CV庫(kù)來(lái)對(duì)對(duì)應(yīng)圖像的函數(shù)進(jìn)行處理。

3.2 數(shù)據(jù)預(yù)處理

因?yàn)槟Ｐ徒⒑蟀氖莿?dòng)作關(guān)鍵節(jié)點(diǎn)的數(shù)據(jù)集合，因此，在進(jìn)行后續(xù)處理工作之前，需要先在圖像捕捉的基礎(chǔ)上進(jìn)行數(shù)據(jù)預(yù)處理?，F(xiàn)階段，轎廂電梯人體行為監(jiān)測(cè)系統(tǒng)將OpenPose算法作為整體的核心算法，當(dāng)前的數(shù)據(jù)輸入集合是目標(biāo)動(dòng)作行為的圖片幀序列，并以txt格式的文本文件為輸出格式。考慮到捕捉正常行為與異常行為之間的數(shù)據(jù)集具有不同的特征，因此，需要將關(guān)鍵節(jié)點(diǎn)序列作為具有不同特征的特征集，進(jìn)而通過(guò)模型完成對(duì)相關(guān)行為的識(shí)別與分類。具體來(lái)說(shuō)，數(shù)據(jù)預(yù)處理的過(guò)程可以分為獲取關(guān)鍵幀、保存關(guān)鍵節(jié)點(diǎn)、轉(zhuǎn)換文件格式等環(huán)節(jié)。

3.3 行為識(shí)別模型的運(yùn)行

作為一類數(shù)學(xué)計(jì)算為主的編程軟件，MATLAB有效通過(guò)其各類數(shù)組運(yùn)算功能實(shí)現(xiàn)對(duì)各種數(shù)據(jù)集合的處理。在本次實(shí)驗(yàn)中，借助MATLAB軟件的Python接口完成識(shí)別模型的搭建，并在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上對(duì)相關(guān)數(shù)據(jù)進(jìn)行識(shí)別與分類。通過(guò)分類，最終將捕捉到的動(dòng)作分為正常行為與異常行為，當(dāng)輸出結(jié)果在3h以內(nèi)的時(shí)候，則為系統(tǒng)正常運(yùn)行，而在3h以上的時(shí)候，系統(tǒng)會(huì)發(fā)出報(bào)警。

4 人體行為監(jiān)測(cè)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

4.1 管理端設(shè)計(jì)

管理端不同模塊的具體內(nèi)容主要涉及以下幾方面：第一，對(duì)于首次使用系統(tǒng)的用戶，管理端需要為其分配新的賬號(hào)與密碼，只有正確輸入才可以成功登陸，并完成相應(yīng)的后續(xù)操作。為提升管理人員管理的便利程度，在進(jìn)行用戶注冊(cè)時(shí)，還需要記錄用戶的姓名以及聯(lián)系方式。第二，為最大限度地保證系統(tǒng)安全性與運(yùn)行的流暢性，管理端會(huì)定時(shí)對(duì)不再具備監(jiān)測(cè)系統(tǒng)使用權(quán)限的用戶信息進(jìn)行刪除，將SQL Server數(shù)據(jù)庫(kù)中的用戶信息進(jìn)行刪除之后，用戶將不再具備使用系統(tǒng)的權(quán)限。這項(xiàng)操作不僅可以有效保證系統(tǒng)的安全性，同時(shí)還可以實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的合理應(yīng)用，進(jìn)而有效節(jié)約了數(shù)據(jù)庫(kù)的使用空間。第三，用戶在使用系統(tǒng)的過(guò)程中往往會(huì)具有更新信息的需求，因此，管理端還進(jìn)一步設(shè)置了信息修改模塊。用戶可以通過(guò)信息修改模塊對(duì)相關(guān)信息進(jìn)行更新，同時(shí)，管理端也會(huì)進(jìn)一步在SQL Server數(shù)據(jù)庫(kù)中對(duì)其修改部分進(jìn)行更新，進(jìn)而在一定程度上也避免了同一使用者的重復(fù)注冊(cè)。

4.2 用戶端設(shè)計(jì)

用戶端的模塊設(shè)計(jì)核心在于實(shí)現(xiàn)監(jiān)測(cè)系統(tǒng)的各項(xiàng)功能，用戶在正確輸入賬戶和密碼后就可以進(jìn)入系統(tǒng)中，同時(shí)數(shù)據(jù)庫(kù)還會(huì)實(shí)時(shí)對(duì)用戶信息進(jìn)行匹配。在監(jiān)控系統(tǒng)運(yùn)行的過(guò)程中，需要對(duì)獲取的視頻進(jìn)行采集和保存，并根據(jù)不同的輸出結(jié)果做出不同的反應(yīng)。用戶端不同模塊的功能設(shè)計(jì)主要涉及以下幾個(gè)方面：第一，視頻捕捉。轎廂電梯監(jiān)控系統(tǒng)的視頻捕捉模塊主要功能是對(duì)轎廂電梯內(nèi)的人員動(dòng)作情況進(jìn)行實(shí)時(shí)采集與捕捉，并將采集的數(shù)據(jù)信息保存在本地，為后續(xù)的分析環(huán)節(jié)做好準(zhǔn)備。第二，行為識(shí)別。這一環(huán)節(jié)也是整體轎廂行為監(jiān)測(cè)系統(tǒng)中最關(guān)鍵、最核心的環(huán)節(jié)，在完成對(duì)轎廂電梯中的目標(biāo)行為的采集與捕捉后，會(huì)按照固定的路徑與格式進(jìn)行儲(chǔ)存，并借助OpenPose核心算法對(duì)形成的關(guān)鍵節(jié)點(diǎn)坐標(biāo)序列加以分析，最終將相關(guān)數(shù)據(jù)導(dǎo)入模型中完成正常行為與異常行為的判斷。第三，個(gè)人信息。用戶在使用轎廂電梯監(jiān)控系統(tǒng)的時(shí)候，常常需要對(duì)密碼以及其他個(gè)人信息進(jìn)行修改與更新，因此，在系統(tǒng)用戶端上提供了可以進(jìn)行信息完善與更新的模塊，用戶進(jìn)入這一模塊中，就可以根據(jù)自身實(shí)際需求完成信息修改，進(jìn)而為后續(xù)的使用提供更多便利條件。

5 結(jié)語(yǔ)

綜上所述，OpenPose算法為優(yōu)化轎廂電梯人體動(dòng)作識(shí)別產(chǎn)生了十分關(guān)鍵的作用。通過(guò)構(gòu)建人體行為監(jiān)測(cè)系統(tǒng)，可以加強(qiáng)對(duì)轎廂電梯內(nèi)目標(biāo)行為的檢測(cè)與分類，真正意義上實(shí)現(xiàn)對(duì)電梯安全事故的事前預(yù)警。通過(guò)OpenPose算法進(jìn)行數(shù)據(jù)檢測(cè)，不僅可以提升信息獲取的便利程度，還可以有效解決傳統(tǒng)RGB圖像目標(biāo)行為易受外部環(huán)境干擾的問(wèn)題，提升信息的準(zhǔn)確性。結(jié)合其實(shí)際測(cè)試情況來(lái)看，該系統(tǒng)表現(xiàn)出十分突出的可靠性與實(shí)時(shí)性。