郭子芊，陳江濤，麥偉健，寧 琳，劉佐濂

（廣州大學(xué) 電子與通信工程學(xué)院，廣東 廣州 510006）

0 引 言

隨著社會老齡化的不斷加劇，老齡人口比例上升，老人獨(dú)自在家的情況增多。而青壯年往往忙于工作，無暇照顧獨(dú)自在家的老人。獨(dú)自在家的老人面對非法入侵時(shí)往往不能及時(shí)響應(yīng)。此外，高齡老人由于身體機(jī)能的下降或自身疾病的影響，易在家中摔倒[1]。針對這類現(xiàn)象，設(shè)計(jì)一款基于深度學(xué)習(xí)的家庭異常監(jiān)控終端很有必要。該終端以樹莓派為核心控制系統(tǒng)，將監(jiān)控圖像數(shù)據(jù)上傳至服務(wù)器。服務(wù)器對圖像數(shù)據(jù)進(jìn)行人臉識別和摔倒檢測，判斷畫面中是否出現(xiàn)陌生人臉或是家庭成員不慎摔倒的情況，并將異常情況反饋至客戶端APP，向用戶發(fā)送報(bào)警信息，從而保護(hù)家庭成員的人身安全與家庭財(cái)產(chǎn)安全[2]。

1 系統(tǒng)總體硬件設(shè)計(jì)

監(jiān)控終端包括攝像頭模塊、樹莓派終端、云服務(wù)器、人臉識別算法、摔倒檢測算法和客戶端APP?？傮w架構(gòu)如圖1所示。

圖1 總體架構(gòu)

監(jiān)控終端采用樹莓派作為核心控制部分。樹莓派是一款基于ARM的微型電腦，其系統(tǒng)基于Linux，具有適配多種深度學(xué)習(xí)框架的特點(diǎn)，且滿足系統(tǒng)對數(shù)據(jù)傳輸能力的高要求，可保證圖像數(shù)據(jù)上傳的流暢性和穩(wěn)定性[3-4]。本監(jiān)控終端將攝像頭錄到的實(shí)時(shí)圖像經(jīng)樹莓派上傳至云服務(wù)器，確保信息傳輸?shù)母咝訹5]。服務(wù)器通過人臉檢測算法檢測圖像中是否出現(xiàn)人臉，若出現(xiàn)人臉則進(jìn)行人臉識別，判斷該人員身份，若為未知人員，則向客戶端APP發(fā)送報(bào)警信息。同時(shí)，服務(wù)器還會通過人體檢測算法檢測圖像中是否出現(xiàn)人體，若出現(xiàn)人體則進(jìn)行骨架提取和摔倒檢測，若有人員摔倒且在一定時(shí)間內(nèi)未站起，則向客戶端APP發(fā)送報(bào)警信息。

2 系統(tǒng)軟件設(shè)計(jì)

監(jiān)控終端軟件包括：人臉檢測算法、人臉識別算法、骨架提取算法和客戶端APP。軟件流程如圖2所示。

圖2 軟件流程

2.1 使用MTCNN網(wǎng)絡(luò)實(shí)現(xiàn)人臉檢測

受樹莓派硬件資源所限，樹莓派無法達(dá)到對人臉檢測的實(shí)時(shí)性與高準(zhǔn)確性要求，因此需要利用服務(wù)器強(qiáng)大的計(jì)算能力，構(gòu)建MTCNN網(wǎng)絡(luò)（多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)）進(jìn)行人臉檢測。

MTCNN算法采用級聯(lián)CNN結(jié)構(gòu)實(shí)現(xiàn)了多任務(wù)學(xué)習(xí)[6]。其網(wǎng)絡(luò)由P-Net、R-Net以及O-Net子網(wǎng)絡(luò)組成，這3個網(wǎng)絡(luò)中前者的輸出會作為后者的輸入。MTCNN網(wǎng)絡(luò)流程如圖3所示。

圖3 MTCNN網(wǎng)絡(luò)流程

2.1.1 P-Net

P-Net的主要目的是生成一些候選框，通過P-Net網(wǎng)絡(luò)對圖像金字塔上不同尺度圖像的每個12×12×3區(qū)域做人臉檢測。P-Net的輸入為12×12×3的RGB圖像，在訓(xùn)練時(shí)，網(wǎng)絡(luò)要判斷該12×12×3的圖像中是否存在人臉，并且給出人臉框的回歸和人臉關(guān)鍵點(diǎn)定位。在測試時(shí)，輸出只有N個邊界框的4個坐標(biāo)信息和score，這4個坐標(biāo)信息已使用網(wǎng)絡(luò)人臉框回歸進(jìn)行校正，score可以看做是分類的輸出，即人臉出現(xiàn)的概率。

2.1.2 R-Net

由于P-Net的檢測比較粗略，因此還需要使用R-Net做進(jìn)一步優(yōu)化。R-Net和P-Net類似，不過這一步的輸入是前面P-Net生成的邊界框，不論實(shí)際邊界框的大小，在輸入R-Net之前，都需要縮放到24×24×3，以排除大量的非人臉框。

2.1.3 O-Net

進(jìn)一步將R-Net得到的區(qū)域縮放到48×48×3，輸入O-Net。O-Net的結(jié)構(gòu)與P-Net類似，不同之處在于在測試輸出時(shí)多了關(guān)鍵點(diǎn)位置的輸出。輸入為48×48×3的圖像，輸出包含P個邊界框的坐標(biāo)信息，score以及關(guān)鍵點(diǎn)位置。

從P-Net到R-Net，再到O-Net，網(wǎng)絡(luò)輸入的圖像越來越大，卷積層的通道數(shù)越來越多，網(wǎng)絡(luò)深度隨之增加，人臉識別的準(zhǔn)確率越來越高。P-Net網(wǎng)絡(luò)的運(yùn)行速度最快，R-Net次之，O-Net運(yùn)行速度最慢。系統(tǒng)使用P-Net對初始圖像進(jìn)行過濾，之后將過濾后的結(jié)果交由R-Net進(jìn)行再次過濾，最后將結(jié)果交由O-Net識別，以降低需要判別的圖像數(shù)量，減少計(jì)算時(shí)間，得到準(zhǔn)確的人臉檢測結(jié)果。

2.2 基于FaceNet網(wǎng)絡(luò)的人臉識別

傳統(tǒng)基于CNN的人臉識別方法利用CNN的siamese網(wǎng)絡(luò)提取人臉特征，然后利用SVM等方法分類達(dá)到人臉識別的目的。FaceNet利用DNN學(xué)習(xí)從原始圖片到歐式距離空間的映射關(guān)系，直接使用兩種圖片的歐式距離來度量人臉相似度[7]。本文選用VGG16作為Deep Architecture構(gòu)建FaceNet。FaceNet網(wǎng)絡(luò)結(jié)構(gòu)[8]如圖4所示。

圖4 FaceNet網(wǎng)絡(luò)結(jié)構(gòu)

構(gòu)建好網(wǎng)絡(luò)后，將Center Loss作為損失函數(shù)，使用LFW （Labeled Faces in the Wild, LFW）人臉數(shù)據(jù)庫對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，借助反向傳播算法進(jìn)行梯度更新。多次迭代訓(xùn)練后，選取精度最高的模型作為實(shí)現(xiàn)模型。

FaceNet網(wǎng)絡(luò)模型會把人臉圖片處理成NumPy可識別的二進(jìn)制數(shù)據(jù)，該數(shù)據(jù)通過與人臉數(shù)據(jù)庫中所有數(shù)據(jù)進(jìn)行歐氏距離的計(jì)算，得到相應(yīng)距離值，該值越小，代表兩張人臉相似度越高。例如，當(dāng)特征距離小于1時(shí)，認(rèn)為是同一個人；當(dāng)特征距離大于1時(shí)，認(rèn)為是不同的人。本服務(wù)器實(shí)現(xiàn)人臉識別的流程：

（1）使用MTCNN進(jìn)行人臉檢測；

（2）將所檢測的人臉輸入FaceNet網(wǎng)絡(luò)中進(jìn)行處理，并與數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行對比，判斷是否為同一人。

2.3 摔倒檢測

本系統(tǒng)使用基于Lightweight-Openpose+Fully Connection Layer的架構(gòu)進(jìn)行視頻流摔倒檢測。Lightweight-Openpose即輕量級Openpose架構(gòu)，速度相比原Openpose更快，但精度卻相差無幾，有利于提高監(jiān)測系統(tǒng)的實(shí)時(shí)性，同時(shí)使系統(tǒng)保持較高的識別準(zhǔn)確率。使用Fully Connection Layer對骨架圖片進(jìn)行摔倒識別，之后進(jìn)行輔助判斷，進(jìn)一步提高識別精度[9-10]。

2.3.1 構(gòu)建數(shù)據(jù)集（Fall/Normal）

Fall數(shù)據(jù)集如圖5所示。獲取從摔倒?fàn)顟B(tài)開始到結(jié)束的每一幀骨架圖作為Fall數(shù)據(jù)集，考慮到攝像頭位置的不同，F(xiàn)all數(shù)據(jù)集中包括摔倒時(shí)各角度的圖片幀，使系統(tǒng)魯棒性更優(yōu)。Normal數(shù)據(jù)集如圖6所示。Normal數(shù)據(jù)集包含了人體正常行走或其他非摔倒動作的骨架圖。將該數(shù)據(jù)集按8∶1∶1的比例劃分成訓(xùn)練集、驗(yàn)證集和測試集，以進(jìn)一步訓(xùn)練網(wǎng)絡(luò)參數(shù)。

圖5 Fall數(shù)據(jù)集

圖6 Normal數(shù)據(jù)集

2.3.2 模型訓(xùn)練

為適應(yīng)不同的應(yīng)用場景，該系統(tǒng)設(shè)置了摔倒檢測閾值fall_threshold，取值范圍為[0，1]，閾值越低，摔倒敏感度就越高，但容易造成誤測，即查全率（Recall）較高；閾值越高，誤測比例會相應(yīng)降低，但容易造成漏測，即查準(zhǔn)率（Precision）較高。使用F1_score衡量該系統(tǒng)，取最大值對應(yīng)的參數(shù)組合作為最優(yōu)解?，F(xiàn)實(shí)生活中，可根據(jù)應(yīng)用場景自行選擇閾值。訓(xùn)練結(jié)果如圖7所示。

圖7 訓(xùn)練結(jié)果

摔倒檢測結(jié)果如圖8所示。本服務(wù)器實(shí)現(xiàn)摔倒檢測的流程：使用Lightweight-Openpose架構(gòu)進(jìn)行骨架檢測，再使用Fully Connection Layer對骨架圖片進(jìn)行摔倒識別，判斷是否摔倒。

圖8 摔倒識別結(jié)果

2.4 客戶端APP

當(dāng)家中出現(xiàn)陌生人或家庭成員不慎摔倒等異常情況時(shí)，服務(wù)器會將現(xiàn)場圖像傳輸至客戶端APP并發(fā)送報(bào)警信息，用戶可通過移動端APP監(jiān)控家中情況?？蛻舳薃PP檢測、報(bào)警界面如圖9所示。

圖9 客戶端APP檢測、報(bào)警界面

3 結(jié) 語

本文設(shè)計(jì)的家庭異常監(jiān)控終端通過人臉檢測和摔倒識別技術(shù)，有效緩解了家庭安全問題，在監(jiān)測入戶區(qū)域和監(jiān)護(hù)家庭成員安全等方面均有良好的應(yīng)用前景。經(jīng)測試，本監(jiān)控終端能夠及時(shí)響應(yīng)家中出現(xiàn)陌生人或有人員摔倒等異常情況，并向客戶端APP發(fā)送報(bào)警信息，使得用戶能夠?qū)崟r(shí)掌握家中的異常情況，達(dá)到了預(yù)期設(shè)計(jì)效果。