王巧真，李新福，田學(xué)東

(河北大學(xué) 網(wǎng)絡(luò)空間安全與計(jì)算機(jī)學(xué)院，河北 保定 071002)

0 引 言

隨著智能護(hù)理床市場化，臥床病人姿態(tài)異常情況下進(jìn)行遠(yuǎn)程操作的安全問題變的尤為重要。目前對智能護(hù)理床安全方面的研究主要集中于精密儀器檢測研究，如可穿戴設(shè)備跌倒檢測[1]、人臉檢測技術(shù)檢測人員是否在床[2]、智能服裝安全防護(hù)[3]。由于穿戴設(shè)備使用不便，還會影響病人身體恢復(fù)，而不需要身體接觸的檢測儀器則對安全問題檢測單一，對于隱患的預(yù)防效果欠佳。除上述異常檢測方式外，視頻監(jiān)控也是一種重要的檢測手段，但傳統(tǒng)的視頻監(jiān)控需人工監(jiān)督，耗時(shí)耗力且效率低。若將場景安全檢測領(lǐng)域中的視頻監(jiān)控異常分析技術(shù)引入遠(yuǎn)程監(jiān)護(hù)異常檢測中，將大大降低意外發(fā)生的概率。

目前監(jiān)控視頻目標(biāo)異常檢測方式主要包括基于特征分類、軌跡跟蹤以及深度學(xué)習(xí)的方法。基于特征分類方法[4-6]工作量相對較少，這種方法依賴于特征提取，且易受外界因素影響；基于軌跡跟蹤方法[7-9]一般用于運(yùn)動目標(biāo)異常檢測，對相對靜止、運(yùn)動幅度較小的目標(biāo)檢測效果不佳；相較于傳統(tǒng)的異常檢測方法，深度學(xué)習(xí)方法[10,11]在特征提取環(huán)節(jié)不需要預(yù)先選定特征，而是通過學(xué)習(xí)獲取目標(biāo)特征，不易受外界因素干擾，但對于不同場景目標(biāo)的檢測效果大不相同。

以上方法僅適用于特定場景，因此需要具體場景具體分析。通過分析臥床病人與智能護(hù)理床的位置關(guān)系，以Mask RCNN(region-based convolutional neural network)+MROI Align(mix region of interest align)算法所提取的輪廓特征為基礎(chǔ)，采用特征相關(guān)算法進(jìn)行人員區(qū)分以及異常姿態(tài)檢測。

1 整體架構(gòu)

視頻和圖像的區(qū)別在于圖像是靜態(tài)的，視頻是動態(tài)的，一般情況下對視頻進(jìn)行異常分析，需要考慮多幀之間的關(guān)聯(lián)關(guān)系[12]，但在對智能護(hù)理床監(jiān)控視頻進(jìn)行異常檢測過程中，智能護(hù)理床與臥床病人之間的位置關(guān)系不管是在圖像還是視頻中都處于相對靜止?fàn)顟B(tài)，無需考慮多幀之間的關(guān)聯(lián)關(guān)系，因此，可將處理對象轉(zhuǎn)換為幀圖像。為了提升監(jiān)控視頻處理速度，在對象轉(zhuǎn)化過程中，采用等時(shí)間間隔提取視頻幀的方式對視頻進(jìn)行處理分析[13]。

一般情況下對監(jiān)控視頻進(jìn)行異常處理的過程可分為3步：①目標(biāo)檢測；②特征提??；③異常分析。但是針對實(shí)際問題，處理過程會發(fā)生細(xì)微的變化，針對遠(yuǎn)程監(jiān)護(hù)場景下臥床病人異常姿態(tài)檢測這一實(shí)際問題，處理過程同樣可分為3步：①利用Mask RCNN+MROI Align算法進(jìn)行輪廓提??；②利用特征加權(quán)差值判別法進(jìn)行人員區(qū)分；③根據(jù)場景信息定義異常情況，利用基于對應(yīng)點(diǎn)的輪廓比較算法進(jìn)行異常姿態(tài)檢測。遠(yuǎn)程監(jiān)護(hù)場景下臥床病人異常姿態(tài)檢測流程如圖1所示。其中A為場景中人員，B為智能護(hù)理床，A1、A2為場景中的不同人員，Z1、Z2分別為A1、A2與智能護(hù)理床的特征加權(quán)差值，W為智能護(hù)理床的寬度，N為智能護(hù)理床與臥床病人輪廓坐標(biāo)點(diǎn)相同時(shí)對應(yīng)點(diǎn)的總數(shù)量，N1為對應(yīng)點(diǎn)橫坐標(biāo)差值中負(fù)值數(shù)量。

圖1 遠(yuǎn)程監(jiān)護(hù)場景下臥床病人異常姿態(tài)檢測流程

2 算法實(shí)現(xiàn)

2.1 基于改進(jìn)Mask RCNN的目標(biāo)輪廓提取

Mask RCNN算法[14]不僅能夠進(jìn)行目標(biāo)檢測、分類，還能夠進(jìn)行個(gè)體區(qū)分、獲取目標(biāo)掩膜，可應(yīng)用于多個(gè)方面，如進(jìn)行目標(biāo)分割、目標(biāo)定位、關(guān)鍵點(diǎn)檢測、輪廓提取。Mask RCNN網(wǎng)絡(luò)架構(gòu)包括骨干網(wǎng)絡(luò)(backbone)和網(wǎng)絡(luò)頭(head)，backbone采用具有一定深度的殘差網(wǎng)絡(luò)(residual network，ResNet)和特征金字塔網(wǎng)絡(luò)(feature pyramid network，F(xiàn)PN)進(jìn)行特征圖(feature map)提取，通常情況下ResNet的網(wǎng)絡(luò)層次越多特征提取效果越好，但是層數(shù)過多會降低網(wǎng)絡(luò)結(jié)構(gòu)的速率，由于所訓(xùn)練的智能護(hù)理床以及人體類別較簡單，對網(wǎng)絡(luò)層數(shù)要求不高，為了保證算法的實(shí)時(shí)性，殘差網(wǎng)絡(luò)采用ResNet-50。head為目標(biāo)分類和目標(biāo)檢測框回歸預(yù)測頭以及掩膜(mask)預(yù)測頭，將feature map傳入?yún)^(qū)域推薦網(wǎng)絡(luò)(region proposal network，RPN)，利用anchors機(jī)制生成興趣區(qū)域(ROI)，對每一個(gè)ROI使用ROI Align進(jìn)行像素校正，其結(jié)果作為全連接層的輸入，對目標(biāo)進(jìn)行分類和框回歸，同時(shí)利用全卷積網(wǎng)絡(luò)(fully convolutional networks，F(xiàn)CN)完成目標(biāo)物體像素級分割，預(yù)測mask，根據(jù)掩膜信息提取目標(biāo)輪廓。Mask RCNN實(shí)例分割算法的整體網(wǎng)絡(luò)架構(gòu)如圖2所示。

圖2 Mask RCNN網(wǎng)絡(luò)架構(gòu)

結(jié)合遠(yuǎn)程監(jiān)護(hù)場景信息，針對數(shù)據(jù)不足問題，采用遷移學(xué)習(xí)的方式進(jìn)行預(yù)訓(xùn)練獲得訓(xùn)練權(quán)重，進(jìn)而對遠(yuǎn)程監(jiān)護(hù)場景數(shù)據(jù)集進(jìn)行訓(xùn)練檢測；通過分析輪廓提取的效果，結(jié)合場景信息以及目標(biāo)特征對RPN中的錨框選取參數(shù)進(jìn)行改進(jìn)，RPN中錨框(anchor)尺度、比例直接影響到最終目標(biāo)掩膜mask提取的效果；為進(jìn)一步提高目標(biāo)掩膜mask提取效果，應(yīng)用改進(jìn)的MROI Align代替原來的ROI Align。

2.1.1 RPN參數(shù)改進(jìn)

RPN將FPN獲得的不同層的特征圖作為輸入，采用固定滑動窗口的方式在每張?zhí)卣鲌D上進(jìn)行滑動，窗口滑動默認(rèn)生成尺度為(64×64,128×128,256×256)和比例為(1∶1,1∶2,2∶1)的9個(gè)候選區(qū)域，然后采用非極大值抑制的方式對候選區(qū)域進(jìn)行篩選，進(jìn)而輸入到ROI Align中進(jìn)行后續(xù)操作。默認(rèn)參數(shù)中，最小尺度是64×64，比例中包含1∶1，而在遠(yuǎn)程監(jiān)護(hù)場景數(shù)據(jù)中，一部分圖片中的檢測目標(biāo)小于該尺度(如，兒童、殘疾人士)，并且場景中的目標(biāo)檢測框多數(shù)情況下為長方形。因此，根據(jù)遠(yuǎn)程監(jiān)護(hù)場景下智能護(hù)理床與臥床病人特征對anchor尺度、比例進(jìn)行修改，尺度改為(32×32，64×64，128×128，256×256)，比例改為(1∶2，1∶2.5，2∶1，2.5∶1)，采用修改后的尺度和比例生成的候選區(qū)域更加貼近智能護(hù)理床與臥床病人的真實(shí)邊框。

2.1.2 改進(jìn)的ROI Align

ROI Align將RPN獲得的ROIS作為輸入，并導(dǎo)入feature map，將區(qū)域建議框映射到feature map上，通過雙線性插值以及max pooling操作得到固定尺寸的特征圖，進(jìn)而輸入到全連接網(wǎng)絡(luò)以及FCN網(wǎng)絡(luò)對目標(biāo)進(jìn)行分類、框回歸以及mask提取。在原ROI Align操作過程中導(dǎo)入feature map后選用其中某一層feature map進(jìn)行映射操作，選取其中某一層feature map會導(dǎo)致后續(xù)操作因特征不足而降低檢測率以及mask提取精度，針對這一問題，提出了MROI Align，將ROI Align中特征層選擇模塊轉(zhuǎn)換為特征融合模塊。對feature map進(jìn)行預(yù)處理(調(diào)整為相同尺寸)，將調(diào)整后的特征圖輸入到融合模塊進(jìn)行特征融合，通過采樣、降維以及特征融合操作得到融合后的特征圖。MROI Align框架結(jié)構(gòu)如圖3所示。

圖3 MROI Align框架結(jié)構(gòu)

2.2 特征加權(quán)差值判別法進(jìn)行人員區(qū)分

在對遠(yuǎn)程監(jiān)護(hù)場景下臥床病人異常姿態(tài)進(jìn)行研究的過程中，場景中會出現(xiàn)除臥床病人以外的其他人員，如：護(hù)理人員、醫(yī)生、臥床病人家屬。如果不對人員進(jìn)行區(qū)分，將會出現(xiàn)大量異常誤判，嚴(yán)重影響異常姿態(tài)檢測的準(zhǔn)確率。由于場景中臥床病人、其他人員與智能護(hù)理床之間的位置關(guān)系大不相同，因此根據(jù)人員與智能護(hù)理床之間的位置關(guān)系，以質(zhì)心距離與區(qū)域重疊率為指標(biāo)構(gòu)建一種特征加權(quán)差值判別法進(jìn)行人員區(qū)分。

2.2.1 質(zhì)心距離與區(qū)域重疊率

定義1 質(zhì)心是指目標(biāo)所在區(qū)域中心位置，可通過圖像矩計(jì)算[15]，計(jì)算方式如式(4)所示

(1)

(2)

(3)

(4)

其中，i，j分別為每個(gè)像素的x，y坐標(biāo)，V(i,j)是(i,j)點(diǎn)的灰度值，M00表示所有目標(biāo)區(qū)域的像素值的和，即目標(biāo)區(qū)域面積——零階矩；M10表示所有目標(biāo)區(qū)域像素的x坐標(biāo)的和，即一階矩；M01表示所有目標(biāo)區(qū)域y坐標(biāo)的和，即一階矩；(xc,yc)為質(zhì)心坐標(biāo)。

定義2 質(zhì)心距離是指智能護(hù)理床與場景中人員質(zhì)心坐標(biāo)間的距離，即兩坐標(biāo)點(diǎn)的歐氏距離，計(jì)算方式如下

(5)

其中，d為質(zhì)心距離，(xc,yc)為智能護(hù)理床的質(zhì)心坐標(biāo)，(xc1,yc1)為場景中人員的質(zhì)心坐標(biāo)。

定義3 區(qū)域重疊率[16]是指目標(biāo)所占面積比值，即場景中人員輪廓區(qū)域面積與智能護(hù)理床輪廓區(qū)域面積比值，計(jì)算方式如下

k=M001/M00

(6)

其中，k為區(qū)域重疊率，M001為場景中人員零階矩，M00為智能護(hù)理床零階矩。

2.2.2 特征加權(quán)差值判別法進(jìn)行人員區(qū)分

由于質(zhì)心距離與區(qū)域重疊率單獨(dú)使用情況下均存在誤判情況，為了提升人員區(qū)分的精確度，借鑒模糊識別理論格貼近度的思想，構(gòu)建了一種特征加權(quán)差值判別法。首先為獲取的指標(biāo)特征分配權(quán)重，對特征進(jìn)行加權(quán)處理，然后通過差值計(jì)算進(jìn)行人員區(qū)分。

定義4 設(shè)a，b為包含兩個(gè)特征元素的一維數(shù)組，稱D(a,b)=|ω1a[1]-ω1b[1]|+|ω2a[2]-ω2b[2]|為a與b的特征加權(quán)差值。

其中“兩個(gè)特征元素”是指質(zhì)心距離特征與區(qū)域重疊率特征，ω1,ω2分別為質(zhì)心距離特征與區(qū)域重疊率特征的權(quán)值，D(a,b)為a和b的特征加權(quán)差值，D(a,b)越大，a和b的差距越大。

假設(shè)遠(yuǎn)程監(jiān)護(hù)場景中除智能護(hù)理床C外只有兩人A1和A2，根據(jù)場景中目標(biāo)間關(guān)系可采用質(zhì)心距離d與區(qū)域重疊率k進(jìn)行人員區(qū)分，設(shè)A1=[d1,k1]，A2=[d2,k2]，C=[0,1]，其中d1、d2分別為人員A1、A2與C的質(zhì)心距離，k1、k2分別為人員A1、A2與C的區(qū)域重疊率，0、1為C與自身的質(zhì)心距離和區(qū)域重疊率。通過比較D(A1,C)與D(A2,C)區(qū)分臥床病人，若D(A1,C)D(A2,C)，則A2為臥床病人。

2.3 基于對應(yīng)點(diǎn)輪廓比較的異常姿態(tài)檢測報(bào)警

定義5 單鏈接算法(single linkage algorithm)是指簇類C1和C2的距離由兩個(gè)簇的最近樣本決定，計(jì)算方式如下

(7)

(8)

實(shí)驗(yàn)首先通過Mask RCNN+MROI Align進(jìn)行目標(biāo)檢測，目標(biāo)檢測結(jié)果可分為兩種情況，第一種情況視頻圖像中只有智能護(hù)理床與臥床病人；第二種情況視頻圖像中除智能護(hù)理床與臥床病人外，還存在其他人員(護(hù)理人員、陪護(hù)人員等)。第一種情況下，由于不存在臥床病人外的其他人員，直接利用基于對應(yīng)點(diǎn)的輪廓比較算法判斷臥床病人是否存在姿態(tài)異常即可。第二種情況下，由于存在多個(gè)人員目標(biāo)，無法直接檢測出臥床病人，因此需要利用特征加權(quán)差值判別法進(jìn)行人員區(qū)分，然后利用基于對應(yīng)點(diǎn)的輪廓比較算法進(jìn)行異常姿態(tài)檢測。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

實(shí)驗(yàn)所使用的環(huán)境配置如下：操作系統(tǒng)為Ubuntu16.04；CPU為i5-7500 CPU @ 3.40 GHz(3408 MHz)；GPU為NVIDIA GeForce GTX 1080Ti；深度學(xué)習(xí)框架為PyTorch 1.3.1；編程語言為Python 3.7。通過實(shí)驗(yàn)運(yùn)行調(diào)試，迭代次數(shù)設(shè)為12，迭代步數(shù)設(shè)為300，學(xué)習(xí)率設(shè)為0.01，權(quán)值衰減率設(shè)為0.0001。

3.2 訓(xùn)練與測試

目前市場上沒有智能護(hù)理床相關(guān)的公共數(shù)據(jù)集，因此，實(shí)驗(yàn)所需數(shù)據(jù)集采用網(wǎng)頁搜索以及人工拍攝方式獲取，數(shù)量800張，包含兩個(gè)類別，其中700張為訓(xùn)練數(shù)據(jù)集，全部進(jìn)行人工標(biāo)注，利用LabelMe標(biāo)注工具進(jìn)行目標(biāo)輪廓標(biāo)注。由于網(wǎng)頁以及人工拍攝所獲取的數(shù)據(jù)集數(shù)量有限，為提高實(shí)驗(yàn)效果，使用遷移學(xué)習(xí)方式獲取權(quán)重，從而對智能護(hù)理床的數(shù)據(jù)集進(jìn)行訓(xùn)練與測試。

實(shí)驗(yàn)以Mask RCNN模型框架為基礎(chǔ)結(jié)合MROI Align進(jìn)行目標(biāo)輪廓提取，采用典型的COCO2014[17]作為預(yù)訓(xùn)練數(shù)據(jù)集，再利用智能護(hù)理床的數(shù)據(jù)集進(jìn)行最終訓(xùn)練，訓(xùn)練完成后，網(wǎng)絡(luò)損失函數(shù)降至0.1，已達(dá)到預(yù)期效果；然后對測試集圖像進(jìn)行測試，實(shí)驗(yàn)結(jié)果表明，該數(shù)據(jù)集的檢測效果已達(dá)到后續(xù)實(shí)驗(yàn)的基本要求，測試結(jié)果如圖4所示(圖4(a)圖片來源www.gxnews.com.cn/staticpages/20181024/newgx5bd0484e-17747123.shtml)；最后通過目標(biāo)輪廓信息以及目標(biāo)掩膜信息提取相關(guān)特征，根據(jù)所提特征進(jìn)行人員區(qū)分，通過多次實(shí)驗(yàn)驗(yàn)證分析，人員區(qū)分過程中權(quán)重取ω1=0.3，ω2=0.7時(shí)，區(qū)分效果最佳，此時(shí)進(jìn)行異常檢測得到最終檢測結(jié)果如圖5所示。

圖4 測試前后對比

圖5 異常姿態(tài)檢測

3.3 結(jié)果分析

3.3.1 輪廓提取測試

人員區(qū)分以及異常姿態(tài)檢測所需特征均以目標(biāo)輪廓特征為基礎(chǔ)，輪廓提取的效果將直接影響到人員區(qū)分與異常姿態(tài)檢測的效果，為了檢測改進(jìn)后輪廓提取算法的有效性，將Mask RCNN+MROI Align輪廓提取算法與傳統(tǒng)的輪廓提取算法——Canny算子、LOG算子、Prewitt算子以及Sobel算子做對比實(shí)驗(yàn)，其實(shí)驗(yàn)效果如圖6所示。

圖6 傳統(tǒng)方法與Mask RCNN+MROI Align輪廓提取方法對比

由圖6可看出，與Mask RCNN+ROI Align輪廓提取方法比較，傳統(tǒng)方式輪廓提取過程中所選用的特征較為單一，所提取的輪廓偏差較大，且易受場景信息以及目標(biāo)狀態(tài)的影響。

為進(jìn)一步驗(yàn)證Mask RCNN+MROI Align輪廓提取算法在遠(yuǎn)程監(jiān)護(hù)場景中的適用性，對比實(shí)驗(yàn)采用遠(yuǎn)程監(jiān)護(hù)場景數(shù)據(jù)集作為訓(xùn)練集，將Mask RCNN+ROI Align輪廓提取算法與HED[18]、CEDN[19]、MNC[20]、FCIs[21]以及Mask RCNN等算法進(jìn)行對比，主要從輪廓檢測精度與檢測時(shí)間兩個(gè)方面進(jìn)行對比分析，其對比實(shí)驗(yàn)數(shù)據(jù)見表1。

表1 其它輪廓提取算法與Mask RCNN+MROI Align算法對比分析

分析表1可知，與其它輪廓提取算法相比，Mask RCNN+MROI Align輪廓提取算法輪廓檢測精度最高，雖然在用時(shí)上比HED算法、MNC算法分別多了0.05 s、0.09 s，但花費(fèi)少量的時(shí)間換取了相對較高的輪廓檢測精度，達(dá)到了較好的輪廓提取效果。

3.3.2 攝像位置測試以及人員區(qū)分測試

由于數(shù)據(jù)集為網(wǎng)頁以及人工拍攝獲取，以至于拍攝角度不固定，導(dǎo)致最終檢測效果大不相同。經(jīng)過多次實(shí)驗(yàn)觀察發(fā)現(xiàn)攝像頭固定在床尾上方位置所監(jiān)控的情況下識別率最高，具體實(shí)驗(yàn)結(jié)果見表2。

表2 異常姿態(tài)檢測精度

由表2可看出，遠(yuǎn)程監(jiān)護(hù)場景中有無其他人員對異常姿態(tài)檢測精確度有很大的影響，因此人員區(qū)分的效果將直接影響最終的異常姿態(tài)檢測精度，為了檢測所構(gòu)建人員區(qū)分方法的有效性，分別采用特征加權(quán)差值判別法、多特征融合方法[22]以及模糊識別理論[23]對相同場景下的人員進(jìn)行區(qū)分，對3種方法的區(qū)分精度和所耗時(shí)間進(jìn)行統(tǒng)計(jì)，得到具體實(shí)驗(yàn)數(shù)據(jù)見表3。

表3 3種人員區(qū)分方法比較結(jié)果

分析表3可知，特征加權(quán)差值判別法在區(qū)分精度上明顯優(yōu)于多特征融合方法與模糊識別理論，所耗時(shí)間比多特征融合方法、模糊識別理論分別多了0.046 s、0.021 s，用相對較少的時(shí)間換取相對較高的精度，達(dá)到了后續(xù)實(shí)驗(yàn)所需的效果，故特征加權(quán)差值判別法更具優(yōu)勢。

3.3.3 異常姿態(tài)檢測測試

異常姿態(tài)檢測是遠(yuǎn)程監(jiān)護(hù)場景下臥床病人異常姿態(tài)檢測的重中之重，異常姿態(tài)檢測的效果將直接影響臥床病人異常姿態(tài)檢測的準(zhǔn)確率。為了驗(yàn)證基于對應(yīng)點(diǎn)輪廓比較算法的有效性，對比人體外接矩形寬高比方法、質(zhì)心偏離水平方法[24]和目標(biāo)距離方法[25]，主要比較相同場景下4種方法的檢測精度和檢測時(shí)間，比較結(jié)果見表4。

表4 4種異常姿態(tài)檢測方法對比

分析表4可知，基于對應(yīng)點(diǎn)輪廓比較算法的檢測精度明顯優(yōu)于另外3種方法，檢測時(shí)間上比外接矩形寬高比方法、質(zhì)心偏離水平方法分別多了0.014 s、0.006 s，屬于可接受范圍，故基于對應(yīng)點(diǎn)輪廓比較算法更優(yōu)。

4 結(jié)束語

針對遠(yuǎn)程監(jiān)護(hù)場景中的異常姿態(tài)問題，提出一種臥床病人異常姿態(tài)自動識別方法。首先將Mask RCNN與MROI Align結(jié)合進(jìn)行輪廓特征提??；然后以智能護(hù)理床與人員間的質(zhì)心距離以及區(qū)域重疊率為指標(biāo)，通過特征加權(quán)差值進(jìn)行人員區(qū)分，最后利用基于對應(yīng)點(diǎn)輪廓比較算法完成遠(yuǎn)程監(jiān)護(hù)場景下臥床病人異常姿態(tài)的自動識別報(bào)警。實(shí)驗(yàn)結(jié)果表明上述方法適用于特定場景，且在監(jiān)控?cái)z像頭固定在床尾上方位置時(shí)具有較高的識別率與準(zhǔn)確率。由于實(shí)驗(yàn)圍繞目標(biāo)輪廓特征進(jìn)行異常姿態(tài)檢測，對于被護(hù)理人員在智能護(hù)理床內(nèi)部的細(xì)微異常狀況無法進(jìn)行識別，未來將朝著這一方向進(jìn)行進(jìn)一步的分析研究。