徐守坤，李安娜，石 林

(常州大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 常州 213164)

智能空間中基于場景和本體的用戶異常活動識別

徐守坤，李安娜，石 林

(常州大學(xué) 信息科學(xué)與工程學(xué)院，江蘇 常州 213164)

大多數(shù)基于傳感器和本體的異常活動識別研究僅考慮動作本身是否具有危險(xiǎn)性或異常性，認(rèn)為任何偏離日常活動的模型都是異常，針對可能導(dǎo)致的漏判或誤判，提出考慮場景語義，同時加入用戶本身情況因素;采集日常生活活動數(shù)據(jù)，建立相應(yīng)的本體庫，另外加入4種已確定的異?；顒?，對異常活動進(jìn)行更豐富的識別;經(jīng)過實(shí)驗(yàn)驗(yàn)證，異?；顒幼R別準(zhǔn)確率有明顯提高。

場景；本體；異?；顒幼R別

0 引言

智能空間中人的異?；顒幼R別近年來得到眾多學(xué)者的關(guān)注[1-4]?；顒幼R別研究方法主要有兩類：視頻識別[5-7]和可穿戴識別。視頻識別因涉及用戶隱私而受到限制，可穿戴識別是指利用智能空間中分布的很多傳感器，加上用戶可能佩戴穿戴式傳感器設(shè)備，運(yùn)用數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)建立活動模型。Tong Y[8]等基于隱藏狀態(tài)的條件隨機(jī)域設(shè)計(jì)兩種算法識別“遺忘”和“新的活動”，實(shí)驗(yàn)結(jié)果優(yōu)于特征向量距離的異?；顒幼R別，同時驗(yàn)證考慮子活動關(guān)系的建模和基礎(chǔ)相關(guān)性有助于異?；顒幼R別。Gayathri K S[9]等使用一種新的混合數(shù)據(jù)和知識驅(qū)動的分層方法，集成常識知識與概率模型的Markov Logic Network(MLN)增強(qiáng)識別能力，系統(tǒng)還確定影響異常檢測最相關(guān)的因素。Wang C[10]等首先通過時間依賴性的頻繁模式挖掘算法找到正常的活動模式，其次傳感器節(jié)點(diǎn)運(yùn)用分布式知識存儲機(jī)制，最后觸發(fā)的傳感器采用分布式異常檢測算法，通過計(jì)算當(dāng)前活動模式與正?；顒幽Ｊ降南嗨菩赃M(jìn)行比較。

在基于本體的語義識別上，Rodríguez N D[11]等使用一個模糊本體代表人體活動，對模糊、不完整和不確定的知識進(jìn)行建模和推理，以及可以不精準(zhǔn)和生活化的查詢。Okeyo G[12]等介紹一種動態(tài)的分割模型解決傳感器數(shù)據(jù)實(shí)時分割，并且描述知識驅(qū)動人體活動本體識別背景下的工作機(jī)制與相關(guān)模型的算法。Chen L[13]等介紹一種通過增量活動發(fā)現(xiàn)和配置文件學(xué)習(xí)的混合方法和推理規(guī)則學(xué)習(xí)新的活動和用戶活動概要，結(jié)合基于傳統(tǒng)數(shù)據(jù)挖掘活動建模與基于本體顯式活動模型的優(yōu)勢。采集日常生活活動數(shù)據(jù)時，異常活動發(fā)生的概率較正?；顒佣院艿?，因此用于實(shí)驗(yàn)研究的異常活動數(shù)據(jù)一直不足。大多數(shù)基于傳感器[14]和本體的異常活動識別研究僅考慮動作本身是否具有危險(xiǎn)性或異常性，認(rèn)為任何偏離日常活動的模型都是異常，但由于忽略場景語義，即相關(guān)上下文信息，甚至沒有考慮用戶本身情況，可能導(dǎo)致漏判或誤判。在場景識別過程中，傳感器滿足觸發(fā)條件后才會激活，例如隨時間推移或位置改變，傳感器檢測到當(dāng)前活動與上一持續(xù)時間或位置的活動有明顯變化，或是比對當(dāng)前活動與歷史記錄活動的差異，從而實(shí)現(xiàn)場景實(shí)時動態(tài)檢測。根據(jù)這一問題，就基于場景的異?；顒幼R別進(jìn)行研究。

1 活動和場景

1.1 活動

可穿戴傳感器測量用戶的運(yùn)動數(shù)據(jù)，得知相應(yīng)行為?；顒?Activity)指用戶當(dāng)前時間段的行為，從活動是否異常的屬性可分為兩類：非異?；顒?NonAbnormalActivity)與警告活動(WarningActivity)；非異?；顒永纾鹤?Walking)，跑(Running)，跳(Jumping)，蹲(Squatting)，站(Standing)，坐(Sitting)，躺/臥(Lying)，趴(Groveling)，俯身/彎腰(BendOver)，翻身/轉(zhuǎn)身(Turning)，上樓梯(ComeUpstairs),下樓梯(GoDownstairs)等。警告活動例如：跌倒(Falling)，頭痛(Headache)，嘔吐(Vomiting)，昏厥(Fainting)等?；顒宇惾鐖D1所示。從活動的復(fù)雜程度也可分為兩類：簡單活動和復(fù)雜活動，復(fù)雜活動是多個簡單活動的組合表達(dá)，于是仍從簡單活動角度進(jìn)行分析，但不利于判斷活動是否異常。因此，活動是分析場景信息的基礎(chǔ)，場景分析被觸發(fā)在異常動作轉(zhuǎn)變的動態(tài)活動或時間超限時。

1.2 場景

日常生活活動(ADL，Activities of Daily Living)是有多樣性的，包括時間、空間和環(huán)境上下文。時間上下文表明時刻和持續(xù)時間，通過計(jì)時器知道確定時間信息?？臻g上下文與位置信息和環(huán)境實(shí)體相關(guān)，例如房間、家具和家電，不同房間、家具和家電的傳感器編號不同，每間房的位置傳感器都能知道用戶位置，接觸式傳感器能檢測到門窗是否打開或家具是否被使用，設(shè)備傳感器能檢測到家電是否開啟。設(shè)備類如圖2所示，傳感器概念模型如圖3所示，空間位置本體如圖4所示。環(huán)境上下文包括溫度、濕度和天氣等環(huán)境信息，傳感器種類不同，可測得相應(yīng)所需環(huán)境數(shù)據(jù)。

場景(Scenario)關(guān)聯(lián)ADL上下文信息，表示為：S={T,L,E,A}，其中，T代表時間上下文，L代表空間上下文，E代表環(huán)境上下文，A代表當(dāng)前用戶所進(jìn)行的活動。場景屬性如圖5所示。每個概念都有很多實(shí)例，例如家具可以分為沙發(fā)，飯桌，椅子，書桌，床，柜子等。

1.3 場景劃分

通過深化設(shè)計(jì)+圖紙的策劃應(yīng)用，實(shí)現(xiàn)幕墻工程深化設(shè)計(jì)策劃書以及專業(yè)的圖紙的最優(yōu)化，切實(shí)的保障后續(xù)開工的順利進(jìn)行。

Sik= {Lik,Tjk,Enk,Amk},Uik=S1∪S2∪…∪Si∪Se,其中Se指的是特殊場景。

場景劃分是針對特定空間L、特定時間T和特定環(huán)境E,可能發(fā)生的活動A進(jìn)行分類，建立相應(yīng)本體庫。

圖4 空間位置本體(OntoGraf圖)

(1)用戶活動的空間L劃分為若干個空間區(qū)域：L= {L1，L2，L3......}。例如臥室命名為L1,客廳命名為L2,廚房命名為L3等。

(2)環(huán)境上下文信息分為若干：E={E1,E2,E3……}，例如溫度命名為E1、濕度命名為E2、天氣命名為E3等。

(3)用戶在不同的時間段在同一區(qū)域中會有不同的活動，因此需要將每一天劃分為具體的時間段T= {T1,T2,T3......}。

(4)將用戶在同一區(qū)域中不同時間段的活動劃分為不同場景，S1= {L1,T1,E1,A1},S2= {L2,T2,E2,A2},S3= {L3,T3,E3,A3}, ......,Sik= {Lik,Tjk,Enk,Amk}

(5)本體庫中場景除此之外還包含附加特殊場景，例如用戶習(xí)慣變化。

2 建模和推理

2.1 智能空間本體建模

人體活動本體建模是通過本體語言描述人體活動的形式化語義，每個活動被定義為抽象活動類的特別化。活動安排是以分層的方式，例如一天的活動可以表現(xiàn)為多個事件的組合，本體推理是用來識別用戶正在進(jìn)行一個特定的活動。檢測到場景信息的變化后，推理機(jī)開始工作。本體的基礎(chǔ)組件是可以查找到智能空間中的位置坐標(biāo)(如用戶在什么地方)、設(shè)備和環(huán)境對應(yīng)的語義，推理組件是識別用戶活動，并提供相應(yīng)的合適的服務(wù)。

圖1 活動類 圖2 設(shè)備類

圖3 傳感器概念模型圖

圖5 場景屬性 圖6 用戶類

2.2 人的建模

用戶本體模型是活動識別的重要組成部分，對活動識別的精準(zhǔn)和預(yù)測有關(guān)鍵影響。用戶模型如圖6所示，包括用戶姓名、性別、年齡等基本屬性，也包含用戶相關(guān)上下文信息，如用戶位置、心跳、脈搏、血壓、體溫、心情等。在開始對用戶當(dāng)前場景進(jìn)行識別之前，就需要對用戶進(jìn)行建模作為附加屬性，如病史、用戶偏好、生活方式。

2.3 推理規(guī)則的建立

語義推理機(jī)、推理引擎、規(guī)則引擎或者是簡單的推理機(jī)，是一種忠于事實(shí)或公理的可推理邏輯序列的軟件。語義推理機(jī)的概念歸納為推理引擎，提供一個更豐富的機(jī)制。變化檢測組件比較當(dāng)前時間窗口的上下文情況與以前的時間窗口的上下文情況。如果當(dāng)前上下文情況不同于以往情況，推理組件開始工作。其次，服務(wù)管理組件根據(jù)推理結(jié)果調(diào)用服務(wù)或發(fā)送消息。

OWL概念表示出來后，執(zhí)行引擎就會進(jìn)行推理。ADL規(guī)則建立后，新的實(shí)例就會添加到實(shí)例庫。那些實(shí)例將來可以用來進(jìn)一步推斷。當(dāng)推理完成后，這些實(shí)例必須被轉(zhuǎn)化為OWL知識?；诓煌脩魯U(kuò)展最初的本體庫，記錄相關(guān)的正常場景和異常場景，當(dāng)有新的場景出現(xiàn)，與本體庫中的正常場景有部分出入時，可以根據(jù)推理規(guī)則作出相應(yīng)調(diào)整。

Jena推理機(jī)的語法構(gòu)造規(guī)則是，Rule: (xpart ofy),(zpart ofy) → (xborderz)?？梢岳斫鉃?，如果前提得到滿足，則可以執(zhí)行相應(yīng)動作或者得出結(jié)論。

“躺在床上”中定義的“躺”是這樣的：

(? user location: locatedIn ? Bedroom),(? Bed eneObject: isOccupied ? true) → (? user activity: engageIn ? Lying)

只要滿足活動“躺下”和“鬧鐘響”這兩個條件，就可以推理出用戶起床。

[rule1: (? user: hasActivity ? b),(? b rdf: hasState act:? Lying),(? SleepingAlarm eleObject: isOn ? true) →(?user rdf: ? GettingupInBedroom) ]

2.4 異?；顒幼R別

僅憑動作判斷異常是不準(zhǔn)確的，提高準(zhǔn)確率需要場景信息，記錄傳感器采集的數(shù)據(jù)，在用戶活動時不判斷當(dāng)前是否異常，只在異常被觸發(fā)后才進(jìn)行判斷。有以下兩種情況觸發(fā)：第一種，當(dāng)出現(xiàn)異常的簡單動作，如跌倒、昏厥、嘔吐等，就開始判斷當(dāng)前活動是否真的異常。第二種，當(dāng)出現(xiàn)時間異常的特定活動時，例如躺，則需要進(jìn)一步判斷是否新習(xí)慣。一旦發(fā)現(xiàn)異常動作，場景語義分析相應(yīng)開展，首先判斷是否是用戶習(xí)慣，需要向前回溯幾個場景，即采集的之前場景連續(xù)數(shù)據(jù)，如果是習(xí)慣，則并不認(rèn)定異常。然后，如果并非習(xí)慣，則需要檢測對比上下文信息，如果出現(xiàn)異常，即可認(rèn)定當(dāng)前活動為異常。流程圖如圖7所示。

圖7 異?；顒优袛嗔鞒虉D

3 實(shí)驗(yàn)及驗(yàn)證

研究異常場景的意義所在：涉及到用戶的健康、心理變化，能夠及時、貼心地關(guān)注用戶的日常起居。根據(jù)智能空間中的采集到的傳感器信息，記錄當(dāng)前用戶的日常生活習(xí)慣，并記錄主要推理重點(diǎn)，以4個異?；顒訛槔旱埂㈩^痛、嘔吐、昏厥，以12個地點(diǎn)為例，記錄時長一個月。

在實(shí)驗(yàn)環(huán)境的不同位置部署63個傳感器，包括溫度傳感器、壓力傳感器、位移傳感器等。實(shí)驗(yàn)測試以Eclipse為開發(fā)平臺，采用protégé實(shí)現(xiàn)本體建模，用Jena進(jìn)行語義場景本體推理。用戶交互界面包含兩個模塊，顯示傳感器記錄的數(shù)據(jù)、身體體征指數(shù)等相關(guān)信息模塊和對用戶所處場景的推理結(jié)果顯示模塊。首先要記錄從傳感器讀取的數(shù)據(jù)，同時包括傳感器獲得的其他附件信息(主要是用戶的生命體征信息等)，基本的活動場景信息稍后進(jìn)行推理得到，判斷當(dāng)前正在發(fā)生的場景是否異常，最后將推理得到的結(jié)果顯示在測試界面上。

參與測試的3位用戶進(jìn)行9個場景測試，其中測試1是早上在臥室起床和早上起床時間段內(nèi)昏厥在臥室場景。測試2是中午在書房休息、晚上躺在廚房地板上。測試3是在客廳沙發(fā)上看電視、躺在客廳沙發(fā)上但生命體征指數(shù)不正常。其中測試1里起床的場景中的基本要素在場景本體庫中已經(jīng)定義，如用戶一般的起床時間、場景發(fā)生的地點(diǎn)、用戶的動作信息可以從傳感器獲得、臥室中燈是否開啟等環(huán)境信息也可以從相關(guān)傳感器中獲得。首先從動作發(fā)生的時間和地點(diǎn)等信息去場景本體庫中初步匹配符合條件的場景信息，然后通過從傳感器獲得的動作信息進(jìn)行語義推理最終匹配到測試1正常的場景，在界面上顯示出用戶此時動作行為正常。同樣的過程，當(dāng)用戶在起床后昏厥在臥室地板上時，根據(jù)此時動作發(fā)生的位置和時間首先對發(fā)生的本體庫中發(fā)生在臥室的場景進(jìn)行匹配。根據(jù)從傳感器中獲取的數(shù)據(jù)信息進(jìn)行語義推理，發(fā)現(xiàn)用戶此時躺在臥室地板上。針對這一動作匹配上面滿足條件的場景本體。實(shí)驗(yàn)過程中在本體庫中無法匹配到對應(yīng)本體。同時根據(jù)此時測試1的用戶身體體征等外部信息最終判定用戶處于異常狀態(tài)。實(shí)驗(yàn)結(jié)果如表1所示。

表1 場景識別準(zhǔn)確率 %

另外，為確認(rèn)場景識別的時間效率，對3位用戶進(jìn)行“躺在廚房地上”場景識別的測試，文獻(xiàn)[15]中提出的HDP-HMM模型可以自動決定適當(dāng)數(shù)量的狀態(tài)，采用Fisher核混合OCSVM模型，并且同HMM數(shù)據(jù)訓(xùn)練法進(jìn)行比對，如圖8所示。從測試結(jié)果中可以看出，場景在識別的過程中可以首先根據(jù)客戶所處的位置信息、動作發(fā)生的時間信息進(jìn)行初步判斷，縮小后續(xù)識別的范圍。實(shí)驗(yàn)結(jié)果表明基于場景的本體匹配可以很好的提高識別的效率。相較于HMM數(shù)據(jù)訓(xùn)練法，HMM需要大量的數(shù)據(jù)采集成本，因而，隨實(shí)驗(yàn)對象人數(shù)的增加，HMM的識別時間要遠(yuǎn)遠(yuǎn)高于基于場景本體的識別時間。

圖8 實(shí)驗(yàn)分析

4 總結(jié)

識別方法由兩部分組成：智能家居ADL模式管理和異常場景識別。未來改進(jìn)的重點(diǎn)將是找到更加完善的異常識別方法，結(jié)合使用方法的泛化能力。根據(jù)用戶行為改變，若判斷為習(xí)慣發(fā)生變化，判斷當(dāng)前活動是否異常，如果正常，根據(jù)具體情況修改之前所建附加內(nèi)容，建立用戶反饋，增加判斷異常的容錯能力。

[1] Gu X, Cui J, Zhu Q. Abnormal crowd behavior detection by using the particle entropy[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(14): 3428-3433.

[2] Fang H, He L, Si H, et al. Human activity recognition based on feature selection in smart home using back-propagation algorithm[J]. ISA transactions, 2014, 53(5): 1629-1638.

[3] Candás J L C, Peláez V, López G, et al. An automatic data mining method to detect abnormal human behaviour using physical activity measurements[J]. Pervasive and Mobile Computing, 2014, 15: 228-241.[4] Jiang J, Jiang T, Zhai S. A novel recognition system for human activity based on wavelet packet and support vector machine optimized by improved adaptive genetic algorithm[J]. Physical Communication, 2014, 13: 211-220.

[5] Khan Z A, Sohn W. A hierarchical abnormal human activity recognition system based on R-transform and kernel discriminant analysis for elderly health care[J]. Computing, 2013, 95(2): 109-127.

[6] Gao X, Chen Z, Tang S, et al. Adaptive weighted online learning with application to abnormal activity recognition[J]. Neurocomputing, 2015.

[7] Huang B, Tian G, Wu H, et al. A method of abnormal habits recognition in intelligent space[J]. Engineering Applications of Artificial Intelligence, 2014, 29: 125-133.

[8] Tong Y, Chen R, Gao J. Hidden State Conditional Random Field for Abnormal Activity Recognition in Smart Homes[J]. Entropy, 2015, 17(3): 1358-1378.

[9] Gayathri K S, Elias S, Ravindran B. Hierarchical activity recognition for dementia care using Markov logic network[J]. Personal and Ubiquitous Computing, 2015, 19(2): 271-285.

[10] Wang C, Zheng Q, Peng Y, et al. Distributed abnormal activity detection in smart environments[J]. International Journal of Distributed Sensor Networks, 2014, 2014.

[11] Rodríguez N D, Cuéllar M P, Lilius J, et al. A fuzzy ontology for semantic modelling and recognition of human behaviour[J]. Knowledge-Based Systems, 2014, 66: 46-60.

[12] Okeyo G, Chen L, Wang H, et al. Dynamic sensor data segmentation for real-time knowledge-driven activity recognition[J]. Pervasive and Mobile Computing, 2014, 10: 155-172.

[13] Chen L, Nugent C, Okeyo G. An ontology-based hybrid approach to activity modeling for smart homes[J]. Human-Machine Systems, IEEE Transactions on, 2014, 44(1): 92-105.

[14] Kim Y H, Lim I K, Lee J K. A study on algorithm to identify the abnormal status of a patient using acceleration algorithm[J]. Personal and Ubiquitous Computing, 2014, 18(6): 1337-1350.

[15] Hu D H, Zhang X X, Yin J, et al. Abnormal Activity Recognition Based on HDP-HMM Models[A].IJCAI[C]. 2009: 1715-1720.

Human Abnormal Activity Recognition Using Scenario and Ontology in Intelligent Space

Xu Shoukun, Li Anna, Shi Lin

(School of Information Science and Engineering, Changzhou University, Changzhou 213164, China)

Most of the researches based on sensors and ontology for abnormal activity recognition only considers whether the action itself is dangerous or abnormal, showing that the routine activities are modeled and any deviation from the activity model is recognized as abnormality, so emphasizing the scenario semantics factor and user’s own situation for handling misjudgement or omissive judgement. Collecting activity data of daily living and then establishing the corresponding ontology base, meanwhile adding four kinds of identified abnormal activities, it has a better recognition of abnormal activities. The result of experiment validates that the recognition accuracy of abnormal activity is improved obviously.

scenario ; ontology; abnormal activity recognition

2015-08-27；

2015-09-25。

徐守坤(1972-),男,吉林蛟河人,博士,教授,CCF會員(E200016011S)，主要從事數(shù)據(jù)庫與信息統(tǒng)、普適計(jì)算理論與應(yīng)用方向的研究。

石 林(1979-),男,碩士,副教授,CCF會員(E200023843M)，主要從事分布式數(shù)據(jù)存儲與管理、云追溯、物聯(lián)網(wǎng)應(yīng)用方向的研究。

1671-4598(2016)07-0237-04

：10.16526/j.cnki.11-4762/tp

TP391 文獻(xiàn)標(biāo)識碼：A