高蓮弟,陶 帥,季長清,王寶鳳,汪祖民

(大連大學 信息工程學院，遼寧 大連 116622)

基于屋頂二值紅外傳感器網(wǎng)絡的人體定位和行為識別系統(tǒng)設計

高蓮弟,陶 帥,季長清,王寶鳳,汪祖民

(大連大學 信息工程學院，遼寧 大連 116622)

為了解決個人隱私的保護、受光照條件和障礙物等因素的影響，設計了一種基于屋頂二值紅外傳感器網(wǎng)絡的人體行為識別系統(tǒng)；系統(tǒng)采用STM32芯片和ZigBee協(xié)調器建立ZigBee網(wǎng)絡；當實驗者在安裝在屋頂?shù)?0個互連的AMN31111紅外傳感器下面做出一系列行為時，傳感器對其進行二值數(shù)據(jù)采集，ZigBee協(xié)調器將數(shù)據(jù)通過串口發(fā)送到PC機上實時動態(tài)顯示，通過Keil5系統(tǒng)軟件對采集的二值數(shù)據(jù)以txt文本格式存儲；提出了像素值法對人體進行定位和BP神經(jīng)網(wǎng)絡算法在模擬的居家環(huán)境中對7種不同人物行為進行識別；實驗結果表明：該系統(tǒng)實現(xiàn)了人體多種行為的識別，其識別率為84.7%，4名實驗者得到平均識別精度相比固定在居家電器傳感器設備要高4.7%左右，并且該系統(tǒng)采集精度高、性能穩(wěn)定、可靠性高、成本低、功耗低，解決了一些目前人體行為識別監(jiān)測系統(tǒng)存在的問題。

紅外傳感器；STM32；像素值；人體定位；BP神經(jīng)網(wǎng)絡；行為識別

0 引言

近年來，在人物行為分析研究領域中，為了滿足用戶在日常生活中不斷增多的個性化需求，室內(nèi)環(huán)境中人物定位與行為識別得到了廣泛的研究與重視。然而，在居家生活中，不論老年人或年輕人，長時間在攝像頭的監(jiān)視下會產(chǎn)生不適感，個人的隱私得不到有效保護，而且其監(jiān)測效果還受光照條件和障礙物的影響，因此傳統(tǒng)的數(shù)字圖像/視頻處理[1]研究方法不適用于室內(nèi)居家環(huán)境。而基于屋頂紅外傳感器的傳感網(wǎng)絡則具備隱私保護、無生活打擾等優(yōu)勢。并且將紅外傳感器安裝在屋頂能夠很好地檢測到室內(nèi)的所有區(qū)域，不會出現(xiàn)檢測盲區(qū)。

為了減少噪音，本研究采用二值紅外傳感器對人物的行為進行分析,與可穿戴加速度傳感器研究方法相比不但不需要用戶的任何配合，而且具有數(shù)據(jù)量小，運算速度快以及不受光照條件影響等優(yōu)勢。

本論文基于無接觸式傳感網(wǎng)絡的行為分析方法會減少對用戶的打擾，并采用像素值法進行人體定位和BP神經(jīng)網(wǎng)絡分類方法進行人體行為識別，實驗結果表明采用該方法的識別精確率較高。

1 系統(tǒng)總體設計

系統(tǒng)主要由20個紅外傳感器節(jié)點、ZigBee節(jié)點、ZigBee協(xié)調器、STM32處理器組成，其總體結構圖如圖1所示。

系統(tǒng)的控制器主要由STM32處理器、ZigBee協(xié)調器、LED指示燈、存儲器組成，其中STM32處理器是系統(tǒng)的核心。其中STM32處理器主要實現(xiàn)與存儲器、ZigBee協(xié)調器、PC機的數(shù)據(jù)傳輸，并對接收到的數(shù)據(jù)進行相應的預處理操作。

紅外傳感器的主要功能是對模擬室內(nèi)環(huán)境人的數(shù)據(jù)進行感知和采集。通過組成的ZigBee網(wǎng)絡將數(shù)據(jù)發(fā)送至ZigBee協(xié)調器。

經(jīng)STM32處理器預處理后的數(shù)據(jù)通過串口發(fā)送到PC機中的Keil 5系統(tǒng)軟件進行顯示，將生成的多維二值0～1數(shù)據(jù)txt文本文檔通過像素值定位法和BP神經(jīng)網(wǎng)絡分類法，實現(xiàn)對人的日常行為的定位和識別，并得出比較精準的設計指標即人體行為識別準確率。虛線處表示也可以根據(jù)位置關系粗略的估計人的日常行為。例如，我們可以根據(jù)實驗者在冰箱附近的位置，大致估計出該實驗者目前的行為是從冰箱中拿飲料或其他東西。

圖1 系統(tǒng)總體結構圖

2 系統(tǒng)硬件設計

2.1 紅外傳感器模塊設計

被動熱紅外傳感器又稱為紅外動作傳感器，可檢測到與周圍環(huán)境溫度不同人的動作引起的溫度變化[2]。傳感器模塊使用了AMN3111感應探頭。它包含16個鏡頭，用來采集照射至熱紅外感應探頭表面4個象限的紅外線。每個傳感器模塊在每一個時間幀獲得一個二值響應。

傳感器陣列具有以下特性：移動中的人會同時引起多個傳感器模塊處于活躍狀態(tài)，信號輸出1，LED指示燈變亮；相反，當人處于靜止或者較小的輕微動作時，傳感器模塊均處于不活躍狀態(tài)，信號輸出0，LED指示燈不變亮[3]。紅外傳感器模塊電路圖如圖2所示。

圖2 紅外傳感器模塊電路

在模擬的居家環(huán)境中，20個4*5傳感器模塊均勻的安裝于高2.5米，長和寬為300 cm*375 cm的屋頂，監(jiān)測范圍覆蓋房間的所有區(qū)域，相鄰兩個傳感器模塊之間的距離為75 cm，每個紅外傳感器的檢測范圍側視圖如圖3所示，模擬居家環(huán)境中的傳感器陣列分布圖如圖4所示。

圖3 紅外傳感器檢測范圍的側視圖

圖4 模擬居家環(huán)境中傳感器陣列分布

2.2 協(xié)調器節(jié)點硬件設計

ZigBee是基于IEEE802.15.4標準，一般運行在2.4 GHZ的頻段上的無線網(wǎng)絡通信技術。 其特點是近距離、低速率、低功耗、安全性和可靠性較高。和傳感器結合就能組建ZigBee無線傳感器網(wǎng)絡，實現(xiàn)一點對多點，兩點間的通信。ZigBee 專用于短距離通信，有效覆蓋范圍在10～100 m 左右，通過適當調整發(fā)射功率，基本上可以滿足一般的居家或辦公環(huán)境的應用[4]。

ZigBee網(wǎng)絡節(jié)點按功能分為三大類：協(xié)調器節(jié)點、路由器節(jié)點、終端節(jié)點。由于本系統(tǒng)組網(wǎng)相對簡單，數(shù)據(jù)的傳輸量不大，因此采用只含協(xié)調器和終端節(jié)點的星型拓撲結構。終端節(jié)點不需要協(xié)調器發(fā)送命令，直接定時發(fā)送采集數(shù)據(jù)，以降低協(xié)調器的網(wǎng)絡負荷。

協(xié)調器節(jié)點主要任務是建立ZigBee網(wǎng)絡，實現(xiàn)無線采集終端節(jié)點的數(shù)據(jù)的收發(fā)和處理，并通過RS-232串口與PC機進行數(shù)據(jù)通信，將數(shù)據(jù)發(fā)送到PC機顯示。

協(xié)調器節(jié)點主要由STM32 ZigBee無線收發(fā)模塊、RS-232串口電路、PC機以及電源模塊組成，其中STM32模塊是協(xié)調器節(jié)點的核心部分，承擔著接收和存儲無線采集終端節(jié)點發(fā)送來數(shù)據(jù)的任務，并且能夠對數(shù)據(jù)進行分析處理。為了使協(xié)調器節(jié)點能夠實現(xiàn)STM32與PC之間的通信，采用RS-232通信接口，通過RS-232串口電路將采集的數(shù)據(jù)傳給PC機。由于RS232規(guī)定的高低電平標準與STM32的TTL電平不一致，需要MAX3232芯片進行電平轉換[4]。

3 系統(tǒng)軟件設計

系統(tǒng)的軟件設計主要包括STM32處理器程序、ZigBee協(xié)調器程序、紅外傳感器終端節(jié)點程序。其中紅外傳感器主要負責數(shù)據(jù)的發(fā)送，因此，本文不作詳細介紹。

3.1 STM32控制器程序設計

STM32是控制器的核心[5]，通過ZigBee協(xié)調器將紅外傳感器采集到的二值數(shù)據(jù)發(fā)送給STM32處理器，實現(xiàn)系統(tǒng)的初始化(包括串口初始化、按鍵初始化、定時器初始化)、數(shù)據(jù)處理功能，根據(jù)具體情況調節(jié)合適的采樣頻率，將采集到的數(shù)據(jù)掃描并通過串口將處理的數(shù)據(jù)發(fā)送到PC機上。使用keil 5軟件集成開發(fā)環(huán)境，可視化采集數(shù)據(jù)對數(shù)據(jù)進行相應的預處理操作。定時時間到了以后，就循環(huán)繼續(xù)檢測是否有數(shù)據(jù)傳送。其流程圖如圖5所示。

圖5 控制器流程圖

3.2 協(xié)調器節(jié)點軟件設計

協(xié)調器節(jié)點主要負責組建與維護一個ZigBee網(wǎng)絡，匯聚采集的數(shù)據(jù)，分析處理數(shù)據(jù)并通過串口發(fā)送數(shù)據(jù)至PC機。其軟件設計流程如圖6所示。

協(xié)調器節(jié)點上電后，首先進行信道掃描，選擇一個空閑的信道來創(chuàng)建一個網(wǎng)絡，規(guī)定相應的網(wǎng)絡參數(shù)。協(xié)調器啟動后，時刻監(jiān)聽無線信號，如果收到終端節(jié)點加入網(wǎng)絡申請，則根據(jù)請求信息做出是否允許加入網(wǎng)絡的判斷。如果允許加入，協(xié)調器就給終端節(jié)點分配一個網(wǎng)絡地址作為網(wǎng)絡中唯一的身份標識。如果監(jiān)聽到無線采集終端節(jié)點發(fā)送的紅外傳感器二值數(shù)據(jù)信息，協(xié)調器接收數(shù)據(jù)信息，通過RS-232串口電路發(fā)送到PC機顯示。

圖6 協(xié)調器節(jié)點流程圖

4 實驗與結果分析

在實驗中，實驗者(4名學生)對7種日常生活行為進行模擬：行走、看電視、躺在沙發(fā)上、玩電腦、從冰箱里拿飲料、掃地、整理桌子。

4.1 二值數(shù)據(jù)采集

紅外傳感器采集人體的行為數(shù)據(jù)，ZigBee協(xié)調器將數(shù)據(jù)通過串口發(fā)送到PC機上實時動態(tài)顯示，通過Keil 5系統(tǒng)軟件對采集的二值數(shù)據(jù)響應存儲為txt文本格式的操作。為后續(xù)的人物定位和行為分析提供了基礎。

4.2 基于像素值的人體定位

基于傳感網(wǎng)絡的安裝方式以及分布特點，我們將其等同為分辨率較低(20個像素)、灰度級較小(二級灰度)的“頂視攝像機”，且將其所采集數(shù)據(jù)等同為像素及灰度級為0或1的頂視圖像數(shù)據(jù)。為了提高像素的灰度級，每個像素點的二值灰度在連續(xù)時間內(nèi)的平均值有效地使灰度級延伸到了[0,1]連續(xù)區(qū)間內(nèi)。利用不同灰度的像素點的分布特征，可以對被監(jiān)測用戶進行準確的定位[6]。二值數(shù)據(jù)的優(yōu)化方法如下：

表達式si,j(t),(i=1,…,4j=1,…,5)表示在時刻t位于位置(i,j)的傳感器的活躍狀態(tài)(0或1)。采樣頻率設置為H(Hz)，定義t>0時刻該像素點的像素值為Pi,j(t)

(1)

公式(1)表明，像素值等于在t時刻前后共一秒時間內(nèi)的二值響應的均值。因此，二值灰度圖像被擴展為[0,1]內(nèi)連續(xù)灰度級的圖像。從公式我們可以知道Pi,j(t)∈[0,1]。

假設在t時刻共有N(<=20)個活躍傳感器，它們的位置由(i,j)表示，令它們的像素值為Pi,j(t),(i=1,…,4，j=1,…,5)，在室內(nèi)只有一位實驗者的前提下，利用加權平均法可估計出在t時刻實驗者的位置，如公式(2)所示。

(2)

為了驗證公式(2)所示定位的方法可行性，我們進行了相關的實驗。4名實驗者(每個實驗者單獨進行)在居家環(huán)境中被指定做出7種日常生活行為(行走、看電視、躺在沙發(fā)上、掃地、整理桌子、玩電腦、從冰箱里拿飲料)，共持續(xù)5分鐘。傳感網(wǎng)絡采樣頻率設置為H=20 Hz，采集傳感器活躍數(shù)據(jù)si,j(t)。實驗者日常行為的部分灰度圖像如圖8所示。

在5分鐘之內(nèi)選取10張代表性的圖像數(shù)據(jù)(t=1,…,t=10)。其中，灰度圖像的亮暗程度表示其像素值大小，白色圓圈表示在t時刻估根據(jù)公式(2)算出的實驗者的位置[7]。

從圖7中可以粗略的得到實驗者的移動軌跡，通過短時間內(nèi)對二值活躍數(shù)據(jù)的累積，擴展了傳感器活躍程度的表達范圍。通過對活躍傳感器位置信息的加權平均，提高了移動人物的空間分辨率。

圖7 行為序列灰度圖像

4.3 基于BP神經(jīng)網(wǎng)絡行為識別

BP網(wǎng)絡是一種按誤差逆向傳播算法訓練的多層前饋網(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。它的學習規(guī)則是使用最速下降法，通過反向傳播來不斷調整網(wǎng)絡的權值和閾值，使網(wǎng)絡的誤差平方和最小[8]。

圖8 日常生活行為重疊區(qū)域

圖8為日常生活行為重疊的區(qū)域。在不同的時間，在相同的區(qū)域做不同的行為，使用BP神經(jīng)網(wǎng)絡分類時，我們對重疊區(qū)域(易混淆)的行為進行有效識別，比如行走和掃地，兩者占有相似的區(qū)域，但考慮到兩者的速度不同，可以大致區(qū)分兩者的行為；躺在沙發(fā)上和坐在沙發(fā)上看電視兩個不同行為也占有相似的區(qū)域，會考慮兩者在行為開始時引起活躍傳感器的個數(shù)，由灰度圖像并通過實驗可以得知后者少與前者。

同時，在實驗時，模擬居家環(huán)境裝有攝像頭，記錄實驗者的真實行為，為BP神經(jīng)網(wǎng)絡算法的訓練提供真實值，即作參考值計算識別精度。

在MATLAB神經(jīng)網(wǎng)絡工具箱環(huán)境中，讀取存儲的txt二值文本數(shù)據(jù)，對4組實驗者采集的數(shù)據(jù)選取7類樣本集，其中每一類樣本集分別有300組數(shù)據(jù)樣本作為訓練集，100組數(shù)據(jù)樣本作為測試集。確定合適的訓練函數(shù)、訓練步數(shù)、網(wǎng)絡誤差、網(wǎng)絡的目標輸出，對輸入樣本進行多次10折交叉驗證，當誤差達到預設的要求或訓練達到預設的學習步數(shù)時，停止訓練。最終，對每次預測的精確度取平均值即得到最終的行為識別率為87.4%。

文獻[9]中，傳感器放置在門、微波爐、洗衣機等固定位置上，用來監(jiān)測人的日常行為，但是該系統(tǒng)不能提供用戶當時的位置和運動軌跡。

基于屋頂紅外傳感器和文獻[9]傳感器固定在居家電器上的人體行為識別的精確度的對比圖如圖9所示。

圖9 識別精度對比圖

總體上講，隨著采樣樣本個數(shù)的增加，兩者的識別精度都會隨之提高，但紅外傳感器的識別精度比固定在居家電器傳感器[10]的識別精度高4.7%左右。

5 結論

基于熱釋電紅外傳感器網(wǎng)絡的人體行為識別系統(tǒng)，我們提出了基于二值行為數(shù)據(jù)的像素值定位法對人體進行定位。利用BP神經(jīng)網(wǎng)絡分類算法，對人體進行多行為的識別。通過實驗我們可以得到這樣的結論,采用該方法的行為識別準確精度比固定在居家電器傳感器設備高4.7%左右。該系統(tǒng)保護了個人隱私，降低了對人們?nèi)粘Ｉ畹拇驍_。采用二值法增加了采樣率和減少了噪音和計算量，提高了運算速度。另外，紅外傳感器不像攝像機一樣受光照條件和障礙物的約束，其檢測范圍覆蓋了整個模擬居家環(huán)境，沒有檢測盲區(qū)的存在。同時基于紅外傳感器人體行為識別系統(tǒng)成本低，易于安裝。

[1] Li G, Lin W, Zhang S, et al. A New Network-Based Algorithm for Human Group Activity Recognition in Videos[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2014,24(5):826-841.

[2] 孫 華, 李 揚. 熱釋電紅外傳感器原理及其應用[J]. 內(nèi)江科技, 2010,(12):116-116.

[3] 石琳琦. 基于熱釋電紅外傳感器的測量技術[J]. 山東大學, 2013,(11):162 - 165.

[4] 王小強, 歐陽駿, 黃寧淋. ZigBee無線傳感器網(wǎng)絡設計與實現(xiàn)[M]. 北京：化工業(yè)出版社, 2012,5:3-8.

[5] 劉 軍. 例說STM32[M]. 北京:北京航空航天大學出版社, 2014.

[6] Tao S, Kudo M, Nonaka H. Camera view usage of binary infrared sensors for activity recognition[A]. Proceeding of the 21st International Conference on Pattern Recognition(ICPR2012)[C].2012:1759-1762.

[7] Tao S, Kudo M, Nonaka H. Privacy-preserved behavior analysis and fall detection by an infrared ceiling sensor network[J]. Sensors, 2011, 12(12):16920-16936.

[8] 劉鯖潔, 陳桂明, 劉小方, 等. BP神經(jīng)網(wǎng)絡權重和閾值初始化方法研究[J]. 西南師范大學學報(自然科學版), 2010,35(6):137-141.[9] Sawai K, Yoshida M. Algorithm to detect abnormal states of elderly persons for home monitoring[J]. Systems & Computers in Japan, 2007,38(6):34-42.

[10] 茍 濤. 基于可穿戴式三軸加速度傳感器的人體行為識別[J]. 自動化應用, 2015(12):61-62.

Design for Human Body Localization and Activities Recognition System Based on Binary Ceiling Infrared Sensor Network

Gao Liandi, Tao Shuai, Ji Changqing1, Wang Baofeng, Wang Zumin

(College of Information Engineering, Dalian University, Dalian 116622, China)

To preserve individual privacy and to avoid the effects of light condition and obstacles, this paper designed a human activities recognition system based on binary ceiling infrared sensor network. This system uses STM32 and ZigBee coordinator to build a ZigBee network. When a target does some activities under the interconnection of twenty AMN31111 infrared sensors, binary values will be collected by sensors. Then ZigBee coordinator will send this data to PC real time dynamics through serial port and these values will be stored in txt format by the software of Keil 5. We proposed the method of pixel value to estimate the locations of the target. In a home environment, we used BP neural network algorithm to recognize 7 different activities of a target. The experimental results showed that this system achieved a performance of a single target’s activities recognition rate of 84.7%. The average recognition rate obtained by 4 targets was about 4.7% higher than those sensor devices attached to home appliances. The system is with high precision, stable performance, high reliability, low cost and low power consumption. So it solves some current existing problems in human behavior recognition system.

infrared sensors; STM32; pixel value; human localization; BP neural network; activities recognition

2016-07-20；

2016-08-31。

國家自然科學基金項目(61501076)。

高蓮弟(1990-)，女，山東臨沂人，碩士研究生，主要從事智慧醫(yī)療與健康方向的研究。

汪祖民(1975-)，男，河南信陽人，教授，碩士研究生導師，主要從事智慧醫(yī)療與健康、機械故障診斷與預警、物聯(lián)網(wǎng)方技術開發(fā)與應用的研究。

1671-4598(2017)01-0163-04DOI：10.16526/j.cnki.11-4762/tp

TP

A