李雨嶠

摘 ? 要：為了評估學生的上課行為，文章采用最新的頭部姿態(tài)估計技術。此項技術能夠捕捉當前人頭部所做的各種動作與角度，例如低頭、轉頭、仰頭等。低頭是大多數(shù)學生課堂上使用手機的慣用姿勢，可以利用此項技術來監(jiān)測其頭部姿態(tài)從而進行評估?？紤]到人臉檢測的定位準確度問題，以及學生低頭的動作不一定是使用手機，文章同時引入了無線信號偵測技術，捕獲并檢測當前教室里由于學生使用手機造成信號頻繁收發(fā)的終端位置，與人臉檢測的定位相結合，交叉定位，從而獲得更精準的定位效果。

關鍵詞：人臉檢測;頭部姿態(tài)估計;無線信號偵測

本項目考慮到課堂使用情景，因此擬將使用便捷、功能齊全的Jetson TX2開發(fā)板作為主要開發(fā)平臺。人臉檢測方面，為了提高識別效率與準確率，使用Dlib庫的機器學習算法與庫，實現(xiàn)基于深度學習的人臉檢測功能。采樣方面，文章使用了ZED雙目攝像頭，其視角較廣、分辨率高，同時有著景深探測的功能。無線信號偵測方面，使用無線網卡與天線結合來實現(xiàn)信號數(shù)據(jù)抓包，并通過tcpdump和wireshark進行解析[1]。

1 ? ?基于深度學習和 CNN 算法的人臉檢測

關于人臉檢測，目前有許多經典算法，其中比較傳統(tǒng)的例如特征臉法，其原理是先將圖像灰度化，然后將圖像每行首尾相接拉成列向量。為了降低運算量，需要使用PCA降維，并使用分類器進行分類，可以使用 KNN，SVM、神經網絡等。其中卷積神經網絡（Convolutional Neural Networks，CNN）是近幾年興起的神經網絡，可以實現(xiàn)圖片的特征提取和降維，并且由于使用到了GPU進行輔助計算，效果比傳統(tǒng)的檢測算法要好得多[2]。

1.1 ?訓練模型

卷積神經網絡的訓練過程分為兩個階段。第一個階段是數(shù)據(jù)由低層次向高層次傳播的階段，即前向傳播階段。另一個階段是，當前向傳播得出的結果與預期不相符時，將誤差從高層次向底層次進行傳播訓練的階段，即反向傳播階段。訓練過程為：

（1）網絡進行權值的初始化。

（2）輸入數(shù)據(jù)經過卷積層、下采樣層、全連接層的前向傳播得到輸出值。

（3）求出網絡的輸出值與目標值之間的誤差。

（4）當誤差大于期望值時，將誤差傳回網絡中，依次求得全連接層、下采樣層、卷積層的誤差。各層的誤差可以理解為對于網絡的總誤差，網絡應承擔多少;當誤差等于或小于期望值時，結束訓練。

（5）根據(jù)求得誤差進行權值更新，然后進入第二步。

1.2 ?檢測人臉

得到訓練后的人臉模型后，使用分類器將圖片或者視頻流輸入并得到識別后的輸出。文章采用了Dlib庫的框架和算法進行檢測，首先，將攝像頭捕獲的圖片流進行預處理，例如裁剪、灰度化;其次，使用dlib.cnn_face_detection_model方法進行識別處理。一旦圖片中包含條件足夠識別出的人臉，該方法會返回人臉矩形框架的坐標矩陣，分別對應人臉框架的左上角、右下角，并在圖片中將人臉框出[3]。

一開始采用的并非CNN算法，而是使用的傳統(tǒng)特征提取，雖然也能做到檢測人臉，但是當達到一定距離，人臉較小，或者光線不夠充足時，檢測效果便會大打折扣。而使用了CNN算法之后，即使是較為黑暗的光線環(huán)境或者較遠的距離，依然能夠做到準確識別[4]。

2 ? ?頭部姿態(tài)估計

頭部姿態(tài)估計（Head pose Estimation，HPE）是通過一幅面部圖像來獲得頭部姿態(tài)角的算法，跟飛機飛行的原理類似，即計算pitch，yaw和roll這3個歐拉角，學名分別為俯仰角、偏航角和滾轉角，其算法步驟一般為：

（1）2D 人臉關鍵點檢測。

（2）3D 人臉模型匹配。

（3）求解 3D 點和對應 2D 點的轉換關系。

（4）根據(jù)旋轉矩陣求解歐拉角。

2.1 ?2D人臉關鍵點檢測

根據(jù)前一項人臉檢測的結果，在獲得了人臉的矩形區(qū)域后，便對其內的人臉進行關鍵點檢測。檢測過程同樣采用了Dlib庫的分類算法，引入了經典的人臉68特征點模型（"shape_predictor_68_face_landmarks.dat"）進行匹配。為了簡化算法并節(jié)約資源，本文只取以下幾個特征點：鼻尖、雙頰、左眼角、右眼角、左嘴角、右嘴角，便足以表示一個臉的特征。

2.2 ?3D人臉模型匹配

Dlib算法中內置了一個3D人臉模型，把關鍵點的空間位置全部標記出來，充當真實臉的空間位置。

然而，一個3D模型不能表示所有的人臉，即對所有人采用同一個3D人臉模型并不精確，因此，引入三維形變模型（3D Morphable Model，3DMM），對不同人可以擬出相應的3D臉模型，可以使得關鍵空間點的位置更加精確，但代價是計算量變大。

2.3 ?關系轉化與求解歐拉角

一個物體對于相機的姿態(tài)可以用兩個矩陣表示：平移矩陣和旋轉矩陣。其中平移矩陣是指物體相對于相機的空間位置關系矩陣，用T表示;旋轉矩陣指物體相對于相機的空間姿態(tài)關系矩陣，用 R 表示。

為了使現(xiàn)實空間的坐標能夠和圖片中像素的坐標形成映射，需要引入世界坐標系（UVW）、相機坐標系（XYZ）、圖像中心坐標系（uv）和像素坐標系（xy），轉換關系如下。

世界坐標系到相機坐標系：

相機坐標系到像素坐標系：

因此，像素坐標系和世界坐標系的關系如下：

如此，得到世界坐標系中點的位置、像素坐標位置和相機參數(shù)便可以知道旋轉和平移矩陣。

求解歐拉角：

這3個角是文章提到的俯仰角、偏航角和滾轉角了，用 y，x，z 來表示。只要取其中的y，即俯仰角，便可判斷學生的抬頭低頭姿態(tài)。

3 ? ?基于雙目攝像頭的空間測距

要獲取目標學生的位置，需要得到該對象相對于攝像頭的角度和距離。在距離方面，普通的攝像頭無法獲取二維圖像中對象的景深距離，因此使用了ZED雙目景深攝像頭來完成這一功能。雙目攝像頭的原理與人眼相似，通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進行距離測量，而無需判斷前方出現(xiàn)的是什么類型的障礙物。

ZED雙目攝像頭的強大之處在于可以自己計算拍攝得到景物的景深3D點云圖，便可以憑借景深圖獲取到圖像中任意一點的深度Z。

對于空間中的任意一點，要想知道其相對于原點，也就是相機的距離，需要得知其3個維度x，y和z的值。在人臉檢測中已經獲得了人臉矩形框的坐標值，因此將矩形框的中點坐標x和y帶入并賦值到3D點云圖中，通過公式sqrt（x2+y2+z2）便能求出空間點，也就是某學生的距離相機的距離。

4 ? ?無線信號偵測

無線信號偵測與網絡定位模塊主要使用了接收信號強度（Received Signal Strength Indicator，RSSI）信號定位技術，通過采集空間中的電子足跡，給出移動設備的方位角，從而實現(xiàn)視覺—電子信號雙重定位，提高無線定位的準確性。

電子足跡即移動設備的介質訪問控制（Media Access Control，MAC）地址、IP等，采集空間中的電子足跡，主要通過網卡抓包解析報文內容，處理電子信號，獲得報文中的信號強度，從而定位可能的移動設備相對于天線的角度，將該結果返回給系統(tǒng)，系統(tǒng)將該結果與視覺信號定位結果做一個匹配，檢查該方向上是否有低頭狀態(tài)的學生，與頭部姿態(tài)估計模塊的結果相結合，得出最終分析結論。

為了多方位獲取不同方向的電子信號，文章將天線裝在了一個水平270°旋轉的簡易3D云臺上，讓其以勻速周期性擺動，實現(xiàn)多方位信號的捕獲。

RSSI是無線發(fā)送層的可選部分，用來判定鏈接質量，以及是否增大廣播發(fā)送強度。定向天線在不同方向上檢測到某個IP信號的RSSI強度是不同的，當天線未對準IP所在位置的時候，天線所檢測到的信號強度是微弱的，可是當天線對準IP所在位置時，所檢測到的RSSI強度會有一個大幅提升，可以通過接收到的信號強弱測定信號點與接收點的相對角度，進而根據(jù)相應數(shù)據(jù)進行定位計算。

RSSI信息儲存在數(shù)據(jù)幀前面一個叫radiotap的部分，包含了如信號強度、頻率等信息，是ieee802.11 的標準。內容如圖1所示。

其中，Antenna signal是所需要使用的字段。通過使用定向天線對不同方向抓包，考慮到所測試空間之外的電子信號的影響，會過濾掉信號極其微弱的數(shù)據(jù)包，然后對比相同MAC地址報文的信號強度，就可以找到信號強度最大的報文，從而依據(jù)抓包的時間得到天線抓到信號強度最大包的角度。說明這個角度方向上有一個移動設備正在頻繁使用網絡，達到文章的目的。具體的流程如下。

首先，將無線網卡設置成monitor模式，使用iwconfig命令：

# iw wlan0 interface add mon0 type monitor

添加一個別名mon0，設置為monitor模式，并用# ifconfig mon0 up 啟用mon0進行網絡監(jiān)聽。

其次，啟動旋轉云臺使得定向天線開始旋轉，記錄啟動時間，同時開始使用tcpdump工具進行抓包，并保存到一個CAP文件中。在存儲的文件中包含了抓到的每一個包的時間、信號強度、MAC地址等信息。之后使用Python的scapy庫讀取文件進行數(shù)據(jù)包的解析，將需要的數(shù)據(jù)提取出來并且進行篩選分析，最后得出有頻繁報文交換的角度，和頭部姿態(tài)估計模塊進行整合。

5 ? ?系統(tǒng)構成以及初步效果

系統(tǒng)的實現(xiàn)分為以下幾個步驟：（1）云臺帶動定向天線做180°周期性轉動。（2）天線和無線網卡檢測方向上信號強度高的報文并捕獲。（3）統(tǒng)返回信號較強的方向角度。（4）攝像頭捕獲當前課堂視頻并進行人臉檢測。（5）對每一個人臉求出其中心點的距離。（6）求出離 S3 返回方向最近的目標人臉。（7）對該目標人臉進行頭部姿態(tài)估計，如果檢測到低頭則判斷為使用電子設備。初步實現(xiàn)效果如圖2所示。

對于每一位學生，系統(tǒng)對其劃分以下狀態(tài)：

（1）正常抬頭，身邊沒有移動終端收發(fā)信號（標綠）。

（2）低頭，身邊沒有移動終端收發(fā)信號（標藍）。

（3）正常抬頭，身邊有移動終端收發(fā)信號（標藍）。

（4）低頭，身邊有移動終端收發(fā)信號（標紅）。

假設圖2中3人處于一個課堂，系統(tǒng)捕捉到了3人的人臉以及距離攝像頭的位置信息。而只有中間的人手持電子設備并且在使用移動設備收發(fā)信號，但是沒有低頭，因此系統(tǒng)將此人標藍。再如圖3所示，中間人低頭并且被系統(tǒng)檢測到之后，符合使用“移動終端+低頭”這一條件組合，因此，判定其為在課堂上使用手機終端信息的行為，將其標紅。

6 ? ?結語

本系統(tǒng)能夠基本實現(xiàn)對學生在小型課堂上是否使用智能終端設備狀態(tài)的判斷，但是受限于設備性能，最多只能容納10～20人，識別的最遠距離為7～10 m，且準確率受環(huán)境光照影響較大。此外，即使判斷出學生在課堂上低頭使用移動終端，也不能立刻判斷其行為屬于開小差，也有可能是查詢資料等，更加細致的判斷則需要進一步的研究。

[參考文獻]

[1]PATACCHIOLA M，CANGELOSI A.Head pose estimation in the wild using convolutional neural networks and adaptive gradient methods[J].Pattern Recognition，2017（33）：71.

[2]劉翠玲，王美琴，高振明.基于Linux的無線網絡監(jiān)聽方法與實現(xiàn)[J].山東大學學報（理學版），2004（5）：90-94.

[3]WANG J，CHEN Y，F(xiàn)U X，et al.3DLoc：Three dimensional wireless localization toolkit[C].Chengdu：IEEE International Conference on Distributed Computing Systems，2010.

[4]ZHANG B，TENG J，ZHU J，et al.EV-Loc：Integrating electronic and visual signals for accurate localization[C].South Carolina：Acm Mobihoc.IEEE Press，2012.

Designed on intelligent detection system for classroom

perfprmance based on multivariate data fusion

Li Yuqiao

（Southeast University， Nanjing 211189， China ）

Abstract：In order to assess students'behavior in class， this paper used the latest head posture estimation techniques. This technology can capture the current persons head to do a variety of movements and angles， such as bow， turn， head， etc. Since lowering the head is the dominant posture of most students in class， ?can use this technology to monitor their head posture for evaluation. Considering the positioning accuracy of face detection problem， as well as the students action is not necessarily the bowed their heads and the use of mobile phones， this paper also introduced the wireless signal detection technology， capture and detection current caused by students use mobile phones in the classroom signal frequency transceiver terminal location， combined with the positioning of the face detection， cross positioning， in order to gain more accurate positioning results.

Key words：face-detection; head pose estimation; wireless signal detection