吳祥美

(福州軟件職業(yè)技術(shù)學(xué)院 智能產(chǎn)業(yè)學(xué)院，福州 350299)

0 引言

隨著信息產(chǎn)業(yè)的高速發(fā)展，教學(xué)系統(tǒng)信息化已被廣泛應(yīng)用于各大院校的教學(xué)實踐，如何在人工智能應(yīng)用及信息化的基礎(chǔ)上，提高課堂的管理效率，減少學(xué)校設(shè)備投資的成本，構(gòu)建智能化的課堂管理體系，一直是困擾各高校的重要問題。因此，開展基于人工智能的智能課堂考勤管理系統(tǒng)的研究與探討，具有重大的價值和現(xiàn)實意義。

李昕昕等[1]利用云端人臉識別技術(shù)，通過研究深度學(xué)習(xí)、人臉識別和數(shù)據(jù)挖掘等技術(shù)，采樣和取幀來增強(qiáng)識別準(zhǔn)確率，實現(xiàn)自動化考勤；李書欽等[2]研究校園無線上網(wǎng)及信息化技術(shù)在高校課堂智能考勤系統(tǒng)上的實踐，提高了考勤工作效率；孫玥等[3]設(shè)計了一套能快速獲取人臉圖像信息，運用深度殘差網(wǎng)絡(luò)進(jìn)行提取定位和人臉識別的自動考勤系統(tǒng);姚靜姝[4]探究深度學(xué)習(xí)和人臉識別技術(shù)在課堂考勤管理中的應(yīng)用,設(shè)計并實現(xiàn)自動化課堂考勤系統(tǒng);項新建等[5]通過WIFI技術(shù)與指紋終端進(jìn)行數(shù)據(jù)通信，設(shè)計并實現(xiàn)指紋簽到的自動化考勤管理系統(tǒng);李雄等[6]基于B/S架構(gòu)，結(jié)合Keras框架，采用Java語言和MySQL數(shù)據(jù)，開發(fā)實現(xiàn)人臉識別考勤系統(tǒng)；方書雅等[7]基于Mask R-CNN目標(biāo)檢測、MTCNN 人臉檢測，F(xiàn)SA-Net頭部姿態(tài)識別等算法設(shè)計了一套無感知課堂考勤系統(tǒng)。基于以上研究，以課堂考勤信息化和智能化為目標(biāo)，結(jié)合SSM、VUEJS等框架技術(shù)，設(shè)計一套基于深度學(xué)習(xí)人臉識別技術(shù)的高校智能考勤系統(tǒng)，督促學(xué)生上課，提高課堂管理效率。

1 方案設(shè)計

1.1 總體思路

基于深度學(xué)習(xí)人臉識別技術(shù)的智慧課堂考勤系統(tǒng)將人臉識別技術(shù)與學(xué)校監(jiān)控設(shè)備相結(jié)合，利用教室中原有的高清監(jiān)控攝像頭多角度、多時段地進(jìn)行采集課堂視頻，或者上課教師通過手機(jī)App平臺進(jìn)行人臉圖像采集，分別通過深度卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)提取特征向量，然后通過拼接等方式形成新的組合特征向量，與教務(wù)系統(tǒng)中采集的學(xué)生人臉庫，進(jìn)行1：N比對。通過特征向量之間的歐式距離計算是否屬于同一人臉，若相同，則該學(xué)生考勤成功，相應(yīng)的數(shù)據(jù)庫則記錄相關(guān)課程的考勤信息，并匯總分析出相應(yīng)的考勤報表并將考勤數(shù)據(jù)傳送給教務(wù)系統(tǒng)。教學(xué)管理者可在管理平臺實時查看并確認(rèn)最終缺課學(xué)生名單，若存在簽到遺漏的，教學(xué)管理者可進(jìn)行調(diào)整相應(yīng)考勤數(shù)據(jù)。通過智能考勤系統(tǒng)進(jìn)行人臉識別考勤結(jié)果準(zhǔn)確率高，識別過程可以做到學(xué)生無感知、動態(tài)的、多次的，系統(tǒng)可幫助上課教師自動進(jìn)行考勤管理，從而解決學(xué)生逃課、代簽、替課等問題的發(fā)生。

1.2 功能體系設(shè)計

圖1 系統(tǒng)功能設(shè)計圖

系統(tǒng)功能模塊設(shè)計如圖1所示，考勤系統(tǒng)主要分為前后臺部分，后臺主要完成與教務(wù)系統(tǒng)的數(shù)據(jù)接口、后臺管理、智能考勤分析、人臉識別引擎功能，前端考勤管理主要有學(xué)生App和教師App兩個部分，包括上傳考勤圖片、課程、考勤查看、考勤通知、考勤確認(rèn)、考勤查詢等功能。

其中我的課堂提供給教師查看當(dāng)天的課程安排信息，包括課程名稱、所在班級、上課節(jié)次、學(xué)生清單及其考勤狀態(tài)等；考勤查詢包括查看自動考勤的結(jié)果信息和手動提交考勤照片信息功能；自動考勤指系統(tǒng)自動通過智能監(jiān)控攝像機(jī)獲取相關(guān)的教室監(jiān)控照片，進(jìn)行考勤智能分析，生成對應(yīng)課程的考勤結(jié)果；考勤通知包括主動通知和查看考勤數(shù)據(jù)；考勤確認(rèn)包括考勤數(shù)據(jù)調(diào)整、考勤數(shù)據(jù)確認(rèn)、提交考勤數(shù)據(jù)、同步考勤數(shù)據(jù)到教務(wù)系統(tǒng)。

智能考勤分析模塊基于人臉識別引擎，結(jié)合課堂考勤場景，對考勤視頻數(shù)據(jù)進(jìn)行預(yù)處理，同時對臉部圖形進(jìn)行檢測、剪裁和人臉預(yù)處理，輸出課堂上學(xué)生的高質(zhì)量人臉頭像。然后系統(tǒng)提取學(xué)生的人臉特征，通過人臉匹配技術(shù)，將課程班級的里每個學(xué)生人臉與采集到的人臉頭像集進(jìn)行1：N匹配，最終得出該課程班級的所有學(xué)生的考勤情況。

人臉識別引擎模塊基于深度學(xué)習(xí)人臉識別技術(shù)，深度學(xué)習(xí)是模擬人腦進(jìn)行神經(jīng)網(wǎng)絡(luò)的認(rèn)知學(xué)習(xí)，學(xué)習(xí)速度快，分析圖像規(guī)律，完善模型，實現(xiàn)對臉部圖形進(jìn)行檢測和剪裁，輸出人臉頭像。人臉預(yù)處理是基于檢測結(jié)果，通過對檢測出的人臉圖像進(jìn)行過濾噪聲、校正灰度等優(yōu)化處理、形成高質(zhì)量的人臉圖像，從而更準(zhǔn)確地提取人臉特征。然后基于人臉匹配技術(shù)，通過計算特征向量之間的歐式距離來判斷是否屬于同一人臉。

1.3 考勤流程設(shè)計

首先,將學(xué)校的學(xué)生系統(tǒng)及考勤系統(tǒng)的數(shù)據(jù)進(jìn)行預(yù)處理，得到每次課堂的學(xué)生信息(包括學(xué)生頭像)。接著，系統(tǒng)在課堂的上課時間范圍內(nèi)隨機(jī)截取監(jiān)控視頻片段，通過深度學(xué)習(xí)人臉檢測提取人臉特征值，并包圍剪裁得到本課堂的完整人臉庫。并將課堂的每個學(xué)生人像同人臉庫進(jìn)行1：N的搜索比對人臉特征，若搜索到小于設(shè)定的閾值的人臉，則表示該學(xué)生考勤成功；依次完成每個學(xué)生的1：N人臉?biāo)阉髌ヅ?，最終得到每次課堂的學(xué)生考勤數(shù)據(jù)。 由于教室存在未安裝攝像頭的可能性，且攝像頭的成像質(zhì)量也有存在不足的情況，為了解決個別學(xué)生存在全程未露臉或側(cè)臉、遮擋、低頭等采集不到位的情況，教師可在移動端的考勤系統(tǒng)上進(jìn)行查看，再確認(rèn)是否有遺漏的同學(xué)，可以及時通過上傳同學(xué)的人像數(shù)據(jù)完成考勤數(shù)據(jù)的調(diào)整。

圖2 考勤流程圖

2 開發(fā)實現(xiàn)

軟件代碼部分主要有系統(tǒng)應(yīng)用和人臉識別引擎，系統(tǒng)應(yīng)用是用JAVA編程語言編寫，用Mysql數(shù)據(jù)庫存儲數(shù)據(jù)；人臉識別引擎是使用Python編程語言實現(xiàn)，兩大模塊之間通過API接口進(jìn)行通信。

2.1 系統(tǒng)開發(fā)實現(xiàn)

系統(tǒng)應(yīng)用功能分為考勤管理系統(tǒng)、學(xué)生App、教師App模塊。其中考勤管理系統(tǒng)模塊是采用SSM框架，即整合了Spring 、Spring MVC和Mybatis三個框架，其中Spring MVC輕量級框架是用來解耦數(shù)據(jù)層、展現(xiàn)層和控制層，簡化web開發(fā)，完成HTTP請求的轉(zhuǎn)發(fā)和視圖管控；Spring容器框架則基于IOC和AOP實現(xiàn)業(yè)務(wù)對象生命周期進(jìn)行管理；Mybatis則基于持久化框架完成數(shù)據(jù)的映射和存儲操作。同時通過SQL JOB方式且按一定的格式準(zhǔn)備將現(xiàn)有的教務(wù)系統(tǒng)及學(xué)生系統(tǒng)的數(shù)據(jù)同步到考勤后臺管理系統(tǒng)，快速完善排課計劃、教師、班級、學(xué)生及頭像信息、課程表等數(shù)據(jù)庫表數(shù)據(jù)，簡化數(shù)據(jù)采集的工作流程。學(xué)生App和教師App接口的實現(xiàn)采用原生應(yīng)用+VUEJS前端框架+MUI 框架的混合編程方式，這種開發(fā)模式只編寫一套核心代碼，減少重復(fù)開發(fā)提高效率，同時能保證用戶體驗和系統(tǒng)性能。其中App的接口主要使用后臺系統(tǒng)暴露的Restful API接口，使用 JSON數(shù)據(jù)格式完成前后端的通訊，數(shù)據(jù)傳輸快，性能好。

圖3 技術(shù)框架圖

2.2 人臉識別引擎實現(xiàn)

該模塊主要基于深度學(xué)習(xí)來實現(xiàn)圖像預(yù)處理、人臉檢測、人臉匹配等功能。圖像預(yù)處理有兩個作用：一個是提高編碼視頻的質(zhì)量，降低環(huán)境、噪聲、光照、運動等影響。另一個作用是提高編碼效率和有利于碼率控制。其次，針對視頻每幀圖像都進(jìn)行人臉目標(biāo)檢測，利用更高效的深度學(xué)習(xí)模型YOLO，YOLO將檢測任務(wù)當(dāng)作回歸問題處理，分析圖像像素得到bounding box坐標(biāo)、圖像的置信度和類概率。通過YOLO，每張圖像能迅速分析出圖像中的人臉及其位置。然后提取68個關(guān)鍵特征點，基于基準(zhǔn)人臉的鼻子，眼睛和嘴唇特征點進(jìn)行相似變換，在不改變面部重要五官的基礎(chǔ)上進(jìn)行對齊。在得到每張人臉的特征點之后，通過特征點形成矩形，實現(xiàn)人臉的精確定位并裁剪出來，再運用Resnet深度學(xué)習(xí)算法來獲得一個128維的特征向量。最后，人臉匹配實現(xiàn)是通過計算特征向量之間的歐式距離，如果該距離小于設(shè)定的閾值，則匹配成功為同一人臉，否則不匹配，為不同的人臉。

圖4 人臉識別流程圖

3 功能實現(xiàn)

3.1 教師App的功能

教師App可查看教師的個人信息，當(dāng)日課堂信息，包括課程名稱、教室、時間、班級記入學(xué)生的考勤數(shù)據(jù)，允許教師補(bǔ)錄學(xué)生的出勤信息并提交。同時可從課程信息列表入口進(jìn)入查詢對應(yīng)課程的歷史課堂考勤信息。

圖5 教師App的當(dāng)日課程考勤界面

圖6 教師App的教師課程信息界面

圖7 教師App的歷史考勤數(shù)據(jù)查詢界面

3.2 學(xué)生App的功能

學(xué)生App可顯示學(xué)生的個人信息、考勤信息，具體包括姓名、學(xué)號、所在班級、專業(yè)、日期、周次、出勤情況等信息，但不能進(jìn)行新增、編輯操作。

3.3 考勤后臺管理的功能

在考勤系統(tǒng)的后臺上，教師可查看本人的課程信息、考勤數(shù)據(jù)、考勤統(tǒng)計等信息；有權(quán)限人員可查看相關(guān)課程或?qū)W生的考勤數(shù)據(jù)、考勤統(tǒng)計等信息。同時系統(tǒng)管理員可對課程、排課、教師、學(xué)生等信息進(jìn)行新增、刪除、修改等管理操作。

圖8 考勤數(shù)據(jù)展示

4 結(jié)語

本文基于深度學(xué)習(xí)算法，結(jié)合人臉檢測、識別、匹配技術(shù)，結(jié)合課程安排信息，實時對課堂上的學(xué)生進(jìn)行人臉掃描識別匹配，真正做到動態(tài)識別考勤。基于深度學(xué)習(xí)人臉識別的智能課堂考勤系統(tǒng)，成本低，識別結(jié)果準(zhǔn)確率高，識別過程無感知、多次的，高效地解決課堂考勤問題，并為教師的課堂管理提供保障。