廈門華廈學(xué)院 洪小堅(jiān) 陳志聰

智慧班牌是教育信息化和“互聯(lián)網(wǎng)+”、物聯(lián)網(wǎng)深度融合的信息終端之一，能夠呈現(xiàn)和采集數(shù)據(jù)信息，硬件部分主要以耗電少、功能強(qiáng)的Advanced RISC Machines微處理器為核心，進(jìn)行數(shù)據(jù)存儲(chǔ)模塊、串口WiFi模塊、通訊模塊、液晶顯示觸摸模塊的拓展，使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像。通過(guò)智慧班牌在智慧校園信息云平臺(tái)中的應(yīng)用，能夠呈現(xiàn)豐富多彩的校園特色和班級(jí)文化數(shù)據(jù)，為學(xué)生、老師和家長(zhǎng)架設(shè)溝通、互動(dòng)媒介，打通智慧校園應(yīng)用管理平臺(tái)通道，促進(jìn)班級(jí)、師生間形成“VR+”社區(qū)，真正發(fā)揮出智慧校園生態(tài)教育優(yōu)勢(shì)。為促使智慧校園在上課簽到、考勤打卡和信息查詢、信息發(fā)布等環(huán)節(jié)上，生成“數(shù)字化”“智慧化”“人性化”屬性，文章基于動(dòng)態(tài)人臉識(shí)別技術(shù)設(shè)計(jì)與實(shí)現(xiàn)智慧班牌系統(tǒng)，經(jīng)測(cè)試，該系統(tǒng)不需要識(shí)別對(duì)象停駐等待，只需要識(shí)別對(duì)象出現(xiàn)在一定的識(shí)別范圍內(nèi)，能夠自動(dòng)識(shí)別和實(shí)現(xiàn)1s內(nèi)抓拍和采集信息，動(dòng)態(tài)人臉識(shí)別的準(zhǔn)確率可達(dá)98.6%。

伴隨教育信息化2.0行動(dòng)計(jì)劃的發(fā)布，信息云平臺(tái)全面運(yùn)用計(jì)算機(jī)、多媒體、大數(shù)據(jù)、人工智能和現(xiàn)代信息技術(shù)等手段，布局教育教學(xué)信息化，大量智能終端應(yīng)用在智慧校園建設(shè)過(guò)程中[1]。利用動(dòng)態(tài)人臉識(shí)別手段實(shí)現(xiàn)高效實(shí)時(shí)的管理已經(jīng)成為人工智能新發(fā)展方向，設(shè)計(jì)智能化識(shí)別系統(tǒng)代替人工操作已經(jīng)成為必然趨勢(shì)[2]。本設(shè)計(jì)依托卷積神經(jīng)網(wǎng)絡(luò)、DBN和堆棧自編碼網(wǎng)絡(luò)模型等進(jìn)行深度學(xué)習(xí)，基于動(dòng)態(tài)人臉識(shí)別技術(shù)，集成動(dòng)態(tài)人臉識(shí)別算法，設(shè)計(jì)和實(shí)現(xiàn)智慧班牌系統(tǒng)的搭建，快速核實(shí)身份、上傳識(shí)別結(jié)果、統(tǒng)一處理采集數(shù)據(jù)，全流程功能自動(dòng)化。

1 基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)架構(gòu)

智慧班牌系統(tǒng)是智慧校園2.0總體架構(gòu)中，教育信息化標(biāo)準(zhǔn)體系智慧教學(xué)環(huán)境中的關(guān)鍵組成一環(huán)，主要由智慧班牌管理軟件和Android投射式電容10點(diǎn)觸摸屏幕共同組成，支持手寫及多點(diǎn)手勢(shì)，觸摸速度小于3ms，精確度高且易于維護(hù)。管理軟件與智慧校園網(wǎng)絡(luò)核心機(jī)房服務(wù)器連接，通過(guò)PDP顯示器、LCD顯示器、液晶電視（Liquid Crystal TV）、LED顯示屏、DLP大屏拼接（Digital Light Procession）等，與播放終端硬件配合，接受管理軟件所發(fā)布的播放內(nèi)容并存儲(chǔ)在本地，顯示到所連接的顯示設(shè)備上，如圖1所示。基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)采用Web Browser/Server網(wǎng)絡(luò)結(jié)構(gòu)模式，統(tǒng)一客戶端，將系統(tǒng)功能實(shí)現(xiàn)的核心部分主要集中在服務(wù)器上，瀏覽器通過(guò)Web Server與數(shù)據(jù)庫(kù)交互數(shù)據(jù)，成功登錄后，即可完成管理、排列、審核、發(fā)布等重要功能，可以通過(guò)攝像頭進(jìn)行上課簽到、數(shù)據(jù)統(tǒng)計(jì)，也可以進(jìn)行身份驗(yàn)證，生成考試信息等[3]。

圖1 基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)架構(gòu)Fig.1 Intelligent class card system architecture based on dynamic face recognition

2 基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)硬件設(shè)計(jì)

智慧班牌系統(tǒng)硬件部分主要以Advanced RISC Machines微處理器為核心，硬件電路針對(duì)拓展模塊的接口進(jìn)行電路設(shè)計(jì)。為完成該系統(tǒng)的指定功能，進(jìn)行數(shù)據(jù)存儲(chǔ)模塊、串口WiFi模塊、通訊模塊、液晶顯示觸摸模塊的拓展，使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像。對(duì)于Advanced RISC Machines微處理器，選取三星S5P6818核心板（ARM八核Cortex-A53架構(gòu)）提供通用外設(shè)接口，主頻1.4GHz，不需要進(jìn)行外圍器件的擴(kuò)充，功耗較低、簡(jiǎn)單方便，支持Android系統(tǒng)，通過(guò)全靜態(tài)設(shè)計(jì)契合系統(tǒng)運(yùn)行需求。三星S5P6818核心板可擴(kuò)展性較強(qiáng)，多達(dá)184PIN管腳，PCB采取8層沉金工藝，電氣特性和抗干擾特性穩(wěn)定可靠，同時(shí)，該核心板板載PMU，能夠在系統(tǒng)控制過(guò)程中進(jìn)行科學(xué)的充電管理。在片上資源中，三星S5P6818核心板集成LCD顯示器專用的LCD顯示控制器，同時(shí)包含3路串口通信，2路高速、全雙工、同步串行外設(shè)接口，PHLIPS IIC總線接口，4路DMA Controller，依靠三星S5P6818核心板能夠較為便捷地添加人機(jī)交互模塊、通訊模塊，滿足本次系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的需求。為便于上課簽到成功，采用分辨率1920×1080的高清屏幕作為人機(jī)交互界面，同時(shí)在本地?cái)?shù)據(jù)庫(kù)保存相關(guān)數(shù)據(jù)，在系統(tǒng)通用性上，使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像[4]。

3 基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)軟件設(shè)計(jì)

3.1 操作系統(tǒng)定制與應(yīng)用軟件開發(fā)

Android系統(tǒng)基于Linux內(nèi)核的自由及開放源代碼的操作系統(tǒng)，主要由Linux內(nèi)核、DLL形式的運(yùn)行庫(kù)、虛擬機(jī)共同組成。本次系統(tǒng)的軟件設(shè)計(jì)通過(guò)嵌入Android系統(tǒng)完成系統(tǒng)軟件設(shè)計(jì)與實(shí)現(xiàn)，由操作系統(tǒng)定制與應(yīng)用軟件開發(fā)構(gòu)成系統(tǒng)軟件開發(fā)，系統(tǒng)軟件設(shè)計(jì)過(guò)程中使用基于USB Video Class協(xié)議的通用USB攝像頭獲取人臉圖像，在操作層集成支持USB Video Class協(xié)議的USB攝像頭驅(qū)動(dòng)程序，主要目的在于提升攝像頭的使用穩(wěn)定程度。在操作系統(tǒng)定制過(guò)程中提取Android NDK工具鏈，封裝Linux內(nèi)核內(nèi)的驅(qū)動(dòng)程序，生成JNIEnv接口供Android系統(tǒng)的應(yīng)用層進(jìn)行調(diào)用。

嵌入Android系統(tǒng)的智慧班牌系統(tǒng)軟件開發(fā)主要通過(guò)建立基于Linux內(nèi)核的應(yīng)用軟件環(huán)境、移植Linux內(nèi)核、建立Linux文件系統(tǒng)、移植Android系統(tǒng)和開發(fā)系統(tǒng)應(yīng)用程序幾個(gè)步驟完成。基于Linux內(nèi)核的應(yīng)用軟件環(huán)境是一種交叉開發(fā)環(huán)境，在運(yùn)行過(guò)程中，應(yīng)用軟件的環(huán)境一般采取宿主-目標(biāo)的模式完成交叉編譯，這樣的環(huán)境便于Linux內(nèi)核進(jìn)行開發(fā)和調(diào)試。Linux內(nèi)核在移植過(guò)程中，需要根據(jù)系統(tǒng)硬件情況進(jìn)行定制處理，在滿足系統(tǒng)需求的前提下占據(jù)最小規(guī)模硬件資源。建立Linux文件系統(tǒng)需要將交叉編譯完成的Linux內(nèi)核文件與NFS網(wǎng)絡(luò)文件，燒寫到開發(fā)板，促使Linux獨(dú)立啟動(dòng)并成功運(yùn)行。在移植Android系統(tǒng)和開發(fā)系統(tǒng)應(yīng)用程序時(shí)，需要在Linux操作系統(tǒng)中的Ubuntu16.04完成編譯，完成后燒錄至開發(fā)板，隨機(jī)完成應(yīng)用軟件的調(diào)整和測(cè)試[5]。

3.2 基于動(dòng)態(tài)人臉識(shí)別的技術(shù)模型訓(xùn)練

本設(shè)計(jì)依托卷積神經(jīng)網(wǎng)絡(luò)、DBN（深度置信網(wǎng)絡(luò)）和堆棧自編碼網(wǎng)絡(luò)模型等進(jìn)行深度學(xué)習(xí)，基于動(dòng)態(tài)人臉識(shí)別技術(shù)，集成動(dòng)態(tài)人臉識(shí)別算法，輔助圖像處理（Image Processing）算法，設(shè)計(jì)和實(shí)現(xiàn)智慧班牌系統(tǒng)的搭建，提取生物面部特征點(diǎn)，通過(guò)匹配特征值判定所采集的數(shù)據(jù)信息，繼而快速核實(shí)身份、上傳識(shí)別結(jié)果、統(tǒng)一處理采集數(shù)據(jù)，全流程功能自動(dòng)化?；趧?dòng)態(tài)人臉識(shí)別的技術(shù)模型訓(xùn)練所使用的算法主要涉及到人臉檢測(cè)和人臉識(shí)別。人臉檢測(cè)是人臉識(shí)別的預(yù)處理，本次系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)主要依從數(shù)字圖像處理的積分圖、級(jí)聯(lián)多層檢測(cè)器、Ada Boost迭代算法的人臉檢測(cè)方法，通過(guò)數(shù)字圖像處理的積分圖計(jì)算所采集的生物面部特征點(diǎn)，使用Ada Boost迭代算法進(jìn)行生物面部特征點(diǎn)集中篩分，最后通過(guò)級(jí)聯(lián)多層檢測(cè)器完成生物面部圖像檢索[6]。

本次系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)采用Visual Geometry Group Net深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，針對(duì)生物面部特征數(shù)據(jù)進(jìn)行訓(xùn)練，通過(guò)提取生物面部特征數(shù)據(jù)信息，進(jìn)行訓(xùn)練后的測(cè)試。在訓(xùn)練過(guò)程中，采取深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的卷積流實(shí)施操作，采用稀疏權(quán)重、權(quán)值共享連接神經(jīng)元。利用濾波器對(duì)標(biāo)準(zhǔn)化的生物面部數(shù)據(jù)進(jìn)行處理，經(jīng)過(guò)處理后，得到帶有特征點(diǎn)的數(shù)據(jù)，應(yīng)用這部分?jǐn)?shù)據(jù)做減采集操作，通過(guò)交替分布卷積和減采集進(jìn)行連接，若干層厚得到卷積神經(jīng)網(wǎng)絡(luò)特征映射圖，本次系統(tǒng)設(shè)計(jì)中用于提升神經(jīng)網(wǎng)絡(luò)表征能力的激活函數(shù)（Activation Function），采取Re LU（修正線性單元），需要針對(duì)所采集的生物面部特征信息將高維數(shù)據(jù)轉(zhuǎn)化為低維數(shù)據(jù)，主要目的在于減小數(shù)據(jù)運(yùn)算量，確定參數(shù)。在測(cè)試過(guò)程中，需要進(jìn)行圖像預(yù)處理，確定好參數(shù)后進(jìn)行生物面部特征點(diǎn)提取，實(shí)施數(shù)據(jù)降維后進(jìn)行分類匹配并完成人臉識(shí)別，驗(yàn)證身份。在人臉識(shí)別模型訓(xùn)練過(guò)程中使用學(xué)習(xí)算法接口執(zhí)行學(xué)習(xí)算法框架，訓(xùn)練后的模型能夠在異構(gòu)系統(tǒng)中進(jìn)行快速移植。

3.3 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件需要通過(guò)不同的算法執(zhí)行不同模塊的功能。針對(duì)信息顯示模塊，當(dāng)智慧班牌待機(jī)，人臉識(shí)別終端的人臉識(shí)別顯示屏幕始終處于關(guān)閉狀態(tài)，攝像頭處于未被成功出發(fā)狀態(tài)，觸控顯示器始終顯示的是班牌的默認(rèn)界面。針對(duì)考勤模塊，當(dāng)智慧班牌定義為考勤狀態(tài)時(shí)，點(diǎn)擊攝像頭，程序?qū)ο到y(tǒng)硬件完成初始化操作，使用攝像頭驅(qū)動(dòng)采集圖像數(shù)據(jù)信息，學(xué)生需要根據(jù)課程表進(jìn)行打卡，采集人臉檢測(cè)信息，觸控顯示器和攝像頭通過(guò)運(yùn)動(dòng)檢測(cè)被成功激活，啟動(dòng)人臉識(shí)別顯示屏幕，成功檢測(cè)到攝像頭捕捉到的人臉面部數(shù)據(jù)，識(shí)別后反饋實(shí)時(shí)時(shí)間和信息至考勤模塊。針對(duì)一卡通模塊，學(xué)生通過(guò)向系統(tǒng)進(jìn)行充值激活該功能模塊，當(dāng)智慧班牌功能定義為一卡通功能模塊時(shí)，需要準(zhǔn)確輸入充值金額，學(xué)生需要通過(guò)人臉識(shí)別進(jìn)行準(zhǔn)確的時(shí)間、金額信息反饋、記錄或扣費(fèi)。針對(duì)信息查詢模塊，一旦智慧班牌的功能被定義為查詢模塊時(shí)，需要在人臉識(shí)別終端進(jìn)行人臉識(shí)別操作，計(jì)入程序后通過(guò)向服務(wù)器發(fā)出請(qǐng)求，收到返回的數(shù)據(jù)，解析并將數(shù)據(jù)放置在對(duì)應(yīng)的控件中，模塊根據(jù)數(shù)據(jù)信息自動(dòng)進(jìn)入信息查詢和操作界面，隨機(jī)進(jìn)行及時(shí)的查詢操作。

4 基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)測(cè)試

系統(tǒng)在進(jìn)行開發(fā)設(shè)計(jì)后，需要經(jīng)過(guò)一系列精準(zhǔn)的系統(tǒng)測(cè)試，查看測(cè)試效果。在促使過(guò)程中，分別針對(duì)信息顯示界面、考勤界面、一卡通界面、信息查詢界面進(jìn)行測(cè)試。打開軟件后，在1s內(nèi)能夠?qū)崿F(xiàn)信息顯示界面的信息顯示，考勤界面能夠在2s內(nèi)完成考勤處理，考勤結(jié)果與考勤同步進(jìn)行更新，智慧班牌表現(xiàn)出較為穩(wěn)定的顯示性能，顯示屏幕能夠連續(xù)工作12h以上，基于USB Video Class協(xié)議的通用USB攝像頭在不存在故障的前提下，能夠連續(xù)工作超過(guò)60h，可以滿足基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)的測(cè)試需求。經(jīng)測(cè)試，該系統(tǒng)不需要識(shí)別對(duì)象停駐等待，只需要識(shí)別對(duì)象出現(xiàn)在一定的識(shí)別范圍內(nèi)，能夠自動(dòng)識(shí)別和實(shí)現(xiàn)1s內(nèi)抓拍和采集信息，動(dòng)態(tài)人臉識(shí)別的準(zhǔn)確率可達(dá)98.6%。

5 結(jié)語(yǔ)

人臉識(shí)別是現(xiàn)階段識(shí)別領(lǐng)域的前沿課題，主要利用計(jì)算機(jī)技術(shù)和數(shù)據(jù)庫(kù)的人臉圖像進(jìn)行有效信息的識(shí)別和分析，繼而辨認(rèn)身份。該系統(tǒng)通過(guò)嵌入Android系統(tǒng)，依托卷積神經(jīng)網(wǎng)絡(luò)、DBN和堆棧自編碼網(wǎng)絡(luò)模型等進(jìn)行深度學(xué)習(xí)，基于動(dòng)態(tài)人臉識(shí)別技術(shù)，集成動(dòng)態(tài)人臉識(shí)別算法，設(shè)計(jì)和實(shí)現(xiàn)智慧班牌系統(tǒng)的搭建，能夠?qū)崿F(xiàn)信息顯示、考勤、一卡通、信息查詢功能，屏幕界面清晰美觀、數(shù)據(jù)統(tǒng)計(jì)準(zhǔn)確，系統(tǒng)性能可靠、穩(wěn)健、易用、可移植。

引用

[1]王繼超,張麗娟,尤田,等.人臉識(shí)別的智能防疫系統(tǒng)設(shè)計(jì)[J].河北水利電力學(xué)院學(xué)報(bào),2021,31(4):55-59.

[2]黃明明,黃全振,孫清原.基于模糊推理的智能家居安防系統(tǒng)設(shè)計(jì)[J].河南工程學(xué)院學(xué)報(bào)(自然科學(xué)版),2019,31(4):54-58.

[3]李佩,汪紅娟,李業(yè)麗,等.基于AdaBoost人臉檢測(cè)算法的分析研究[J].北京印刷學(xué)院學(xué)報(bào),2020,28(1):128-132.

[4]鐘娟,馬開聰.基于安卓及云服務(wù)平臺(tái)的考勤管理系統(tǒng)[J].湖北工程學(xué)院學(xué)報(bào),2021,41(6):77-84.

[5]張學(xué)鋒,王子琦,湯亞玲.基于YOLO-CDF神經(jīng)網(wǎng)絡(luò)的安全帽檢測(cè)[J].重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版),2022,39(4):32-41.

[6]陳拓,邢帥,楊文武,等.融合時(shí)空域特征的人臉表情識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2022,27(7):2185-2198.