廈門華廈學(xué)院 洪小堅(jiān) 陳志聰
智慧班牌是教育信息化和“互聯(lián)網(wǎng)+”、物聯(lián)網(wǎng)深度融合的信息終端之一,能夠呈現(xiàn)和采集數(shù)據(jù)信息,硬件部分主要以耗電少、功能強(qiáng)的Advanced RISC Machines微處理器為核心,進(jìn)行數(shù)據(jù)存儲(chǔ)模塊、串口WiFi模塊、通訊模塊、液晶顯示觸摸模塊的拓展,使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像。通過(guò)智慧班牌在智慧校園信息云平臺(tái)中的應(yīng)用,能夠呈現(xiàn)豐富多彩的校園特色和班級(jí)文化數(shù)據(jù),為學(xué)生、老師和家長(zhǎng)架設(shè)溝通、互動(dòng)媒介,打通智慧校園應(yīng)用管理平臺(tái)通道,促進(jìn)班級(jí)、師生間形成“VR+”社區(qū),真正發(fā)揮出智慧校園生態(tài)教育優(yōu)勢(shì)。為促使智慧校園在上課簽到、考勤打卡和信息查詢、信息發(fā)布等環(huán)節(jié)上,生成“數(shù)字化”“智慧化”“人性化”屬性,文章基于動(dòng)態(tài)人臉識(shí)別技術(shù)設(shè)計(jì)與實(shí)現(xiàn)智慧班牌系統(tǒng),經(jīng)測(cè)試,該系統(tǒng)不需要識(shí)別對(duì)象停駐等待,只需要識(shí)別對(duì)象出現(xiàn)在一定的識(shí)別范圍內(nèi),能夠自動(dòng)識(shí)別和實(shí)現(xiàn)1s內(nèi)抓拍和采集信息,動(dòng)態(tài)人臉識(shí)別的準(zhǔn)確率可達(dá)98.6%。
伴隨教育信息化2.0行動(dòng)計(jì)劃的發(fā)布,信息云平臺(tái)全面運(yùn)用計(jì)算機(jī)、多媒體、大數(shù)據(jù)、人工智能和現(xiàn)代信息技術(shù)等手段,布局教育教學(xué)信息化,大量智能終端應(yīng)用在智慧校園建設(shè)過(guò)程中[1]。利用動(dòng)態(tài)人臉識(shí)別手段實(shí)現(xiàn)高效實(shí)時(shí)的管理已經(jīng)成為人工智能新發(fā)展方向,設(shè)計(jì)智能化識(shí)別系統(tǒng)代替人工操作已經(jīng)成為必然趨勢(shì)[2]。本設(shè)計(jì)依托卷積神經(jīng)網(wǎng)絡(luò)、DBN和堆棧自編碼網(wǎng)絡(luò)模型等進(jìn)行深度學(xué)習(xí),基于動(dòng)態(tài)人臉識(shí)別技術(shù),集成動(dòng)態(tài)人臉識(shí)別算法,設(shè)計(jì)和實(shí)現(xiàn)智慧班牌系統(tǒng)的搭建,快速核實(shí)身份、上傳識(shí)別結(jié)果、統(tǒng)一處理采集數(shù)據(jù),全流程功能自動(dòng)化。
智慧班牌系統(tǒng)是智慧校園2.0總體架構(gòu)中,教育信息化標(biāo)準(zhǔn)體系智慧教學(xué)環(huán)境中的關(guān)鍵組成一環(huán),主要由智慧班牌管理軟件和Android投射式電容10點(diǎn)觸摸屏幕共同組成,支持手寫及多點(diǎn)手勢(shì),觸摸速度小于3ms,精確度高且易于維護(hù)。管理軟件與智慧校園網(wǎng)絡(luò)核心機(jī)房服務(wù)器連接,通過(guò)PDP顯示器、LCD顯示器、液晶電視(Liquid Crystal TV)、LED顯示屏、DLP大屏拼接(Digital Light Procession)等,與播放終端硬件配合,接受管理軟件所發(fā)布的播放內(nèi)容并存儲(chǔ)在本地,顯示到所連接的顯示設(shè)備上,如圖1所示?;趧?dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)采用Web Browser/Server網(wǎng)絡(luò)結(jié)構(gòu)模式,統(tǒng)一客戶端,將系統(tǒng)功能實(shí)現(xiàn)的核心部分主要集中在服務(wù)器上,瀏覽器通過(guò)Web Server與數(shù)據(jù)庫(kù)交互數(shù)據(jù),成功登錄后,即可完成管理、排列、審核、發(fā)布等重要功能,可以通過(guò)攝像頭進(jìn)行上課簽到、數(shù)據(jù)統(tǒng)計(jì),也可以進(jìn)行身份驗(yàn)證,生成考試信息等[3]。
圖1 基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)架構(gòu)Fig.1 Intelligent class card system architecture based on dynamic face recognition
智慧班牌系統(tǒng)硬件部分主要以Advanced RISC Machines微處理器為核心,硬件電路針對(duì)拓展模塊的接口進(jìn)行電路設(shè)計(jì)。為完成該系統(tǒng)的指定功能,進(jìn)行數(shù)據(jù)存儲(chǔ)模塊、串口WiFi模塊、通訊模塊、液晶顯示觸摸模塊的拓展,使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像。對(duì)于Advanced RISC Machines微處理器,選取三星S5P6818核心板(ARM八核Cortex-A53架構(gòu))提供通用外設(shè)接口,主頻1.4GHz,不需要進(jìn)行外圍器件的擴(kuò)充,功耗較低、簡(jiǎn)單方便,支持Android系統(tǒng),通過(guò)全靜態(tài)設(shè)計(jì)契合系統(tǒng)運(yùn)行需求。三星S5P6818核心板可擴(kuò)展性較強(qiáng),多達(dá)184PIN管腳,PCB采取8層沉金工藝,電氣特性和抗干擾特性穩(wěn)定可靠,同時(shí),該核心板板載PMU,能夠在系統(tǒng)控制過(guò)程中進(jìn)行科學(xué)的充電管理。在片上資源中,三星S5P6818核心板集成LCD顯示器專用的LCD顯示控制器,同時(shí)包含3路串口通信,2路高速、全雙工、同步串行外設(shè)接口,PHLIPS IIC總線接口,4路DMA Controller,依靠三星S5P6818核心板能夠較為便捷地添加人機(jī)交互模塊、通訊模塊,滿足本次系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的需求。為便于上課簽到成功,采用分辨率1920×1080的高清屏幕作為人機(jī)交互界面,同時(shí)在本地?cái)?shù)據(jù)庫(kù)保存相關(guān)數(shù)據(jù),在系統(tǒng)通用性上,使用基于USB Video Class協(xié)議的通用USB攝像頭采集人臉圖像[4]。
Android系統(tǒng)基于Linux內(nèi)核的自由及開放源代碼的操作系統(tǒng),主要由Linux內(nèi)核、DLL形式的運(yùn)行庫(kù)、虛擬機(jī)共同組成。本次系統(tǒng)的軟件設(shè)計(jì)通過(guò)嵌入Android系統(tǒng)完成系統(tǒng)軟件設(shè)計(jì)與實(shí)現(xiàn),由操作系統(tǒng)定制與應(yīng)用軟件開發(fā)構(gòu)成系統(tǒng)軟件開發(fā),系統(tǒng)軟件設(shè)計(jì)過(guò)程中使用基于USB Video Class協(xié)議的通用USB攝像頭獲取人臉圖像,在操作層集成支持USB Video Class協(xié)議的USB攝像頭驅(qū)動(dòng)程序,主要目的在于提升攝像頭的使用穩(wěn)定程度。在操作系統(tǒng)定制過(guò)程中提取Android NDK工具鏈,封裝Linux內(nèi)核內(nèi)的驅(qū)動(dòng)程序,生成JNIEnv接口供Android系統(tǒng)的應(yīng)用層進(jìn)行調(diào)用。
嵌入Android系統(tǒng)的智慧班牌系統(tǒng)軟件開發(fā)主要通過(guò)建立基于Linux內(nèi)核的應(yīng)用軟件環(huán)境、移植Linux內(nèi)核、建立Linux文件系統(tǒng)、移植Android系統(tǒng)和開發(fā)系統(tǒng)應(yīng)用程序幾個(gè)步驟完成?;贚inux內(nèi)核的應(yīng)用軟件環(huán)境是一種交叉開發(fā)環(huán)境,在運(yùn)行過(guò)程中,應(yīng)用軟件的環(huán)境一般采取宿主-目標(biāo)的模式完成交叉編譯,這樣的環(huán)境便于Linux內(nèi)核進(jìn)行開發(fā)和調(diào)試。Linux內(nèi)核在移植過(guò)程中,需要根據(jù)系統(tǒng)硬件情況進(jìn)行定制處理,在滿足系統(tǒng)需求的前提下占據(jù)最小規(guī)模硬件資源。建立Linux文件系統(tǒng)需要將交叉編譯完成的Linux內(nèi)核文件與NFS網(wǎng)絡(luò)文件,燒寫到開發(fā)板,促使Linux獨(dú)立啟動(dòng)并成功運(yùn)行。在移植Android系統(tǒng)和開發(fā)系統(tǒng)應(yīng)用程序時(shí),需要在Linux操作系統(tǒng)中的Ubuntu16.04完成編譯,完成后燒錄至開發(fā)板,隨機(jī)完成應(yīng)用軟件的調(diào)整和測(cè)試[5]。
本設(shè)計(jì)依托卷積神經(jīng)網(wǎng)絡(luò)、DBN(深度置信網(wǎng)絡(luò))和堆棧自編碼網(wǎng)絡(luò)模型等進(jìn)行深度學(xué)習(xí),基于動(dòng)態(tài)人臉識(shí)別技術(shù),集成動(dòng)態(tài)人臉識(shí)別算法,輔助圖像處理(Image Processing)算法,設(shè)計(jì)和實(shí)現(xiàn)智慧班牌系統(tǒng)的搭建,提取生物面部特征點(diǎn),通過(guò)匹配特征值判定所采集的數(shù)據(jù)信息,繼而快速核實(shí)身份、上傳識(shí)別結(jié)果、統(tǒng)一處理采集數(shù)據(jù),全流程功能自動(dòng)化?;趧?dòng)態(tài)人臉識(shí)別的技術(shù)模型訓(xùn)練所使用的算法主要涉及到人臉檢測(cè)和人臉識(shí)別。人臉檢測(cè)是人臉識(shí)別的預(yù)處理,本次系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)主要依從數(shù)字圖像處理的積分圖、級(jí)聯(lián)多層檢測(cè)器、Ada Boost迭代算法的人臉檢測(cè)方法,通過(guò)數(shù)字圖像處理的積分圖計(jì)算所采集的生物面部特征點(diǎn),使用Ada Boost迭代算法進(jìn)行生物面部特征點(diǎn)集中篩分,最后通過(guò)級(jí)聯(lián)多層檢測(cè)器完成生物面部圖像檢索[6]。
本次系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)采用Visual Geometry Group Net深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),針對(duì)生物面部特征數(shù)據(jù)進(jìn)行訓(xùn)練,通過(guò)提取生物面部特征數(shù)據(jù)信息,進(jìn)行訓(xùn)練后的測(cè)試。在訓(xùn)練過(guò)程中,采取深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的卷積流實(shí)施操作,采用稀疏權(quán)重、權(quán)值共享連接神經(jīng)元。利用濾波器對(duì)標(biāo)準(zhǔn)化的生物面部數(shù)據(jù)進(jìn)行處理,經(jīng)過(guò)處理后,得到帶有特征點(diǎn)的數(shù)據(jù),應(yīng)用這部分?jǐn)?shù)據(jù)做減采集操作,通過(guò)交替分布卷積和減采集進(jìn)行連接,若干層厚得到卷積神經(jīng)網(wǎng)絡(luò)特征映射圖,本次系統(tǒng)設(shè)計(jì)中用于提升神經(jīng)網(wǎng)絡(luò)表征能力的激活函數(shù)(Activation Function),采取Re LU(修正線性單元),需要針對(duì)所采集的生物面部特征信息將高維數(shù)據(jù)轉(zhuǎn)化為低維數(shù)據(jù),主要目的在于減小數(shù)據(jù)運(yùn)算量,確定參數(shù)。在測(cè)試過(guò)程中,需要進(jìn)行圖像預(yù)處理,確定好參數(shù)后進(jìn)行生物面部特征點(diǎn)提取,實(shí)施數(shù)據(jù)降維后進(jìn)行分類匹配并完成人臉識(shí)別,驗(yàn)證身份。在人臉識(shí)別模型訓(xùn)練過(guò)程中使用學(xué)習(xí)算法接口執(zhí)行學(xué)習(xí)算法框架,訓(xùn)練后的模型能夠在異構(gòu)系統(tǒng)中進(jìn)行快速移植。
系統(tǒng)軟件需要通過(guò)不同的算法執(zhí)行不同模塊的功能。針對(duì)信息顯示模塊,當(dāng)智慧班牌待機(jī),人臉識(shí)別終端的人臉識(shí)別顯示屏幕始終處于關(guān)閉狀態(tài),攝像頭處于未被成功出發(fā)狀態(tài),觸控顯示器始終顯示的是班牌的默認(rèn)界面。針對(duì)考勤模塊,當(dāng)智慧班牌定義為考勤狀態(tài)時(shí),點(diǎn)擊攝像頭,程序?qū)ο到y(tǒng)硬件完成初始化操作,使用攝像頭驅(qū)動(dòng)采集圖像數(shù)據(jù)信息,學(xué)生需要根據(jù)課程表進(jìn)行打卡,采集人臉檢測(cè)信息,觸控顯示器和攝像頭通過(guò)運(yùn)動(dòng)檢測(cè)被成功激活,啟動(dòng)人臉識(shí)別顯示屏幕,成功檢測(cè)到攝像頭捕捉到的人臉面部數(shù)據(jù),識(shí)別后反饋實(shí)時(shí)時(shí)間和信息至考勤模塊。針對(duì)一卡通模塊,學(xué)生通過(guò)向系統(tǒng)進(jìn)行充值激活該功能模塊,當(dāng)智慧班牌功能定義為一卡通功能模塊時(shí),需要準(zhǔn)確輸入充值金額,學(xué)生需要通過(guò)人臉識(shí)別進(jìn)行準(zhǔn)確的時(shí)間、金額信息反饋、記錄或扣費(fèi)。針對(duì)信息查詢模塊,一旦智慧班牌的功能被定義為查詢模塊時(shí),需要在人臉識(shí)別終端進(jìn)行人臉識(shí)別操作,計(jì)入程序后通過(guò)向服務(wù)器發(fā)出請(qǐng)求,收到返回的數(shù)據(jù),解析并將數(shù)據(jù)放置在對(duì)應(yīng)的控件中,模塊根據(jù)數(shù)據(jù)信息自動(dòng)進(jìn)入信息查詢和操作界面,隨機(jī)進(jìn)行及時(shí)的查詢操作。
系統(tǒng)在進(jìn)行開發(fā)設(shè)計(jì)后,需要經(jīng)過(guò)一系列精準(zhǔn)的系統(tǒng)測(cè)試,查看測(cè)試效果。在促使過(guò)程中,分別針對(duì)信息顯示界面、考勤界面、一卡通界面、信息查詢界面進(jìn)行測(cè)試。打開軟件后,在1s內(nèi)能夠?qū)崿F(xiàn)信息顯示界面的信息顯示,考勤界面能夠在2s內(nèi)完成考勤處理,考勤結(jié)果與考勤同步進(jìn)行更新,智慧班牌表現(xiàn)出較為穩(wěn)定的顯示性能,顯示屏幕能夠連續(xù)工作12h以上,基于USB Video Class協(xié)議的通用USB攝像頭在不存在故障的前提下,能夠連續(xù)工作超過(guò)60h,可以滿足基于動(dòng)態(tài)人臉識(shí)別的智慧班牌系統(tǒng)的測(cè)試需求。經(jīng)測(cè)試,該系統(tǒng)不需要識(shí)別對(duì)象停駐等待,只需要識(shí)別對(duì)象出現(xiàn)在一定的識(shí)別范圍內(nèi),能夠自動(dòng)識(shí)別和實(shí)現(xiàn)1s內(nèi)抓拍和采集信息,動(dòng)態(tài)人臉識(shí)別的準(zhǔn)確率可達(dá)98.6%。
人臉識(shí)別是現(xiàn)階段識(shí)別領(lǐng)域的前沿課題,主要利用計(jì)算機(jī)技術(shù)和數(shù)據(jù)庫(kù)的人臉圖像進(jìn)行有效信息的識(shí)別和分析,繼而辨認(rèn)身份。該系統(tǒng)通過(guò)嵌入Android系統(tǒng),依托卷積神經(jīng)網(wǎng)絡(luò)、DBN和堆棧自編碼網(wǎng)絡(luò)模型等進(jìn)行深度學(xué)習(xí),基于動(dòng)態(tài)人臉識(shí)別技術(shù),集成動(dòng)態(tài)人臉識(shí)別算法,設(shè)計(jì)和實(shí)現(xiàn)智慧班牌系統(tǒng)的搭建,能夠?qū)崿F(xiàn)信息顯示、考勤、一卡通、信息查詢功能,屏幕界面清晰美觀、數(shù)據(jù)統(tǒng)計(jì)準(zhǔn)確,系統(tǒng)性能可靠、穩(wěn)健、易用、可移植。
引用
[1]王繼超,張麗娟,尤田,等.人臉識(shí)別的智能防疫系統(tǒng)設(shè)計(jì)[J].河北水利電力學(xué)院學(xué)報(bào),2021,31(4):55-59.
[2]黃明明,黃全振,孫清原.基于模糊推理的智能家居安防系統(tǒng)設(shè)計(jì)[J].河南工程學(xué)院學(xué)報(bào)(自然科學(xué)版),2019,31(4):54-58.
[3]李佩,汪紅娟,李業(yè)麗,等.基于AdaBoost人臉檢測(cè)算法的分析研究[J].北京印刷學(xué)院學(xué)報(bào),2020,28(1):128-132.
[4]鐘娟,馬開聰.基于安卓及云服務(wù)平臺(tái)的考勤管理系統(tǒng)[J].湖北工程學(xué)院學(xué)報(bào),2021,41(6):77-84.
[5]張學(xué)鋒,王子琦,湯亞玲.基于YOLO-CDF神經(jīng)網(wǎng)絡(luò)的安全帽檢測(cè)[J].重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版),2022,39(4):32-41.
[6]陳拓,邢帥,楊文武,等.融合時(shí)空域特征的人臉表情識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào),2022,27(7):2185-2198.
數(shù)字技術(shù)與應(yīng)用2022年12期