姜智軒,侯涵宇

(南京大學(xué)金陵學(xué)院,南京 210089)

基于MCU微系統(tǒng)、實(shí)時(shí)操作系統(tǒng)技術(shù),設(shè)計(jì)了基于人臉識(shí)別的智能考勤系統(tǒng),其結(jié)構(gòu)簡(jiǎn)單,邏輯嚴(yán)密,可將獲取的信息由低功耗網(wǎng)絡(luò)傳輸模塊上傳到云端,實(shí)現(xiàn)個(gè)性化數(shù)據(jù)分析功能,配套的移動(dòng)端app可用于運(yùn)營(yíng)管理,節(jié)約時(shí)間,提高管理效率。

1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)

1.1 硬件結(jié)構(gòu)

硬件設(shè)計(jì)是一個(gè)系統(tǒng)的基礎(chǔ),需從以下幾方面進(jìn)行分析:①市場(chǎng)需求。通過用戶的真實(shí)需求,分析系統(tǒng)需要實(shí)現(xiàn)的功能,進(jìn)行系統(tǒng)各模塊的功能分配與設(shè)計(jì)。②確定整體方案。通過市場(chǎng)調(diào)研確定好元器件并進(jìn)行測(cè)試,完善各模塊的配合工作。③繪制原理圖。根據(jù)方案設(shè)計(jì)電路圖,參照電路圖繪制PCB。④電路板工作。依據(jù)所電路圖進(jìn)行各模塊器件的焊接與測(cè)試,將調(diào)試程序下載到開發(fā)板上進(jìn)行進(jìn)一步的測(cè)試。

1.2 硬件電路的設(shè)計(jì)

采用模塊化設(shè)計(jì)方式,先確定總體方案,再逐個(gè)模塊進(jìn)行層次設(shè)計(jì)。采用意法半導(dǎo)體公司ARM?32位Cortex?-M3 CPU——STM32系列微處理器STM32107VCT6作為核心控制模塊。主要包括OV2640為核心的人臉圖像采集模塊、開源RT-thread實(shí)時(shí)操作系統(tǒng)內(nèi)核、外部存儲(chǔ)器擴(kuò)展模塊、網(wǎng)絡(luò)通信模塊及LCD顯示模塊+CubeMX+TouchGFX GUI開發(fā),具有高性能、低功耗、高集成度等特點(diǎn)。STM32107VCT6集成了高性能ARM?Cortex?-M3 32位RISC內(nèi)核,工作頻率為72 MHz,具有高速嵌入式存儲(chǔ)器(閃存高達(dá)256 KB和SRAM 64 KB)及連接到兩條APB總線的大量增強(qiáng)型I/O與外圍設(shè)備,可外接數(shù)字?jǐn)z像頭,支持多分辨率顯示屏。采用數(shù)片容量為64M的IS42S16400J-7TLI芯片作為SDRAM的存儲(chǔ)擴(kuò)展,采用Samsung公司的K9F1G08U0A的NandFlash作為Flash的存儲(chǔ)擴(kuò)展。圖像獲取采用ATK-OV2640模塊,ATK-OV2640CMOS內(nèi)置圖像傳感器高清攝像頭模塊,具有200 W像素,支持圖像壓縮,可輸出JPEG圖像數(shù)據(jù),內(nèi)部集成 LDO與有源晶振,僅需3.3 V電源即可工作支持大多數(shù)嵌入式系統(tǒng)的應(yīng)用,自帶嵌入式微處理器,支持AEC、AGC、AWB、自動(dòng)消除燈光條紋、ABLC等自動(dòng)控制功能,支持色飽和度、色相、伽馬、銳度與圖像縮放、平移及窗口設(shè)置。

圖1 硬件電路的設(shè)計(jì)Fig.1 Design of hardware circuit

1.3 軟件結(jié)構(gòu)

通過嵌入式系統(tǒng)對(duì)人臉數(shù)據(jù)進(jìn)行采集,利用無線網(wǎng)絡(luò)模塊上傳到云端數(shù)據(jù)庫(kù),由云端人臉提取與識(shí)別算法分析并做出判斷,給數(shù)據(jù)庫(kù)及嵌入式數(shù)據(jù)采集端返回相應(yīng)的分析結(jié)果。

一個(gè)處理器在某一時(shí)刻只能運(yùn)行一個(gè)任務(wù),但由于每次對(duì)一個(gè)任務(wù)的執(zhí)行時(shí)間很短,任務(wù)之間通過任務(wù)調(diào)度器進(jìn)行快速切換(調(diào)度器根據(jù)優(yōu)先級(jí)決定此刻該執(zhí)行的任務(wù)),會(huì)給人造成多個(gè)任務(wù)在一個(gè)時(shí)刻同時(shí)運(yùn)行的錯(cuò)覺。RT_Thread是支持多種微處理器的開源免費(fèi)RTOS,支持多任務(wù)。在RT_Thread系統(tǒng)中,任務(wù)通過線程來實(shí)現(xiàn),RT_Thread中的線程調(diào)度器即任務(wù)調(diào)度器。該RT操作系統(tǒng)采用C語(yǔ)言編寫,應(yīng)用面向?qū)ο蟮乃季S設(shè)計(jì)范式,代碼簡(jiǎn)明,架構(gòu)清晰,體積小,成本低,功耗低,啟動(dòng)快速,實(shí)時(shí)性高,資源量占用小。

1.4 軟件設(shè)計(jì)

1.4.1 嵌入式系統(tǒng)的搭建

從RT_Thread官方下載RT_Thread源碼包、Env開發(fā)工具,從ST意法半導(dǎo)體官方處下載CubeMX開發(fā)工具、TouchGFX GUI開發(fā)組件,進(jìn)行交叉編譯開發(fā)環(huán)境的搭建及開發(fā)環(huán)境的配置。通過Env工具對(duì)源碼功能進(jìn)行配置或裁減,編譯BSP文件,生成帶有RT_Thread實(shí)時(shí)內(nèi)核的MDK工程,配合 MDK編譯。由PC機(jī)通過MDK平臺(tái)將配置好的內(nèi)核系統(tǒng)寫入嵌入式系統(tǒng)板中。通過串口與ST_Link下載器聯(lián)合調(diào)用實(shí)現(xiàn)實(shí)時(shí)調(diào)試。

1.4.2 人臉識(shí)別系統(tǒng)的設(shè)計(jì)

人臉檢測(cè)?；赗eceptive Fields (RFs) ,提出了RF Block (RFB) ,該模塊考慮了RFs的大小和離心率(Eccentricity)之間的關(guān)系,提高了特征的可辨識(shí)性和魯棒性。然后基于RFB,對(duì)以VGG16為基礎(chǔ)架構(gòu)的ssd進(jìn)行了改進(jìn),形成最終的RFBNet。引入RFB的緣由其實(shí)在于模擬人類視覺感受野,以此進(jìn)而加強(qiáng)網(wǎng)絡(luò)特征提取能力,在結(jié)構(gòu)上RFB借鑒了Inception的思想,在前者的基礎(chǔ)上加入dilated convolution,從而有效增大了receptive field。在整體層面上對(duì)SSD網(wǎng)絡(luò)改進(jìn),所以結(jié)果的檢測(cè)速度較快,也有一定的精度保證。進(jìn)一步將RFB組裝到SSD的頂部,構(gòu)建RFB Net檢測(cè)器。RFBNet網(wǎng)絡(luò)能夠在保持實(shí)時(shí)速度的同時(shí)達(dá)到高性能檢測(cè)的能力。從兩部分看:

用差異化尺度卷積核尺度的卷積核來模擬多尺度 RFs空洞卷積操作的方式模擬人類receptive field中 RFs 的尺度與Eccentricity間的關(guān)系。

人臉編碼及匹配。ArcFace也稱為加角邊際損失,是一種用于人臉識(shí)別的損失函數(shù)。softmax損失函數(shù)被用于這些任務(wù)中,但softmax沒有對(duì)特征嵌入進(jìn)行明確的優(yōu)化,無法對(duì)執(zhí)行類內(nèi)樣本的高相似性及類間樣本的多樣性起到預(yù)期作用,這導(dǎo)致在類內(nèi)外觀變化較大的情況下,深度人臉識(shí)別結(jié)果存在差距。ArcFace損失轉(zhuǎn)換了對(duì)數(shù),是權(quán)重與特征之間的角度。單個(gè)權(quán)重、嵌入特征通過歸一化固定,而后重新縮放,特征與權(quán)重的歸一化步驟令預(yù)測(cè)只取決于特征與權(quán)重之間的角度。學(xué)習(xí)得到嵌入特征,在特征與權(quán)重中加入一個(gè)加法角度余量懲罰。矯正后的人臉由 ArcFaceNet來編碼,輸出嵌入特征。調(diào)用該結(jié)果計(jì)算余弦距離,根據(jù)所設(shè)定的閾值來確定不同的人,余弦距離公式如下:

同一個(gè)人人臉的不同位置,余弦距離小,但不同人臉之間的余弦距離很大,可由數(shù)據(jù)庫(kù)內(nèi)人臉與待匹配人臉余弦距離差來判斷。

采用RFBnet網(wǎng)絡(luò)檢測(cè)并提取人臉,用Arcface網(wǎng)絡(luò)獲取待檢測(cè)人臉的嵌入特征并計(jì)算余弦距離,與數(shù)據(jù)庫(kù)內(nèi)人臉余弦距離的差比較判斷,準(zhǔn)確率高,解決以往常有的漏檢問題。采用“云”保存考勤信息,通過智能手機(jī)等設(shè)備查詢實(shí)時(shí)數(shù)據(jù)及歷史記錄,具有有較大的推廣價(jià)值。系統(tǒng)使用流程如下:上電或復(fù)位,自檢設(shè)備正常運(yùn)行,初始化基本配置設(shè)置,進(jìn)行考勤,按下考勤鍵后發(fā)出視頻采集控制信號(hào),啟動(dòng)圖像采集功能。采集后以文件格式存儲(chǔ)到SDRAM中,完成存儲(chǔ)后,經(jīng)過算法處理,界面顯示該員工的相關(guān)信息。保存員工考勤記錄,記錄到服務(wù)器數(shù)據(jù)庫(kù)中。系統(tǒng)流程如圖2所示。

圖2 系統(tǒng)流程Fig.2 System flow

2 數(shù)據(jù)庫(kù)設(shè)計(jì)

采用數(shù)據(jù)庫(kù)設(shè)計(jì)可以在云端服務(wù)器與本地分別存儲(chǔ)打卡記錄及人臉圖像信息,實(shí)時(shí)更新人臉圖像信息及個(gè)人資料。MySQL數(shù)據(jù)庫(kù)是基于關(guān)系型數(shù)據(jù)庫(kù)搭建而成的管理系統(tǒng),具有較高的靈活性及運(yùn)行速度,是訪問數(shù)據(jù)庫(kù)最常用的標(biāo)準(zhǔn)化語(yǔ)言,體積小,成本低,開放源碼,適用于本系統(tǒng)的數(shù)據(jù)庫(kù)搭建。采用Java對(duì)MySQL數(shù)據(jù)庫(kù)進(jìn)行操作。連接數(shù)據(jù)庫(kù),加載驅(qū)動(dòng)程序以調(diào)用Class.forName()函數(shù),再調(diào)用DriverManager對(duì)象的getConnection()函數(shù),得到Connection對(duì)象。創(chuàng)建一個(gè)Statement對(duì)象、PreparedStatement語(yǔ)句(預(yù)編譯的語(yǔ)句)或CallableStatement對(duì)象(存儲(chǔ)過程調(diào)用的語(yǔ)句)及一個(gè)SQL語(yǔ)句。調(diào)用excuteQuery()等函數(shù)執(zhí)行SQL語(yǔ)句,在ResultSet對(duì)象中保存結(jié)果,調(diào)用executeUpdate()等函數(shù)執(zhí)行SQL語(yǔ)句,不返回ResultSet對(duì)象的結(jié)果。對(duì)返回的ResultSet對(duì)象進(jìn)行顯示等處理,釋放資源。

3 結(jié)束語(yǔ)

設(shè)計(jì)了一套基于嵌入式人臉識(shí)別的智能考勤系統(tǒng),通過系統(tǒng)硬件結(jié)構(gòu)、系統(tǒng)軟件結(jié)構(gòu)、數(shù)據(jù)庫(kù)及APP的設(shè)計(jì),將嵌入式系統(tǒng)與人臉識(shí)別技術(shù)有效結(jié)合,在安卓智能手機(jī)環(huán)境下用攝像頭進(jìn)行人臉圖像信息采集,再將數(shù)據(jù)傳輸?shù)皆贫朔?wù)器進(jìn)行識(shí)別,實(shí)時(shí)反饋結(jié)果,實(shí)現(xiàn)了考勤簽到打卡功能。本系統(tǒng)方便簡(jiǎn)潔,可用于多種生活場(chǎng)景(如高校、企事業(yè)單位等),具有良好的實(shí)際應(yīng)用價(jià)值。