高亮海，于世龍，趙少坤，廖通海，喬建華

（太原科技大學 電子信息工程學院，山西 太原 030024）

0 引 言

日?？记谑墙M織管理的基本方式，人臉識別的考勤方式因具有直觀、方便、無接觸的優(yōu)點已被廣泛應用[1-3]?，F(xiàn)有的人臉識別考勤設備存在成本高、體積大、僅本地查看、錄入復雜等問題。隨著深度學習基本理論的發(fā)展，以及專門為嵌入式設備和深度神經(jīng)網(wǎng)絡加速而設計的新型片上系統(tǒng)的發(fā)布，通過小型廉價設備實現(xiàn)實時圖像識別成為可能[4-5]。同時，應用物聯(lián)網(wǎng)技術還可以將邊緣節(jié)點的感知數(shù)據(jù)通過通信模塊發(fā)送至云端服務器，利用終端設備即可實現(xiàn)數(shù)據(jù)的集中管理和遠程監(jiān)測[6-8]。本文在基于MQTT（Message Queuing Telemetry Transport）的物聯(lián)網(wǎng)架構下設計了基于K210 和ESP32 的嵌入式人臉識別考勤和遠程報備系統(tǒng)，通過K210實時識別人臉，配合ESP32 將信息上傳至物聯(lián)網(wǎng)云端服務器；通過手機APP 可聯(lián)網(wǎng)查看簽到消息、進行錄入和修改，還具有云端信息保存、歷史分析、消息交互傳輸?shù)裙δ?，適用于絕大多數(shù)的人臉識別考勤場景。

1 系統(tǒng)總體方案

1.1 人臉識別方案

本文采用的主芯片K210 是RISC-V 架構的高性能微控制器，配備了神經(jīng)網(wǎng)絡處理器（KPU），KPU 內置卷積、批歸一化、激活和池化運算單元，可用于加速卷積神經(jīng)網(wǎng)絡算法。

在執(zhí)行人臉識別任務前，先將人臉模型燒錄至FLASH存儲器，以便于KPU 進行調用。人臉識別的總體流程是先獲取當前的攝像頭圖像，KPU 加載人臉模型后推理當前的圖像中有無人臉，若有人臉則對兩眼、鼻子、嘴巴的位置進行定位，并且采集當前人臉的特征值。比對當前人臉特征和已記錄的人臉特征，若相似度超過一定比率，則判定為同一個人，若相似度比率低則無法判定。人臉識別流程如圖1 所示。

圖1 人臉識別流程

1.2 網(wǎng)絡通信方案

1.2.1 網(wǎng)絡通信總體結構

網(wǎng)絡通信總體結構由ESP32、巴法云服務器、手機APP端及網(wǎng)絡數(shù)據(jù)庫四部分構成。其中的數(shù)據(jù)通信均采用JSON格式，方便不同模塊的信息傳遞和解析?？傮w結構如圖2所示。

圖2 網(wǎng)絡通信總體結構

1.2.2 MQTT 協(xié)議

MQTT 是一個采用發(fā)布/訂閱（Publish/Subscribe）模型的輕量級通信協(xié)定，構建于TCP/IP 協(xié)議之上。MQTT 的主要優(yōu)點是能夠以很少的代碼和有限的帶寬，為遠程終端帶來及時可靠的消息服務質量[9]。作為一個低費用、低帶寬需求的即時通信協(xié)議，MQTT 在物聯(lián)網(wǎng)、小型終端、移動應用等領域有著廣泛的應用。因此，本系統(tǒng)采用MQTT 協(xié)議進行網(wǎng)絡通信。

MQTT 分為broker（代理）和client（客戶端）。client從角色上可以分為publisher（發(fā)布者）和subscriber（訂閱者），client 之間通過中間媒介broker 通信。client 要訂閱的消息類型由topic（主題）來決定。當一個publisher發(fā)布了一個消息時，broker就把這條消息通知給訂閱了這個topic的subscriber[10]。在本系統(tǒng)中，巴法云服務器作為MQTT 的broker，ESP32和手機APP 均作為client。ESP32 和手機APP 首先需要訂閱一個在巴法云服務器中創(chuàng)建的topic；然后，ESP32 作為publisher 發(fā)出消息，服務器接收了消息之后在同一topic 下向所有client 都發(fā)出消息，因而手機APP 作為client 就收到ESP32 發(fā)送的消息。同理，手機APP 端也用同樣的方式發(fā)送消息至ESP32 端。數(shù)據(jù)的格式采用JSON 字符串格式，方便解析和發(fā)送，JSON 字符串格式如下：

1.2.3 巴法云物聯(lián)網(wǎng)平臺

巴法云物聯(lián)網(wǎng)平臺是一種利用前后端口隔離的設計理念，具有支持發(fā)布/訂閱模式、提供遺囑機制的輕量級物聯(lián)網(wǎng)端服務器。巴法云物聯(lián)網(wǎng)平臺支持多模型的數(shù)據(jù)交換，并且已將協(xié)議標準化，與多個平臺服務完全兼容。本設計利用巴法云平臺，保存考勤的各類數(shù)據(jù)，連接ESP32 和手機APP。

1.3 系統(tǒng)總體結構

本系統(tǒng)由K210 視覺識別模組、ESP32 最小系統(tǒng)板和手機端考勤系統(tǒng)APP 構成。K210 作為主控芯片，ESP32 提供聯(lián)網(wǎng)功能，系統(tǒng)使用K210 配備的KPU 神經(jīng)網(wǎng)絡處理器進行人臉識別，發(fā)送識別結果至ESP32，ESP32 使用MQTT 協(xié)議通過WiFi 發(fā)送信息至云服務器端，云服務器發(fā)送至手機APP，同樣手機APP 也發(fā)送信息至ESP32 端，同時在LCD上顯示攝像頭攝入的考勤人員人臉檢測和識別結果。系統(tǒng)總體結構如圖3 所示。

圖3 系統(tǒng)總體結構

采用K210 進行人臉檢測與識別。首先利用人臉特征建模，對收集到的圖片進行人臉檢測；然后對目標對象的五官進行比對，從中提取特征值并保存；最后與預先保存的大量特征值比對即可識別人臉，并得到匹配人臉的相關信息。同時，使用SD 卡存儲人臉特征信息，可以實現(xiàn)信息的掉電保存。

ESP32 連接K210 和云服務端。ESP32 需要連接WiFi 獲取當前的網(wǎng)絡時間并寫入實時時鐘寄存器。K210 與ESP32經(jīng)串口通信，通過JSON 字符串傳輸人臉信息、姓名信息、工號信息和時間信息。ESP32 以云服務器為中轉，通過MQTT 協(xié)議傳輸JSON 字符串信息，最終發(fā)送至手機APP。

通過手機考勤系統(tǒng)APP 實現(xiàn)信息的記錄、查詢等功能。如果要記錄新的人臉信息，需要輸入工號和姓名。手機端通過網(wǎng)絡云服務器發(fā)送工號和姓名信息至ESP32 端，ESP32進行數(shù)據(jù)解析和判斷；然后通過串口發(fā)送到K210 模組中，K210 模組即開始錄入人臉。如果ESP32 端收到報道信息，就把信息上傳至網(wǎng)絡數(shù)據(jù)庫中等待下次更新。手機APP 還提供了信息查詢功能，通過工號查找人員信息。

2 系統(tǒng)硬件設計

2.1 系統(tǒng)硬件結構

硬件部分主要由兩部分構成：一部分是以K210 為核心的人臉識別模組；另一部分是以ESP32 為核心的WiFi 通信模組。兩者通過串口進行數(shù)據(jù)交互。K210 攝像頭模組主要由下載電路、DC-DC 電源轉換電路、LCD 電路、OV5640 攝像頭電路和TF 卡電路構成。ESP32 模組僅由一鍵下載電路和最小系統(tǒng)構成。系統(tǒng)硬件結構如圖4 所示。

圖4 系統(tǒng)硬件結構

2.2 K210 攝像頭模組及外圍電路

本文采用了Sipeed 的視覺處理模組MaixBit，該模組具有較小的體積和優(yōu)良的擴展性。MaixBit 引腳如圖5 所示。

圖5 MaixBit 引腳圖

攝像頭模塊選用OV5640，顯示器使用LCD，通過FPC排線連接至K210。OV5640 通過DVP（Digital Video Port）端口和主控制器相連。LCD 使用8 bit 并口與K210 連接，原因在于要實時傳輸圖像信息，圖像數(shù)據(jù)量比較大，8 bit 并口可以提供更大的帶寬。

TF 卡模塊使用SPI 模式連接，原因在于K210 引腳資源有限，SPI 的連接方式僅需四根線，并且本系統(tǒng)中TF 卡存儲的數(shù)據(jù)量不大，不需要較大的傳輸速率。

2.3 ESP32 協(xié)處理單元及外圍電路

ESP32 整合了2.4 GHz WiFi 與藍牙雙模技術，擁有超高的射頻技術性能、穩(wěn)定性、通用性與可靠性，同時耗電量超低，且成本比較低。ESP32 及外圍的接口如圖6 所示。

圖6 ESP32 及外圍電路接口

ESP32 與K210 通 過 串 口 連 接 如 下：ESP32 RX2—K210 數(shù)字引腳7（K210TX）；ESP32 TX2—K210 數(shù)字引腳8 （K210RX）；ESP32 GND—K210 GND。

3 系統(tǒng)軟件設計

3.1 主控模塊軟件設計

主控模塊K210 使用MaixPy 開發(fā)環(huán)境，MaixPy 系統(tǒng)不僅支持MCU 常規(guī)運算功能，而且整合了硬件加速的AI 機器視覺算法以及與麥克風陣列相關的算法。使用micropython編程可以很方便地開發(fā)K210，使其能夠做視覺相關的工作。MaixPy 還具有一鍵下載功能，方便下載和調試代碼。

K210 模塊需要完成人臉檢測和識別、接收和發(fā)送信息、確定是否錄入新的人臉，及發(fā)送給ESP32 端識別人臉的姓名、工號等信息。K210 程序流程如圖7 所示。首先K210 上電后先檢測TF 卡上有無人臉特征值記錄文件，如果存在人臉特征值記錄文件就把人臉的特征值讀取出來并且保存在一個人臉特征值列表中，針對名稱和工號的做法相同。之后從FLASH 中加載人臉模型，初始化UART、LCD、攝像頭模塊。

圖7 K210 程序流程

在程序的循環(huán)中，先從串口獲取ESP32 數(shù)據(jù)，如果串口有數(shù)據(jù)發(fā)送過來，進行數(shù)據(jù)解析，數(shù)據(jù)的格式為“a 姓名，操作，工號a”，“a”作為判斷數(shù)據(jù)幀頭和幀尾的標志，如果操作值為0，則把新錄入人員的標志位置1。通過攝像頭采集圖像，使用KPU 執(zhí)行推理任務。如果在圖像中找到人臉，先把人臉大小固定為128*128，運行臉部模型，分別為左眼、右眼、鼻子、左嘴部、右嘴部；然后計算人臉特征值向量。再把特征值列表中的每一個值與當前值進行比對，若匹配度大于閾值，則判斷為同一個人，通過串口使用JSON 字符串把此人的工號、姓名、操作值打包發(fā)送給ESP32，并且在屏幕上顯示出相關信息。若當前新錄入人員的標志位為1，則把當前人臉的特征值、工號、姓名以TXT 文件的形式保存至SD 卡中。最后刷新屏幕。

3.2 通信模塊軟件設計

通信模塊ESP32 用于連接網(wǎng)絡云服務器發(fā)送信息、與K210 的通信、信息解析和邏輯判斷，以及完成系統(tǒng)中不同器件的通信。ESP32 的開發(fā)環(huán)境是ESP-IDF，Visual Studio Code（VS Code）作為代碼編輯器。ESP32 程序流程如圖8所示。

圖8 ESP32 程序流程

ESP32 首先初始化串口1 和串口2，波特率為115 200，無校驗位，8 位數(shù)據(jù)位，1 位停止位；然后把引腳0 配置為外部中斷上升沿觸發(fā)（按鍵），連接當前的WiFi 成功后，通過阿里云NTP 服務器獲取時間信息，并把時間信息寫入芯片的RTC 中；通過MQTT 連接巴法云服務器，訂閱一個主題，接著進入主循環(huán)，判斷當前的MQTT 連接狀態(tài)是否正常，如果不正常則重新連接；把串口中獲得的考勤人員信息發(fā)送至網(wǎng)絡服務器，網(wǎng)絡服務器發(fā)送給APP 端顯示；通過解析串口和網(wǎng)絡服務器發(fā)送的數(shù)據(jù)來判斷當前需要執(zhí)行的操作。如果是簽到狀態(tài)并且串口收到數(shù)據(jù)，則向服務器發(fā)送更新簽到數(shù)據(jù)信息；如果是簽退狀態(tài)且串口收到數(shù)據(jù)，則向服務器發(fā)送更新簽退數(shù)據(jù)信息。這之間的數(shù)據(jù)傳輸格式都采用JSON 字符串。

3.3 APP 模塊軟件設計

本設計的手機APP 使用APP Inventor 開發(fā)。APP 軟件設計主要通過調用函數(shù)庫完成。首先有兩個頁面：管理員登錄頁面，數(shù)據(jù)查詢和錄入頁面。管理員登錄頁面判斷用戶名與密碼是否匹配，如果匹配則跳入下一個頁面，不匹配就提示錯誤信息。針對數(shù)據(jù)查詢和錄入頁面，首先使用MQTT 模塊訂閱巴法云網(wǎng)絡服務器的同一個主題，之后按照輸入的工號和姓名發(fā)送消息。如果接收到消息，判斷接收消息的類型；若是更新消息，就把接收到消息的信息解析保存至網(wǎng)絡數(shù)據(jù)云中。錄入流程如圖9 所示。

圖9 錄入流程

數(shù)據(jù)庫使用的是網(wǎng)絡微數(shù)據(jù)庫系統(tǒng)，可以通過手機端APP 進行數(shù)據(jù)增添、刪改、查詢功能，每個數(shù)據(jù)由標簽和值構成，標簽用來區(qū)分不同的信息，值通過JSON 字符串保存信息。

4 系統(tǒng)測試

4.1 人臉識別測試

連接MaixPy 軟件和開發(fā)板，運行程序，在幀緩沖區(qū)可以實時觀察到圖像數(shù)據(jù)，也可在LCD 屏幕上觀察。硬件連接如圖10 所示。

圖10 系統(tǒng)硬件

如果SD 卡內沒有存儲數(shù)據(jù)，則無法識別到人臉，并且只有在串口給出指令后才能錄入。人臉識別效果測試如圖11所示，沒有識別到人臉時LCD 會顯示“can’t recognize”，成功識別后會顯示“recognized”和工號。此時，從串口端輸出的信息如圖12 所示。

圖11 人臉識別測試

圖12 識別到人臉后串口輸出信息

4.2 網(wǎng)絡通信測試

網(wǎng)絡通信測試主要包括聯(lián)網(wǎng)測試、時間獲取測試、串口調試和網(wǎng)絡云服務器測試。聯(lián)網(wǎng)測試需要通過WiFi連接網(wǎng)絡，并查看是否正確獲得IP 地址。時間獲取測試是從服務器獲取網(wǎng)絡時間。網(wǎng)絡云服務器調試，則是選用巴法云服務器為平臺，在網(wǎng)頁端查看收到和發(fā)送的消息。串口調試則是使用串口1 作為調試，串口2 連接K210，輸出接收到的網(wǎng)絡信息和收到的信息。圖13 ～圖15 即為網(wǎng)絡測試效果。

圖13 MQTT 聯(lián)網(wǎng)測試

圖14 JSON 字符串解析輸出

圖15 巴法云網(wǎng)絡通信測試

4.3 手機APP 端測試

手機APP 端測試包含了巴法云服務器通信和云數(shù)據(jù)庫的操作。巴法云服務器的通信測試與ESP32 端類似，都是在網(wǎng)頁端查看服務器上的消息記錄是否正常；云數(shù)據(jù)庫的操作則是對收到的消息進行提取和保存。查詢操作先輸入查詢關鍵字，然后點擊獲取數(shù)據(jù)按鈕，觀察從數(shù)據(jù)庫獲取的消息是否正確。測試效果如圖16 所示。

圖16 手機APP 測試

5 結 語

本文在MQTT 協(xié)議架構下設計了基于K210 和ESP32 的人臉識別考勤和聯(lián)網(wǎng)報備系統(tǒng)，利用卷積神經(jīng)網(wǎng)絡實現(xiàn)了嵌入式系統(tǒng)上人臉的實時識別，并能通過手機APP 查詢考勤人員信息及新錄入人員信息。該設計解決了串口通信格式、UTF-8 編碼轉化、MQTT 的調試、人臉識別數(shù)據(jù)存儲、手機APP 開發(fā)等關鍵問題。經(jīng)過大量測試，該系統(tǒng)具有較高識別精度，功能齊備，操作方便；同時本系統(tǒng)體積小，易于實施，很容易轉換為產(chǎn)品，滿足實際應用的需求。