張 良，陳周歡，林耿名，葉綺雯，何鎮(zhèn)軒

（韶關(guān)學(xué)院信息工程學(xué)院，韶關(guān) 512005）

0 引言

自2019年末，新冠病毒（COVID-19）已席卷世界各個(gè)角落。發(fā)展至今，隨著病毒毒性減弱，社會(huì)面全面放開，隨之而來的便是大面積的感染。根據(jù)實(shí)際情況和相關(guān)研究，個(gè)體仍有二次感染病毒的風(fēng)險(xiǎn)。因此群眾對(duì)個(gè)人的防護(hù)措施依然不可松懈，公眾場合、私密場合佩戴口罩依然是最有效的防護(hù)措施之一。因此設(shè)計(jì)一款輕量的口罩佩戴檢測終端，既可滿足有聯(lián)機(jī)條件的工作環(huán)境，也能滿足脫機(jī)使用條件的可行性設(shè)計(jì)方案。

1 整體方案

系統(tǒng)由圖像信息采集模塊、圖像顯示模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)傳輸模塊、報(bào)警模塊構(gòu)成。本次設(shè)計(jì)使用ART-PI 開發(fā)板作為硬件平臺(tái)，為數(shù)據(jù)處理模塊以及數(shù)據(jù)傳輸模塊，其具有32 M靜態(tài)RAM，能更好地適應(yīng)推理模型的植入。圖像信息采集模塊使用GC0328 攝像頭模塊來捕獲視頻圖像信息，用于進(jìn)一步的口罩識(shí)別處理。多媒體拓展版上的3.5寸LCD 顯示屏用于顯示被攝像頭捕捉的圖像經(jīng)推理模型識(shí)別后的結(jié)果。每當(dāng)捕捉到行人圖像，經(jīng)模型推理后，對(duì)佩戴口罩的對(duì)象使用綠色框框出，對(duì)未佩戴口罩的對(duì)象使用紅色框框出，并通過多媒體板的音頻輸出提醒行人佩戴口罩。此外，在聯(lián)機(jī)條件下，將由上位PC 擔(dān)任數(shù)據(jù)處理模塊，來完成對(duì)圖像中行人佩戴口罩的識(shí)別，通過串口與ART-PI 主板進(jìn)行數(shù)據(jù)傳輸。

圖1 方案設(shè)計(jì)框圖

2 硬件設(shè)計(jì)

2.1 主控平臺(tái)ART-PI

RT-Thread 作為一款國產(chǎn)嵌入式IoT OS，與其他RTOS（FreeRTOS、uC/OS 等）的主要區(qū)別是：RT-Thread 除了嵌入式系統(tǒng)的內(nèi)核，還包含網(wǎng)絡(luò)、文件系統(tǒng)、GUI 界面等中間層組件，具有極強(qiáng)的擴(kuò)展性［1］。ART-PI 為RT-Thread 團(tuán)隊(duì)設(shè)計(jì)的一款硬件平臺(tái)。在RT-Thread 系統(tǒng)下?lián)碛懈玫馁N合度和使用性。搭載stm32H7 系列高性能芯片，同時(shí)板載Wi-Fi、藍(lán)牙、TF 卡槽、預(yù)留攝像頭、多媒體模塊等各類外設(shè)接口。因此在依托RT-Thread 平臺(tái)下選擇ART-PI 作為硬件平臺(tái)。

2.2 ART-PI多媒體拓展板

多媒體拓展板為ART-PI 官方配套拓展板，其搭配一塊3.5 寸電容LCD 觸摸屏，WM8988 音頻輸入輸出接口，預(yù)留GC0328/OV2640 攝像頭排線接口。整體硬件與ART-PI 主板組成結(jié)構(gòu)簡約、美觀。

2.3 RT-AK

RT-AK 為RT-Thread 團(tuán)隊(duì)對(duì)實(shí)時(shí)操作系統(tǒng)開發(fā)的AI套件，其具有將AI 模型部署進(jìn)工程的能力，提供AI 模型推理API，在目標(biāo)硬件平臺(tái)下獲得對(duì)AI 模型極致性能推理的能力。RT-AK 簡單架構(gòu)如圖2所示。

圖2 RT-AK架構(gòu)

首先在上位機(jī)通過Tensorflow 等框架訓(xùn)練得到AI 模型文件，將其轉(zhuǎn)化為Keras、TFlite 模型格式，再通過RT-AK Tools 針對(duì)不同硬件平臺(tái)進(jìn)行適配得到集成了AI 的BSP。最后通過RT-AK Lib 在嵌入式端使用AI 模型，完成AI 模型的推理運(yùn)行。在嵌入式端對(duì)RT-AK Lib的使用流程包括：查找模型句柄、初始化模型、數(shù)據(jù)輸入，得到推理結(jié)果如圖3所示。

圖3 嵌入式端推理流程

3 軟件設(shè)計(jì)

3.1 YOLO目標(biāo)檢測

YOLO網(wǎng)絡(luò)模型是目標(biāo)檢測算法中應(yīng)用廣泛的模型之一，相比于兩階段檢測算法，YOLO所使用的單階段檢測算法運(yùn)行速率更快，但會(huì)損失一定精度，對(duì)于當(dāng)前硬件算力有限的條件下，選擇YOLO目標(biāo)檢測算法更為合適。目前其具有八個(gè)官方版本，同時(shí)擁有若干個(gè)經(jīng)二次修改的網(wǎng)絡(luò)用于特殊的針對(duì)性場景。本次設(shè)計(jì)針對(duì)聯(lián)機(jī)和脫機(jī)情況，對(duì)不同平臺(tái)選用不同的版本。對(duì)聯(lián)機(jī)情況，使用算力更強(qiáng)的PC 機(jī)選用官方第五版本中的YOLOv5s［2］；對(duì)脫機(jī)狀態(tài)，硬件平臺(tái)選用YOLO-Fastest［3］模型，為當(dāng)前結(jié)構(gòu)最小、算力依賴最低的YOLO網(wǎng)絡(luò)模型。圖像目標(biāo)檢測的重要評(píng)價(jià)指標(biāo)主要有平均精度（average precision，AP）和平均精度均值（mean average precision,mAP）［4］。選用網(wǎng)絡(luò)模型概況見表1。YOLO-Fastest 模型相比較YOLOv5s 來說，mAP 減小近56%，但模型大小為YOLOv5s 的5%，浮點(diǎn)計(jì)算量也僅為YOLOv5s 的1.5%。邊緣硬件的算力顯然不如上位PC 機(jī)的CPU，甚至是GPU 算力，損失一定精度來換取更小的運(yùn)算量是合適的。

表1 模型概況

3.2 模型訓(xùn)練

訓(xùn)練數(shù)據(jù)集來自kaggle 的開源數(shù)據(jù)集，進(jìn)行格式的轉(zhuǎn)化后得到xml 格式和txt 格式。針對(duì)兩種模型的訓(xùn)練，應(yīng)用到了Tensorflow［5］和Darknet［6］兩種框架進(jìn)行訓(xùn)練和量化。此外RT-AK Tools 對(duì)于模型文件的類型也有一定的規(guī)定，在部署AI 模型前需要將Darknet 框架訓(xùn)練得到的x.weight 量化為x.tflitel 模型類型。表2 為訓(xùn)練結(jié)構(gòu)。這里在Darknet框架下的max_batches不同于tensorflow 框架下的epoch。batch 和epoch 都為超參數(shù)。一個(gè)epoch 是對(duì)整個(gè)數(shù)據(jù)集做一次迭代，一次迭代中包含若干次訓(xùn)練，而一次訓(xùn)練的樣本大小則為batch的值，max_batches 則為最大訓(xùn)練容量，也稱之為最大迭代次數(shù)，在某種程度上max_batches 和epoch 是可以互相換算的。計(jì)算方式為:

表2 訓(xùn)練結(jié)構(gòu)

max_batches= 數(shù)據(jù)集樣本數(shù)×epoch/batch

在Darknet 框架中，cfg 配置文件僅使用到max_batches，這里仍做保留。

3.3 系統(tǒng)流程設(shè)計(jì)

系統(tǒng)開機(jī)后，判斷是否處在聯(lián)機(jī)狀態(tài)，聯(lián)機(jī)狀態(tài)下將圖片推理部分交由PC 來處理，若在脫機(jī)狀態(tài)下將由設(shè)備自己完成圖片的檢測。YOLO 目標(biāo)檢測算法，粗略來說是對(duì)若干個(gè)bounding box［7］進(jìn)行預(yù)測，每個(gè)box的預(yù)測結(jié)果將由x、y、w、h、c、class1、class2、class3……構(gòu)成，對(duì)于口罩佩戴識(shí)別可以認(rèn)為二分類檢測（佩戴口罩和未佩戴口罩），每條輸出結(jié)果包含七個(gè)屬性。該box 所屬類的置信度X=c*class1（class2），當(dāng)某X大于預(yù)先設(shè)置的閾值時(shí)，認(rèn)為該box 內(nèi)容屬于該類。圖4為系統(tǒng)流程。

圖4 系統(tǒng)流程

4 系統(tǒng)測試

4.1 模型測試

針對(duì)模型訓(xùn)練過程中的訓(xùn)練集和測試集，在模型訓(xùn)練完成后，使用該推理模型對(duì)數(shù)據(jù)集進(jìn)行抽測。PC和ART-PI兩個(gè)不同目標(biāo)平臺(tái)下的模型測試效果分別如圖5、圖6所示。

圖5 YOLOv5s測試

圖6 YOLO-Fastest測試

經(jīng)對(duì)100 張圖片，包含約350 個(gè)對(duì)象進(jìn)行測試后，結(jié)果見表3。

表3 測試結(jié)果

4.2 脫機(jī)測試

本項(xiàng)測試針對(duì)實(shí)際情況進(jìn)行實(shí)際的脫機(jī)測試，在脫機(jī)狀態(tài)下，手持硬件攝像頭對(duì)準(zhǔn)需要識(shí)別的圖片進(jìn)行測試，攝像頭捕捉現(xiàn)實(shí)圖像后，在硬件側(cè)進(jìn)行模型推理，最后在LCD 屏上顯示推理結(jié)果。整體延遲較低，效果同PC 機(jī)測試YOLO-Fastest 模型時(shí)基本一致。這里仍以模型測試中展示圖片進(jìn)行展示比對(duì)，如圖7所示。

圖7 終端脫機(jī)測試

5 結(jié)語

本設(shè)計(jì)依托RT-Thread 平臺(tái)設(shè)計(jì)的口罩佩戴檢測終端，實(shí)現(xiàn)設(shè)備在聯(lián)機(jī)和脫機(jī)兩種狀態(tài)下的正常工作。經(jīng)實(shí)際測試，聯(lián)機(jī)狀態(tài)下的識(shí)別率極高，在人流較大的情況下依然可以精準(zhǔn)檢測。脫機(jī)狀態(tài)下，由于模型較小，相對(duì)來說存在一定誤差，相對(duì)于PC 的算力也相對(duì)較弱，運(yùn)算速度較慢，能滿足一般需求。另一方面，如何對(duì)YOLO-Fastest 網(wǎng)絡(luò)模型進(jìn)一步剪枝網(wǎng)絡(luò)體量，優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，來提高在邊緣硬件側(cè)的推理效率和準(zhǔn)確度是下一步的研究內(nèi)容。本系統(tǒng)具有實(shí)際實(shí)施成本較低、使用方便、應(yīng)用場景廣等特點(diǎn)?？梢詰?yīng)用于商場出入口，小區(qū)出入口等公共場所，提醒往來人群及時(shí)佩戴口罩，做好個(gè)人防護(hù)。