鄒慶奧，李 潔，李小龍，周長見，冀海博，王新軍

（濱州學(xué)院航空工程學(xué)院，山東 濱州 256600）

0 引言

目前新冠病毒不斷變異，病毒的感染者多且癥狀嚴(yán)重，全國各地疫情防控任務(wù)不斷加重。全國部分地區(qū)出現(xiàn)了醫(yī)護(hù)人員緊張甚至短缺的問題，嚴(yán)重影響到核酸檢測的進(jìn)程與患者的救治，對地區(qū)疫情防控形式提出了巨大的挑戰(zhàn)，同時給當(dāng)?shù)厣鐣卫斫?jīng)濟(jì)發(fā)展帶來不小壓力[1]。因此，針對社會疫情防控形勢與核酸檢測需求，各大高校與科技創(chuàng)新型企業(yè)都展開了對自動核酸采樣機(jī)器人的研究[2]。開展核酸檢測自助裝置的研究，提出了面向廣大的市民與社區(qū)的“基于機(jī)器視覺的核酸檢測自助裝置”。利用單片機(jī)基于PID 算法、蟻群算法等算法去控制并修正機(jī)械臂的運(yùn)動，同時搭配機(jī)器視覺與神經(jīng)網(wǎng)絡(luò)的訓(xùn)練勘測人體口腔咽喉位置[3]，并搭配無線通信裝置將被采樣人信息上傳至大數(shù)據(jù)庫中。

1 總體設(shè)計方案

基于機(jī)器視覺的核酸檢測裝置是以STM32 單片機(jī)為控制核心，采用OpenMV 視覺模塊識別人臉嘴部特征以實(shí)現(xiàn)在市民張嘴時咽喉位置的精確定位[4]，通過串口通信將咽喉位置數(shù)據(jù)傳遞給單片機(jī)去控制機(jī)械臂運(yùn)動對市民進(jìn)行咽拭子核酸檢測，同時通過OpenMV 視覺模塊識別身份信息并由OLED 屏幕顯示，通過WIFI 模塊將采集的市民身份信息進(jìn)行發(fā)送實(shí)時傳送至大數(shù)據(jù)庫[5]。該系統(tǒng)的設(shè)計關(guān)鍵在于被檢測者口腔咽喉部位關(guān)鍵點(diǎn)提取以及機(jī)械臂雙臂的精確控制與配合，完成核酸采樣工作，同時避免對檢測者的口腔造成傷害。其中基于機(jī)器視覺的核酸檢測裝置系統(tǒng)總體框圖如圖1 所示。

圖1 系統(tǒng)總體框圖

圖2 圖像采集電路原理圖

圖3 機(jī)械臂控制電路原理圖

2 系統(tǒng)設(shè)計

基于機(jī)器視覺的核酸檢測裝置的系統(tǒng)設(shè)計實(shí)現(xiàn)是通過硬件電路的設(shè)計連接與軟件程序設(shè)計實(shí)現(xiàn)兩個重要部分。

2.1 硬件電路設(shè)計

2.1.1 圖像采集電路設(shè)計

該系統(tǒng)的圖像采集識別功能是通過Open MV 視覺模塊設(shè)計實(shí)現(xiàn)的，可以完成核酸檢測二維碼上身份信息的系別與發(fā)送和被檢測者口腔咽喉部位的位置識別發(fā)送等相關(guān)任務(wù)，其圖像采集電路原理圖如2 所示。單片機(jī)通過PA9（USART_TX）引腳與OpenMV 的P5 （UART_RX）引腳相連，接收端PA10（USART1_RX）與OpenMV 的發(fā)送端P4（UART_TX）相連，以此來實(shí)現(xiàn)串行通信。

2.1.2 機(jī)械臂控制電路設(shè)計

機(jī)械臂是該系統(tǒng)的執(zhí)行器，是完成核酸檢測任務(wù)的一大關(guān)鍵，通過控制核心的控制完成咽拭子采樣器的抓取、核酸樣本的采樣與安置等相關(guān)功能，它主要有機(jī)械構(gòu)件與舵機(jī)L298N 等組成，機(jī)械臂控制電路原理圖如3 所示，單片機(jī)通過驅(qū)動器L298N 輸出4路PWM 信號控制4 個舵機(jī)[6]。

3 路PWM 信號由單片機(jī)的TIM5 定時器產(chǎn)生，通過PA0、PA1、PA2、PA3 四個引腳輸出。四個引腳分別連接到L298N 四個輸入端IN1～I(xiàn)N4，通電工作后，L298N 的四個輸出端就能夠?qū)⒐β史糯蠛蟮腜WM信號送至舵機(jī)的控制端，從而實(shí)現(xiàn)舵機(jī)的轉(zhuǎn)動控制效果。舵機(jī)（MG995）的控制由PWM 信號占空比來決定。PWM 信號的周期為20 ms，占空比在2.5% ～12.5%范圍內(nèi)。

2.1.3 無線傳輸電路設(shè)計

WiFi 模塊作為該核酸檢測系統(tǒng)的傳輸橋梁，可以高性能地實(shí)現(xiàn)Open MV 圖像處理模塊與STM32單片機(jī)之間的通信完成身份信息和咽喉位置信息的發(fā)送與接受任務(wù)，避免干擾的發(fā)生；同時該模塊也可以將身份信息傳出至智能終端中進(jìn)行數(shù)據(jù)的存儲。該系統(tǒng)中采用的無線傳輸為ESP8266 WIFI 模塊，其發(fā)送引腳和接收引腳分別與單片機(jī)的PC11（USART4_RX）和PC10（USART4_TX）相連，通過AT 指令配置模塊后，即可實(shí)現(xiàn)數(shù)據(jù)的收發(fā)，其無線傳輸電路原理如圖4 所示。

圖4 無線傳輸電路原理圖

2.2 軟件程序設(shè)計

基于機(jī)器視覺的核酸采樣自助裝置要完成一次核酸檢測主要程序包括以下兩部分：

2.2.1 機(jī)械臂控制咽拭子采集與儲存

機(jī)械臂的控制過程主要通過配置PWM 信號控制舵機(jī)的運(yùn)動，同時復(fù)制PID 算法等進(jìn)行校正，PWM信號配置流程圖如圖5 所示。首先對STM32 單片機(jī)上定時器TIM5 進(jìn)行基本配置，主要包括周期、預(yù)分頻值、時鐘分割參數(shù)、計數(shù)模式4 個方面。為了實(shí)現(xiàn)PWM 功能，需要將PA0、PA1、PA2、PA3 四個通道使能，將引腳模式設(shè)置為推挽輸出（GPIO_Mode_AF_PP）速度設(shè)為50 MHz（GPIO_Speed_50MHz）做完基本的配置之后，只需要改變庫函數(shù)“TIM_SetCompare2（TIM5，X）”中的第二個參數(shù)，即可更改占空比，從而改變舵機(jī)轉(zhuǎn)動的角度。機(jī)械臂抓取咽拭子的控制核心程序?yàn)椋?/p>

圖5 PWM 信號配置流程圖

2.2.2 OpenMV 識別健康碼與OLED 顯示屏顯示

通過OpenMV 對全民核酸檢測二維碼進(jìn)行掃描，識別出姓名、電話、身份證號碼等信息經(jīng)過處理后信息在OLED 顯示屏顯示，可以與被檢測者進(jìn)行交互確保檢測身份信息的正確。二維碼身份信息的識別設(shè)計過程如圖6 所示，其二維碼信息讀取主程序?yàn)椋?/p>

圖6 二維碼身份信息識別

3 系統(tǒng)性能測試

該系統(tǒng)可完成身份信息采集、口腔與咽喉部位的識別、咽拭子采集與儲存等功能，并對待測者嘴巴張開時檢測裝置對咽喉位置識別的精度、機(jī)械臂抓取咽拭子采樣器觸碰咽喉部的采樣成功率進(jìn)行了測試。

3.1 身份信息采集

采樣者首先根據(jù)語音提示利用IC 卡身份證信息采集器收集基本信息并進(jìn)行展示和比對，其次通過WIFI 模塊將收集的身份信息儲存并上傳至云端。

本裝置采用的是I2C 通信的OLED 顯示屏，在單片機(jī)主程序通過指令向顯示屏發(fā)送字符，由顯示屏進(jìn)行顯示，圖7 為被檢測人員身份信息識別過程。經(jīng)驗(yàn)證身份信息采集成功率100%，減少了醫(yī)護(hù)人員采集身份信息的工作量。

圖7 身份信息識別過程

3.2 口腔與咽喉部位的識別

采用OpenMV 機(jī)器視覺模塊，掃描人臉圖像，提取出被檢測者嘴部關(guān)鍵點(diǎn)數(shù)據(jù)，通過串口通信將關(guān)鍵點(diǎn)數(shù)據(jù)傳送到主控芯片，處理修正相關(guān)數(shù)據(jù)參數(shù)，進(jìn)一步引導(dǎo)機(jī)械手運(yùn)動姿態(tài)，使機(jī)械臂與嘴部處于最佳的位置關(guān)系。

OpenMV 通過調(diào)用Hara 面部識別算子，通過調(diào)節(jié)程序中thresholds 參數(shù)實(shí)現(xiàn)面部識別，嘴部識別增加調(diào)用嘴部的Hara 算子，設(shè)置roi 參數(shù)來實(shí)現(xiàn)，圖8為本裝置采集的人臉及咽喉部位識別圖。

圖8 咽喉部位識別圖

3.3 咽拭子采集與儲存核酸樣本采集

機(jī)械臂運(yùn)動主要靠的是機(jī)械臂關(guān)節(jié)處的舵機(jī)旋轉(zhuǎn)角度，主要靠程序中設(shè)定輸出的PWM 信號來控制的。機(jī)械臂首先從咽拭子儲存裝置中取出咽拭子，然后根據(jù)視覺信息運(yùn)動到口腔夾取咽拭子進(jìn)行采集并取出咽拭子放到提取管中存儲。經(jīng)過視覺訓(xùn)練引導(dǎo)機(jī)械臂將拭子運(yùn)送到試管的上方釋放拭子，完成一次檢測，圖9 為機(jī)械臂夾取、采集、存儲咽拭子樣本過程。

圖9 機(jī)械臂夾取、采集、存儲咽拭子樣本過程

4 總結(jié)

該裝置主要應(yīng)對當(dāng)下新冠疫情防控的嚴(yán)峻局勢，需要定期的核酸檢測進(jìn)行排查保證社會層面的動態(tài)清零，該檢測裝置集高端智能化、多元化、采樣大眾化、人機(jī)協(xié)同化思想于一體[7]。通過OpenMV 視覺模塊采取實(shí)時人臉圖像與咽喉位置，讀取嘴部關(guān)鍵點(diǎn)數(shù)據(jù)，精準(zhǔn)識別采樣位置；利用STM32 單片機(jī)控制機(jī)械臂模塊抓取拭子采樣并收集器中，機(jī)械臂將抓獲新的咽拭子，進(jìn)行下一輪采集。同時該裝置可利用語音播報模塊，提前錄入友好親切語音的信息并在核酸采集過程中進(jìn)行播報指導(dǎo)完成核酸檢測地相關(guān)動作。目前，系統(tǒng)身份信息采集系統(tǒng)和儲存核酸樣本過程已完成，但咽拭子采集功能未在醫(yī)院或者社區(qū)對被測試者進(jìn)行試驗(yàn)，無法給出采樣準(zhǔn)確率的相關(guān)數(shù)據(jù)。后續(xù)系統(tǒng)功能完善后，可以實(shí)現(xiàn)核酸采樣全過程，從而減輕醫(yī)護(hù)人員的工作壓力，提升采集的效率。