劉小龍，賀 晨，齊 錦，桑紀元，張 鑫

（西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院，陜西 西安 710127）

0 引 言

隨著科技的進步，便捷高效的醫(yī)患交互模式研究在醫(yī)學(xué)方面的應(yīng)用將更有意義。例如山西大學(xué)應(yīng)用手勢識別技術(shù)結(jié)合牙醫(yī)椅，發(fā)明了面向牙醫(yī)椅的手勢識別裝置，擬實現(xiàn)無接觸手勢識別控制牙醫(yī)椅的姿態(tài)，實現(xiàn)定制手勢在醫(yī)療設(shè)備上的應(yīng)用。本文針對臨床口腔治療中，醫(yī)患交流障礙與手術(shù)細菌感染等問題，提出了面向臨床牙醫(yī)的控制與交互系統(tǒng)。系統(tǒng)允許醫(yī)師在獲取患者口腔內(nèi)部畫面的同時將畫面信息通過藍牙模塊傳回手機端，并控制畫面的凍結(jié)與照明。醫(yī)生可以在手機端或電腦端下載畫面，通過觀察圖片中的患處進行病因分析?；颊咴谥委熤惺褂檬謩葑R別技術(shù)告知醫(yī)師自身情況。系統(tǒng)不但可以保持手術(shù)處于無菌環(huán)境，還能夠解決口腔治療中的醫(yī)患交流問題。

1 系統(tǒng)設(shè)計概述

牙醫(yī)系統(tǒng)主要利用手勢識別技術(shù)與醫(yī)學(xué)交叉結(jié)合，支持無接觸狀態(tài)下利用手勢實現(xiàn)對手術(shù)設(shè)備的操控與思想表達，有效解決了口腔治療中出現(xiàn)的醫(yī)患交流與細菌感染問題。設(shè)計思路：以STM32作為主控芯片，將手勢識別模塊安裝到便于醫(yī)師與患者控制的位置，攝像頭模塊與照明電路集成于口腔探測筆的前端。醫(yī)師通過口腔探測筆采集患者口腔內(nèi)部圖像，在LCD上顯示，并傳回手機端，通過手勢識別技術(shù)對圖像、照明亮度進行控制?；颊呖梢酝ㄟ^手勢識別技術(shù)表達信息。

2 系統(tǒng)硬件設(shè)計

牙醫(yī)系統(tǒng)主要由3部分構(gòu)成，即手勢識別部分、圖像采集顯示部分、主控板控制部分。手勢識別部分選擇PAJ7620手勢識別模塊，圖像采集部分選擇OV7670攝像頭與OLED屏幕，控制部分包括STM32主控芯片與基于BUCK電路的PWM控制照明模塊。系統(tǒng)硬件設(shè)計如圖1所示。

圖1 牙醫(yī)系統(tǒng)硬件設(shè)計

2.1 圖像采集模塊

產(chǎn)品內(nèi)部采用的OV7670傳感器具有小體積、低電壓等巨大優(yōu)勢?；赟CCB總線通信，能夠依照需求以最高達30 FPS的速度輸出圖像。根據(jù)官方提供的手冊，可以通過修改寄存器值讀取圖像相關(guān)參數(shù)，并利用寄存器對處理圖像實現(xiàn)如白平衡等參數(shù)調(diào)節(jié)。傳感器工作原理：當一個目標物體向外反射出大量自然光時，此時該模塊內(nèi)部的感光陣列在收光時會溢出電子，從而經(jīng)過電子溢出生成一個模擬量，輸入到模擬信號處理單元。

由模擬信號處理單元將相應(yīng)的模擬量進行模數(shù)轉(zhuǎn)換，得到數(shù)字信號，最后由模塊內(nèi)部的數(shù)字信號處理器進行處理并插值，形成色彩像素陣列信號，將圖像顯示在屏幕上。

不帶FIFO芯片的OV7670模塊：這種方案在硬件模塊選擇上更簡單、直接，但相應(yīng)的軟件設(shè)計卻很繁瑣。由于CMOS芯片處理速度遠遠超過單片機本身I/O口的速度，導(dǎo)致兩者無法直接通信。如要使兩者傳輸速率匹配，只能將CMOS芯片的輸出速度降低至能夠匹配單片機I/O口的速度水平，此時方可實現(xiàn)低速率畫面實時采集。但這一系列操作需要共同設(shè)置鎖相環(huán)、時鐘晶振電路、圖像單元時鐘以及幀速相關(guān)的多個寄存器單元。設(shè)置寄存器強制匹配速率的操作有可能導(dǎo)致硬件處理圖像的速度降到1 FPS以下，帶來嚴重像素陣列失真。不帶FIFO芯片的OV7670模塊如圖2所示。

圖2 不帶FIFO芯片的OV7670模塊

帶FIFO芯片的OV7670模塊：采用FIFO緩存的OV7670模塊由于其模塊本身已經(jīng)集成有FIFO數(shù)據(jù)存儲器，從而大大簡化了采集數(shù)據(jù)的工藝和方法，所以如何使用該模塊對目標圖像進行讀寫是研究的重點。從圖3可以看出，攝像頭模塊內(nèi)部帶有一個頻率為12 MHz的有源晶振，作為 XCLK口的輸入信號和時鐘。它所帶有的FIFO存儲器的容量為384 KB，所以其能夠同時緩存約2 KB的QVGA（分辨率為320×240）圖像數(shù)據(jù)。帶FIFO芯片的OV7670模塊如圖3所示。

圖3 帶FIFO芯片的OV7670模塊

圖4所示為OV7670攝像模塊內(nèi)部結(jié)構(gòu)。

圖4 ATK-OV7670模塊內(nèi)部結(jié)構(gòu)

存儲圖像數(shù)據(jù)進程如下：

（1）定時查詢幀同步信號；

（2）對FIFO數(shù)據(jù)存儲器寫入數(shù)據(jù)；

（3）再次查詢到第二個幀同步信號，此時FIFO數(shù)據(jù)存儲器禁止寫入數(shù)據(jù)。

讀取圖像數(shù)據(jù)過程：

（1）FIFO數(shù)據(jù)存儲器讀出數(shù)據(jù)；

（2）FIFO按時鐘循環(huán)讀取像素點。

2.2 手勢信息識別

牙醫(yī)系統(tǒng)采用PAJ7620模塊實現(xiàn)手勢信息識別。PAJ7620模塊內(nèi)部包含發(fā)光二極管驅(qū)動器、手勢識別陣列、目標信息特征提取模塊以及傳感器信號感應(yīng)模塊。在模塊正常運作時，內(nèi)部紅外發(fā)光二極管向傳感器發(fā)射若干紅外線信號，此時傳感器的感應(yīng)電路準確識別信號，并分析得出所探測的目標物體特征，再經(jīng)過特征信息提取模塊提取被探測物體的特征。此時物體特征被處理為像素陣列，將此數(shù)據(jù)存入相應(yīng)寄存器中。電路再進行數(shù)據(jù)的計算與判斷，最后把結(jié)果保存到相關(guān)寄存器中。單片機通過IC接口讀取相關(guān)寄存器，即手勢識別結(jié)果。

圖5所示為手勢識別模塊框架。該模塊是一款基于紅外陣列技術(shù)檢測動態(tài)的手勢識別模塊，分別針對定義的8種常見手勢如：向上、向下、向左、向右、向前、向后、順時針與逆時針進行識別，據(jù)相關(guān)測試，其平均識別率可達94.63%。基于紅外發(fā)光二極管陣列技術(shù)的應(yīng)用在對常見自定義手勢的識別中效率和準確性都很高。

圖5 手勢識別模塊框架

2.3 PWM調(diào)光電路

照明模塊采用基于BUCK電路改進的輸出PWM控制的LED模塊。采用BUCK電路方便實現(xiàn)后續(xù)拓展功能。并且此電路加入了補償網(wǎng)絡(luò)控制，使輸出電壓避免由于負載引入而導(dǎo)致的電壓波動。PWM調(diào)光LED驅(qū)動電路如圖6所示。

圖6 基于BUCK電路的PWM調(diào)光電路

2.4 藍牙通信模塊

HC-05藍牙模塊具有集成度小、靈敏度高等優(yōu)點。該模塊有命令響應(yīng)和自動連接2種工作模式。藍牙采用全雙工異步通信方式，分主機、從機部分。本文將帶有藍牙模塊的電腦端或手機端作為主機，進行搜索和連接，HC-05藍牙模塊作為從機，匹配通信。

3 牙醫(yī)系統(tǒng)軟件設(shè)計

軟件部分分為手勢識別處理部分、攝像頭圖像采集處理部分與LED控制部分。程序設(shè)計思路：首先初始化各基礎(chǔ)函數(shù)部分（例如延時、IC通信），并進行模塊正常初始化檢測，若基礎(chǔ)模塊檢測有誤，則重新調(diào)整，否則繼續(xù)。然后初始化攝像頭與手勢識別模塊，并進行手勢識別判斷，分別根據(jù)不同的使用方提供相應(yīng)的功能。整體程序設(shè)計流程如圖7所示。

圖7 整體程序設(shè)計流程

3.1 手勢識別軟件

PAJ7620模塊支持物體接近檢測和手勢識別功能。在手勢識別模塊中有2個BANK寄存器，但我們只用到了手勢檢測功能，所以只需選擇BANK1寄存器即可實現(xiàn)手勢識別。手勢識別模塊可識別9種手勢，目前我們只使用其中4種，其余5種手勢可以當作拓展進行改進。對其余不同手勢對應(yīng)的寄存器位進行判斷即可判別是否完成手勢識別。

由于手勢識別需要不斷進行手勢捕獲，所以我們需要將手勢獲取部分的代碼放入中斷服務(wù)函數(shù)中。手勢識別模塊進行信息讀取處理的過程如下：

（1）使能MCU與PAJ7620進行IC通信，MCU利用中斷以固定周期進行對相應(yīng)寄存器的讀??；

（2）將讀取得到的數(shù)值在模塊內(nèi)進行手勢判斷，判斷后將結(jié)果送回MCU分類從而觸發(fā)其他對應(yīng)操作。

3.2 攝像頭軟件控制

ATK-OV7670模塊采用18腳雙列直插式封裝，模塊向外延伸8條數(shù)據(jù)線，內(nèi)部連接FIFO存儲器。OV7670通過IC方式實現(xiàn)通信時鐘同步與控制信號傳輸模式配置。OV7670前端采集數(shù)據(jù)，以PCLK時鐘為基準對FIFO存儲器進行數(shù)據(jù)寫入操作。MCU以RCLK對FIFO中的圖像信息進行讀取。與手勢識別模塊類似，攝像頭模塊無需不斷進行圖像信息的采集與更新，所以圖像獲取部分的代碼可直接放入中斷服務(wù)函數(shù)中。

3.3 藍牙通信程序

在藍牙通信程序中，首先設(shè)置通信模式為自動連接模式中的輸出模式，并確定特定的通信波特率；之后檢測是否與主機藍牙模塊成功配對，當檢測到不同手勢時，在LCD上顯示對應(yīng)信息，此時藍牙通信模塊會在用戶端同步該信息。

3.4 主控板控制程序

在主程序中斷服務(wù)函數(shù)中，進行定時手勢信息結(jié)果讀取與圖像信息采集。主控板對手勢信息結(jié)果進行判斷，凍結(jié)畫面并發(fā)送圖像數(shù)據(jù)、控制LED的亮度或在屏幕上顯示等操作。除手勢識別結(jié)果的判斷外，主函數(shù)需要讀取攝像頭模塊中FIFO儲存的信息，經(jīng)處理顯示于LCD屏幕。主函數(shù)中還有一部分程序是LED控制部分，即通過定時器控制PWM波的占空比。圖8所示為程序部分電路模塊設(shè)計。

圖8 程序部分電路模塊設(shè)計

4 功能實現(xiàn)分析

圖9所示為成品圖。醫(yī)師手持口腔手術(shù)筆（即圖中A，由OV7670模塊外加LED燈構(gòu)成），B處為手勢識別模塊，該模塊可以通過杜邦線延長與主控板相連。C處為顯示屏，顯示屏也可通過杜邦線延伸。

圖9 成品圖

醫(yī)師可使用口腔手術(shù)筆檢查患者口腔內(nèi)部，采集的畫面會在顯示屏處顯示。此時醫(yī)師可以利用預(yù)存的手勢對畫面進行操作，或控制LED燈的亮度，患者可以使用預(yù)存于芯片中的手勢進行意愿的表達。本次實驗中不同手勢功能設(shè)定見表1所列。

表1 不同手勢功能設(shè)定

不同距離下手勢識別的準確率如圖10所示。手勢距離手勢模塊3 cm時識別效果最好，而距離6 cm時，手勢識別準確率下降嚴重。總體來看，左右方向手勢的識別準確率最高。由于6 cm為識別極限距離，導(dǎo)致“向前”“向后”的手勢活動范圍超過可識別距離，致使手勢識別率在6 cm處識別準確率最低。

圖10 不同距離下手勢識別的準確率

相近手勢正確識別率見表2所列。相較于其他獨立手勢而言，順時針與逆時針手勢更易被識別為其他分解手勢。

表2 相近手勢正確識別率 %

5 結(jié) 語

本文將手勢識別技術(shù)應(yīng)用于解決臨床口腔醫(yī)學(xué)治療中遇到的問題，實現(xiàn)了醫(yī)師端無接觸式控制以及醫(yī)患間通過手勢進行溝通的功能。完成了前沿技術(shù)在口腔醫(yī)學(xué)上的交叉應(yīng)用，也期望能夠為未來更多的交叉研究帶來新的思路。由于本次使用手勢識別模塊受識別模式的限制，只能識別較少的手勢，而人類的手部具有較強的靈活性和不易混淆的特點，可以考慮以自定義手勢的方式結(jié)合無線模塊來解決更多問題。