唐 莉

（景德鎮(zhèn)學院，江西 景德鎮(zhèn) 333000）

手部疾病不僅對個人、家庭造成醫(yī)療負擔，還會增加國家在醫(yī)療方面的支出，影響經(jīng)濟發(fā)展。雖然現(xiàn)在市面上出現(xiàn)一些以分析病患手掌信息的數(shù)據(jù)手套，或是以手部觸覺為技術基礎的手部康復系統(tǒng)，但是卻存在價格昂貴、設備重量過大、靈活性不足等問題，并不適用于大面積推廣。因此，本文將以計算機視覺角度，對于手勢識別康復系統(tǒng)做全面分析。

1 手勢識別康復系統(tǒng)基本結構

當前，治療手部疾病主要有兩種智能化方案可供選擇：一是以數(shù)據(jù)手套為技術基礎的手部遠程虛擬康復系統(tǒng)。這種治療方案需預先創(chuàng)設虛擬場景，由病患通過數(shù)據(jù)手套對場景中的小球進行抓握，緩慢恢復手部正常功能，實現(xiàn)手部康復訓練。但整體設備擁有一定重量，會帶給病患較大的負重感，極容易在康復訓練中出現(xiàn)二次傷害，影響手部正?；謴?。并且現(xiàn)在數(shù)據(jù)手套的一些技術尚未突破，無法實現(xiàn)批量試生產(chǎn)，導致整個康復設備的價格偏高，并不適合大面積推廣應用。二是以人體觸覺為基礎的虛擬康復系統(tǒng)。這種治療方案是在虛擬場景的基礎上增加人體觸覺系統(tǒng)，從而設計用于手部康復的“3D迷宮”，病患通過舉起、放下杯子，或者對小球抓握等手部動作，控制圖像完成迷宮任務，在任務過程中進行手部訓練[1]。雖然這種治療方案可以提升患者對手部訓練的積極性，但是受限于技術，導致系統(tǒng)僅支持數(shù)個特定動作，病患的恢復訓練不具備動作的靈活性。

本文設計的手勢識別康復系統(tǒng)基本結構見圖1。

圖1 手勢識別康復系統(tǒng)基本結構

2 手勢識別康復系統(tǒng)結構功能模塊

本系統(tǒng)應用PyCharm編輯器，可以有效提高編程速度，控制系統(tǒng)開發(fā)時間。以Anaconda管理數(shù)據(jù)包，并以開源視覺庫OpenCV為主，卷積神經(jīng)網(wǎng)絡為輔，負責處理圖像數(shù)據(jù)，sklearn用于模型訓練，PyQt則用于界面設計，實現(xiàn)數(shù)據(jù)可視化[2]。

2.1 圖像采集

通過PC端攝像頭實現(xiàn)采集病患的康復手勢，OpenCV在接收圖片信息后，會將其細分為許多像素點，構成表述圖片的像素圖，并把圖像移動至文件夾，通過命名文件夾的方式標記圖像內(nèi)容。

2.2 圖像預處理

2.2.1 圖像分割

PC端攝像頭負責采集各個等級的灰度圖像，但是在許多應用場景中，僅需要純黑、純白兩種類型的圖像[3]。例如卷積神經(jīng)網(wǎng)絡提取圖像特征信息時，只需輸入線條、文字構成的圖像，以此加快信息提取速度，提高模型訓練精度。本文將應用自適應閾值二值化算法，對圖像做分割處理。對于攝像頭獲得的彩色圖片做灰度化處理，再通過二值化處理灰度圖像，獲得一個閾值。如果閾值小于灰度，則將該區(qū)域設置為255像素；如果閾值大于灰度，則將該區(qū)域設置為0像素。該方法是針對一些擁有較大的光影變化圖像，利用其灰度直方圖獲得契合圖像信息的二值化閾值，通過兩個合適高斯，在兩者相交的灰度值，就是應用的閾值。圖像二值化自適應閾值通過最大類間方差法（OTSU）獲得。閾值把圖像劃分成前景、后景兩個部分，現(xiàn)設定閾值為T，像素對應的灰度級設定為f(x，y)，通過閾值分割得到的圖像g(x，y)則被設為

式中：T為分割閾值；1為前景；0為后景；兩者共同構成圖像二值化。

在選擇最符合應用條件的閾值時，需保證目標和背景擁有最大化差別，可使用OTSU進行推導。

圖像總平均灰度U的表達式為

前景與后景的方差S的表達式為

式中：W0為前景點數(shù)在圖像中的占比；U0為前景平均灰度；W1為后景點數(shù)在圖像中的占比；U1為后景平均灰度。

只有在S最大時，才能讓前景與后景擁有最大差距，獲得的灰度即為最佳閾值。

2.2.2 圖像平滑處理

作為計算機視覺實現(xiàn)相對簡單、應用頻率高的圖像平滑處理，其主要負責降低圖像噪點，控制分辨率。圖像如果沒有經(jīng)過處理，會攜帶例如噪音等高頻信息，直接做卷積運算會造成運算成本額外支出。因此，需要通過濾波器去除噪音，將圖像做模糊處理。本文將應用均值平滑濾波的圖像做平滑處理。作為一種線性濾波算法，均值濾波是向目標像素值提供濾波模板，這個模板擁有目標像素附近m×n個臨近像素，即將目標像素預先取出，以目標像素附近的像素平均值描述目標像素值。m×n構成的矩陣被稱作核，利用核對像素點進行處理，在去噪處理后，即可獲得結果圖像。均值濾波處理公式為

5×5矩陣即為模糊內(nèi)核，本文將采用blur（）方法對圖像做平滑處理。

2.3 圖像分類

因為計算機是以像素值方式識別圖片，并不是以人類視覺分辨事物、類別，因此需要以圖像分類方式對圖片做區(qū)分。本文將通過卷積神經(jīng)網(wǎng)絡圖像分類算法進行圖像分類。使用主成分分析（Principal Components Analysis，PCA）技術，對圖像特征和需要分類處理的圖像特征碼做提取操作，以特征碼獲得輸入項，圖像標簽當成輸出項使用，并將兩項送入神經(jīng)網(wǎng)絡中做訓練操作，讓神經(jīng)網(wǎng)絡對各個類別圖像特征進行學習，并在最后把待分類特征碼輸入，測試神經(jīng)網(wǎng)絡的學習效果，利用神經(jīng)網(wǎng)絡輸出項分析圖像的類別。

2.4 圖像識別

計算機是以顏色輪廓區(qū)分圖像，由三原色構成的顏色可以利用調(diào)色方式獲得各類圖像顏色。在圖像識別中，本文應用RGB（Red，Green，Blue）通道對圖像做識別操作。OpenCV最常見的圖像通道有單通道與三通道。使用灰度描述色彩的黑白圖像，即為單通道。比如黑色像素值為0，白色像素值為255，因此灰度范圍處于0～255范圍內(nèi)。彩色圖像需要使用RGB通道進行描述，即為三通道，比如白色是（255，255，255），黑色是（0，0，0）。為讓本文內(nèi)容更具有應用價值，將應用三通道進行圖像識別。

3 基于計算機視覺的手勢識別康復系統(tǒng)設計

3.1 康復系統(tǒng)運行流程

3.1.1 樣本采集

由病患在系統(tǒng)界面的識別方框中做出手勢，通過攝像頭進行識別，并將拍攝內(nèi)容保存于文件夾中，通過文件夾命名標記手勢。本文在查閱大量手部疾病醫(yī)療檔案后，現(xiàn)定義幾種手勢，分別為等待動作的懸垂、鍛煉兩個手指的二指捏、運動手腕的擊打、四指聯(lián)動的柱狀抓握、單個手指獲得的勾拉、手指與手腕聯(lián)動的側捏，由此構建康復手勢數(shù)據(jù)庫。使用cv2.VideoCapture(0)調(diào)用PC端攝像頭，對于病患的手勢進行采集。為了讓系統(tǒng)更加具有適用性，服務更多病患，選擇10歲及以下、11歲到50歲、50歲以上3個年齡段的人群，拍攝500張手勢圖，圖片規(guī)格設定為306×306。以正午陽光作為光源，在室內(nèi)進行正常拍攝收集。并且采集手勢保持男女比例平衡，擴大系統(tǒng)適用性。

3.1.2 圖片預處理

為讓手勢訓練期間的過擬合與處理圖片計算量得到有效控制，要對圖片做預處理。使用cv2.Imread()加載圖片，并通過Numpy array()歸一化處理圖片，使模型獲得更快的收斂速度，有效提高精度，再通過LabelBinarizer()對圖片做二值化處理，把原本攝像頭采集的彩色圖像轉化為黑白圖像，此時圖像被稱為二值化灰度圖像。利用blur()實現(xiàn)平滑處理二值化灰度圖像，有效控制圖像攜帶噪聲。通過pickle dump(lb，f)把圖像的標簽數(shù)據(jù)更改成dat文件，便于后續(xù)神經(jīng)網(wǎng)絡訓練與模型測試。

3.1.3 神經(jīng)網(wǎng)絡訓練

對于本文設計的手部康復系統(tǒng)，在神經(jīng)網(wǎng)絡結構中涉及5個擁有相同卷積核規(guī)格的卷積層，并使用全零填充模式，應用Relu激活函數(shù)；3個規(guī)格為2×2、步長為2的池化層，要求池化操作最大化；以及2個全連接層。在設置全連接層前，本文設計的系統(tǒng)還使用Dropout模式，將50%的神經(jīng)元參數(shù)進行隨機丟棄，通過將這些參數(shù)在現(xiàn)在的神經(jīng)網(wǎng)絡訓練中排除，實現(xiàn)預防過擬合目標。最后，使用Softmax函數(shù)于輸出層，實現(xiàn)分類輸出訓練結果。

3.1.4 模型測試

確保模型使用的精度，要對模型做安全測試。先通過pickle load()對標簽數(shù)據(jù)進行加載，同時load_model()調(diào)動神經(jīng)網(wǎng)絡運行，并通過inverse_transform()把已經(jīng)標準化處理的數(shù)據(jù)轉變成原始數(shù)據(jù)，通過調(diào)用cv2.VideoCapture(0)，將PC端攝像頭打開，并于界面區(qū)域作出存儲在數(shù)據(jù)庫中的病患手勢，利用cv2.putText()把手勢類型投影在屏幕上，利用識別區(qū)域做出手勢，對屏幕顯示類型進行對比，判斷模型是否擁有良好的準確度。模型測試要進行重復多次，直到模型測試對于手勢判斷擁有較高的準確度，并且模型測試結果逐漸趨于穩(wěn)定時，才能將該模型應用在后續(xù)的手部康復訓練中。

除此之外，本系統(tǒng)還提供康復歷史查詢功能，病患可根據(jù)需求查詢以往手部康復訓練情況。

3.2 病患康復訓練過程

患有手部疾病的病患，在接觸本文設計的康復系統(tǒng)時需要確認是否是首次使用，如果是，則要由病患根據(jù)康復訓練要求，將各類手勢輸入到系統(tǒng)中；如果不是，則跳過該環(huán)節(jié)?？祻拖到y(tǒng)會將病患輸入的各種手勢作為一組，一個療程擁有多組手勢訓練，引導病患做康復訓練。在訓練期間，病患要以設備屏幕顯示的文字信息為準，于界面區(qū)域做出屏幕要求的手勢，做出本療程的全部手勢后，本療程結束。在手部訓練結束后，會將其作為數(shù)據(jù)送入數(shù)據(jù)庫儲存，病患可以通過歷史查詢選項，查看數(shù)據(jù)庫對過去療程中的康復訓練反饋信息，由系統(tǒng)分析病患在過去療程中手部訓練完成度，并對訓練計劃展開科學調(diào)整。在初次接觸康復訓練系統(tǒng)時，病患可以將療程的組數(shù)設置為1～3組，用于適應性訓練。等到病患已經(jīng)適應當前康復訓練強度后，則通過增加單個療程訓練組數(shù)的方式，提升訓練難度。這種循序漸進的康復訓練模式，可以讓病患逐漸提升康復訓練信心，也能利用這種難度引導方式，提升病患手部恢復質(zhì)量。

近些年，我國人工智能領域積極和其他領域進行融合發(fā)展，手勢識別康復就是人工智能與醫(yī)療結合的最新產(chǎn)物。未來若想讓手勢識別康復系統(tǒng)得到更廣泛應用，降低生產(chǎn)成本，提升康復訓練效果，就需要積極和手部醫(yī)療相關醫(yī)院展開深度合作，將更多醫(yī)護知識應用在系統(tǒng)中，以此實現(xiàn)優(yōu)化訓練類型、過程設計。