劉一璇，肖 偉，許 可，陳 蕓，臧予安琪，余善成3，*

（1.南京醫(yī)科大學康復醫(yī)學院，江蘇南京 211166；2.南京醫(yī)科大學藥學院，江蘇南京 211166；3.南京醫(yī)科大學附屬江寧醫(yī)院醫(yī)工融合實驗室，江蘇南京 211100；4.南京醫(yī)科大學生物醫(yī)學工程與信息學院，江蘇南京 211166）

偏側(cè)空間忽略（Hemispatial Neglect，HN）是腦卒中常見的并發(fā)癥，由局灶性腦損傷引起，患者可準確地對同側(cè)刺激做出反應，但無法檢測對側(cè)空間的刺激，常見于右側(cè)后頂葉損傷患者［1］，是一種特殊類型的注意障礙［2］。臨床常用的觀察量表和紙筆評估存在缺乏精確度、生態(tài)效度、敏感性降低和假陰性結(jié)果高等許多問題［3］。

由于機器人技術(shù)與計算機視覺技術(shù)的興起，越來越多的研究工作聚焦于利用新興技術(shù)幫助腦卒中患者進行康復，在預防損傷和監(jiān)控數(shù)據(jù)方面也取得了良好的效果［4-5］。虛擬現(xiàn)實技術(shù)被用來研究卒中后HN患者對目標檢測的能力和行走時的導航能力［6］，如Ogourtsova等［7］使用了沉浸式雜貨鋪3D場景，通過使患者處于坐位和用操縱桿控制方向，消除了與患者步態(tài)能力相關的潛在混雜因素的影響；Spreij 等［8］則是使HN患者進行模擬駕駛，通過道路位置和搖擺幅度進行視覺空間忽視的評估。但這些研究并沒有記錄實驗中的眼球運動，無法提供關于注視轉(zhuǎn)移、空間注視和重新注視等信息［7］。Delazer 等［9］的研究記錄了眼球追蹤運動，直觀評估了HN 患者佩戴眼動儀后的注視不對稱指數(shù)。Kaiser 等［10］回顧了結(jié)合虛擬現(xiàn)實與眼部追蹤的方法對單側(cè)空間忽視的評估和治療的相關研究，發(fā)現(xiàn)暫時沒有結(jié)合二者作為治療方法的研究。

基于上述研究結(jié)果，本文設計了一種基于視動追蹤算法和手-眼-腦協(xié)同傳感康復系統(tǒng)，用于偏側(cè)空間忽略評估和協(xié)同康復。希望通過視動追蹤技術(shù)提出一種具有廣闊前景的康復療效反饋方法，實時監(jiān)督患者的治療過程，對患者的康復治療過程起到糾正和指導作用；在患者訓練之后，對本次訓練形成系統(tǒng)評價。

1 實驗方法

本文結(jié)合視動追蹤技術(shù)與康復治療理念設計了手-眼-腦協(xié)同偏側(cè)空間忽略康復系統(tǒng)，將偏側(cè)忽略這一抽象的概念量化為具體數(shù)據(jù)，并結(jié)合饒有趣味的游戲，吸引患者更好地進行治療；面對病情嚴重程度不同的患者，該系統(tǒng)擁有較強的自適應能力，病人可自行調(diào)節(jié)患手拉力；在評估與治療過程中，該系統(tǒng)可全程采樣記錄，并形成連續(xù)性數(shù)據(jù)，完整反映患者的治療情況。設計詳情描述如下。

1.1 手-眼-腦協(xié)同傳感康復系統(tǒng)設計原理

HN患者可通過識別前庭刺激、本體感覺刺激、視覺刺激等多種刺激，調(diào)節(jié)空間參考系統(tǒng)進而判斷軀體位置［11］。李嘉杰等［12］曾將振動觸覺反饋用于腦卒中患者的上肢康復系統(tǒng)?；诟杏X刺激技術(shù)，設計了一個手-眼-腦協(xié)同傳感康復系統(tǒng)，如圖1 所示，通過輸入不同的手指運動感覺［13］，誘導大腦對空間位置重新定位。

圖1 手-眼-腦協(xié)同傳感康復系統(tǒng)示意圖

手部康復機器人由5 個彎曲傳感器（flex sensor 2.2）、Arduino Uno 開發(fā)板、5 個舵機（SG G90）和一個電源模塊組成，如圖2 所示。健側(cè)手套使用彈力指套并將彎曲傳感器與5 根手指剛性固定。彎曲傳感器阻值與其彎曲程度成正相關，當彎曲幅度變大時，電阻值變大。當彎曲傳感器的電阻增加時，其兩端電壓增大。因此，健側(cè)手指的屈曲程度可改變彎曲傳感器的阻值和分壓，通過系統(tǒng)處理后作為輸出信號驅(qū)動舵機轉(zhuǎn)動，使患側(cè)手獲得運動感覺輸入并進行鏡像活動。彎曲傳感器分壓與舵機轉(zhuǎn)動角度的對應公式如下：

圖2 手部康復機器人模塊示意圖

式中：θ為舵機轉(zhuǎn)動角度；Ω為彎曲傳感器的阻值；Ωmin和Ωmax分別為彎曲傳感器阻值的最小和最大值；x為舵機可達到的最大角度；y 為舵機補償角度。通過彎曲時傳感器的分壓變化，采集手部屈曲活動程度，并經(jīng)過Arduino Uno內(nèi)置程序轉(zhuǎn)化為舵機搖桿偏移的幅度，進而驅(qū)動患側(cè)手進行屈曲運動。使用魔術(shù)貼對患側(cè)手指遠端關節(jié)進行個性化尺寸定制，使舵機與手指緊密貼合。為獲得最大力矩，拇指舵機通過泡沫板固定于腕側(cè)，其余4 指的舵機固定于掌心。通過舵機運動實現(xiàn)觸覺輸入，提醒患者對于右側(cè)空間位置的感知，使患者可以主動進行兩手鏡像協(xié)同運動，預防肌肉攣縮，刺激大腦鏡像神經(jīng)元，從而激發(fā)患者的運動想象與模仿能力。

采用瞳孔-角膜反射（Pupil Center Corneal Reflection，PCCR）技術(shù)（如圖3 所示）［14］實現(xiàn)患者眼睛對動態(tài)目標的實時跟蹤。首先，眼動儀發(fā)射近紅外光照射眼睛，并視同眼動儀的攝像機采集從角膜和視網(wǎng)膜上反射的紅外光線。由于眼球的生理結(jié)構(gòu)特性，角膜反射形成的光斑可被攝像機精準捕獲，根據(jù)瞳孔與角膜反射光線之間的夾角可計算出眼動的方向。通過二維視線映射函數(shù)模型［15］估計視線的方向，角膜反射形成的眼睛圖像光斑的二維特征可作為映射函數(shù)的輸入，映射函數(shù)的輸出即為眼動視線方向。二維視線映射函數(shù)模型表示如下：

圖3 基于PCCR技術(shù)實現(xiàn)視動追蹤

式中：（Px，Py）和（Vx，Vy）分別為視線落點和瞳孔反射光斑向量。通過建立視線映射模型，讓患者依次注視6 個圓點，直至原點爆破，對瞳孔中心與反射光斑中心的相對偏移向量的水平分量和垂直分量（Vx，Vy）進行矯正。同時，由于不同受試者角膜球面半徑具有個體差異，且人眼視軸和光軸夾角不同，因此即使不同的受試者在同一位置注視同一目標，提取的瞳孔-角膜反射向量（Vx，Vy）仍有所不同，進行Alpha參數(shù)和矢量校正后，視線落點（Px，Py）受到個體差異干擾性減?。?6］。對于受試者頭部運動引起的誤差，通過粒子群優(yōu)化的BP（Back Propagation）神經(jīng)網(wǎng)絡進行校正［17］。

1.2 游戲設計原理

楊宇軒等［18］的研究認為眼動追蹤的動態(tài)任務評估結(jié)果與BIT-C和CBS評估結(jié)果具有較高的一致性，且更具時效性。Cox 等［19］的研究認為眼球追蹤可以補充紙筆測試，同時也受執(zhí)行任務的相關因素調(diào)節(jié)。為實現(xiàn)手部康復機器人與眼動追蹤的聯(lián)合康復效果，基于Unity軟件，設計了一款飛行小鳥游戲，如圖4 所示。該游戲?qū)⑿▲B的飛行坐標限制在水平方向，僅允許小鳥進行左右平移飛行，該設計方案用于視動刺激的訓練。

圖4 小鳥飛行游戲

在手部康復機器人的控制程序中，為了實現(xiàn)彎曲傳感器對小鳥位置的控制，受試者手指活動度影響彎曲傳感器的彎曲程度，從而影響輸出的分壓數(shù)值。設定小鳥坐標在最左端及最右端時，分別對應受試者彎曲傳感器輸出分壓的最大值與最小值，即可完成受試者手腦協(xié)同的游戲操作。當彎曲傳感器的彎曲角度為0°時，阻值最小，輸出分壓最小，此時小鳥位于游戲畫面的最右端。隨著彎曲傳感器的角度增大，小鳥將向游戲畫面的左端移動。本文根據(jù)彎曲傳感器的電阻范圍映射至小鳥在游戲畫面中的運動范圍，電阻值變化區(qū)間為［Umax，Umin］Ω，以畫面左上角為原點，小鳥的中心點的水平運動范圍為［450.829 8，1 460.785 5］pt（游戲界面的像素位點point）。在治療過程中，同時開啟眼動儀，對患者的注意力進行實時追蹤，完成治療與反饋的一體化。此外，多感官任務并不會影響患者的學習能力。由注意力調(diào)控的視覺-運動信號遵循規(guī)范化和可分離性，即在活動較少時，視覺和運動均保持獨立性；而在高度持續(xù)注意狀態(tài)下，視覺和運動信息將加強這種分離處理［20-21］。Deveau 等［22］的研究表明多感官模式可以獲得更多的互補信息，能夠更好地促進學習，與單一的視覺訓練相比，多感官訓練達到漸進值所需的訓練次數(shù)減少了60%，提高了訓練效能。

1.3 受試者

選取健康受試者12 名，其在6 個月內(nèi)沒有疾病史，年齡在18 ～70 歲之間。

選取患者3 名?；颊呒{入標準：①符合腦卒中的診斷標準，經(jīng)CT或MRI證實，處于右側(cè)腦卒中的亞急性期（發(fā)病后1 ～6 個月）；②年齡18 ～70 歲；③簡易智力狀態(tài)檢查量表（Mini-Mental State Examination，MMSE）得分≥10，或能夠配合治療師完成試驗；④線段二等分試驗、劃消實驗、星星刪除試驗陽性；⑤視力正?；虺C正后正常；⑥病情穩(wěn)定，能在坐位下完成試驗；⑦右側(cè)肢體為活動度更好。患者排除標準：①有精神史且難以遵循治療師的指導；②出現(xiàn)嚴重的意識障礙；③有嚴重的肢體、內(nèi)臟功能其他疾??；④患者或家屬未簽署知情同意書。

1.4 數(shù)據(jù)采集與分析

采用DESKTOP-3GT993Dbi 筆記本、Tobii Eye Tracker 4C和手部康復人搭建手-眼-腦協(xié)同傳感康復系統(tǒng)，如圖5 所示。使用的軟件有Arduino IDE、Unity、Visual Studio 2017 和EV 錄屏。在經(jīng)過Visual Studio 2017 對Tobii Eye Tracker 4C 的配置后，通過Tobii Eye Tracker 4C和Adobe Illustrator 2021 進行受試者注視軌跡及注視點坐標數(shù)據(jù)采集。采用SPSS 25.0 對所得數(shù)據(jù)進行統(tǒng)計學分析，連續(xù)變量符合正態(tài)分布均采用均數(shù)±標準差（x ± s）表示，偏態(tài)分布采用中位數(shù)（四分位數(shù)）表示。通過獨立樣本t檢驗比較健康受試者和患者在對小鳥坐標的操控上是否有差異，以及健康受試者和患者在單純眼動模式下注視點的分布。使用成組兩樣本t檢驗分析健康受試者和患者在單純眼動模式下注視點與小鳥坐標的歐氏距離差異。在手-眼-腦協(xié)同模式下，采用被試內(nèi)方差分析與簡單效應檢驗比較了患者在3 次訓練中的歐氏距離。在使用視動追蹤的手-眼-腦協(xié)同傳感康復系統(tǒng)治療偏側(cè)忽略患者的實驗中，采用單因素方差分析（Analysis of Variance，ANOVA）檢驗分析治療天數(shù)對于歐式距離的影響。

圖5 手-眼-腦協(xié)同傳感康復系統(tǒng)實物圖

2 實驗結(jié)果

2.1 健手傳感器彎曲角彎曲傳感器分壓

在相同電壓（11.1 V）下，設定同一受試者掌指關節(jié)的關節(jié)活動范圍為0° ～90°，記錄彎曲傳感器輸出的分壓范圍，總電壓在程序中表示為1 023，彎曲傳感器分壓數(shù)值范圍為0 ～1 023。在確定彎曲傳感器0°～90°的輸出分壓范圍后，將每位受試者范圍值分別映射至游戲中小鳥的坐標。在游戲參數(shù)設置完成后，打開單純眼動模式，囑咐受試者再次從0° ～90°活動掌指關節(jié)，每活動15°記錄一次小鳥水平坐標及舵機旋轉(zhuǎn)角度?；颊呋顒佣仁芟迺r，用“／”表示。由于健康人數(shù)據(jù)無顯著差異（p ＞0.05），僅用1 例代表，1 名健康受試者和3 名患者健側(cè)的掌指關節(jié)活動度與彎曲傳感器分壓及游戲目標水平坐標關系如表1 所示，相應的統(tǒng)計學結(jié)果如表2 所示。結(jié)果表明，健康志愿者和患者在使用彎曲傳感器對游戲中小鳥進行控制時，坐標的范圍沒有顯著性差異（t ＝1.448，p ＞0.05）。3 名患者雖然從0°逐漸增加手指彎曲角度時，出現(xiàn)關節(jié)活動度受限，彎曲傳感器分壓的變化范圍也較普通人減小，但與健康受試者都可控制游戲小鳥接近最左側(cè)水平坐標。

表1 掌指關節(jié)活動度、彎曲傳感器分壓及游戲目標水平坐標關系

表2 健康志愿者和患者控制小鳥坐標差異獨立性樣本t檢驗

2.2 視動追蹤技術(shù)對HN的評估

受試者端坐位，先進行眼動儀校準，在單純眼動模式下，由實驗人員操控小鳥的移動，進行1 min的視覺追蹤，并通過EV錄屏軟件進行屏幕錄制，每2 s 抽取一幀。在實驗開始前，每位受試者有30 s的時間熟悉操作流程。

屏幕分辨率為1 920 像素×1 080 像素。采樣12名健康志愿者和3 名HN 患者的視動點坐標，以縱坐標到畫面中心線（y ＝540 pt）的垂直距離Δy（如圖6所示）表示健康志愿者與患者注視點的分布離散程度，結(jié)果如圖7 所示。健康受試者注視點縱坐標到小鳥運動區(qū)間（y ＝540 pt）的距離為（41.15 ±15.70）pt，患者注視點縱坐標到小鳥運動區(qū)間的距離為（141.91±36.25）pt，健康受試者的注視點與患者注視點在縱向分布上的離散程度有顯著性差異（t ＝-7.70，p ＜0.001）。結(jié)果表明，健康受試者的注視力能夠很好地跟隨游戲中小鳥的運動軌跡，而患者的注視點坐標分布更為分散，說明患者在視覺跟隨的過程中無法將注意力集中于小鳥。

圖6 單純眼動模式下垂直距離及歐氏距離示意圖

圖7 注視點到y(tǒng) ＝540 pt的垂直距離（***表示p ＜0.001）

2.3 視動追蹤技術(shù)對HN的治療

受試者端坐位，健側(cè)手（右手）佩戴彎曲傳感器，患側(cè)手（左手）佩戴舵機，再次校準視動儀。做好以上準備工作后，在單純眼動模式下，囑咐受試者通過彎曲手指自行控制游戲小鳥的水平移動，并時刻保持視覺跟隨，訓練3 組，每組2 min。通過EV 錄屏軟件和Tobii眼動儀記錄視動點，計算視動點與小鳥坐標之間的歐氏距離d1，如圖6 所示。受試者視動點為（x1，y1），小鳥坐標為（x2，y2）。歐氏距離計算公式如下：

單純眼動模式下，受試者歐氏距離記為d1，結(jié)果如圖8 所示。結(jié)果表明，單純眼動模式下，健康人群與患者的歐氏距離總體均數(shù)在3 次實驗中均有顯著性差異（p ＜0.001），表明在該實驗過程中，健康人群對目標的追視能力更好，而患者不能及時跟隨。

圖8 單純眼動模式下受試者的歐氏距離（***表示p ＜0.001）

2.4 視動追蹤技術(shù)對手眼腦協(xié)同訓練的反饋

受試者進行準備工作之后，在手-眼-腦協(xié)同模式下治療。該模式增添了障礙物，受試者需要判斷綠色桿狀障礙物位置，并操控小鳥躲避。囑咐受試者在手-眼-腦協(xié)同模式下進行3 次游戲。開始前可在單純眼動模式下熟悉彎曲傳感器操作10 s，每次訓練2 min，如若中途因小鳥撞到障礙物導致游戲暫停，即刻重新開始游戲，直至訓練滿2 min。同時記錄每次手-眼-腦協(xié)同模式下小鳥和注視點之間的歐氏距離d2（如圖9 所示），結(jié)果如圖10 所示。手-眼-腦協(xié)同模式下，3 次實驗中，健康人群歐氏距離總體均數(shù)仍顯著小于患者（p ＜0.001），對于健康志愿者和患者的歐氏距離進行訓練次數(shù)的重復測量方差分析，結(jié)果發(fā)現(xiàn)，訓練次數(shù)效應顯著（p ＜0.05），健康受試者和患者的歐式距離都隨實驗次數(shù)的增加而顯著上升（p ＜0.05）。

圖9 手-眼-腦協(xié)同模式下歐氏距離示意圖

圖10 手-眼-腦協(xié)同模式下，受試者的歐氏距離（*表示p ＜0.05，***表示p ＜0.001）

2.5 基于視動追蹤的手-眼-腦協(xié)同傳感康復系統(tǒng)對于偏側(cè)忽略患者的治療作用

受試者做好準備工作后，端坐位進行康復訓練，如圖11 所示。首先對3 名患者進行7 天的單純眼動模式下的訓練，每天2 min，并記錄訓練過程中的歐式距離d3，統(tǒng)計學結(jié)果如圖12 所示。其中一名患者在單純眼動模式下，第5、6、7 天的歐式距離顯著性減?。╬＜0.05），而其他2 名患者7 天的歐式距離沒有顯著性差異（p ＞0.05）。囑咐在單純眼動模式下治療情況改善的患者繼續(xù)7 天的手-眼-腦協(xié)調(diào)模式治療，每天2 min，7 天的歐式距離d4如圖13 所示。該患者在手眼腦模式下7 天的歐式距離沒有顯著性減?。╬ ＞0.05）。

圖11 實驗流程示意

圖12 單純眼動模式下治療結(jié)果

圖13 手-眼-腦協(xié)同模式下治療結(jié)果

3 討論

大于80%腦卒中患者中在發(fā)病6 個月后出現(xiàn)手部運動功能［23］下降，導致其手部活動度減小，手指僵硬［24］。在治療過程中，患側(cè)手舵機保持變化角度實時牽拉狀態(tài)，當健手活動度越大時，舵機搖桿旋轉(zhuǎn)幅度越大，輸入運動覺刺激越強，達成從健手到患手的閉環(huán)。健手傳感器彎曲角度與彎曲傳感器的分壓的結(jié)果說明即使患者右側(cè)手活動度相較健康志愿者受限，彎曲傳感器的分壓值變化較小，仍可以等比映射到小鳥的坐標范圍，同時，該系統(tǒng)具有較好的自適應能力，對于不同病情嚴重程度的患者通過內(nèi)置程序可進行設備調(diào)節(jié)，使手功能較差的腦卒中患者在早期及時得到偏側(cè)忽略的干預治療。

偏側(cè)忽略研究中常用的評定方法為觀察量表評估，包括行為忽略試驗（Behavioural Inattention Test，BIT）［25］和凱瑟林-波哥量表（Catherine Bergego Scale，CBS）［26］。BIT包括6 項最常用的紙筆試驗和9項行為作業(yè)；CBS主要觀察與日常生活活動密切相關的10 個項目，如洗臉、穿鞋、吃飯等。觀察量表評估中，CBS具有一定的主觀性。同時，BIT和CBS都無法判斷是感覺忽略還是運動忽略，因此單純用觀察量表不能完整地評估偏側(cè)忽略。而傳統(tǒng)的紙筆測試也不足以檢測慢性階段的偏側(cè)忽略癥狀［27］，且以上方法僅限于靜態(tài)的空間測試。通過視動追蹤技術(shù)使健康受試者和患者在動態(tài)任務中的注意力轉(zhuǎn)換成注視點的坐標值，這樣的整體評估過程更為直觀。在單純眼動模式中，患者注視點的分布較為離散，而患者在左、右兩側(cè)的注視點坐標的縱向分布沒有顯著性差異（p ＞0.05），這說明游戲設計的視動追蹤訓練可以誘導患者的注意力有效向左側(cè)空間轉(zhuǎn)移。楊宇軒等［18］的研究說明注視的空間分布不能準確診斷癥狀較輕的患者，本研究也認為注視點只能表示患者的注視行為和忽略趨勢，起到輔助靜態(tài)評估作用。

在單純眼動模式下，通過本系統(tǒng)比較了健康受試者和患者在自行控制小鳥時，注視點與小鳥之間的歐氏距離。歐式距離越小，表明受試者的眼動跟隨能力越好。當患者的歐式距離與健康受試者無顯著性差異時，說明患者偏側(cè)空間忽略障礙得到了有效的康復訓練?；颊哌M行第三組試驗時，如歐式距離已有下降，但無顯著性統(tǒng)計學差異（p ＞0.05），需要增加治療的天數(shù)再進行研究。

手-眼-腦協(xié)同模式下，由受試者本人進行游戲小鳥的控制，并使小鳥安全地飛越障礙物。健康受試者由于習得性，逐漸在重復實驗中找到游戲的訣竅，視野廣度更大，關注目標也由小鳥逐漸轉(zhuǎn)移至周圍障礙物，產(chǎn)生對游戲操作的預判，因此歐氏距離顯著上升；而患者由于無法熟練進行游戲控制，導致小鳥經(jīng)常撞到障礙物，隨著實驗的次數(shù)增多，患者的疲勞感加重，注意力更加分散，歐氏距離顯著增大。

連續(xù)7 天使用了單純眼動模式后，患者的歐式距離顯著減小，說明其視覺跟隨能力增強，在游戲任務中的注意力隨著訓練天數(shù)的增加而更加集中。在手-眼-腦協(xié)調(diào)模式下的歐式距離雖有上下波動，但是沒有顯著差異，表明手-眼-腦協(xié)調(diào)模式對于偏側(cè)忽略患者有一定難度，除了要求患者注意力較為集中，還需患者具有敏捷的反應能力。在剛開始訓練時應該以單純眼動模式為主，當患者能夠在無障礙時熟練操控游戲，并能準確定位小鳥坐標時，再進行手-眼-腦模式下的訓練，避免患者對治療喪失興趣，產(chǎn)生厭煩感。

4 結(jié)束語

視覺追蹤技術(shù)通過對患者的注視點坐標分析，獲得軌跡圖片，輔助傳統(tǒng)評估方法進行動態(tài)評估HN 患者的空間忽略。同時，游戲提供的視覺信息調(diào)控了注意力，驅(qū)動受試者選擇注視對象，視動追蹤任務可以使右腦卒中后偏側(cè)忽略患者產(chǎn)生向左的空間認知。在單純眼動模式和手-眼-腦協(xié)同模式下，健康志愿者的歐氏距離都顯著小于患者，歐式距離可以作為患者在治療過程中評價的指標。在手-眼-腦協(xié)同模式下，隨著實驗次數(shù)的增加，患者可能由于疲勞感而導致治療效果下降，所以應用時需注意治療的時間。同時，患者的治療過程應先易后難，循序漸進，當患者熟悉單純眼動模式后再進行手-眼-腦協(xié)同操作。該研究為腦卒中后偏側(cè)忽略患者提供了一種頗具趣味性的基于視動追蹤的手-眼-腦協(xié)同傳感康復系統(tǒng)手段，自適應能力強，對偏側(cè)忽略的評估實現(xiàn)數(shù)據(jù)可視化，且在治療過程中可做到對患者注意力的實時監(jiān)督，較好地提高了患者的依從性。