亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        基于情緒識別的多模態(tài)反饋康復(fù)訓(xùn)練系統(tǒng)設(shè)計

        2022-12-06 15:58:15王清波陳國雄顧偉新
        設(shè)備管理與維修 2022年18期
        關(guān)鍵詞:康復(fù)訓(xùn)練情緒狀態(tài)

        王清波,虞 成,陳國雄,顧偉新,吳 亮,袁 杰

        (杭州市第一人民醫(yī)院,浙江杭州 310006)

        0 引言

        在老年相關(guān)疾病中,腦卒中是一種致殘率很高的疾病。我國患者數(shù)量已經(jīng)突破1500 萬,并以每年新增近250 萬人的速度上升。由腦卒中引起的神經(jīng)損傷功能恢復(fù)很大程度上是由神經(jīng)可塑性驅(qū)動的,神經(jīng)可塑性是中樞神經(jīng)系統(tǒng)對患者經(jīng)歷做出反應(yīng),神經(jīng)結(jié)構(gòu)和功能發(fā)生變化的適應(yīng)能力[1]。為了促進經(jīng)驗依賴的神經(jīng)可塑性和功能恢復(fù),康復(fù)訓(xùn)練者應(yīng)使用密集、重復(fù)和突出的任務(wù)進行特異性練習(xí)。虛擬現(xiàn)實結(jié)合自適應(yīng)神經(jīng)調(diào)控已成為康復(fù)訓(xùn)練應(yīng)用的重要研究方向。在患者康復(fù)訓(xùn)練中,提供適合訓(xùn)練人員運動、感知的訓(xùn)練難度,保持訓(xùn)練人員主動參與,對取得良好的康復(fù)效果至關(guān)重要[2]。

        在康復(fù)訓(xùn)練中保持注意力集中對于腦損傷后的神經(jīng)修復(fù)和大腦重組非常重要[3-5]。提高患者的投入狀態(tài)已成為提高康復(fù)訓(xùn)練效果非常重要的因素[6]??祻?fù)訓(xùn)練中,康復(fù)處方設(shè)置的重要目標之一就是喚起康復(fù)訓(xùn)練者積極參與的情緒。相比于單一的抗阻力等僅基于物理的康復(fù)訓(xùn)練,結(jié)合豐富的聲音、觸覺等多模態(tài)反饋的康復(fù)訓(xùn)練對患者的認知提高更為有效[7]。在這個過程中,音樂作為一種系統(tǒng)的干預(yù)過程直接作用于能夠影響情緒的中樞,雙向調(diào)節(jié)患者的情緒[8]。

        在康復(fù)訓(xùn)練中,參與者的情緒變化是一個相對動態(tài)的過程,基于數(shù)據(jù)庫的靜態(tài)音樂搜尋比較難滿足實時情緒調(diào)節(jié)的作用,基于人工智能的動態(tài)音樂生成提供了一個解決方案。本文設(shè)計一種基于OpenVINO(Open Visual&Neural Network Optimization)工具套件情緒識別和基于Magenta 平臺音樂生成的康復(fù)訓(xùn)練系統(tǒng)。該康復(fù)訓(xùn)練系統(tǒng)可提供根據(jù)情緒識別進行反饋調(diào)整難度的康復(fù)訓(xùn)練場景,通過攝像頭進行康復(fù)人員情緒檢測的情況下,對康復(fù)訓(xùn)練游戲難度進行動態(tài)調(diào)整,并且可以根據(jù)情緒識別狀態(tài)動態(tài)生成音樂,從視覺和聽覺多模態(tài)感官上進行動態(tài)反饋,以便于患者能更長時間地參與康復(fù)訓(xùn)練過程。

        1 OpenVINO 系統(tǒng)設(shè)計架構(gòu)

        建立基于OpenVINO 推理工具及Magenta 平臺的康復(fù)訓(xùn)練系統(tǒng)架構(gòu):利用Python 的OpenVINO 引擎進行情緒識別系統(tǒng)設(shè)計,利用Magenta 平臺構(gòu)建音樂生成,利用Python 的Pygame 程序模塊構(gòu)建游戲場景。

        OpenVINO 為美國英特爾公司推出的一款全面的工具套件,包含推斷庫,模型優(yōu)化等一系列與深度學(xué)習(xí)模型部署相關(guān)的功能[9]。本康復(fù)訓(xùn)練系統(tǒng)使用OpenVINO 工具套件進行情緒狀態(tài)識別,并利用情緒狀態(tài)的識別結(jié)果反饋控制訓(xùn)練難度和音樂狀態(tài)。訓(xùn)練系統(tǒng)使用搭建在Python 的Magenta 平臺進行音樂生成的模型訓(xùn)練和數(shù)據(jù)生成,基于情緒識別狀態(tài)來控制生成平靜或歡樂的音樂。谷歌的Magenta 是一款基于TensorFlow 機器學(xué)習(xí)引擎的人工智能平臺[10]。

        2 系統(tǒng)設(shè)計與實現(xiàn)

        本系統(tǒng)包括游戲系統(tǒng)設(shè)計、情緒識別及音樂生成3 個單元。其中,游戲系統(tǒng)設(shè)計單元包括了可視化的游戲界面設(shè)計、基于手柄的交互控制和游戲難度控制3 個子模塊:①游戲動畫界面設(shè)計模塊展示游戲,用于參與者視覺呈現(xiàn)和反饋;②面向手柄的控制單元實現(xiàn)訓(xùn)練者控制游戲中的虛擬映射;③游戲難度控制模塊一方面接收按鍵信息,用于難度控制,另一方面接收情緒識別單元輸入的情緒狀態(tài),調(diào)整游戲難度。情緒識別單元用于基于視頻信息進行情緒狀態(tài)識別,輸入游戲系統(tǒng)設(shè)計單元以調(diào)整游戲模式控制難度,并輸入音樂生成單元數(shù)據(jù)以動態(tài)生成音樂。音樂生成單元用于根據(jù)情緒狀態(tài)動態(tài)生成平靜或歡樂的音樂。通過游戲難度調(diào)整進行視覺反饋,通過音樂生成進行聽覺反饋,以控制情緒平穩(wěn)(圖1)。

        2.1 游戲系統(tǒng)設(shè)計單元

        2.1.1 訓(xùn)練場景設(shè)計

        使用Pygame 作為訓(xùn)練場景設(shè)計的基礎(chǔ)類[11]。訓(xùn)練場景的類如下,用于加載訓(xùn)練場景中虛擬訓(xùn)練對象。

        # 加載場景中虛擬訓(xùn)練對象

        def load(self,filename,width,height,columns):

        self.master_image_ reha=pygame.image.load(filename).convert_alpha()

        self.rect_ reha=Rect(0,0,width,height)

        self.columns_ reha=columns

        2.1.2 基于手柄的交互控制

        本系統(tǒng)應(yīng)用了萊仕達品牌,型號為PXN-2113 的訓(xùn)練手柄。使用Python 的Joystick 類用于程序中控制手柄。下述程序代表了系統(tǒng)利用手柄的左右移動來控制訓(xùn)練場景中虛擬對象的位置。

        # 控制訓(xùn)練場景中虛擬對象的位置

        axes_Reha=joystick_ Reha.get_numaxes()

        for i in range(axes_Reha):

        axis_Reha=joystick_ Reha.get_axis(i)

        if i==0 &operate_mode_ Reha==0:

        player.Y=player_start_y -40+axis_ Reha * 50 #player 為場景中可操作虛擬人

        elif i==1 &operate_mode_Reha==1:

        player.Y=player_start_y -40+axis_ Reha * 50

        2.1.3 訓(xùn)練難度控制

        訓(xùn)練難度控制包含兩種途徑,一種為按下鍵盤左右按鍵調(diào)整訓(xùn)練難度,另一種為根據(jù)人工智能程序識別的情緒狀態(tài)來動態(tài)調(diào)整訓(xùn)練難度。

        (1)按鍵控制:通過鍵盤按鍵改變訓(xùn)練難度,按鍵為向右,游戲難度加1,最高級別為5;按鍵向左,游戲難度減1,最低級別為0。

        (2)情緒反饋控制:如果情緒識別單元判斷情緒為高興,游戲難度加1,最高級別為5;如果情緒識別單元判斷情緒為傷心,游戲難度減1,最低級別為0;如果情緒識別單元判斷情緒為平靜,游戲難度不變,級別不變。

        2.2 情緒識別設(shè)計

        通過OpenVINO 工具套件實現(xiàn)基于攝像頭圖像獲取的情緒狀態(tài)識別。OpenVINO 工具套件主要包括用于加速推理計算的軟件包推理引擎(Inference Engine)和用于優(yōu)化神經(jīng)網(wǎng)絡(luò)模型的工具模型優(yōu)化器(Model Optimizer)[12]。具體流程如下。

        2.2.1 載入硬件插件

        plugin_Reha=IEPlugin(device="CPU",plugin_reha_dirs=plugin_reha_dir)

        2.2.2 載入模型

        emotion_exec_net_Reha=plugin_Reha.load (network=emotion_net)

        2.2.3 準備輸入數(shù)據(jù)

        # 人臉識別

        exec_net_Reha.start_async (request_id=cur_request_id,inputs={input_blob: in_face_frame})

        # 獲取人臉識別網(wǎng)絡(luò)輸出

        res_Reha=exec_net_Reha.requests[cur_request_id].outputs[out_blob]

        2.2.4 執(zhí)行推理計算

        emotion_exec_net_Reha.infer({'data':face_roi})

        2.2.5 獲取情緒識別狀態(tài)

        # 從識別情緒值中獲取得分最高的

        emotion_mask_Reha=np.argmax(np.reshape(emotion_res_Reha,(5,1)))

        # 情緒識別會輸出5 種結(jié)果,分別對應(yīng)下述的5 種情緒

        Reha_label=["neutral","anger","sad","surprise","happy"]

        emotion_lable_Reha=Reha_label [emotion_mask_Reha]

        2.3 音樂生成

        Magenta 使用谷歌開發(fā)的TensorFlow 機器學(xué)習(xí)引擎,然后通過機器學(xué)習(xí)訓(xùn)練制作原創(chuàng)的音樂、視頻或者繪畫。

        2.3.1 數(shù)據(jù)轉(zhuǎn)換

        首先,將網(wǎng)上下載的MIDI(樂器數(shù)字接口)音樂打標簽,將其分為安靜和歡樂兩類;然后,對音樂數(shù)據(jù)分別進行預(yù)處理。在Magenta 中,原始數(shù)據(jù)(MIDI 數(shù)據(jù))被轉(zhuǎn)換成基于緩存協(xié)議的注釋序列,根據(jù)模型的不同,程序?qū)⒆⑨屝蛄修D(zhuǎn)換成該模型需要的輸入。Magenta 支持MusicXML(.xml、.mxl)、MIDI(.mid、.midi)等格式的原始數(shù)據(jù)文件做訓(xùn)練數(shù)據(jù)。并轉(zhuǎn)換為注釋序列,以TFRecord 格式(Tensorflow 支持的一種數(shù)據(jù)格式)存儲。這里使用的是MIDI 格式轉(zhuǎn)換[13]。

        將MIDI 文件全部存儲為TFReocrd 文件之后,用polyphony模型進行訓(xùn)練,得到音樂數(shù)據(jù)集。

        pipline_instance=polyphony_rnn_pipline.get_pipline(

        Reha_min_steps=80,

        Reha_max_steps=512,

        Reha_eval_ratio=FLAGS.eval.ratio,

        Reha_Config=polyphony_model.default_configs['polyphony']

        )

        pipline.run_pipline_serial(

        pipeline_instance,

        Pipeline.tf_record_iterator (input_dir,pipeline_instance.input_type,output_dir)

        )

        2.3.2 模型訓(xùn)練

        # 配置復(fù)調(diào)音樂模型

        config=polyphony_model.default_configs[FLAGS.config]

        config.hparams.parse(FLAGS.haprams)

        mode='eval' if FLAGS.eval else 'train'

        Build_graph_fn=events_rnn_graph.get_build_graph_fn(

        mode,config,sequence_example_file_paths)

        # 訓(xùn)練模型

        events_rnn_train.run_training(build_graph_fn,train_dir,

        FLAGS.num_training_steps,

        FLAGS.summary_frequency,

        Checkpoints_to_keep=FLAGS.num_checkpoints)

        2.3.3 數(shù)據(jù)生成

        generator=melody_rnn_sequence_generator.MelodyRnnSe-quenceGenerator(

        model=melody_rnn_model.MelodyRnnModel(config),

        details=config.details,

        steps_per_quarter=config.steps_per_quarter,

        checkpoint=get_checkpoint(),

        bundle=bundle)

        generator.create_bundle_file (bundle_filename,FLAGS.bundle_description)

        3 康復(fù)訓(xùn)練系統(tǒng)應(yīng)用

        運行程序后,系統(tǒng)顯示兩個圖形窗口,一個為視頻顯示窗口進行人臉區(qū)域現(xiàn)實和情緒識別狀態(tài)顯示,一個為用戶可以操作的游戲動畫界面。

        訓(xùn)練界面上,訓(xùn)練者操作手柄控制虛擬對象的上下移動躲避火彈。如火彈擊中虛擬對象,虛擬對象向虛擬龍方向移動,直到虛擬對象移動到虛擬龍位置為止,當前訓(xùn)練階段失敗。如躲避成功,火彈未擊中虛擬龍,虛擬龍向虛擬對象反方向移動,直到虛擬龍移出訓(xùn)練界面為止,當前訓(xùn)練階段成功。

        火彈速度級別可通過兩個方式進行設(shè)置,一個是訓(xùn)練難度即火彈的攻擊速度通過鍵盤按鍵進行設(shè)置,第二個是通過識別的情緒狀態(tài)來進行動態(tài)調(diào)整訓(xùn)練難度。如識別到訓(xùn)練者悲傷,訓(xùn)練難度動下降;識別到訓(xùn)練者喜悅,訓(xùn)練難度自動上升;識別到訓(xùn)練者情緒平穩(wěn),訓(xùn)練難度維持不變(圖2)。

        同時,系統(tǒng)動態(tài)生成音樂,如果檢測到人員悲傷,生成平靜的音樂;檢測到人員高興,生成平靜的音樂;檢測到人員平靜,生成歡樂的音樂。

        4 結(jié)論

        健康是指一個人在身體、精神和社會等方面都處于良好的狀態(tài),已成為人們生活的基本目標。研究表明,康復(fù)訓(xùn)練中如果要求患者主動參與,機器人輔助康復(fù)訓(xùn)練會表現(xiàn)出患者Fugl-Meyer 評分顯著提高[14]。但是,訓(xùn)練過程一般情況下比較長,訓(xùn)練人員容易出現(xiàn)惰性,并且訓(xùn)練人員的康復(fù)訓(xùn)練過程具有動態(tài)變化的特點,這已經(jīng)成為影響訓(xùn)練病人康復(fù)效果的重要因素[15]。

        情緒綜合了人的感覺、行為及思想的狀態(tài),情緒具有外部表現(xiàn)、主觀體驗、生理喚醒3 種成分。音樂對多巴胺產(chǎn)生影響,多巴胺參與了情緒情感等生理活動,其相關(guān)腦區(qū)組成獎賞系統(tǒng),共同參與情緒反應(yīng)。適合的音樂促進患者情緒穩(wěn)定,有利于長時間的主動參與[16]。

        本研究設(shè)計一種基于情緒識別的多模態(tài)反饋康復(fù)訓(xùn)練系統(tǒng),以情緒識別為基礎(chǔ),構(gòu)建難度調(diào)整和音樂生成的多模態(tài)反饋康復(fù)訓(xùn)練系統(tǒng),幫助患者實現(xiàn)通過電子化方式進行康復(fù)訓(xùn)練。本研究僅在系統(tǒng)層面進行了設(shè)計,并在健康人身上進行了測試,尚未在真實的腦卒中病人上進行實驗,后期將擴大樣本量和研究范圍,對腦卒中患者在多模態(tài)反饋下的康復(fù)訓(xùn)練效果做進一步研究。

        猜你喜歡
        康復(fù)訓(xùn)練情緒狀態(tài)
        多功能智能康復(fù)訓(xùn)練床的設(shè)計與仿真
        穴位按摩與康復(fù)訓(xùn)練治療周圍性面癱的療效觀察
        狀態(tài)聯(lián)想
        生命的另一種狀態(tài)
        小情緒
        小情緒
        小情緒
        上肢康復(fù)訓(xùn)練機器人的研究
        熱圖
        家庭百事通(2016年3期)2016-03-14 08:07:17
        堅持是成功前的狀態(tài)
        山東青年(2016年3期)2016-02-28 14:25:52
        99无码熟妇丰满人妻啪啪| 日本岛国视频在线观看一区二区| 国产免费成人自拍视频| 亚洲国产av无码精品| 少妇人妻偷人精品视频| 全免费a级毛片免费看| 高清国产精品一区二区| 久久精品网站免费观看| 熟妇人妻无乱码中文字幕| 色狠狠一区二区三区香蕉蜜桃| 人妻中文字幕一区二区三区| 蜜桃视频插满18在线观看| 成人妇女免费播放久久久| 91精品国产91久久久久久青草| 一区二区三区四区午夜视频在线| 国产精品国产三级国产av剧情| 又湿又黄裸乳漫画无遮挡网站| 国产精品系列亚洲第一| 亚洲中文字幕一区二区三区多人| 成视频年人黄网站免费视频| 亚洲不卡中文字幕无码| 白白青青视频在线免费观看| 人妖一区二区三区视频| 国产69精品久久久久久久| 免费视频一区二区| 亚洲无av高清一区不卡| 亚洲av无码偷拍在线观看| 免费人成视频在线观看网站| 亚洲AV无码一区二区三区精神| 99久久精品人妻少妇一| 亚洲中文字幕在线第二页| 日韩成人精品在线| 女同性恋看女女av吗| 精品国产综合区久久久久久| 韩国19禁主播深夜福利视频| 极品美女销魂一区二区三| 所有视频在线观看免费| 精品国模一区二区三区| 国产午夜亚洲精品一级在线| 国产精品熟女少妇不卡| 中文字幕久久久人妻无码|