季培琛，李 晨

(1.徐州市中醫(yī)院，江蘇 徐州 221000；2.徐州醫(yī)科大學(xué)，江蘇 徐州 221000)

0 引言

帕金森病(PD，parkinson’s disease)是一種常見(jiàn)的神經(jīng)系統(tǒng)退行性疾病，目前該病發(fā)病機(jī)制尚未明確，主要受到遺傳、環(huán)境、年齡老化以及氧化應(yīng)激等諸多因素影響[1-2]。據(jù)統(tǒng)計(jì)，年齡在45歲以上和65歲以上人群中，PD的發(fā)病率分別為0.4%和1.7%[3]，預(yù)計(jì)到2030年，我國(guó)PD患者將達(dá)500萬(wàn)，在全球排名第一，約占世界50%。通過(guò)眾多病歷的長(zhǎng)期跟蹤和數(shù)據(jù)統(tǒng)計(jì)結(jié)果顯示，隨著PD患者病情發(fā)展以及年齡的增長(zhǎng)，患者各項(xiàng)身體機(jī)能將逐漸退化、行動(dòng)也受到嚴(yán)重限制，導(dǎo)致其6年死亡率高達(dá)66%，要明顯高于慢性心力衰竭(50.9%)、慢性阻塞性肺病(44.7%)、殘血性心臟病(32.5%)、中風(fēng)或短暫性腦缺血發(fā)作(52.5%)等疾病。而PD缺少明確的病理機(jī)制，早期癥狀隱匿，并存在非運(yùn)動(dòng)癥狀和相似神經(jīng)系統(tǒng)疾病癥狀的干擾，導(dǎo)致PD早期診斷極為困難。

在大量的臨床試驗(yàn)中[4-6]，語(yǔ)音功能障礙和步態(tài)特征是PD患者臨床表現(xiàn)中非常典型的癥狀。PD患者在語(yǔ)音特征上多表現(xiàn)為語(yǔ)速慢、停頓增多、音質(zhì)顫抖及刺耳等癥狀，在步態(tài)特征上多表現(xiàn)為快速小碎步、拖把步、平衡性差等癥狀。眾多學(xué)者利用PD患者與正常人的語(yǔ)音和步態(tài)特征差異，使用智能算法，開(kāi)展了大量基于語(yǔ)音和步態(tài)數(shù)據(jù)的PD輔助診斷研究。例如，Little等[7]利用模式識(shí)別方法，對(duì)基于語(yǔ)音障礙的PD診斷進(jìn)行分析，并建立了首個(gè)PD語(yǔ)音障礙數(shù)據(jù)集；Wroge[8]等使用深度神經(jīng)網(wǎng)絡(luò)監(jiān)督分類算法，結(jié)合語(yǔ)音數(shù)據(jù)，完成PD的智能診斷，峰值準(zhǔn)確率為85%；朱家英[9]等提出了基于多尺度特征和動(dòng)態(tài)注意力機(jī)制的多模態(tài)循環(huán)融合模型，實(shí)現(xiàn)了對(duì)PD患者的識(shí)別與檢測(cè)。

而在實(shí)際研究中發(fā)現(xiàn)，用于PD輔助檢測(cè)的語(yǔ)音數(shù)據(jù)中，包含共振峰頻率、音調(diào)、重音等可唯一識(shí)別個(gè)體的聲紋特征[10-11]。同時(shí)，步態(tài)數(shù)據(jù)中也包含了步頻、步長(zhǎng)、步態(tài)周期、膝蓋彎曲角度等可以唯一識(shí)別特定個(gè)體的運(yùn)動(dòng)學(xué)特征和姿勢(shì)特征[12-13]。而在已有的相關(guān)研究中，眾多學(xué)者往往忽略了對(duì)PD患者隱私安全的保護(hù)，極易在數(shù)據(jù)傳輸過(guò)程中發(fā)生隱私泄露，且很難實(shí)現(xiàn)PD的多模態(tài)輔助診斷準(zhǔn)確性與隱私安全的動(dòng)態(tài)平衡。為此，本文設(shè)計(jì)了一種魯棒性高、成本低且操作便捷的基于多頭注意力機(jī)制[14-15]的帕金森病多模態(tài)安全遠(yuǎn)程診療模型，通過(guò)語(yǔ)音和步態(tài)兩模態(tài)數(shù)據(jù)特征的提取和識(shí)別，使PD診斷結(jié)果更加精準(zhǔn)，也更具臨床參考價(jià)值。同時(shí)引入基于余弦混沌的差分隱私噪聲擾動(dòng)方法，實(shí)現(xiàn)了對(duì)PD數(shù)據(jù)傳輸過(guò)程的安全保護(hù)，為PD早期遠(yuǎn)程輔助診斷和PD診斷臨床決策支持提供了支撐。本文主要?jiǎng)?chuàng)新和貢獻(xiàn)如下：

1)針對(duì)傳統(tǒng)PD檢測(cè)模型訓(xùn)練和測(cè)試數(shù)據(jù)存在的特征固定、模態(tài)單一問(wèn)題，提出了基于多頭注意力機(jī)制的兩模態(tài)特征融合與識(shí)別模型，避免了單一模態(tài)數(shù)據(jù)噪聲干擾、數(shù)據(jù)規(guī)模小導(dǎo)致的檢測(cè)識(shí)別準(zhǔn)確度低等問(wèn)題，實(shí)現(xiàn)了基于兩模態(tài)數(shù)據(jù)特征的PD智能檢測(cè)。

2)針對(duì)現(xiàn)有PD智能檢測(cè)識(shí)別研究多忽略數(shù)據(jù)主體隱私安全的問(wèn)題，設(shè)計(jì)了一種基于余弦混沌的差分隱私噪聲擾動(dòng)方式，通過(guò)擾動(dòng)隨機(jī)拆分的數(shù)據(jù)編號(hào)，保證數(shù)據(jù)傳輸至系統(tǒng)智能檢測(cè)識(shí)別模塊的傳輸過(guò)程安全性，實(shí)現(xiàn)了PD檢測(cè)準(zhǔn)確率和隱私安全的動(dòng)態(tài)平衡。

3)設(shè)計(jì)了基于多頭注意力機(jī)制的多模態(tài)特征融合方法，在特征融合階段，通過(guò)挖掘PD語(yǔ)音特征與步態(tài)數(shù)據(jù)特征的內(nèi)在相關(guān)性，提高了模型的疾病表征能力，并具有較好的多模態(tài)特征融合擴(kuò)展性，可滿足更高模態(tài)特征融合與識(shí)別需求。

1 系統(tǒng)設(shè)計(jì)

基于多頭注意力機(jī)制的多模態(tài)帕金森病安全檢測(cè)系統(tǒng)整體框架如圖1所示。

圖2 基于多頭注意力機(jī)制的多模態(tài)PD安全檢測(cè)系統(tǒng)技術(shù)框架

1.1 系統(tǒng)結(jié)構(gòu)及原理

系統(tǒng)主要由3部分組成，第一層為數(shù)據(jù)采集層，主要借助語(yǔ)音錄入設(shè)備(如智能手機(jī)、樹(shù)莓派、錄音設(shè)備等)和步態(tài)數(shù)據(jù)采集設(shè)備(如攝像機(jī)、運(yùn)動(dòng)相機(jī)、智能平板等)來(lái)完成受試者語(yǔ)音數(shù)據(jù)和步態(tài)數(shù)據(jù)的采集，其中語(yǔ)音數(shù)據(jù)應(yīng)確保為一段連續(xù)不間斷的語(yǔ)音數(shù)據(jù)，便于更好記錄受試者音色、音調(diào)等聲紋特征的微小變化；步態(tài)數(shù)據(jù)應(yīng)為連續(xù)不間斷的視頻數(shù)據(jù)，記錄受試者完整的行走周期信息，以便于分析受試者步長(zhǎng)、步頻、步態(tài)等步態(tài)特征。第二層為數(shù)據(jù)處理和傳輸層，該層主要將采集后的數(shù)據(jù)進(jìn)行清洗和處理，并使用基于余弦混沌的數(shù)據(jù)隨機(jī)拆分編號(hào)加噪方式，打亂數(shù)據(jù)順序，保證兩模態(tài)數(shù)據(jù)上傳過(guò)程安全。第三層為PD智能診斷層，接收到上傳的數(shù)據(jù)后，進(jìn)行數(shù)據(jù)編號(hào)逆向降噪，得到完整的兩模態(tài)語(yǔ)音和步態(tài)數(shù)據(jù)特征，并將降噪和特征提取后的語(yǔ)音聲紋特征和步態(tài)特征作為輸入數(shù)據(jù)，使用融合多頭注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)完成帕金森病的安全檢測(cè)。

1.2 系統(tǒng)設(shè)計(jì)目標(biāo)分析

為確?；诙囝^注意力機(jī)制的帕金森病多模態(tài)安全遠(yuǎn)程檢測(cè)系統(tǒng)能夠高效、精準(zhǔn)且安全的實(shí)現(xiàn)PD遠(yuǎn)程輔助檢測(cè)，為醫(yī)生診斷PD提供臨床決策支持，該系統(tǒng)設(shè)計(jì)應(yīng)實(shí)現(xiàn)以下幾個(gè)目標(biāo)。

1)魯棒性：指的是系統(tǒng)應(yīng)能有效處理各種異常數(shù)據(jù)，如設(shè)備故障、信號(hào)干擾等，避免因個(gè)別異常數(shù)據(jù)導(dǎo)致系統(tǒng)崩潰或數(shù)據(jù)丟失；同時(shí)應(yīng)保證網(wǎng)絡(luò)、容錯(cuò)及恢復(fù)的魯棒性，確保系統(tǒng)在網(wǎng)絡(luò)故障、通信延遲等情況下，仍能保持多模態(tài)診療數(shù)據(jù)傳輸?shù)姆€(wěn)定性和可靠性。在本研究中，要求系統(tǒng)提供更全面和準(zhǔn)確地診斷信息，能夠通過(guò)多模態(tài)數(shù)據(jù)融合降低單一數(shù)據(jù)源的誤差，同時(shí)具有故障檢測(cè)和恢復(fù)機(jī)制，當(dāng)檢測(cè)到異?；蝈e(cuò)誤時(shí)，系統(tǒng)能夠自動(dòng)調(diào)整或切換到備用方案，確保服務(wù)的連續(xù)性和穩(wěn)定性，從而提高系統(tǒng)魯棒性。

2)安全性：指的是系統(tǒng)應(yīng)采用嚴(yán)格的數(shù)據(jù)加密和訪問(wèn)控制機(jī)制，保證患者數(shù)據(jù)傳輸和存儲(chǔ)過(guò)程的機(jī)密性和完整性；同時(shí)融合多因素身份驗(yàn)證和細(xì)粒度授權(quán)機(jī)制，保證只有經(jīng)過(guò)授權(quán)的人員能夠訪問(wèn)敏感數(shù)據(jù)或執(zhí)行相關(guān)操作。在本系統(tǒng)中用于遠(yuǎn)程診斷PD的語(yǔ)音、步態(tài)等多模態(tài)數(shù)據(jù)中包含患者大量的隱私信息，在數(shù)據(jù)采集完成后，經(jīng)過(guò)安全處理后上傳智能輔助診斷模塊；同時(shí)系統(tǒng)的應(yīng)用需要建立明確的數(shù)據(jù)安全、網(wǎng)絡(luò)保護(hù)與訪問(wèn)控制方案，保證PD多模態(tài)遠(yuǎn)程診療系統(tǒng)的硬件設(shè)備的物理安全，確保系統(tǒng)使用全流程可追溯和審計(jì)，避免出現(xiàn)隱私泄露，確保系統(tǒng)以及患者隱私安全性。

3)準(zhǔn)確性：指的是系統(tǒng)在識(shí)別和判斷疾病時(shí)的準(zhǔn)確程度，是評(píng)估系統(tǒng)性能的重要評(píng)估指標(biāo)之一。在該系統(tǒng)中，利用多頭注意力機(jī)制，能夠自動(dòng)提取識(shí)別測(cè)試人員上傳的與帕金森病相關(guān)的多模態(tài)特征，減少人為因素和主觀判斷對(duì)診斷結(jié)果的影響。同時(shí)借助深度學(xué)習(xí)技術(shù)，在借助大量訓(xùn)練數(shù)據(jù)進(jìn)行模型訓(xùn)練的基礎(chǔ)上，迭代和優(yōu)化PD遠(yuǎn)程輔助檢測(cè)算法模型，并通過(guò)臨床驗(yàn)證完成系統(tǒng)的多輪更新和優(yōu)化。

4)可擴(kuò)展性：指的是系統(tǒng)在面對(duì)新型疾病和數(shù)據(jù)時(shí)，能夠適應(yīng)并快速進(jìn)行自適應(yīng)的擴(kuò)展和改進(jìn)，以適應(yīng)新的需求。在本研究中，系統(tǒng)設(shè)計(jì)采用模塊化方法，確保數(shù)據(jù)收集、處理、分析以及可視化板塊的相互獨(dú)立，保證各模塊能夠獨(dú)立運(yùn)行；同時(shí)系統(tǒng)應(yīng)具備計(jì)算資源的動(dòng)態(tài)分配和彈性配置能力，并滿足持續(xù)開(kāi)發(fā)、功能更新與迭代的擴(kuò)展能力，滿足多模態(tài)與跨模態(tài)檢測(cè)PD的需求。

5)易用性：指的是產(chǎn)品、系統(tǒng)或服務(wù)對(duì)用戶而言的易于理解、學(xué)習(xí)和操作程度。它包括界面設(shè)計(jì)的友好程度、操作的直觀性以及用戶完成任務(wù)的效率和滿意度。在本文章，系統(tǒng)的設(shè)計(jì)應(yīng)簡(jiǎn)單易用，方便測(cè)試人員、技術(shù)人員和醫(yī)務(wù)人員的使用。同時(shí)界面設(shè)計(jì)簡(jiǎn)單大方，操作流程簡(jiǎn)單易懂，并提供豐富的交互反饋和引導(dǎo)功能，能夠?yàn)獒t(yī)生臨床診斷PD提供決策支持。

2 系統(tǒng)軟件設(shè)計(jì)

該系統(tǒng)設(shè)計(jì)主要通過(guò)識(shí)別早期PD患者在語(yǔ)音和步態(tài)特征上異于常人的表現(xiàn)或障礙，來(lái)實(shí)現(xiàn)早期PD的安全智能檢測(cè)。為提高PD智能檢測(cè)精確度，降低單一模態(tài)數(shù)據(jù)輔助檢測(cè)存在的噪聲干擾、數(shù)據(jù)稀疏問(wèn)題影響，使用語(yǔ)音、步態(tài)兩模態(tài)數(shù)據(jù)輔助檢測(cè)早期PD。為保證數(shù)據(jù)傳輸過(guò)程安全性，將采集的數(shù)據(jù)進(jìn)行隨機(jī)分組和編號(hào)，并使用基于余弦混沌的差分噪聲添加方式，擾動(dòng)數(shù)據(jù)編號(hào)，防止數(shù)據(jù)攻擊和重組導(dǎo)致的數(shù)據(jù)隱私披露。數(shù)據(jù)上傳后，分別進(jìn)行語(yǔ)音和步態(tài)數(shù)據(jù)特征提取，并使用多頭注意力機(jī)制完成兩模態(tài)數(shù)據(jù)特征融合，特征融合后作為輸入數(shù)據(jù)輸入PD智能檢測(cè)模型中，最終完成PD的智能檢測(cè)。系統(tǒng)關(guān)鍵技術(shù)及算法模型設(shè)計(jì)如下。

2.1 相關(guān)技術(shù)簡(jiǎn)介

2.1.1 多頭注意力機(jī)制

多頭注意力機(jī)制(MHA，multi-head attention)是神經(jīng)網(wǎng)絡(luò)中的一種注意力機(jī)制。MHA能夠使診斷算法模型在處理輸入數(shù)據(jù)時(shí)從多個(gè)視角上關(guān)注不同模態(tài)數(shù)據(jù)的特征子集，幫助更加全面地理解和聚焦于疾病診斷的關(guān)鍵特征信息。通過(guò)MHA的應(yīng)用，可以有效提升模型整合生理信號(hào)、文本、圖像、視頻等數(shù)據(jù)特征的能力，進(jìn)一步提高復(fù)雜疾病的診斷準(zhǔn)確性。目前MHA已廣泛應(yīng)用于腫瘤、神經(jīng)系統(tǒng)疾病、心血管疾病等的輔助診斷和研究中，并取得了較好的研究效果。

2.1.2 差分隱私

差分隱私保護(hù)通過(guò)對(duì)數(shù)據(jù)加噪掩蓋原始數(shù)據(jù)的真實(shí)值，確保攻擊人員無(wú)法結(jié)合背景知識(shí)等推斷出相關(guān)數(shù)據(jù)，從而達(dá)到隱私保護(hù)的目的。研究人員可以根據(jù)研究場(chǎng)景和需求自適應(yīng)的設(shè)計(jì)噪聲添加方式，以達(dá)到最大化準(zhǔn)確率和安全性的目標(biāo)。差分隱私的數(shù)學(xué)定義如下：

對(duì)于任意相鄰的數(shù)據(jù)集D，D′∈Z，給定一個(gè)隨機(jī)算法f：Z|→R，和任意輸出結(jié)果S?R，則定義以下不等式：

(1)

若不等式(1)成立，則成算法f滿足差分隱私定義[16]。其中ε為隱私預(yù)算，表示可以提供的隨機(jī)化算法的保護(hù)級(jí)別，當(dāng)ε越小時(shí)，表示隱私保護(hù)強(qiáng)度越強(qiáng)，即要求添加的噪聲越大；反之ε越大，表示隱私保護(hù)強(qiáng)度越小，即要求添加的噪聲越小。ξ為一個(gè)非零實(shí)數(shù)，通常是一個(gè)很小的數(shù)值，表示不滿足上述不等式的概率。

2.2 基于多頭注意力機(jī)制的多模態(tài)PD檢測(cè)模型設(shè)計(jì)

由于早期PD患者在音調(diào)、音量、語(yǔ)速以及音質(zhì)等語(yǔ)音特征異于正常人的表現(xiàn)[17-18]，目前更多的是借助單一模態(tài)的語(yǔ)音信號(hào)開(kāi)展PD智能輔助診斷研究。但由于語(yǔ)音信號(hào)易受到語(yǔ)音采集設(shè)備、外部環(huán)境噪音等干擾，導(dǎo)致基于單模態(tài)語(yǔ)音信號(hào)識(shí)別PD的輔助診斷結(jié)果存在不穩(wěn)定和誤差較大等局限。因此，為提升PD智能輔助診斷準(zhǔn)確率，借助多模態(tài)數(shù)據(jù)開(kāi)展PD智能輔助診斷是可行之路。

在現(xiàn)有研究中，使用卷積神經(jīng)網(wǎng)絡(luò)(CNN，convolutional neural networks)在全連接層進(jìn)行雙峰數(shù)據(jù)融合，來(lái)檢測(cè)和識(shí)別早期PD是一種常見(jiàn)的方法[19]。但這種融合方法不利于多模態(tài)數(shù)據(jù)特征間的相關(guān)性信息挖掘和使用。為解決此問(wèn)題，提出了一種融合多頭注意力機(jī)制的MHA-CNN，來(lái)獲取語(yǔ)音、步態(tài)等多模態(tài)數(shù)據(jù)間的相關(guān)信息權(quán)重，以更好的提取和融合高維特征表示。

在多頭注意力機(jī)制中，引入多個(gè)注意力頭，將輸入的語(yǔ)音和步態(tài)數(shù)據(jù)分成多份，每個(gè)注意力頭獨(dú)立地學(xué)習(xí)并關(guān)注不同的語(yǔ)義信息，有效增強(qiáng)模型的表達(dá)能力與性能?；诙囝^注意力機(jī)制的多模態(tài)PD智能檢測(cè)識(shí)別模型設(shè)計(jì)如下。

假設(shè)輸入2-dimension模態(tài)為模型的輸入數(shù)據(jù)。在MHA-CNN完成特征提取后，使用{X1，X2}分別表示語(yǔ)音和步態(tài)數(shù)據(jù)，使用{d1，d2}分別表示語(yǔ)音和步態(tài)數(shù)據(jù)嵌入，可得到：

(2)

(3)

在concat層將語(yǔ)音和步態(tài)數(shù)據(jù)特征向量進(jìn)行拼接：

(4)

在全連接層，將嵌入的語(yǔ)音和步態(tài)數(shù)據(jù)進(jìn)行融合，定義dconcat和Fconcat：

dconcat=dS+dG

(5)

Fconcat=WconcatFconcat+b

(6)

其中：Fconcat∈RN*d concat。

在多頭注意力機(jī)制中，每個(gè)注意力頭獨(dú)立地學(xué)習(xí)并關(guān)注不同的語(yǔ)義信息，通過(guò)計(jì)算查詢向量和鍵向量的相似度來(lái)獲得注意力權(quán)重值，進(jìn)而根據(jù)權(quán)重對(duì)值向量進(jìn)行加權(quán)求和，得到最終的輸出表示。

定義語(yǔ)音信號(hào)與步態(tài)數(shù)據(jù)間的相似度關(guān)系為r，不同PD患者語(yǔ)音和步態(tài)數(shù)據(jù)間的r通過(guò)計(jì)算公式可表示為：

(7)

使用softmax函數(shù)計(jì)算語(yǔ)音和步態(tài)數(shù)據(jù)兩模態(tài)特征權(quán)重值為：

(8)

其中：Q、K、V的可表示為：

Q=[Q1，Q2，…，QN]∈RN*dconcat

(9)

K=[K1，K2，…，KN]∈RN*dconcat

(10)

V=[V1，V2，…，VN]∈RN*dconcat

(11)

研究中使用多頭注意力機(jī)制改進(jìn)CNN網(wǎng)絡(luò)，增強(qiáng)MHA-CNN模型關(guān)注語(yǔ)音和步態(tài)兩模態(tài)的能力，使分區(qū)不同的頭相互集中，同時(shí)通過(guò)將輸入特性劃分為單獨(dú)的分區(qū)來(lái)為其添加子空間，便于從語(yǔ)音和步態(tài)兩模態(tài)數(shù)據(jù)特征子空間學(xué)習(xí)到更多不同信息。其中基于兩模態(tài)數(shù)據(jù)的頭部注意力度計(jì)算公式為：

(12)

經(jīng)過(guò)獨(dú)立計(jì)算頭部注意力，將結(jié)果輸出后連接，用來(lái)獲取所有子空間的特征信息，并反饋到線性投影中獲得最終的兩模態(tài)特征融合模型維度，計(jì)算公式如下：

Multiheadfusion=Concat(head1，head2，…，headh)W0

(13)

兩模態(tài)數(shù)據(jù)特征提取融合后，進(jìn)一步使用多層感知機(jī)MLP[20]按照標(biāo)記的PD患者語(yǔ)音和步態(tài)數(shù)據(jù)特征進(jìn)行分類，并返回預(yù)測(cè)結(jié)果。整體過(guò)程如下：

算法1：基于MHA的兩模態(tài)數(shù)據(jù)融合模型

輸入:數(shù)據(jù)集D={(XS∈RN*dS,XG∈RN*dG),Y},注意力頭數(shù)為H,學(xué)習(xí)率為η

輸出:PD檢測(cè)識(shí)別結(jié)果Dr

初始化模型參數(shù)W,b

for each roundt=1,2,…,ndo

Step1:兩模態(tài)特征提取

從XS和XG中分別提取特征fS和fG

將提取后的特征連接FC=fS+fG

Step2:多頭注意力模塊

forh∈[H]:

計(jì)算每個(gè)頭注意力輸出值:

end for

連接所有頭部注意力輸出值

y=[y1,y2,…,yH]

Step3:PD診斷識(shí)別

Dr=MLP(y)

returnDr

end for

2.3 基于余弦混沌的PD數(shù)據(jù)隨機(jī)拆分和數(shù)據(jù)編號(hào)擾動(dòng)機(jī)制

考慮到用于智能輔助診斷PD的語(yǔ)音和步態(tài)數(shù)據(jù)特征包含識(shí)別數(shù)據(jù)主體的大量隱私信息，為保護(hù)數(shù)據(jù)主體隱私安全，系統(tǒng)設(shè)計(jì)過(guò)程中融合了一種基于余弦混沌的差分隱私噪聲擾動(dòng)機(jī)制。

在語(yǔ)音和步態(tài)數(shù)據(jù)采集完成后，測(cè)試人員將數(shù)據(jù)上傳至系統(tǒng)，系統(tǒng)接收數(shù)據(jù)上傳指令后，首先進(jìn)行兩模態(tài)數(shù)據(jù)的處理和噪聲擾動(dòng)，保證相關(guān)數(shù)據(jù)傳輸至系統(tǒng)輔助診斷模塊的過(guò)程安全性，具體過(guò)程如下。

根據(jù)帕金森病智能檢測(cè)所需的目標(biāo)特征，對(duì)原始數(shù)據(jù)進(jìn)行初步處理、標(biāo)記和矩陣化，其中語(yǔ)音數(shù)據(jù)使用聲譜矩陣的形式表示，行表示時(shí)間，列表示頻率，矩陣中每個(gè)元素表示相應(yīng)時(shí)間頻率下的信號(hào)強(qiáng)度，通過(guò)此形式將語(yǔ)音信號(hào)轉(zhuǎn)換為數(shù)值矩陣；對(duì)于步態(tài)數(shù)據(jù)，用類似的方式表示，將每一步的行走數(shù)據(jù)表示為一個(gè)矩陣，其中行表示不同的特征，如步長(zhǎng)、步幅、頻率等，列表示不同時(shí)間點(diǎn)的數(shù)據(jù)，通過(guò)此形式將步態(tài)數(shù)據(jù)轉(zhuǎn)化為數(shù)值矩陣。語(yǔ)音和步態(tài)數(shù)據(jù)形式轉(zhuǎn)換完成后，通過(guò)整合得到兩模態(tài)特征矩陣C=[a，b，…，k]，若將原始數(shù)據(jù)直接上傳到系統(tǒng)中，則存在隱私披露風(fēng)險(xiǎn)。對(duì)此，首先將C處理成(k+2)×n的矩陣形式，其中矩陣第一行的所有數(shù)字為數(shù)據(jù)拆分后每列數(shù)據(jù)的編號(hào)，最后一行為干擾行，假設(shè)干擾初始值為δ，結(jié)果如公式(15)；其次引入差分隱私擾動(dòng)機(jī)制，對(duì)第一行數(shù)據(jù)編號(hào)進(jìn)行加噪處理，為避免添加隨機(jī)噪聲而導(dǎo)致初始數(shù)據(jù)無(wú)法還原的問(wèn)題，使用基于余弦混沌的噪聲添加形式，其中余弦函數(shù)值域?yàn)閇-1，1]，為避免不同序號(hào)輸入值x計(jì)算出相同的噪聲值fnoise，定義fnoise的計(jì)算公式為：

fnoise={1…1}n→cosx

(14)

其中：x∈(nπ～(n+1)π]，{1…1}n→cosx表示在噪聲值y前添加n個(gè)1，例如當(dāng)序號(hào)值為1時(shí)，1∈[0，π]，則fnoise=cos1=0.540 3。

(15)

在上述基礎(chǔ)上，將隨機(jī)拆分后的每列數(shù)據(jù)上傳，系統(tǒng)根據(jù)上述加噪方法逆向去掉噪聲干擾，得到恢復(fù)后的原始語(yǔ)音和步態(tài)數(shù)據(jù)后進(jìn)行PD的檢測(cè)和識(shí)別。其中隨機(jī)拆分的數(shù)據(jù)編號(hào)的降噪恢復(fù)過(guò)程是基于余弦混沌的噪聲擾動(dòng)的逆過(guò)程，見(jiàn)公式(16)。

(16)

整體過(guò)程如下所示：

算法2：基于余弦混沌的差分隱私保護(hù)算法

階段1：數(shù)據(jù)分解加噪過(guò)程

輸入：語(yǔ)音和步態(tài)特征矩陣M，待傳輸矩陣數(shù)n

輸出：n列PD兩模態(tài)數(shù)據(jù)矩陣

Step1：數(shù)據(jù)拆分

Step2：序號(hào)加噪

Step3：矩陣分解

階段2：數(shù)據(jù)合并減噪過(guò)程

Step1:數(shù)據(jù)矩陣合并

Step2:序號(hào)降噪

Step3:數(shù)據(jù)恢復(fù)

3 實(shí)驗(yàn)結(jié)果與分析

系統(tǒng)設(shè)計(jì)完成后，為了驗(yàn)證和優(yōu)化基于多頭注意力機(jī)制的PD智能輔助診斷模型性能，進(jìn)一步進(jìn)行了測(cè)試和驗(yàn)證。

3.1 數(shù)據(jù)集

實(shí)驗(yàn)中使用來(lái)自mPower研究中的兩模態(tài)語(yǔ)音和步態(tài)數(shù)據(jù)集。該數(shù)據(jù)集包括65 022個(gè)獨(dú)特的任務(wù)，包括5 826個(gè)個(gè)體受試者，其中每條數(shù)據(jù)中均包含10秒的語(yǔ)音樣本。步態(tài)數(shù)據(jù)集存儲(chǔ)為JavaScript對(duì)象表示法(JSON)文件。在本實(shí)驗(yàn)中，PD智能檢測(cè)模型的輸入數(shù)據(jù)為處理和融合后的語(yǔ)音和步態(tài)特征數(shù)據(jù)。

3.2 實(shí)驗(yàn)環(huán)境設(shè)置

本實(shí)驗(yàn)在浪潮服務(wù)器中運(yùn)行，使用的庫(kù)和編程語(yǔ)言分別為Pytorch1.10.1和Python3.7.0。實(shí)驗(yàn)的硬件環(huán)境為64位Intel(R) Xeon(R) Sliver 4210R CPU@2.40 GHz處理器和32 GB RAM模擬環(huán)境來(lái)訓(xùn)練和測(cè)試MHA-CNN。在模型訓(xùn)練中，我們將實(shí)驗(yàn)數(shù)據(jù)按照8∶1∶1的比例分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

3.3 MHA-CNN性能評(píng)估指標(biāo)

在本節(jié)中，分別使用準(zhǔn)確率、F1-score、精確度和召回率[21-22]作為模型性能的評(píng)估指標(biāo)。其中模型精度和召回率的計(jì)算公式為：

(17)

(18)

模型準(zhǔn)確率的計(jì)算公式如下：

(19)

其中：TP表示PD被正確識(shí)別的樣本數(shù)量，F(xiàn)P表示被誤報(bào)的非PD樣本數(shù)量，TN表示非PD被正確識(shí)別的樣本數(shù)量，F(xiàn)N為被漏報(bào)的PD樣本數(shù)量。

(20)

其中：F1-score是精度和召回率的加權(quán)求和平均值，精確度表示所有PD陽(yáng)性樣本中被準(zhǔn)確預(yù)測(cè)為陽(yáng)性樣本的百分比，召回率表示所有PD陽(yáng)性樣本中被正確預(yù)測(cè)為陽(yáng)性樣本的檢出率。

3.4 實(shí)驗(yàn)分析

為測(cè)試和驗(yàn)證MHA-CNN模型的性能，本節(jié)進(jìn)行了兩模態(tài)消融實(shí)驗(yàn)和模型性能對(duì)比實(shí)驗(yàn)，分別從精確度、準(zhǔn)確率、召回率、損失值、F1-score等5個(gè)評(píng)估指標(biāo)系統(tǒng)評(píng)估了MHA-CNN性能，具體實(shí)驗(yàn)結(jié)果如下。

3.4.1 兩模態(tài)消融實(shí)驗(yàn)

圖3是MHA-CNN在訓(xùn)練集中的訓(xùn)練結(jié)果。如圖3(a～b)分別為模型AP曲線圖和ROC曲線圖，通過(guò)對(duì)比，添加多頭注意力機(jī)制后的MHA-CNN模型AP曲線與ROC曲線下面積均大于未添加注意力的曲線，表明MHA-CNN模型性能更好；如圖3(c)，隨著迭代輪次的增加，添加注意力的模型準(zhǔn)確率快速上升，并趨于穩(wěn)定，其中峰值準(zhǔn)確率約為0.99；如圖3(d)所示，隨著模型訓(xùn)練輪數(shù)的增加，添加注意力的模型損失值下降速度更快，并快速收斂，損失值約為0.32，性能均優(yōu)于未添加注意力機(jī)制的模型。

圖3 MHA-CNN兩模態(tài)消融實(shí)驗(yàn)結(jié)果

3.4.2 模型性能對(duì)比實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證MHA-CNN模型性能，研究中對(duì)MHA-CNN模型與傳統(tǒng)的LWF模型的性能進(jìn)行了對(duì)比，對(duì)比實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 模型性能對(duì)比實(shí)驗(yàn)結(jié)果

圖4(a～d)顯示了MHA-CNN和LWF在測(cè)試集中的運(yùn)行結(jié)果。MHA-CNN的Accuracy、Precision、Recall和F1-score分別為0.913、0.908、0.904和0.906，要明顯高于LWF的0.643、0.50、0.321和0.391，在基于兩模態(tài)數(shù)據(jù)的PD智能輔助診斷效果層面要明顯優(yōu)于LWF模型。圖3(e)表明，隨著測(cè)試次數(shù)的增加，MHA-CNN的準(zhǔn)確率快速上升并收斂。實(shí)驗(yàn)結(jié)果表明，基于多頭注意力機(jī)制的帕金森病多模態(tài)遠(yuǎn)程檢測(cè)系統(tǒng)能夠滿足PD大規(guī)模早期安全篩查要求。

4 結(jié)束語(yǔ)

本文設(shè)計(jì)了一種基于多頭注意力機(jī)制的帕金森病多模態(tài)安全遠(yuǎn)程輔助檢測(cè)系統(tǒng)。研究中通過(guò)在卷積神經(jīng)網(wǎng)絡(luò)CNN后融合多頭注意力機(jī)制，提高了卷積神經(jīng)網(wǎng)絡(luò)算法模型的多模態(tài)數(shù)據(jù)特征提取、融合和識(shí)別能力。同時(shí)考慮到PD患者語(yǔ)音和步態(tài)數(shù)據(jù)特征所包含的能夠唯一識(shí)別數(shù)據(jù)主體的隱私信息，研究中使用了一種基于余弦混沌的差分隱私保護(hù)噪聲擾動(dòng)方式，在數(shù)據(jù)傳輸前將語(yǔ)音和步態(tài)數(shù)據(jù)隨機(jī)拆分并編號(hào)，通過(guò)向編號(hào)中添加噪聲的形式，保證數(shù)據(jù)傳輸過(guò)程的安全性。為了驗(yàn)證MHA-CNN模型的性能，本文進(jìn)行了兩模態(tài)消融實(shí)驗(yàn)和對(duì)比實(shí)驗(yàn)，仿真實(shí)驗(yàn)結(jié)果表明，MHA-CNN的準(zhǔn)確率、精度等高于0.9，且模型的準(zhǔn)確率和損失隨著訓(xùn)練和測(cè)試的輪次增加，均快速收斂并趨于穩(wěn)定。實(shí)驗(yàn)結(jié)果達(dá)到了PD檢測(cè)識(shí)別的預(yù)期目標(biāo)，在提高PD遠(yuǎn)程診療準(zhǔn)確性和穩(wěn)定性的同時(shí)，保證了PD數(shù)據(jù)的隱私安全性。

在后續(xù)研究中，將進(jìn)一步融合用于PD臨床檢驗(yàn)的文本數(shù)據(jù)等，開(kāi)展更高模態(tài)的PD智能輔助檢測(cè)研究，持續(xù)提高PD早期檢測(cè)準(zhǔn)確率。同時(shí)，開(kāi)展PD輔助檢測(cè)過(guò)程的安全性研究，確保PD多模態(tài)遠(yuǎn)程檢測(cè)過(guò)程的安全性，不斷提升PD輔助診療結(jié)果對(duì)于PD臨床診療的決策支持作用和價(jià)值。