中圖分類號：TP391 文獻標志碼：A 文章編號：1001-3695（2025）06-018-1734-08

doi：10.19734/j. issn.1001-3695.2024.10.0457

Multi-task cross-modal learning approach for out-of-distribution detection of emotional stress

Wan Yichen ^1，2 ， Xing Kai ^1，2? ，Liu Yu3，Yang Hui4，Xu Junhan12，Yuan Yanxue ^1，2 （20 （1.SchoolofomputerSiee amp;Tcholog，Uniersitofcinceamp;TholfCina，Hefe6，Cha.SuzhostuefrAd vancedResearch，Unierstyofienceamp;echologfina，SuzouJangsu5o，hina；3NnjingDrumowrHsptal，jing 210008，China；4.SchoolofLife Sciences，NorthwesternPolytechnical University，Xi’an71oo72，China）

Abstract：Recent research indicates that emotional stress detectionsystemsbasedon PPG signalscan bea potential convenient solution.However，PPG-based methods usuallyinduce severe OOD issues when detecting stressin previouslyunseen subjects duetosignificantvariations inPPGsignalsacross individuals.Toaddressthischallnge，thispaperproposedarossmodal stressdetection model basedonmulti-task learning（CSMT）.Byintroducing ECG signalreconstructionand multiple cardiovascular feature prediction asauxiliarytasks toenhancethefeatureextractioncapabilityofPPG signals，theproposed methodperformedcollaborativeoptimizationofPPG-based stress detectioninhigh-dimensionalrepresentationspace，thereby learning robuststressdetectionrepresentationsacrossindividuals.Experimentalresultsonthe WESADdatasetdemonstrate that inleave-one-subject-out validation tests，CSMT achieves best accuracy and F₁ scores compared to existing methods in both thre-class （neutral/stress/amusement）andbinary（stress/non-stress）clasificationtasks，meanwhileefectivelymitigating theOODgeneralization probleminstressdetection.Theablation experimentsfurthervalidatetheefectiveness ofCSMTin enhancing model generalization capability.

Key Words：multi-task learning；photoplethysmography（PPG）； stress detection; out-of-distribution（OOD）issues

0 引言

情緒壓力是一種復雜的生理心理反應，長期或慢性的情緒壓力會對人體的呼吸系統(tǒng)、心血管系統(tǒng)及內分泌系統(tǒng)等產生嚴重的不良影響[1]，增加患焦慮癥、抑郁癥、心臟病以及注意力障礙等身心健康問題的風險[2]。因此，開發(fā)能夠持續(xù)、準確監(jiān)測壓力水平的自動化方法具有重要的現(xiàn)實意義。這不僅有助于個人及時識別壓力源并采取調節(jié)措施，還能為醫(yī)療專業(yè)人員提供更客觀的評估依據(jù)，有效指導個性化干預方案的制定[3]。

作為一種典型的復雜情緒狀態(tài)，壓力往往伴隨著心率加快、血壓升高等自主神經系統(tǒng)變化。在現(xiàn)有的壓力檢測方法中，心電圖（ECG）信號因其較高的信噪比和可靠性被廣泛應用。通過分析ECG信號中的R峰間隔提取心率變異性（heartratevariability，HRV）特征，可以有效反映交感神經和副交感神經的平衡狀態(tài)[4]，從而實現(xiàn)對壓力水平的可靠評估[5，6]。然而，ECG信號的采集過程相對復雜，通常需要專業(yè)設備和規(guī)范操作，難以滿足日常便攜監(jiān)測的需求。此外，依賴單一HRV特征的方法也存在局限性，可能忽略壓力狀態(tài)引起的其他心血管系統(tǒng)變化[3]。相比之下，光電容積脈搏波（PPG）信號具有采集便捷、成本低廉的優(yōu)勢[7]。隨著智能手表等可穿戴設備的普及，基于PPG信號的壓力檢測系統(tǒng)為實現(xiàn)日常連續(xù)監(jiān)測提供了可能。然而，這類方法目前面臨兩個主要挑戰(zhàn)：

a）分布外（OOD）問題。由于不同個體的PPG信號存在顯著差異，模型在訓練未見過的個體上往往表現(xiàn)不佳。有限的訓練樣本難以覆蓋所有人群的壓力表現(xiàn)特征，導致模型泛化能力受限。這種個體差異帶來的OOD問題嚴重制約了基于PPG信號的壓力檢測方法在實際應用中的推廣。

b）信號質量問題。PPG信號容易受到運動偽影等噪聲的影響，這些噪聲會掩蓋與壓力狀態(tài)相關的關鍵特征。特別是在日?；顒訄鼍跋?，運動偽影的復雜性和不可預測性顯著增加了準確檢測的難度。相比之下，ECG信號通常在專業(yè)環(huán)境下采集，具有更高的信噪比和可解釋性。

針對上述挑戰(zhàn)，本文提出了一種基于多任務跨模態(tài)學習的情緒壓力檢測方法（CSMT）。如圖1所示，該方法通過創(chuàng)新性地引入ECG信號[8]重建任務，利用PPG信號[9]和ECG信號之間的內在關聯(lián)，提升了對真實心血管特征的提取能力，如圖1所示。值得注意的是，ECG信號僅在訓練階段作為輔助任務使用，實際檢測時仍僅需PPG信號輸入。同時，本文方法還引入了多心血管特征預測任務，通過多任務學習框架提升模型表征的泛化性，有效緩解OOD問題的影響。本文的主要貢獻包括：

a）提出了一種新穎的基于PPG信號的情緒壓力檢測方法，通過多任務跨模態(tài)學習有效緩解了OOD問題，提升了模型在未見個體上的泛化性能。

b）創(chuàng)新性地引入ECG信號重建作為輔助任務，通過捕捉PPG信號與ECG信號間的關聯(lián)特征，增強了壓力相關信息的提取能力。

c）設計了多心血管特征預測任務，通過學習多種生理特征表征，提升了模型對壓力狀態(tài)的識別能力和魯棒性。

d）基于Transformer編碼器構建了高效的特征提取和融合機制，通過特殊的注意力掩碼設計實現(xiàn)了不同任務表征的有效解耦與交互。

e）在WESAD數(shù)據(jù)集上的實驗驗證表明，所提方法在多個壓力檢測任務上均優(yōu)于現(xiàn)有方法，并在留一驗證測試中展現(xiàn)出優(yōu)異的泛化性能。

1相關工作

本章系統(tǒng)梳理了基于生物信號進行情緒壓力檢測的研究進展，聚焦于情緒壓力檢測中常用的PPG和ECG信號。詳細總結了如何利用這兩類信號提取并組合心血管特征，以實現(xiàn)情緒壓力的有效檢測。此外，本章還揭示了PPG與ECG信號之間的高度關聯(lián)性，這一發(fā)現(xiàn)為后續(xù)多任務跨模態(tài)學習方法的探索提供了堅實的實踐基礎。

1.1與壓力相關的生物傳感信號

壓力是生物體在面臨攻擊或威脅時的典型反應，通常伴隨著負面情緒和生理變化，進而影響體溫、心臟活動、血壓、血糖等身體功能。壓力的真實狀態(tài)可以通過生物信號或生物標志物來評估，這些信號和標志物被認為能夠可靠地識別壓力水平，例如唾液皮質醇濃度和腦電圖不對稱指數(shù)等[10]。隨著檢測技術的進步，基于心臟活動的情緒壓力檢測方法得到了越來越廣泛的應用，心率、HRV和血壓等都成為常用的評估指標。用于檢測心臟活動的生理信號主要包括PPG和ECG信號。

PPG信號是一種無創(chuàng)的生物醫(yī)學監(jiān)測技術，它通過光電手段來觀察人體血液容積的周期性變化。這一過程主要依賴于紅外發(fā)光二極管（LED）和相應的光學傳感器。當紅外光穿透人體指端時，血液及周圍組織會吸收一部分光。隨著心臟的收縮和舒張，血管內的血流量會發(fā)生周期性的波動，這種波動會導致血液對光的吸收量也呈現(xiàn)周期性變化。因此，通過光學傳感器檢測到的光強變化，可以準確地反映心臟的搏動狀態(tài)[1，12]。具體來說，當心臟收縮時，血管中的血容量暫時減少，血液對光的吸收量相應降低，這導致傳感器檢測到的光強相對增強。相反，在心臟舒張期間，血管中的血容量增加，血液對光的吸收量上升，傳感器檢測到的光強則會相對減弱。PPG信號的這種典型波形，不僅能夠提供心臟跳動的實時信息，還能用于評估心血管系統(tǒng)的健康狀況。如圖2所示，PPG信號波形圖清晰地展示了這種周期性變化。

ECG信號記錄了心臟的電活動，作為一種非侵入性工具，被廣泛應用于多種生物醫(yī)學場景[13]。典型的ECG信號如圖3所示。ECG信號提供了有關心臟功能和心臟節(jié)律的重要信息，其測量的是心臟電流在身體表面的分布。心臟的電流活動由心臟起搏系統(tǒng)產生，包括竇房結、房室結、希氏束及心室肌等組織。隨著心臟不同部位細胞的興奮和去極化，電流在身體組織中傳播，最終通過皮膚表面的電極被檢測和記錄。

ECG信號被廣泛應用于情緒壓力檢測研究中，因為壓力往往伴隨著心臟電流活動的異常變化。通過分析ECG信號中心率、心率變異性等指標，能夠對個體的壓力水平進行精確評估。

1.2基于數(shù)字信號進行情緒壓力檢測

心血管和自主神經系統(tǒng)的變化可以通過PPG和ECG信號反映出來，因此這兩種信號常被用于情緒壓力檢測。文獻[14]利用可穿戴設備采集PPG信號進行持續(xù)壓力監(jiān)測，并結合EDA預處理工具去除偽影，隨后使用機器學習算法進行壓力分類。Heo等人[15]在時域和頻域分別去噪，并通過多峰值檢測方法優(yōu)化了PPG信號的特征提取，以提高情緒壓力檢測的準確性。文獻[16]使用方差分析（ANOVA）和順序前向浮動選擇算法（SFFS）選擇最佳特征集，以區(qū)分壓力、疲勞、困倦等狀態(tài)。盡管這些研究在特定數(shù)據(jù)集上取得了較高的準確率，其提取的特征大多依賴于經驗或深度學習模型，缺乏可解釋性，臨床應用價值有限。

ECG信號檢測心理壓力的常用方法是提取R峰及由此得出的HRV特征。文獻17]通過帶胸帶的Polar手表采集受試者的ECG信號，提取HRV特征，并使用偏最小二乘判別分析模型預測情緒。文獻[5]通過檢測ECG信號中的小峰，進一步優(yōu)化HRV特征，用于情緒壓力檢測，并證明小峰值特征與急性心理壓力的關系更為密切。文獻6則測試了多種機器學習方法（如K近鄰、支持向量機、多層感知機、隨機森林等），基于HRV特征對壓力水平進行分類。然而，ECG信號獲取過程較為復雜，難以實現(xiàn)持續(xù)的壓力監(jiān)測。

研究表明，PPG與ECG信號高度相關[18＼～21]，同時記錄的PPG信號峰峰值間隔與ECG的RR間隔具有 99.3% 的相關性[22]。Kinnunen 等人[23]的研究說明了基于PPG 和基于ECG提取的HRV特征具有高度相關性，驗證了基于PPG設備在夜間測量HR和HRV的準確性。通過回歸分析和Bland-Altman分析，研究人員發(fā)現(xiàn)PPG和ECG之間具有非常高的一致性，相關系數(shù)分別為0.996（HR）和 R²=0.980 （HRV），且偏差極小。PPG信號的波形特征（如時間間隔、幅度變化及形狀）直接受到心肌活動的調控，而心肌活動的發(fā)起則由竇房結的電活動驅動[19]，這一過程在ECG信號中通過P波的特征得以間接反映[24]?；谶@一緊密聯(lián)系，許多學者嘗試通過PPG 信號推斷ECG信號，用于心血管事件的檢測。Zhu等人[18]通過計算PPG和ECG信號單周期的離散余弦變換系數(shù)，并采用線性回歸實現(xiàn)了PPG到ECG信號的轉換。Sarkar等人[25]和Vo等人[26]分別采用生成對抗網絡模型，并以U-Net為生成器。其中，Sarkar等人[25]在U-Net的跳躍連接中引入了注意力模塊，并在判別器中同時考慮時域與頻域信息；Vo等人[26]則利用WassersteinGAN，通過計算真實數(shù)據(jù)與生成數(shù)據(jù)分布間的Wasserstein距離，增強了生成器的梯度傳遞。

2基于多任務學習的跨模態(tài)情緒壓力檢測方法

本章將首先介紹本文提出的多任務學習方法，并詳細闡述其中的跨模態(tài)ECG信號重建輔助任務和多心血管特征預測輔助任務的設計。接著，將對基于這些方法構建的深度學習模型結構進行詳細說明，并深入討論各個模塊的具體設計與實現(xiàn)。

本文提出了一種多任務跨模態(tài)學習方法（CSMT），旨在從PPG信號中自動學習與情緒壓力檢測相關的特征。CSMT模型創(chuàng)新性地引入了多任務學習范式，引入了兩類輔助任務，從不同角度彌補單一模態(tài)信息的局限性，能夠充分利用多模態(tài)信息以及多種心血管特征，從高維隱式特征和低維顯式特征兩個層面進行學習，并且借助深度學習的表征學習能力，實現(xiàn)特征的高效提取。

對于兩類輔助任務，首先是基于跨模態(tài)的ECG信號重建輔助任務。已有研究表明，PPG和ECG信號在情緒壓力檢測中均展現(xiàn)了良好的可靠性[5，6，14＼～16，17]，各自具有重要的生理學意義?；赑PG與ECG信號兩者之間存在的生理關聯(lián)[18]，這一輔助任務利用易于獲取的PPG信號對難以獲取的ECG信號進行重建。在PPG信號重建ECG信號的過程中，深度編碼器模型能夠利用信號間的內在聯(lián)系，通過自動化的特征學習從PPG信號中提取對情緒壓力檢測有益的高維隱式特征。通過深度模型的特征提取過程，可以提升信號表征的深度和廣度。

另一個輔助任務是多心血管特征預測輔助任務，情緒壓力往往伴隨著交感神經系統(tǒng)（sympathetic nervous system，SNS）的激活，導致心率加快和心臟收縮力增強，使血液循環(huán)速度加快，以便更高效地為器官和骨骼肌提供氧氣，從而應對壓力源[21]。因此，對于心血管特征的檢測也是識別情緒壓力變化的重要手段。該輔助任務專注于直接提取低維顯式特征（如HRV等關鍵指標），確保模型在顯式特征表征上的充分性，并與高維隱式特征形成協(xié)同作用，從而提升壓力檢測性能。

在訓練階段，CSMT模型以PPG信號為輸人，優(yōu)化模型參數(shù)以同時重建ECG信號、壓力標簽及預測其他心血管特征。在實際檢測中，僅使用PPG信號即可進行情緒壓力檢測，從而避免了額外采集ECG信號的需求。通過該方法，CSMT模型在捕捉情緒特征方面的能力得到了提升，解決了基于PPG信號的深度學習方法面臨的噪聲和OOD問題。

如圖4所示，本文方法包含多任務嵌人模塊、多任務融合的Transformer編碼器和多任務解碼模塊三個主要部分。多任務嵌入模塊用于將PPG信號映射到高維特征空間，注意力模塊通過解耦不同任務之間的預測，增強了模型在提取特征時的靈活性與準確性，而多任務解碼模塊則用于預測情緒壓力標簽、重構ECG信號及其他心血管特征。通過這種設計，模型能夠有效捕捉PPG信號中的多維信息，提升了對壓力特征的檢測能力。

2.1信號與特征的形式化表示

本文基于PPG信號進行情緒壓力檢測。在模型訓練過程中，會使用到PPG信號、ECG信號以及從PPG信號中提取的特征，分別由式（1）＼～（3）形式化表示。在推理階段，模型只需基于PPG信號即可完成情緒壓力檢測任務。

PPG={ppg_t}_t=1^T

Features=FeatureExtraction（PPG）=[fea₁，fea₂，…，fea_k] （3）其中：PPG信號和ECG信號是同樣長度且同時采集的一維時序數(shù)據(jù)，信號長度為 T ；Features是從PPG信號中提取出的特征，其中任意的一個特征 fea_i 都為一個浮點數(shù)。

2.2 多任務嵌入模塊

CSMT模型通過多任務嵌人模塊對PPG信號進行深度特征提取，旨在構建魯棒且高度結構化的信號表征。嵌人層以PPG信號序列作為輸入，輸出對應的高維嵌人。具體而言，嵌入層由卷積塊堆疊而成，在處理PPG信號時，卷積層能夠有效捕捉其豐富的空間域和頻率域信息，同時放大信號間的差異性，增強信號的特征表達能力。每個卷積塊中包含了卷積層、最大池化層和批歸一化層；其中最大池化層進一步壓縮了特征維度，減少冗余信息，從而優(yōu)化計算效率。該模塊為后續(xù)的Transformer編碼器部分高效地傳遞了經過壓縮和規(guī)范化的高維表征，保證了后續(xù)全局表征的學習效果。

多任務嵌入模塊會對PPG信號進行初步特征提取，以獲取其高維嵌人。嵌入層由多個卷積塊堆疊而成，每個卷積塊通過卷積神經網絡從原始PPG信號中提取局部時空特征，捕捉信號的細節(jié)信息。隨后，利用最大池化對特征圖進行下采樣，以降低特征圖的維度，并保留重要的特征信息，從而減少冗余并降低后續(xù)Transformer編碼器部分的計算量。為了提高模型的訓練穩(wěn)定性和收斂速度，對下采樣后的特征圖進行批歸一化，從而獲得標準化的PPG信號初始特征表示。

如式（4）所示，PPG信號經過多任務嵌人模塊后變得到了對應的高維嵌入。其 ppgt′0 為位置 t′ 處的 d 維嵌入向量， d 為嵌入的維度，上標0代表其為Transformer編碼器的輸入。由于卷積層中的下采樣操作， T′ 小于 T

在情緒壓力檢測任務和多任務預測中，為了更好地捕捉各自的全局信息，CSMT在嵌人層的輸出中引人了多個CLStoken。這些CLStoken是隨機初始化的分類特征，并在訓練過程中與PPG特征一起進行優(yōu)化。CLStoken如式（5）所示。

其中：每個token均為 d 維向量，代表對應任務的嵌人。具體而言， 為情緒壓力檢測任務對應的嵌入向量， cls_taski⁰ 為第 χ_i 個輔助任務的嵌入向量，共有 K 個輔助任務，因此有 K 個對應的嵌入向量。嵌入層最終的輸出如式（6）所示。

通過上述設計，嵌人層不僅實現(xiàn)了對原始PPG信號的有效特征提取和序列長度減少，還通過引人CLStoken，為后續(xù)的Transformer編碼器提供了高質量的嵌入。

2.3多任務融合的Transformer編碼器

在多任務嵌入模塊后，PPG信號的高維嵌入與CLStoken組成的 Emb⁰ 被輸人到Transformer編碼器中。PPG信號和CLS各自的高維嵌入具有不同語義信息，一般的雙向注意力機制會忽略兩類嵌入語義上的不對稱性。因此本文設計了一種特殊的注意力掩碼，顯式地讓注意力計算與兩類的語義特性保持一致。

CSMT中的注意力掩碼實現(xiàn)了PPG信號表征和CLS表征的部分解耦。其中在Transformer編碼器中的計算注意力時的注意力掩碼機制如圖5所示，其中queryPPG代表著PPG嵌入表征中的第i個向量所對應的查詢向量。quer querycs;代表壓力表征和第 j 個輔助任務表征對應的查詢向量。key為對應的鍵向量。PPG信號部分的token之間是雙向可見的，即每個PPGtoken可以關注序列中的其他 PPGtoken ，但無法看到CLStoken。這種設計有助于模型更好地捕捉PPG信號的局部特征，而不受全局信息的干擾。相反，CLStoken對全局的所有token（包括PPG和CLS）都是雙向可見的。這種設計使得CLStoken能夠整合整個序列的全局信息，從而在壓力檢測任務和多任務預測中發(fā)揮重要作用。通過這種解耦的注意力掩碼機制，模型能夠更有效地處理全局信息，提升模型的性能。

為了更好地捕捉PPG信號中的復雜特征，本文采用了標準的Transformer編碼器結構，并堆疊了 N 層編碼器單元。每一層都包含多頭自注意力機制（multi-headself-attention）和前饋神經網絡（feed-forwardnetwork）。通過這種層層堆疊的設計，模型能夠在不同層次上學習輸入序列的細粒度特征與全局依賴關系。其中，多頭自注意力機制通過并行計算不同注意力頭，能夠從多個角度捕捉信號中的關鍵信息，進一步由前饋神經網絡處理這些信息，提升模型的表達能力，確保有效捕獲和表達PPG信號中的壓力相關特征。

Emb^N=TransformerEncoder（Emb⁰）=PPG_emb^N?cls_stress^N?{cls_taski^N}_i=1^k（7）

為了更好地處理長序列中的位置信息，傳統(tǒng)的絕對位置編碼方法在捕捉序列的相對位置關系時存在一定的局限性，尤其在處理較長序列時性能下降。為了解決這一問題，本文引人了旋轉位置編碼（rotarypositionembedding，ROPE）[27]。ROPE通過旋轉矩陣對位置信息進行編碼，能夠有效捕捉序列中的相對位置信息，從而提升模型在處理長序列時的表現(xiàn)，避免了傳統(tǒng)位置編碼在長序列處理中的瓶頸。

通過上述設計，Transformer編碼器不僅能夠有效地處理PPG信號的高維嵌人，還能通過CLS嵌入整合全局信息，從而在情緒壓力檢測任務和多任務預測中取得優(yōu)異的表現(xiàn)。

2.4多任務解碼模塊

CSMT模型通過多任務解碼模塊從編碼器中獲得的表征序列中解碼多任務結果，包括利用PPG序列表征重建ECG序列，以及用情緒壓力檢測表征預測壓力標簽，并獲得多心血管特征預測的CLS表征序列 Emb^?N 售

a）ECG重建。在這一部分中，PPG信號序列表征經過ECG信號重建模塊后得到了重建的ECG信號序列。ECG是電生理信號，PPG是血流動力學信號，兩者從不同維度描述了心臟的活動情況。本文用與PPG信號嵌入模塊相對應的結構重構出ECG信號序列，每個卷積塊由上采樣、一維卷積和批歸一化組成，并堆疊 M 次。相比于傳統(tǒng)基于HRV的特征提取方法，深度模型能夠識別PPG信號中的隱式高維特征。

b）多任務解碼。在這一部分中，多任務解碼模塊使用多個MLP獲得了用PPG信號預測的情緒壓力標簽以及多個心血管特征的預測結果。與情緒壓力相關的生理過程可通過多種生物信號進行測量，例如ECG、血容量變化脈沖（bloodvolumepulse，BVP）肌電圖（electromyography，EMG）、呼吸信號（respi-ration，RSP）以及眼部活動等。情緒壓力往往伴隨著SNS的激活，導致心率加快和心臟收縮力增強，心血管特征的檢測成為識別情緒壓力變化的重要手段，常見的心血管特征包括血容量特征（如收縮壓、舒張壓、平均動脈壓等）心率、HRV及其衍生的相關指標等[10]。因此，通過引入多心血管特征預測任務，模型不僅能夠有效提取低維顯式特征，還能與跨模態(tài)任務形成互補，進一步提升其泛化性和魯棒性。此外，多任務學習能夠促進模型學習到更具通用性的任務間特征，從而忽略PPG信號中常見的噪聲干擾，從確保了特征的穩(wěn)定性。

p_stress=MLP_stress（cls_stress^N）

其中： p_stress 即是情緒壓力檢測的分類得分；Features是預測的特征序列，其中的每一個特征是一個浮點數(shù)。結合上述的解碼結果，本文的損失函數(shù)如式（11）定義。

其中： L_stress 為交叉熵損失; L_ECG 和 L_features 為均方誤差損失； α₁ 和α₂ 是超參數(shù)，用于控制ECG信號重建任務和特征回歸任務在總損失中的權重。

3實驗

為了評估本文方法的性能，并驗證本文對情緒壓力檢測OOD的緩解效果，本文在WESAD數(shù)據(jù)集上進行了實驗。

3.1 數(shù)據(jù)集

WESAD[28]是一個公開的多模態(tài)壓力和情感檢測數(shù)據(jù)集，包含來自15名受試者的有效數(shù)據(jù)。數(shù)據(jù)集由胸部佩戴的RespiBANProfessional和手腕佩戴的EmpaticaE4設備采集，采集的生理信號包括PPG信號、ECG信號、皮膚電活動（EDA）、肌電圖（EMG）呼吸（RESP）體溫（TEMP）以及三軸加速度（ACC）。本文使用了其中的PPG和ECG信號數(shù)據(jù)，原始采樣頻率分別為 64Hz 和 700Hz 。數(shù)據(jù)采集過程涵蓋了準備、基線、娛樂、壓力、冥想和恢復六個階段。采集的時序信號通過滑動窗口被劃分為多個數(shù)據(jù)段，用于中性/壓力/愉悅的三分類檢測任務或壓力/非壓力的二分類檢測任務，在二分類任務中，將中性和愉悅狀態(tài)視為非壓力狀態(tài)。在滑動窗口大小和步長的選擇上，本文經驗性地沿用了文獻23的設置，即窗口大小為60s ，步長為 0.25s 與一些采用1s窗口的研究相比，60s的窗口通常能夠捕捉到心跳周期的節(jié)律性變化。最終，來自15名受試者的數(shù)據(jù)共計121808條樣本，其中中性、壓力和愉悅分別為66844條、36264條和18700條。

對于本文訓練和推理過程中涉及到的PPG和ECG信號數(shù)據(jù)，本文參考了Makowski等人[29]對PPG信號和 Pan 等人[30]對ECG信號的預處理步驟。對PPG信號應用一個截止頻率在0.5～8Hz 的帶通Butterworth濾波器，減少低頻成分中基線漂移和高頻中運動偽影等噪聲對PPG信號影響。對ECG信號應用一個截止頻率為 0.5Hz 的高通Butterworth濾波器，用于去除基線漂移和低頻噪聲。此外，為了補償個體差異，本文對每個受試者的PPG和ECG信號進行了 -score標準化處理。進一步地，本文采用最小-最大縮放法將ECG和PPG信號重新縮放到[-1，1]。最后，本文根據(jù)不同任務和數(shù)據(jù)集的特點，將PPG和ECG信號數(shù)據(jù)進行采樣到特定頻率 264Hz ，并選擇合適的窗口大小和步長，將PPG和ECG信號分割成指定大小的片段，用于特定的任務的訓練。

HRV反映了自主神經系統(tǒng)中交感神經和副交感神經對竇房結的調節(jié)作用，能夠描述交感神經與副交感神經活動之間的動態(tài)平衡。由于情緒壓力對HRV具有顯著影響，通過多種HRV測量方法能夠有效檢測情緒壓力狀態(tài)及其他病理狀態(tài)[31]。PPG信號通過反映外周血容量變化，間接揭示心血管系統(tǒng)的動態(tài)特性。因此，對PPG信號進行去噪、濾波等預處理后，可采用峰值檢測、小波變換等方法提取心臟搏動周期以及心血管特征，確保模型能夠學習到與情緒壓力檢測直接相關的顯式特征。本文通過基于PPG信號計算心血管特征作為真值，并設計輔助任務來預測這些心血管特征。已有大量研究證實，HRV特征在情緒壓力檢測中具有顯著效果。因此，本文實驗中特別選取了與HRV相關的一系列特征，并采用峰值檢測方法[32]進行計算。如表1所示，本文選取了9個心率及HRV相關的特征作為多任務學習的目標，這些特征反映了心臟節(jié)律的變化。本文基于NeuroKit2[29]工具對每個窗口上的PPG信號的提取了上述特征。

3.2模型參數(shù)設置和評價指標

本文模型由嵌入層、Transformer編碼器和多任務解碼器組成。其中Transformer編碼器隱藏層維度為 d 首先，嵌入層由3個卷積塊組成，每個卷積塊的卷積核大小為 3×3 ，卷積層通道數(shù)分別為 1～d/4，d/4～d/2.d/2～d 每個卷積塊后接一個核大小為2的平均池化層，用于降低特征圖大小即序列長度，激活函數(shù)為GeLU。嵌人層的主要功能是從PPG信號中提取局部時空特征。隨后，模型通過 N 層標準的Transformer編碼器進一步處理特征，編碼器的隱藏層維度為 d ，前饋網絡的維度同樣為 d 最后，在多任務解碼器中，ECG重建部分由3個卷積塊組成，卷積核大小為 3×3 ，通道數(shù)從 d 逐步減少至 d/2 d/4 ，最終為1。每個卷積塊后接一個上采樣操作，恢復特征圖大小即序列長度以重建ECG信號序列。此外，情緒壓力檢測和PPG信號特征預測MLP隱藏層維度是 2×d 損失函數(shù)中的 α₁ 和 α₂ 分別為0.15和0.3。對于三分類情緒壓力檢測任務 N 和 d 分別為6和256；對于二分類情緒壓力檢測任務 N 和d 分別為6和512。在模型訓練時，優(yōu)化器選擇了Adam，動量因子 β₁ 和 β₂ 分別是0.9和0.999，初始學習率設置為5E-5，最大訓練輪數(shù)是10，三分類和二分類情緒壓力檢測任務batch-size分別為 ^128，64 。此外，本文使用Pyhon語言基于PyTorch框架實現(xiàn)，實驗環(huán)境的主要配置為 Gold 6133和GPUNVIDIARTX4090。

本研究以分類準確率（accuracy，Acc）和 F₁ 宏平均作為方法的評價指標。 _Acc 和 F₁ 的計算公式如式（12） ～ （15）所示。

其中： TP 是預測為正類，實際也為正類的樣本數(shù)； TN 是預測為負類，實際也為負類的樣本數(shù)； FP 是預測為正類，但實際上是負類的樣本數(shù)； FN 預測為負類，但實際上是正類的樣本數(shù)。

3.3 對比實驗

為了驗證提出的CSMT模型的有效性，本文使用受試者級別的LOSO（leave-one-subject-out）進行評估，即選取一個受試個體的數(shù)據(jù)進行測試，剩下的受試個體的數(shù)據(jù)用于訓練。因此，結果反映了模型在面對從未見過的受試者數(shù)據(jù)時的泛化能力即在面對OOD問題時的性能。本文選取了多個方法進行對比實驗。

a）HRVamp;時序特征[4]（2023）。利用HRV和時序特征共61個，基于邏輯回歸（LR）和隨機森林（RF）兩種機器學習方法進行情緒分類。本文研究采用了類似的方法，從PPG信號中提取相應的HRV和時序特征，并分別利用LR和RF模型進行分類，并將這兩種方法命名為HRVamp;時序特征（LR）和HRVamp;時序特征（RF）。

b）PPG-CNN[33]（2021）。利用一維卷積從PPG信號中提取特征進行情緒壓力檢測。

c）CNN-CBAM[34]（2023）。利用了一種結合了卷積塊注意模塊（CBAM）的深度卷積神經網絡（Deep-CNN）進行情緒壓力檢測，輸入信號是ECG。

d）HRV特征[28]（2018）。從PPG信號上提取了16個HRV相關特征，使用線性判別分析（lineardiscriminantanaly-sis，LDA）進行情緒壓力檢測。

e）CSMT-EDA。將本文方法中的ECG重建任務替換為EDA（皮膚電活動）重建。

f）CSMT-EMG。將本文方法中的ECG重建任務替換為EMG（肌電圖）重建。

在LOSO設定下，對四種方法進行了二分類情緒壓力檢測（壓力與非壓力），在不同受測試個體中的實驗結果如表2所示，其中1號和12號受試者的數(shù)據(jù)因傳感器故障而無法獲取[25]。本文CSMT模型在15名測試者中，有7名的表現(xiàn)優(yōu)于其他四種方法，具體體現(xiàn)在accuracy 和 F₁ -score 指標上。此外，CSMT模型的 accuracy 和 F₁ -score 的平均值也高于其他三種方法。這一結果驗證了CSMT模型在未見個體的訓練過程中仍具備良好的泛化能力。

表3展示了所有方法在WESAD上的兩類任務實驗結果，指標為所有受測試個體結果的平均值。對比實驗中的方法可以根據(jù)輸入數(shù)據(jù)的不同分為兩類：a）以PPG信號特征作為輸入的機器學習方法;b）以原始信號（PPG信號或ECG信號）作為輸人的深度學習方法?；谔卣鞯臋C器學習方法在accura-cy和 F₁ -score指標上優(yōu)于以PPG-CNN為代表的深度學習方法。這是因為常見的深度學習方法容易過度擬合原始輸入信號與壓力標簽之間的關系，并受到原始信號中個體特征噪音的影響。而機器學習方法使用的特征是根據(jù)經驗人工選擇的特征，能夠有效減少過擬合的風險。

accuracy高于對比方法1.07百分點， F₁ -score高于對比方法2.85百分點。這表明CSMT能夠有效緩解情緒壓力檢測領域的OOD問題，下一小節(jié)的消融實驗將進一步說明這一點。相較于基于機器學習的方法，CSMT避免了因特征提取而導致的原始信號信息丟失，提高了模型的性能上限。

為了進一步驗證所選輔助任務的合理性，本文將ECG重建任務分別替換為EDA（皮膚電活動）或EMG（肌電圖）信號的重建任務。實驗結果表明，使用EDA或EMG信號作為輔助任務（即CSMT-EDA和CSMT-EMG）時，模型的性能顯著低于原本的CSMT。由于PPG信號與EDA和EMG信號之間缺乏顯著的生理關聯(lián)性，在跨模態(tài)重建任務中，EDA和EMG信號無法有效發(fā)揮作用，這也導致其在情緒壓力檢測中的表現(xiàn)不如ECG重建任務。

3.4消融實驗

為了進一步驗證CSMT有效性，探究提出的跨模態(tài)多任務學習中的兩類任務對OOD問題的緩解效果，在本小節(jié)分別對ECG信號重建任務和多特征預測任務進行消融實驗。a）w/oECG：去除方法中的ECG信號重建任務;b）w/oFea：去除方法中的多特征預測任務；c）去除方法中的ECG信號重建和多特征預測任務只保留主任務即情緒壓力檢測。消融實驗結果如表4所示。

在同時去除ECG信號重建和多特征預測輔助任務后，模型的性能優(yōu)于表3中的PPG-CNN方法，說明本文設計的基本模型結構在情緒壓力檢測任務上具有更好的性能。僅去除多特征預測輔助任務或僅去除ECG信號重建任務，模型的性能優(yōu)于同時去除兩類輔助任務，表明這兩類任務單獨應用時都對模型有增益。同時應用兩類輔助任務，模型能同時學習高維隱式特征和顯式特征，模型的性能有著明顯的提升，這說明在多任務學習的框架下，兩類任務共同作用能夠幫助模型學習到同時對隱式特征和顯式特征都有效地更加魯棒且通用的特征，有效緩解了OOD問題。

此外，消融實驗表明兩類輔助任務單獨或共同作用在三分類任務上增益要高于二分類任務。在情緒壓力分類任務中，三分類任務相比于二分類任務更為復雜。三分類任務將二分類任務中的非壓力狀態(tài)進一步細分為愉悅和中性兩種情緒狀態(tài)。3.3節(jié)的對比實驗結果和相關研究[28]也表明情緒壓力二分類任務的表現(xiàn)通常顯著優(yōu)于三分類任務。這主要是因為基于PPG信號的情緒壓力檢測方法在愉悅和中性狀態(tài)的區(qū)分上面臨較大困難，三分類任務相較于二分類任務具有更高的復雜性。深度學習模型具有強大的擬合能力，尤其是在復雜任務中，模型可能會過度學習細節(jié)特征，甚至是噪聲特征，從而增加過擬合的風險。消融實驗結果驗證了該方法在復雜或容易過擬合任務中的優(yōu)勢，尤其是在三分類任務中，輔助任務的作用更加突出，進一步提升了模型的性能。

實驗結果表明，本文CSMT模型在WESAD數(shù)據(jù)集的留一驗證測試中取得了優(yōu)異性能，在三分類和二分類壓力檢測任務上的準確率分別達到 72.28% 和 90.04% ， F₁ 值分別達到59.93% 和 88.13% ，顯著優(yōu)于現(xiàn)有方法。特別值得注意的是，模型在15名測試者中有7名的表現(xiàn)優(yōu)于所有對比方法，這充分證明了CSMT在應對未見個體時具有出色的泛化能力。通過消融實驗進一步驗證，引入ECG信號重建和多心血管特征預測這兩個輔助任務能有效提升模型性能，且兩者具有顯著的協(xié)同效應，這一發(fā)現(xiàn)為解決PPG信號壓力檢測中的分布外問題提供了新的思路。實驗結果不僅驗證了多任務跨模態(tài)學習框架的有效性，也為實現(xiàn)更可靠的日常壓力監(jiān)測奠定了基礎。

4結束語

本文針對基于PPG信號的情緒壓力檢測中面臨的分布外（OOD）問題，提出了一種基于多任務學習的跨模態(tài)情緒壓力檢測方法（CSMT）。該方法通過創(chuàng)新性地引入ECG信號重建和多心血管特征預測作為輔助任務，實現(xiàn)了對PPG信號中壓力特征的深度挖掘，有效緩解了由個體差異導致的泛化性問題。通過ECG信號重建任務捕捉PPG與ECG信號之間的內在關聯(lián)，同時引入多心血管特征預測任務增強表征學習的泛化性，實現(xiàn)了在僅使用PPG信號輸入的情況下對壓力狀態(tài)的準確識別。同時本文方法基于Transformer編碼器構建了高效的特征提取和融合機制，通過設計特殊的注意力掩碼實現(xiàn)了PPG信號表征與CLS表征的部分解耦，提升了模型對不同任務特征的學習能力。

在WESAD上的實驗驗證表明，本文CSMT在三分類（中性/壓力/愉悅）和二分類（壓力/非壓力）任務中均取得了優(yōu)于現(xiàn)有方法的性能。特別是在留一驗證測試中，模型展現(xiàn)出優(yōu)異的分布外檢測的泛化能力，證實了該方法在緩解OOD問題方面的有效性。后續(xù)的消融實驗進一步驗證了ECG信號重建和多特征預測這兩個輔助任務的必要性，揭示了多任務學習框架在提升模型泛化性能方面的作用機制。

未來工作將在以下幾個方面展開：a）探索更多類型的生理信號和特征的協(xié)同利用，進一步提升模型的魯棒性;b）擴展該方法在其他基于PPG信號的健康監(jiān)測任務中的應用，如睡眠質量評估、心律失常檢測等；c）結合遷移學習等技術，進一步增強模型在不同數(shù)據(jù)集和應用場景下的適應能力。

本文為解決情緒壓力檢測中的分布外問題提供了新的思路和方法，對推動可穿戴設備中壓力監(jiān)測技術的發(fā)展具有重要意義。隨著研究的深人和技術的完善，基于PPG信號的壓力檢測系統(tǒng)有望在日常健康監(jiān)測中發(fā)揮更大作用。

參考文獻：

[1]apa.org.Stress effects on the body[EB/OL]．（2018-11-01） [2024-1o-21].https：//www.apa.org/topics/stress/body.

[2]apa.org.How stress affects your health[EB/OL].[2024-10-21]. https：//www.apa.org/topics/stress/health.

[3]Li R，Liu Zhandong. Stress detection using deep neural networks [J].BMC Medical Informaticsand Decision Making，2020，20 （11）：285.

[4]BenchekrounM，VelmovitskyPE，IstrateD，etal.Crossdataset analysisfor generalizabilityof HRV-based stressdetection models [J].Sensors，2023，23（4）：1807.

[5]ArquillaK，WebbAK，AndersonAP.Utilityof the full ECGwaveform for stress classification[J].Sensors，2022，22（18）：7034.

[6].DalmeidaKM，MasalaGL.HRV featuresas viablephysiological markers for stress detection using wearable devices[J]. Sensors， 2021，21（8）：2873.

[7」Rundo F，Conoci S，Ortis A，et al．An advanced bio-inspired PhotoPlethysmoGraphy（PPG）and ECG patern recognition system for medical assessment[J].Sensors，2018，18（2）：405.

[8]DCStudio．Monitor-hospital-ward-showing-bmp-from-patient[EB/ OL].https：//www.freepik.com/free-photo/monitor-hospital-wardshowing-bmp-from-patient_16974844.htm#fromView Σ=Σ searchamp;page （204號 3amp;position 45amp;uuid Σ=Σ a5ccdcfc-396f-4638-9642-ee0f6dc65523.

[9]DCStudio. Smartwatch-screen[EB/OL]. https：//www.freepik.com/ free-photo/smartwatch-screen_4103214.htm#fromView Σ=Σ searchamp;page τ= 2amp;position 6amp;uuid 4c43a0c4-001b-4938-aa65-fd9133cb2776.

[10]Giannakakis G， Grigoriadis D， Giannakaki K，et al. Review on psychological stress detection using biosignals [J]． IEEE Trans on Affective Computing，2022，13（1）： 440-460.

[11]Fortino G，Giamp? V.PPG-based methods for non invasive and continuous blood pressure measurement：an overview and development issuesin body sensor networks[C]//Proc of IEEE International Workshop on Medical Measurements and Applications.Piscataway， NJ： IEEE Press，2010：10-13.

[12] Temko A. Accurate heart rate monitoring during physical exercises using PPG[J]. IEEE Trans on Bio-Medical Engineering，2017， 64（9）：2016-2024.

[13]BerkayaSK，Uysal AK，GunalES，et al.Asurvey onECGanalysis [J]．Biomedical Signal Processing and Control，2018，43： 216-235.

[14]Can Y S，Chalabianloo N，Ekiz D，et al.Continuous stress detection using wearable sensors in real life：algorithmic programming contest case study[J]. Sensors，2019，19（8）：1849.

[15]Heo S，Kwon S，LeeJ.Stress detection with single PPG sensor by orchestrating multiple denoising and peak-detecting methods [J]. IEEE Access，2021，9：47777-47785.

[16]Choi M，Koo G，Seo M，et al.Wearable device-based system to monitoradriver’sstress，fatigue，and drowsiness[J].IEEETrans on Instrumentation and Measurement，2018，67（3）：634-645.

[17]YeeChungJW，F(xiàn)uk SoHC，Tak Choi MM，et al.Artificial inteligence in education：using heart rate variability（HRV）as a biomarker to assess emotions objectively[J].Computersand Education： Artificial Intelligence，2021，2：100011.

[18] Zhu Qiang，Tian Xin，Wong C W，et al.ECG reconstruction via PPG：a pilot study[C]// Proc of IEEE EMBS International Conference on Biomedical amp; Health Informatics.Piscataway，NJ：IEEE Press，2019：1-4.

[19] Zhu Qiang，Tian Xin，Wong C W，et al. Learning your heart actions from pulse：ECG waveform reconstruction from PPG [J]. IEEE Internetof Things Journal，2021，8（23）：16734-16748.

[20]Esgalhado F，Batista A，VassilenkoV，etal.Peak detection and HRV feature evaluation on ECG and PPG signals[J]. Symmetry， 2022，14（6） ： 1139.

[21]Lin Wanhua，Wu Dan，Li Chunyue，etal.Comparison of heart rate variability trom PPG with that trom ECG[C」//Proc ot International Conference on Health Informatics.Cham：Springer，2014：213-215.

[22]Vandenberk T，StansJ，MortelmansC，etal.Clinical validation of heart rate apps：mixed-methods evaluation study [J].JMIR MHealthandUHealth，2017，5（8）：e129.

[23]Kinunen H，Rantanen A，Kentta T，et al.Feasible assessment of recovery and cardiovascular health：accuracy of nocturnal HR and HRV assessed via ring PPG in comparison to medical grade ECG [J].Physiological Measurement，2020，41（4）：04NT01.

[24]aclsnow.com.What does normal sinus rhythm look like on ECG？ [EB/OL]. （2025-01-29）. https：//aclsnow.com/blog/what-doesnormal-sinus-rhythm-look-like-on-ecg/.

[25]SarkarP，Etemad A.CardioGAN：attentive generative adversarial network with dual discriminators for synthesis of ECG from PPG [C]//Proc of AAAI Conference on Artificial Intellgence.Palo Alto， CA：AAAI Press，2021：488-496.

[26]VoK，NaeiniEK，NaderiA，etal.P2E-WGAN：ECGwaveform synthesis from PPG with conditional Wasserstein generative adversarial networks[C]// Proc of the 36th Annual ACM Symposium on AppliedComputing.New York：ACMPress，2021：1030-1036.

[27]Su Jianlin，Ahmed M，Lu Yu，etal.RoFormer：enhanced Transformerwith rotary position embedding[J].Neurocomputing， 2024，568：127063.

[28]Schmidt P，Reiss A，Duerichen R，et al. Introducing WESAD，a multimodal dataset for wearable stress and affect detection [C ]// Proc of the2Oth ACM International Conference on Multimodal Interaction.New York：ACM Press，2018：400-408.

[29]Makowski D，Pham T，Lau Z J，et al.NeuroKit2：a Python toolbox for neurophysiological signal processing [J].Behavior Research Methods，2021，53（4）： 1689-1696.

[30]PanJ，TompkinsWJ.A real-timeQRSdetection algorithm[J]. IEEETransonBio-MedicalEngineering，1985，32（3）：230- 236.

[31]Boonnithi S，Phongsuphap S.Comparison of heart rate variability measures for mental stress detection [C]//Proc of Computing in Cardiology. Piscataway，NJ： IEEE Press，2011：85-88.

[32]Charlton PH，MantJ，KyriacouPA.MSPTDfast：an efficient photoplethysmography beat detection algorithm[EB/OL].（2024-07-18） [2024-12-24]. htps：//www.medrxiv.org/content/10.1101/2024. 07.18.24310627v1.

[33]Lisowska A，Wilk S，Peleg M. Catching patient’s attention at the right time to help them undergo behavioural change：stress classificationexperiment from bloodvolume pulse[C]//Proc of International Conferenceon Artificial Intellgencein Medicine.Cham：Springer， 2021： 72-82.

[34]Fan Tianqi，Qiu Sen，Wang Zhelong，et al.A new deep convolutional neural network incorporating attentional mechanisms for ECG emotion recognition [J].Computers in Biology and Medicine， 2023，159：106938.