中圖分類號：TN911.7-34；TP301.6 文獻標識碼：A 文章編號：1004-373X（2025）16-0038-07

TS-SEA： temporal-frequency-seasonal joint contrastive learning for timeseriesclassification

LIKun’，TANJun2，GUINing2，ZHUZhaowei3 （1.School ofSoftware，XinjiangUniversity，Urumqi 83oo91，China; 2.SchoolofComputer Scienceand Engineering，Central South University，Changsha 41oo83，China; 3.School of Computer Scienceand Technology，Zhejiang Sci-Tech University，Hangzhou 311241，China）

Abstract：Timeseriesclasification （TSC）isthetaskofcategorizing sequentialdata intopredefined clasesaccording to their temporalpaterns.Real-world timeseriesusuallcontaincomplexcouplingoftrend terms，seasonalcomponents，outliers， andnoise，anditsacurateecompositioniscrucialtoimproveclasificationpeforance.Terefore，atimesriescassiication method，S-Ssoe，ichooiisnteioalydol FFTandSTL.Basedontheseviews，iterativelearningisrealizedbymeansofcontrastlearningbetweenencoders.Theresults indicate that incomparison with existing methods，theproposedTS-SEAmethodcanexhibitthebetterperformance whendealing with diverse time series applications.

Keywords：TS-SEA;timeseriesclasification;multi-viewjointlearning;contrastivelearnng;Fouriertransform;tieseries decomposition

0 引言

時間序列數(shù)據(jù)在現(xiàn)實世界中隨處可見[1，對許多應用至關重要，特別是在諸如醫(yī)療保健[2-3]、金融[4、交通[5-6]和工業(yè)生產(chǎn)等領域。然而，在實踐中獲得真實可用的標簽是耗時且昂貴的，使得直接應用傳統(tǒng)的監(jiān)督學習方法具有挑戰(zhàn)性。盡管標記樣本稀缺，但通常大量未標記的數(shù)據(jù)是可以輕易獲得的。自監(jiān)督表示學習方法受到越來越多的研究者關注，因為他們可以從未標記的數(shù)據(jù)中創(chuàng)建監(jiān)督信號。

對比學習作為自監(jiān)督學習的一種范式，在時間序列分析任務中具有卓越的性能，如預測、插值、分類、異常檢測等。對比學習的主要目標是在樣本批次中最大化兩個增強正樣本對之間的一致性，同時最小化負樣本對之間的相似性。時間序列對比學習有兩個主要分支：單視圖[0]和多視圖范式。單視圖主要在時間上進行隨機增強來構建正負樣本對，這些隨機增強方法主要有時間平移、噪聲添加、時間縮放、數(shù)據(jù)截斷、數(shù)據(jù)旋轉、數(shù)據(jù)翻轉等。

另一方面，多視圖考慮更多潛在因素，例如將時域信號通過快速傅里葉變換（FFT）方法轉換成頻域信號，然后分別在時域和頻域上通過隨機增強來構建正負樣本對，并計算視圖內(nèi)對比損失，再計算視圖之間的損失。

盡管近年來研究者們在時間序列分析方面取得巨大的進步，特別是在探索時間序列的頻率信號和周期性以及捕捉時間依賴性方面[11-12]，但時間序列的復雜模式（如季節(jié)性、趨勢和殘差）在時間序列數(shù)據(jù)中的利用仍然不充分。同時，一些研究已經(jīng)將時間序列分解技術應用于預測、異常檢測等時間序列分析任務，并將時間序列分解為趨勢、季節(jié)性和殘差部分[13-14]

圖1展示了人體活動識別（HumanActivityRecognition，HAR）數(shù)據(jù)集[5中兩個不同類別的5個不同視圖，從上到下分別是時域、頻域、趨勢項、季節(jié)項和殘差項。從圖1（Frequency是通過FFT獲得的頻域信號，Trend、Seasonal和Residual是通過季節(jié)-趨勢分解法（STL）獲得的分解信號）可以看出，季節(jié)性在不同類別中顯示出顯著的變異性，而周期性與原始時間序列相比具有更明顯的特征。因此，基于前面的觀察和分析，本文使用時間分解技術（例如STL[1）來分解時間序列的季節(jié)性，以探索原始時間序列的復雜周期性在時間序列分類任務中的應用。

圖1不同類別標簽下的時域、頻域、趨勢項、季節(jié)項和殘差項的可視化圖

本文的貢獻可以總結如下：提出一種基于三重視圖發(fā)現(xiàn)（時域-頻域-季節(jié)域）的聯(lián)合對比學習方法。利用時間序列分解技術將季節(jié)視圖分解為一個單獨的視圖，并將其應用于時間序列分類任務。大量實驗的結果表明，本文所提出的TS-SEA方法在時間序列分類任務上得到的結果最先進，并且標準偏差較低。

1相關工作

1.1 時間序列分解

在時間序列分析領域，有許多研究考慮使用基于時間序列分解的方法進行預測[4和異常檢測任務[17]。時間序列分解包括兩個主要類別：一種是獨立時間序列分解，其主要特征是不依賴于特定任務模式，并需要固定的移動平均值[16.18]；另一種是集成時間序列分解，它將時間序列分解納入任務模型中，并需要學習時間序列的模式[13]。例如，文獻[14]提出一種基于時間序列分解的模型預訓練方法，其核心是將分解后的信號分別通過編碼位置和提示詞輸入到預訓練變換器中，然后將3個信號的輸出特征進行求和及預測。文獻[13]提出進化分解變換器，它不需要固定的均值濾波器，可以在模型訓練期間學習分解時間序列的趨勢和季節(jié)性。文獻[13]在時間序列異常檢測中使用時間序列分解的趨勢和季節(jié)性，再次將趨勢和季節(jié)性項輸入到各自的編碼中，并在最終輸出層執(zhí)行加法操作。

1.2對比學習

對比學習是自監(jiān)督表示學習的強大工具，并且多年來一直是時間序列分析研究的對象[10.12]。基于對比學習的方法可以分為兩個分支：基于單視圖和基于多視圖。單視圖主要關注時間信號，具有特定的網(wǎng)絡設計、增強設計或兩者的結合。例如，文獻[19]提出一種軟對比學習策略（SoftCLT），以保持相似時間序列實例之間的相關性。文獻[20]使用自回歸預測來結合強和弱的增強。文獻[21]使用分層對比學習來處理輸人序列的兩個裁剪子序列。與單視圖相比，基于多視圖的方法考慮整個隱藏表示空間的全局結構，強調(diào)時間和頻率域信號的聯(lián)合使用。例如，文獻[11]提出一種用于嘈雜時間序列學習的共同訓練對比學習方法。與多視圖相比，單視圖專注于時間或頻率域信號中的一個。

2方法

2.1 問題定義

給定一個時間序列數(shù)據(jù)集 D={x₁，x₂，…，x_N} ，每個時間序列 x_i∈R^T×dim ，其中 T 是時間序列樣本的長度， 是每個時間序列的維度或傳感器數(shù)量。本文的目標是學習3個視圖，分別為時間、頻率和季節(jié)視圖。通過聯(lián)合多視圖學習方案來學習不同視角之間的一致性特征表示。

2.2傅里葉變換與時間序列分解

在本文中所提方法展示了在深度學習框架中聯(lián)合使用時間、頻率和季節(jié)信號，可以顯著提高表示學習和對比學習能力。具體而言，通過FFT方法，利用頻率來生成時間序列信號樣本的頻率信號樣本；除了頻率信號外，還利用STL方法將時間信號分解為趨勢、季節(jié)和殘差信號。在TS-SEA模型中，由STL分解的季節(jié)信號被選擇為與時間信號一起的新視圖。這允許在對頻率信號和時間信號分析的同時對季節(jié)信號進行對比學習，從而為時間序列提供更細致的分析結果。通過聯(lián)合學習時間、頻率和季節(jié)多視圖對比，本文提出的TS-SEA模型能夠獲取更具代表性的時間序列表示信息，使模型學習對時間序列分類任務有用的表示。

2.3 多視圖對比學習

總體結構圖如圖2所示。本文設計3個具有相同結構且不共享參數(shù)的網(wǎng)絡作為特征提取器。這些網(wǎng)絡分別標記為 G，F(xiàn) 和 s ，并代表3個不同的視圖：原始時間序列視圖、頻率視圖和經(jīng)過時間序列分解的季節(jié)視圖。通過 G，F(xiàn) 和 s 特征提取器提取3個不同視圖的特征表示，分別表示為 。每個單獨視圖的編碼器由一個3層的CNN金字塔網(wǎng)絡組成，在每個卷積塊之后添加一個最大池化模塊。每個單獨視圖對應的增強樣本通過在每個卷積塊之后做出dropout得到。給定一個大小為 N 的訓練批次，在視圖內(nèi)，TS-SEA在每個中間編碼層之后對嵌入表示進行隨機丟棄，獲得大小為N 的增強樣本，并產(chǎn)生 2N 個數(shù)據(jù)樣本g1g…gNg'，，gN。對于特定樣本g;，總共有2N-1對，本文選擇其對應的增強樣本 g_i^′ 形成正對 {g_i，g_i^′} ，其他2N-1 對留作負對。

圖2總體結構圖

g 視圖余弦相似度計算公式如下：

獲取 f 和 s 視圖余弦相似度的方法相同。

在訓練批次大小為 N 的情況下，樣本 和 s_i 的實例對比損失為：

式中： L_[k≠i] 是指示函數(shù)； Φ_t 是溫度參數(shù)。

受TS-CoT的啟發(fā)，本文采用一種基于原型的無監(jiān)督跨視角表示學習方法。參考TS-CoT的設置，在此簡要描述改進的多視圖原型對比和訓練策略。在視角 G 中，第 i 個樣本通過視角 G 的骨干網(wǎng)絡得到 z_i^g 。視角 F 和 s 也是相同的處理方式。如果在數(shù)據(jù)集中總共有 M 個樣本，那么在聚類初始化之后表示為：

式中clustering是一個聚類算法。

隨后的原型學習計算將第 i 個樣本分配給聚類原型的索引。

式中 j∈{1，2，…，M} 表示不同視角的聚類索引。

假設不同視角的表示具有相同的聚類結構，然而，在實際聚類中實現(xiàn)這一點是具有挑戰(zhàn)性的。因此，采用聯(lián)合學習來促進生成具有相似聚類結構的原型聚類，公式化表述為：

基于原型的聯(lián)合對比學習損失如下所示：

式中： 和 是第 i 個樣本的對應跨視角原型。

式中： cross∈{gs，gf，fg，fs，sg，sf}，target∈{g，gf，fs，s} 和source σ∈{s，f，g，s，f，g} 分別對應。

2.4優(yōu)化目標

總體目標函數(shù)包括3個視圖的域內(nèi)對比損失和3個基于原型的聯(lián)合訓練損失，即：

L=（1-λ）L_Inst^g+L_Inst^f+L_Inst^s+λ（L_Prot^g+L_Prot^f+L_Prot^s）

式中， λ 用于平衡視圖的域內(nèi)對比損失和視圖間的共同原型訓練模塊的損失。

3 實驗與分析

3.1 數(shù)據(jù)集

為對提出的模型進行全面評估，本文方法使用三個公開可用的現(xiàn)實世界數(shù)據(jù)集（HAR、ISRUC、Epilepsy），涵蓋多樣化的時間序列應用。在表1中呈現(xiàn)數(shù)據(jù)集的基本統(tǒng)計特征，包括訓練集和測試集中的實例數(shù)量、數(shù)據(jù)長度、傳感器數(shù)量、類別數(shù)量。

表1數(shù)據(jù)集描述

HAR數(shù)據(jù)集包含來自30名參與者的傳感器讀數(shù)，涉及6種活動：行走、上樓梯、下樓梯、站立、坐下和躺下。這些讀數(shù)是使用嵌入式加速度計和陀螺儀獲取的，以 50Hz 的恒定速率捕獲3軸線性加速度和3軸角速度的原始數(shù)據(jù)。

ISRUC數(shù)據(jù)集22包括來自成年人的數(shù)據(jù)，即健康個體和服用睡眠藥物的睡眠障礙患者。它分為3個主要組：每個組有一個記錄會話的100名受試者的數(shù)據(jù)；每個組有兩個記錄會話的8名受試者進行時間研究；以及10名健康受試者的數(shù)據(jù)，用于與睡眠障礙患者進行比較。

Epilepsy數(shù)據(jù)集由500名個體的腦電圖記錄組成，每個受試者的腦活動在23.6s內(nèi)進行監(jiān)測[23]。最初被分為5類，本文將4個非癲癇性發(fā)作類別合并成一個單一類別，從而將數(shù)據(jù)集轉換為二分類任務。

3.2 評估指標

評估采用標準的線性分類方案，參考文獻[10]和文獻[21所述。這個評估過程包括以自監(jiān)督的方式僅使用訓練數(shù)據(jù)訓練編碼器，然后在預訓練的編碼器上訓練線性分類器。性能評估使用兩個指標，即：準確率（Acc）和宏平均 F₁ 分數(shù)（MF1）。

3.3實現(xiàn)細節(jié)

在TS-SEA的實驗中，將所有數(shù)據(jù)集劃分為 80% 用于訓練， 20% 用于測試。將批量大小設置為256，并選擇ADAM作為優(yōu)化器，學習率為0.005。預訓練階段包括40個epochs，然后訓練線性分類器100個epochs。編碼器的表示維度配置為512。

3.4對比實驗結果

為了驗證本文分類方法的有效性，采用TS-SEA與時間序列分類領域的幾種最先進方法進行比較分析。選取的SOTA方法主要包括TNC[24]、Mixing- Up^[25] 、CoST^[12] TF- C^[26] 、PITS[27]、COMET[28]、TS-TCC[10]、TS2Ve[21]和TS-CoT。所有基線方法都基于它們的原始實現(xiàn)，并且采用默認參數(shù)進行比較，以保證公平性。

表2中呈現(xiàn)的結果展示了TS-SEA模型與當前領先的分類模型相比的卓越性能。特別是在HAR數(shù)據(jù)集上，TS-SEA在準確率和MF1指標上分別比TS-CoT方法高出 1.16% 和 1.23% 。此外，在ISRUC和Epilepsy數(shù)據(jù)集上，TS-SEA的結果分別比TS-CoT方法高出 1.63% 和1.80% ，在準確率和MF1指標上的改進分別為 0.39% 和0.62% 。

3.5消融實驗

本文方法進行了3種類型的消融實驗，以評估所提出的聯(lián)合對比學習模型在時間、頻率和季節(jié)性方面的有效性。

表2性能對比實驗結果 %

第一種類型的實驗涉及分別聯(lián)合學習時間和頻率視角，使用季節(jié)性-趨勢-殘差分解法（STL）分解趨勢、季節(jié)性和殘差。第二類實驗包括3個視圖的聯(lián)合學習：固定2個視圖的時間和頻率，加上STL分解的趨勢或殘差。第三類實驗包括僅使用STL分解來聯(lián)合學習趨勢、季節(jié)性和殘差的3個視圖。

表3展示了三個數(shù)據(jù)集在不同視圖中聯(lián)合學習的分類結果。符號T、F、Trn、S和Res分別代表原始的時間信號、傅里葉變換后的頻率信號以及分解的趨勢、季節(jié)性和殘差項。從表中可以清楚地看出，TS-SEA在時間、頻率和季節(jié)性分量3個視圖的聯(lián)合對比學習中表現(xiàn)最佳。

3.6分解模式與分解周期分析

為研究分解模式和周期對自監(jiān)督學習和分類性能的影響，本文采用STL時間序列分解方法的設置。STL模型提供了加法和乘法分解模式，即假設時間序列數(shù)據(jù)可以表示為趨勢、季節(jié)和殘差組成部分的加法或乘法。本文通過調(diào)整分解周期（對應于固定均值濾波器長度）來評估性能，周期長度分別設定為5、10、20、30、40和50，結果如圖3所示。

盡管HAR數(shù)據(jù)集的性能在較長分解周期下略有提升，但其他2個數(shù)據(jù)集的表現(xiàn)較為穩(wěn)定，未顯著受到周期長度的影響。

表3消融實驗結果 %

圖3分解模式和分解周期分析對比圖

3.7參數(shù)敏感性分析

為評估TS-SEA中各種參數(shù)的影響，本文考察4個重要的超參數(shù)：批量大小、自監(jiān)督表示的維度、平衡自監(jiān)督和原型比較的 λ 值以及溫度參數(shù)t。

如圖4所示，下游分類的性能對批量大小的影響較小，但對自監(jiān)督表示的維度敏感。具體而言，隨著表示維度的增加，分類準確性通常會提高。

圖4部分敏感性參數(shù)分析圖

關于參數(shù)入，ISRUC和Epilepsy數(shù)據(jù)集的性能保持穩(wěn)定，而對于HAR數(shù)據(jù)集，隨著 λ 值的增加，分類準確性下降。此外，分類準確性明顯受到 Φ_t 值的影響，最佳分類結果在接近0.1處獲得，以平衡自監(jiān)督和原型比較。同時，溫度參數(shù) Φ_t 也對分類性能具有顯著影響。

4結論

本文提出了一種創(chuàng)新的時間序列分類方法，稱為TS-SEA。該方法利用快速傅里葉變換（FFT）將原始數(shù)據(jù)轉換為頻域表示，并通過季節(jié)性-趨勢-殘差分解法（STL）從時間序列數(shù)據(jù)中提取季節(jié)性分量。隨后，TS-SEA為每個視圖構建結構相同但不共享權重的編碼器，分別經(jīng)過編碼器得到時間、頻率和季節(jié)視圖的隱層表示。對于得到的特征被輸人到基于原型的對比學習框架中，以學習在不同視圖間的共性特征。最后，通過大量的實驗結果證明，TS-SEA在處理多樣化的時間序列應用時表現(xiàn)了最佳的性能。

注：本文通訊作者為桂寧。

參考文獻

[1] ZHANG K，WENQ， ZHANG C，etal. Self-supervised learning for time series analysis： taxonomy，progress，and prospects [J]. IEEEtransactionsonpattrnanalysisandmachine intelligence，2024（10）：46.

[2]LI Y，CHEN Z，ZHA D，et al. Towards learning disentangled representations for time series [C]// Proceedings ofthe 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining.[S.1.]：ACM，2022：3270-3278.

[3] SAAB K，DUNNMON J，RE C，et al.Weak supervision as an etticient approachtor automated seizure detection in electroencephalography [J]. NPJ digital medicine，2020，3（1）： 59.

[4] DUY T，WANGJD，F(xiàn)ENG WJ，et al.AdaRNN：adaptive learning and forecasting of time series [C]//Proceedings of the 30thACM InternationalConference onInformationamp; Knowledge Management.Queensland，Australia：ACM，2021： 402-411.

[5]CIRSTEA R G，YANG B，GUO C，et al.Towards spatio - temporal aware traffic time series forecasting [C]// 2O22 IEEE 38th International Conference on Data Engineering （ICDE）. [S.l.]： IEEE，2022： 2900-2913.

[6] LIU X，XIAY T，LIANG Y X，et al.Largest： a benchmark dataset for large-scale traffic forecasting[J].Advances in neural information processing systems， 2024， 36：11.

[7]LIJ，YANGB，LI H，etal.DTDR-ALSTM：extractingdynamic time -delays to reconstruct multivariate data for improving attention-based LSTM industrial time series prediction models [J].Knowledge-based systems，2021，211： 106508.

[8] PEREZ-RIVEROL Y， ZORIN A，DASS G，et al. Quantifying the impact of public omics data [J]. Nature communications， 2019，10（1）： 3512.

[9]CHEN T，KORNBLITH S，NOROUZI M，et al.A simple framework for contrastive learning of visual representations [C]// International conference on machine learning.[S.l.]： PMLR，2020：1597-1607.

[10]ELDELE E，RAGABM，CHEN Z，etal. Time-series representation learning via temporal and contextual contrasting [EB/ OL].[2024-02-17]. https：//arxiv.org/pdf/2106.14112.

[11] ZHANG W， ZHANG J，LI J， et al. A co-training approach for noisy time series learning [C]// Proceedings of the 32nd ACM International Conference on Information and Knowledge Management. [S.l.]： ACM，2023：3308-3318.

[12] WOO G，LIU C，SAHOO D，et al. Cost： contrastive learning of disentangled seasonal - trend representations for time series forecasting [EB/OL]. [2024-02- 07].https：//arxiv.org/pdf/ 2202.01575.

[13] CAO H， HUANG Z， YAO T，et al. Inparformer： evolutionary decomposition transformers with interactive parallel attention for long-term time series forecasting [J].Proceedings of the AAAI conference on artificial intelligence，2023，37（6）：6906- 6915.

[14] CAO D，JIA F，ARIK S O，et al. Tempo： prompt -based generative pre-trained transformer for time series forecasting [EB/OL]. [2024-08-01]. https：//rxiv.org/pdf/2310.04948.

[15]ANGUITA D，GHIO A，ONETO L，et al.A public domain dataset for human activity recognition using smartphones [C]// EuropeanSymposiumonArtificialNeuralNetworks， Computational Intelligence and Machine Learning （ESANN）. [S.l.]： Springer，2013： 3.

[16] CLEVELAND R B，CLEVELAND W S，MCRAE JE，et al. STL：a seasonal- trend decomposition [J]. Journal of ofticial statistics，1990， 6（1）： 73.

[17] SUNY，PANGG，YEG，et al.Unraveling the'anomaly'in time series anomaly detection：a self-supervised tri-domain solution [C]// 2024 IEEE 4Oth International Conference on DataEngineering （ICDE）. Utrecht，Netherlands：IEEE，2024： 981-994.

[18] WEN Q， ZHANG Z，LI Y，et al. Fast RobustSTL： efficient and robust seasonal -trend decomposition for time series with complex patterns [C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp;Data Mining. [S.1.]： ACM，2020： 2203-2213.

[19] LEE S，PARK T， LEE K. Soft contrastive learning for time series[EB/OL].[2024-03-18]. https：//arxiv.org/pdf/2312.16424.

[20] ELDELE E，RAGAB M，CHEN Z，etal. Time - series representation learningviatemporalandcontextual contrasting [EB/OL]. [2024 - 06 - 08]. https：//arxiv.org/pdf/ 2106.14112.

[21] YUE Z， WANG Y，DUAN J， et al. TS2Vec： towards universal representation of time series [J]. Proceedings of the AAAI conference on artificial intelligence，2022，36（8）：8980-8987.

[22] KHALIGHI S， SOUSA T， SANTOS J M， et al. ISRUC-Sleep： a comprehensivepublicdataset forsleep researchers[J]. Computer methods and programsin biomedicine，2016，124： 180-192.

[23]ANDRZEJAK R G，LEHNERTZ K，MORMANN F，etal. Indications of nonlinear deterministic and finite-dimensional structuresintimeseriesofbrainelectricalactivity： Dependence on recording region and brain state [J].Physical review E，2001，64（6）： 061907.

[24] MENGQ，QIAN H，LIU Y，et al.Unsupervised representation learning for time series： a review [EB/OL]. [2024-06-01]. https： //arxiv.org/pdf/2308.01578.

[25]WICKSTROM K，KAMPFFMEYER M，MIKALSEN KO，et al.Mixingupcontrastivelearning：self-supervised representation learning for time series [J].Pattern recognition letters，2022，155：54-61.

[26] ZHANG X，ZHAO Z，TSILIGKARIDIS T，et al. Self - supervised contrastive pre-training for time series via time - frequency consistency [J]. Advances in neural information processing systems，2022，35： 3988-4003.

[27]LEE S，PARK T，LEE K.Learning to embed time series patches independently [EB/OL]. [2023-12-08]. https：/arxiv.org/ pdf/2312.16427.

[28]WANGY，HAN Y，WANGH，et al.Contrast everything：a hierarchical contrastive framework for medical time-series [EB/ OL]. [2024-05-11]. htps：//arxiv.org/pdf/2310.14017.

[29]KINGMADP，BAJ.ADAM：a method for stochastic optimization [EB/OL].[2024-03-11].https：//arxiv.org/pdf/1412.6980.