摘 要：針對(duì)深度聚類算法對(duì)多變量時(shí)間序列數(shù)據(jù)（MTS）的特征提取能力不足等問題，提出一種新的深度聚類結(jié)構(gòu)模型（MDTC）。為了提取MTS的關(guān)鍵特征并實(shí)現(xiàn)降維，提出一維卷積學(xué)習(xí)MTS的屬性和時(shí)序維度的特征表示與循環(huán)神經(jīng)網(wǎng)絡(luò)等網(wǎng)絡(luò)層組成的自編碼器結(jié)構(gòu)；為了提高模型對(duì)時(shí)序特征的表示能力，提出了MCBAM時(shí)序注意力模塊，用于增強(qiáng)MTS序列中不同時(shí)間段的表示特征。在九個(gè)公開UEA多元時(shí)序數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，模型的自編碼器結(jié)構(gòu)相較其他自編碼器在七個(gè)數(shù)據(jù)集上提升了2%～9%；模型的MCBAM模塊相較其他注意力模塊在六個(gè)數(shù)據(jù)集上提升了0.3%～2%。實(shí)驗(yàn)表明MDTC模型結(jié)構(gòu)和MCBAM模塊的有效性，同時(shí)模型對(duì)比其他聚類算法具有優(yōu)異的表現(xiàn)。

關(guān)鍵詞：深度學(xué)習(xí)； 深度聚類； 注意力機(jī)制； 自編碼器； 一維卷積

中圖分類號(hào)：TP18文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2023）08-022-2387-06

doi：10.19734/j.issn.1001-3695.2022.11.0635

Deep AutoEncoder clustering algorithm for multiple time sequences

Zhang Zijing， Zhang Jianxun， Quan Wenjun， Nan Hai

（School of Computer Science amp; Engineering， Chongqing University of Technology， Chongqing 400054， China）

Abstract：Aiming at the problem of insufficient feature extraction ability of deep clustering algorithm on multivariate time series data（MTS）， this paper proposed a new deep clustering structure model（MDTC）. In order to extract the key features of MTS and realize dimensionality reduction， one-dimensional convolution learned the attribute and temporal dimension feature representation of MTS and the AutoEncoder structure composed of network layers such as recurrent neural network. To improve the model’s ability to represent temporal features， this paper proposed MCBAM temporal attention module， which was used to enhance the representation features of different time periods in the MTS sequence. This paper conducted experiments on nine publicly available UEA multivariate time series datasets， compared with other autoencoders， the AutoEncoder structure of the model improved by 2%～9% on seven datasets. Compared with other attention modules， the MCBAM module of the model improved by 0.3%～2% on six datasets. Experiments show the effectiveness of the MDTC model structure and MCBAM module， and the model has excellent performance compared with other clustering algorithms.

Key words：deep learning; deep clustering; mechanism of attention; self encoder; one dimensional convolution

0 引言

時(shí)間序列是樣本在一系列時(shí)間點(diǎn)取得的觀測(cè)值，如果樣本含有多個(gè)屬性，那么單個(gè)樣本在一個(gè)時(shí)間點(diǎn)下有多個(gè)屬性的觀測(cè)值，稱此樣本為多元時(shí)序數(shù)據(jù)（MTS）。在時(shí)間序列的分析上，樣本通常都具有多個(gè)屬性，因此在多元時(shí)序數(shù)據(jù)中提取有用的數(shù)據(jù)進(jìn)行分析和聚類不僅應(yīng)用于機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、語(yǔ)音識(shí)別等多個(gè)領(lǐng)域，還在行為分析、軌跡分析、生物技術(shù)等領(lǐng)域中發(fā)揮著巨大作用。盡管在時(shí)間序列數(shù)據(jù)聚類方面取得了進(jìn)展，但MTS數(shù)據(jù)的噪聲、時(shí)間高維、多變量的存在給設(shè)計(jì)有效和高效的聚類算法帶來(lái)了挑戰(zhàn)，MTS數(shù)據(jù)聚類也是最具挑戰(zhàn)性的課題之一［1，2］。

自編碼器作為典型的無(wú)監(jiān)督深度學(xué)習(xí)模型，通過(guò)編碼器的預(yù)訓(xùn)練實(shí)現(xiàn)樣本的特征提取。文獻(xiàn)［3］表明自編碼器模型相比較主成分分析（PCA）等降維方法，自編碼器通過(guò)多層神經(jīng)網(wǎng)絡(luò)可以將高維數(shù)據(jù)轉(zhuǎn)換成更好的低維向量?；谏疃葘W(xué)習(xí)對(duì)多維時(shí)序數(shù)據(jù)聚類研究，在早期的多階段深度聚類方法中，Huang等人［4］訓(xùn)練了一種深度自編碼器提取表示特征，表示特征可以通過(guò)K-means獲得聚類結(jié)果。為了聯(lián)合優(yōu)化兩個(gè)任務(wù)，Yang等人［5］使用深度神經(jīng)網(wǎng)絡(luò)（DNN）和K-means聚類共同訓(xùn)練的方法，顯著地提高了聚類性能。

多元時(shí)序聚類存在高維度和隱含特征的挑戰(zhàn)，已有的深度學(xué)習(xí)聚類模型雖然在提取單維時(shí)序特征或者圖像等其他場(chǎng)景的非時(shí)序多維特征具有魯棒性，但是對(duì)于多維時(shí)間序列數(shù)據(jù)的特征提取能力不足［6］，存在MTS數(shù)據(jù)聚類效果較差的問題。

神經(jīng)網(wǎng)絡(luò)具有強(qiáng)大的特征提取能力和數(shù)據(jù)降維能力，為了解決深度學(xué)習(xí)聚類模型針對(duì)MTS有效數(shù)據(jù)特征提取困難的問題，本文提出了一種多元時(shí)序自編碼器結(jié)構(gòu)的深度學(xué)習(xí)模型（MDTC），該模型采用一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)MTS數(shù)據(jù)進(jìn)行屬性的多通道卷積運(yùn)算，在時(shí)序維度進(jìn)行卷積滑動(dòng)操作，再使用循環(huán)神經(jīng)網(wǎng)絡(luò)和全連接網(wǎng)絡(luò)組成了編碼器和解碼器；為了進(jìn)一步提升模型的特征提取能力，在解碼器中加入了本文提出的時(shí)序注意力機(jī)制（MCBAM），MCBAM在空間注意力中引入時(shí)序維度上的區(qū)域上的特征提取。使用KL離散度損失函數(shù)的深度嵌入聚類算法與自編碼器損失函數(shù)共同優(yōu)化MTS的特征表示，得到MTS聚類結(jié)果。經(jīng)實(shí)驗(yàn)驗(yàn)證，MDTC模型與其他聚類算法在MTS聚類的精確度上得到了提升，針對(duì)MTS數(shù)據(jù)聚類有著不錯(cuò)的表現(xiàn)；時(shí)序注意力MCBAM對(duì)比其他卷積注意力模塊在MTS聚類精度指標(biāo)上得到提升。

1 相關(guān)工作

針對(duì)多元時(shí)序數(shù)據(jù)的聚類主要有原始數(shù)據(jù)的相似性直接聚類、提取數(shù)據(jù)的間接特征進(jìn)行聚類、間接的建立模型進(jìn)行聚類。在時(shí)序距離相似度表示方面，通過(guò)歐氏距離、DTW等距離作為常用的時(shí)序相似度距離，文獻(xiàn)［7］提出將時(shí)間序列映射為短的趨勢(shì)符號(hào)序列，并利用一階連接性指數(shù)和塔尼莫特系數(shù)完成相似性度量；在時(shí)序形狀的相似度方面，文獻(xiàn)［8］通過(guò)應(yīng)用互相關(guān)度量來(lái)考慮時(shí)間序列的形狀，提出了K-shape和K-multishapes方法。在間接特征上，Hallac等人［9］通過(guò)馬爾可夫隨機(jī)場(chǎng)提出一種基于Toeplitz逆協(xié)方差的聚類方法，該方法對(duì)多元時(shí)間序列進(jìn)行分割，并連續(xù)聚類子序列；基于關(guān)系網(wǎng)絡(luò)，依靠社區(qū)檢測(cè)技術(shù)，Li等人［10］將多元時(shí)間序列映射到復(fù)雜網(wǎng)絡(luò)并可視化，實(shí)現(xiàn)了多變量時(shí)序聚類；在多視圖方向，Zhang等人［11］使用多元小形狀變換表示學(xué)習(xí)和局部結(jié)構(gòu)學(xué)習(xí)，提出了一種用于學(xué)習(xí)多元子序列的自適應(yīng)鄰域無(wú)監(jiān)督學(xué)習(xí)模型。深度學(xué)習(xí)在數(shù)據(jù)的特征提取和聚類領(lǐng)域得到了發(fā)展，深度聚類算法可以聯(lián)合聚類算法與深度學(xué)習(xí)模型算法，Xie 等人［12］提出的DEC網(wǎng)絡(luò)結(jié)構(gòu)讓聚類任務(wù)嵌入到深度神經(jīng)網(wǎng)絡(luò)中，同時(shí)學(xué)習(xí)特征表示和聚類分配的方法，通過(guò)自定義KL離散度的聚類目標(biāo)嵌入到神經(jīng)網(wǎng)絡(luò)中聯(lián)合訓(xùn)練損失函數(shù)；針對(duì)單維時(shí)序深度聚類算法，DTC［13］模型使用卷積網(wǎng)絡(luò)和最大池化結(jié)構(gòu)以及雙向循環(huán)網(wǎng)絡(luò)的自編碼器結(jié)構(gòu)提取時(shí)序的特征表示，與聚類模塊共同優(yōu)化損失函數(shù)；Kim等人［14］利用CNN識(shí)別每個(gè)變量的特征，并根據(jù)GRU得出隨時(shí)間推移的趨勢(shì)特征，通過(guò)模糊C均值聚類特征表示，完成聚類結(jié)果。

針對(duì)深度學(xué)習(xí)中關(guān)于時(shí)序注意力和空間注意力結(jié)合的情況，文獻(xiàn)［15］提出一種時(shí)序模體的鄰接矩陣來(lái)構(gòu)建注意力圖卷積網(wǎng)絡(luò)結(jié)構(gòu)。在卷積注意力中為了加強(qiáng)通道空間的表示特征能力，通過(guò)全局平均池化獲得權(quán)重值再歸一化獲得權(quán)重系數(shù)，乘以原通道特征圖的SE模塊［16］；Woo等人［17］提出了卷積注意力模塊（CBAM），按照通道和空間兩個(gè)維度進(jìn)行映射，同時(shí)對(duì)兩個(gè)維度進(jìn)行注意力分配，增強(qiáng)了注意力機(jī)制對(duì)模型性能提升的效果。因?yàn)樯疃染垲愃惴ㄖ凶跃幋a器預(yù)訓(xùn)練結(jié)果的特征表示會(huì)作為聚類算法的初始化中心，所以深度聚類算法對(duì)于自編碼器的特征提取能力要求比較高。許多深度聚類算法設(shè)計(jì)的模型結(jié)構(gòu)過(guò)于簡(jiǎn)單，會(huì)產(chǎn)生針對(duì)MTS數(shù)據(jù)特征提取魯棒性不足的問題，構(gòu)建合理的自編碼器結(jié)構(gòu)可以有效提取MTS數(shù)據(jù)的特征表示；針對(duì)傳統(tǒng)的注意力模塊對(duì)時(shí)序數(shù)據(jù)不適用的情況，改進(jìn)注意力模塊計(jì)算可以提升模型對(duì)MTS的聚類效果。

2 MDTC模型

本文提出的MDTC模型由自編碼器模塊和聚類模塊組成，整體結(jié)構(gòu)如圖1所示。首先，輸入的數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)預(yù)處理，通過(guò)模型自編碼器的預(yù)訓(xùn)練，獲得MTS特征值傳入聚類層，其次在聚類層獲取初始聚類中心，最后在聚類層中建立損失函數(shù)與自編碼器損失函數(shù)聯(lián)合更新參數(shù)。因?yàn)镸TS數(shù)據(jù)特征會(huì)影響聚類結(jié)果，所以自編碼器的訓(xùn)練是模型非常重要的一步，合理的自編碼器結(jié)構(gòu)會(huì)訓(xùn)練出有效的MTS數(shù)據(jù)特征。

2.1 輸入預(yù)處理

因?yàn)镸TS的每個(gè)樣本有多個(gè)屬性，每個(gè)屬性都包含了時(shí)序維度，為了保證特征提取的有效性，在模型訓(xùn)練前需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。一個(gè)樣本中不同的屬性之間會(huì)存在數(shù)值范圍的差異，通過(guò)一維卷積運(yùn)算的權(quán)值求和，數(shù)值較大的屬性會(huì)影響較大的權(quán)值，會(huì)忽略其他屬性的特征信息，所以在數(shù)據(jù)處理上針對(duì)屬性數(shù)值要制定一個(gè)統(tǒng)一的范圍；因?yàn)闀r(shí)序維度作為MTS的重要維度，所以還要保留每個(gè)屬性在時(shí)序上的數(shù)值變化趨勢(shì)。在數(shù)據(jù)預(yù)處理中，針對(duì)單個(gè)樣本每個(gè)屬性的時(shí)序數(shù)據(jù)進(jìn)行歸一化；所有屬性的歸一化范圍均相同，避免因數(shù)據(jù)范圍影響模型的損失梯度。

2.2 MDTC模型的自編碼器結(jié)構(gòu)

MTS屬性維度的特征表示計(jì)算完成后，為了提取MTS的時(shí)序特征，將一維卷積核在樣本的時(shí)序維度上進(jìn)行滑窗卷積操作，一維卷積核的長(zhǎng)度根據(jù)時(shí)序長(zhǎng)度而定。通過(guò)一維卷積運(yùn)算后，輸出的特征保留原時(shí)序維度大小，屬性維度數(shù)轉(zhuǎn)為一維卷積的濾波器數(shù)傳入網(wǎng)絡(luò)下一層。為了加強(qiáng)時(shí)序特征的感受野，在第二層選用一維卷積對(duì)第一層進(jìn)行通道卷積和時(shí)序滑窗操作，在第二層卷積結(jié)構(gòu)上增加一維卷積核的長(zhǎng)度。通過(guò)兩層的一維卷積網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)MTS數(shù)據(jù)特征表示，傳入模型下一層。因?yàn)橐痪S卷積層通過(guò)時(shí)序維度滑窗操作進(jìn)行的卷積運(yùn)算，所以為了學(xué)習(xí)一維卷積層后的時(shí)序上的特征，本文在模型第三層選用的循環(huán)網(wǎng)絡(luò)層（LSTM）提取時(shí)序特征。為了表示MTS數(shù)據(jù)前后的時(shí)序特征，在編碼器的最后部分使用一維的雙向BiLSTM層得到編碼器的輸出，完成編碼器部分。

因?yàn)榻獯a器需要對(duì)樣本的特征表示進(jìn)行一個(gè)原始數(shù)據(jù)的還原，所以本文在解碼器的設(shè)計(jì)上與編碼器相對(duì)應(yīng)，達(dá)到減少自編碼器的均方誤差（MSE）的目的，提取MTS樣本中有效的特征表示。解碼器結(jié)構(gòu)如圖4所示，使用LSTM層作為解碼器接收的第一層，再通過(guò)兩層反卷積層獲得與編碼器相對(duì)應(yīng)的通道維度，最后使用全連接層獲得MTS樣本的原維度尺寸，完成解碼器部分。通過(guò)解碼器的輸出與編碼器的輸入，使用自編碼器的損失函數(shù)不斷優(yōu)化自編碼器的網(wǎng)絡(luò)參數(shù)，優(yōu)化編碼器輸出的特征表示。為了驗(yàn)證本文設(shè)計(jì)的自編碼器結(jié)構(gòu)的有效性，將在3.2.2節(jié)與其他自編碼器結(jié)構(gòu)進(jìn)行了實(shí)驗(yàn)對(duì)比，針對(duì)模型的有效性進(jìn)行結(jié)果分析，在3.3節(jié)中展開。

2.3 MCBAM的注意力機(jī)制

2.4 MDTC聚類層

2.5 MDTC模型聚類算法

2.5.1 深度嵌入聚類目標(biāo)函數(shù)

2.5.2 聚類損失

2.6 MDTC模型損失

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集描述

3.2 算法對(duì)比

3.2.1 性能指標(biāo)

3.2.2 與其他自編碼器結(jié)構(gòu)對(duì)比

3.2.3 MCBAM模塊比較

3.2.4 與經(jīng)典聚類算法對(duì)比

3.2.5 與先進(jìn)聚類算法對(duì)比

通過(guò)降低維度、多視圖、深度學(xué)習(xí)等方法提取MTS的關(guān)鍵特征再進(jìn)行聚類是現(xiàn)階段的最新研究方向。在五個(gè)數(shù)據(jù)集上與近兩年的多元時(shí)間序列聚類方法進(jìn)行比較，如基于降維的方法MC2PCA［22］、基于深度學(xué)習(xí)的方法DeTSEC［23］、多視角學(xué)習(xí)方法多視角光譜聚類（NESE）［24］。所有聚類算法都采用歸一化互信息（NMI）和蘭德指數(shù)（RI）作為指標(biāo)，如表5所示。

3.3 實(shí)驗(yàn)結(jié)果分析

a）從表2可知在五個(gè)數(shù)據(jù)集中，MDTC模型在七個(gè)數(shù)據(jù)集上取得了最優(yōu)的效果，在NMI指標(biāo)上提升了2%～12%；在RI指標(biāo)上提升了3%～7%。相較其他自編碼器結(jié)構(gòu)，MDTC結(jié)構(gòu)在多元時(shí)序聚類任務(wù)上更具優(yōu)勢(shì)，提取多元時(shí)序數(shù)據(jù)特征的魯棒性更強(qiáng)。

b）表3表示了MDTC與MDTC模型加入MCBAM注意力模塊和其他注意力模塊的指標(biāo)對(duì)比，NMI和RI指標(biāo)在六個(gè)數(shù)據(jù)集分別提升了0.3%～2%，表明MCBAM模塊可以進(jìn)一步加強(qiáng)多元時(shí)序的特征提取。MDTC在不加入注意力模塊情況下獲得三個(gè)數(shù)據(jù)集的最好效果，如果不考慮時(shí)序維度，只對(duì)通道和空間維度進(jìn)行特征加權(quán)會(huì)導(dǎo)致模型的擬合效果較差。

c）表4與其他經(jīng)典聚類算法對(duì)比中，本文提出的MDTC聚類算法在五個(gè)數(shù)據(jù)集上提升了2%～19%，在九個(gè)數(shù)據(jù)集中取得了五個(gè)數(shù)據(jù)集的最優(yōu)結(jié)果，表明了MDTC聚類算法在多元時(shí)序聚類任務(wù)上相較經(jīng)典聚類算法在BasicMotions、StandWalkJump等五個(gè)數(shù)據(jù)集上有著明顯的提升，聚類效果更好。

d）在表5中，本文將提出的MDTC算法與近兩年的先進(jìn)算法進(jìn)行了對(duì)比，使用RI指標(biāo)在三個(gè)數(shù)據(jù)集（BasicMotions、HandMovementDirection、UWaveGestureLibrary）提升了0.7%～9%；使用NMI指標(biāo)在兩個(gè)數(shù)據(jù)集（BasicMotions、UWaveGestureLibrary）分別提升了0.1個(gè)百分點(diǎn)和7個(gè)百分點(diǎn)。其他先進(jìn)算法分別取得了一次最優(yōu)結(jié)果，表明MDTC算法針對(duì)多元時(shí)序數(shù)據(jù)的聚類具有不錯(cuò)的表現(xiàn)。

3.4 模型評(píng)價(jià)

根據(jù)模型自編碼器的結(jié)構(gòu)和注意力模塊進(jìn)行了參數(shù)實(shí)驗(yàn)分析，模型通過(guò)不同參數(shù)進(jìn)行了性能對(duì)比。選用表1中的UWaveGestureLibrar數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，此數(shù)據(jù)集是一組由加速度計(jì)生成的八個(gè)簡(jiǎn)單手勢(shì)，數(shù)據(jù)由每個(gè)運(yùn)動(dòng)的X、Y、Z坐標(biāo)組成，總共440個(gè)樣本，每個(gè)樣本時(shí)序長(zhǎng)度為315，該數(shù)據(jù)集的樣本量和時(shí)序長(zhǎng)度以及特征維度相較其他數(shù)據(jù)集更具代表性。

3.4.1 編碼器參數(shù)實(shí)驗(yàn)分析

針對(duì)編碼器網(wǎng)絡(luò)結(jié)構(gòu)不同的參數(shù)進(jìn)行對(duì)比，評(píng)價(jià)模型的卷積等結(jié)構(gòu)。卷積核的長(zhǎng)度會(huì)影響數(shù)據(jù)特征的時(shí)序感受野，根據(jù)數(shù)據(jù)集時(shí)序長(zhǎng)度，選取不同的一維卷積尺寸進(jìn)行實(shí)驗(yàn)，如表6所示。

根據(jù)表6可知在選取一系列模型參數(shù)實(shí)驗(yàn)中，選取第一層卷積長(zhǎng)度為1、第二層為5的模型結(jié)構(gòu)的聚類精度最高。第一層卷積核為1的卷積層對(duì)數(shù)據(jù)的屬性進(jìn)行卷積特征提取，在第二層對(duì)數(shù)據(jù)的時(shí)序進(jìn)行卷積特征提取，MDTC的模型通過(guò)兩層卷積分別有效地對(duì)屬性進(jìn)行特征提取和時(shí)序特征提取。

3.4.2 注意力模塊實(shí)驗(yàn)分析

在MCBAM模塊中時(shí)序的池化層的尺寸會(huì)影響時(shí)序維度上的權(quán)值計(jì)算，根據(jù)數(shù)據(jù)時(shí)序長(zhǎng)度選用池化層的參數(shù)進(jìn)行實(shí)驗(yàn)，如表7所示，池化層參數(shù)選為1時(shí)為不對(duì)數(shù)據(jù)進(jìn)行時(shí)序注意力的權(quán)值計(jì)算。通過(guò)表7可知，選取不同的時(shí)序池化長(zhǎng)度會(huì)影響數(shù)據(jù)聚類的精度，在池化層選取長(zhǎng)度為15的情況下對(duì)數(shù)據(jù)聚類精度最高。根據(jù)時(shí)序數(shù)據(jù)長(zhǎng)度使用合適的時(shí)序注意力的池化層會(huì)提高數(shù)據(jù)的時(shí)序特征表示和聚類精度。

3.4.3 可視化分析

對(duì)UWaveGestureLibrary數(shù)據(jù)集進(jìn)行多元時(shí)序聚類的可視化分析，通過(guò)t-SNE降維技術(shù)對(duì)數(shù)據(jù)集進(jìn)行2維可視化，如圖6所示。采用MDTC模型對(duì)數(shù)據(jù)集進(jìn)行聚類，獲得的聚類結(jié)果作為t-SNE的可視化標(biāo)簽。

為了驗(yàn)證模型的有效性，對(duì)UWaveGestureLibrary數(shù)據(jù)集進(jìn)行聚類并記錄模型的loss和聚類結(jié)果的RI指標(biāo)數(shù)據(jù)，實(shí)驗(yàn)通過(guò)200個(gè)epoch，模型的預(yù)訓(xùn)練為15個(gè)epoch，結(jié)果如圖7所示。在圖7中可以看出，隨著epoch的增加模型的loss值在不斷減小，RI指標(biāo)的曲線雖在波動(dòng)，但RI值的總體趨勢(shì)在增加，表明了模型針對(duì)多元時(shí)序聚類精度方面進(jìn)行了有效的訓(xùn)練。

4 結(jié)束語(yǔ)

本文提出了MDTC聚類算法模型用于解決MTS聚類問題。MDTC采用神經(jīng)網(wǎng)絡(luò)自編碼器提取MTS特征，使用改進(jìn)的注意力機(jī)制加強(qiáng)對(duì)特征的選取，通過(guò)深度聚類算法與自編碼器聯(lián)合優(yōu)化損失實(shí)現(xiàn)聚類效果。對(duì)九個(gè)公開數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明MDTC模型對(duì)MTS數(shù)據(jù)具有優(yōu)異的特征提取能力，對(duì)MTS數(shù)據(jù)聚類任務(wù)具有優(yōu)異的表現(xiàn)。針對(duì)UWaveGestureLibrary數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)表明自編碼器模型參數(shù)的選取會(huì)影響聚類精度，選取合適的卷積長(zhǎng)度和通道數(shù)對(duì)提取MTS數(shù)據(jù)的有效特征具有重要研究意義；另外MCBAM需要對(duì)時(shí)序池化層進(jìn)行超參數(shù)設(shè)置，不同長(zhǎng)度的池化層會(huì)影響數(shù)據(jù)中該時(shí)序長(zhǎng)度的特征權(quán)值。針對(duì)多元時(shí)序數(shù)據(jù)提取特征可能存在過(guò)擬合等問題，在未來(lái)進(jìn)一步研究中可加入殘差網(wǎng)絡(luò)等結(jié)構(gòu)對(duì)自編碼器結(jié)構(gòu)進(jìn)行優(yōu)化，針對(duì)MTS這類數(shù)據(jù)具有更強(qiáng)的學(xué)習(xí)性。

參考文獻(xiàn)：

［1］Alqahtani A， Ali M， Xie X， et al. Deep time-series clustering： a review［J］. Electronics， 2021，10（23）： 3001.

［2］Rani S， Sikka G. Recent techniques of clustering of time series data： a survey［J］. International Journal of Computer Applications， 2012，52：1-9.

［3］Hinton G E， Salakhutdinov R R. Reducing the dimensionality of data with neural networks［J］. Science， 2006，313（5786）： 504-507.

［4］Huang Peihao， Huang Yan， Wang Wei， et al. Deep embedding network for clustering［C］//Proc of the 22nd International Conference on Pattern Recognition. Washington DC： IEEE Computer Society， 2014： 1532-1537.

［5］Yang Bo， Fu Xiao， Sidiropoulos N D， et al. Towards K-means-friendly spaces：simultaneous deep learning and clustering［C］//Proc of the 34th International Conference on Machine Learning. 2017： 3861-3870.

［6］Wei Li， Keogh E. Semi-supervised time series classification［C］//Proc of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2006： 748-753.

［7］肖瑞， 劉國(guó)華. 基于趨勢(shì)的時(shí)間序列相似性度量和聚類研究［J］. 計(jì)算機(jī)應(yīng)用研究， 2014，31（9）： 2600-2605. （Xiao Rui， Liu Guohua. Dynamic network link prediction algorithm based on temporal motif attention graph convolution［J］. Application Research of Computers， 2014，31（9）： 2600-2605.）

［8］Paparrizos J， Gravano L. K-shape： efficient and accurate clustering of time series［C］//Proc of ACM SIGMOD International Conference on Management of Data. New York： ACM Press， 2015： 1855-1870.

［9］Hallac D， Vare S， Boyd S， et al. Toeplitz inverse covariance-based clustering of multivariate time series data［C］//Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2017： 215-223.

［10］Li Hailin， Liu Zechen. Multivariate time series clustering based on complex network［J］. Pattern Recognition， 2021，115： 107919.

［11］Zhang Nan， Sun Shiliang. Multiview unsupervised shapelet learning for multivariate time series clustering［J］. IEEE Trans on Pattern Analysis amp; Machine Intelligence， 2023，45（4）： 4981-4996.

［12］Xie Junyuan， Girshick R， Farhadi A. Unsupervised deep embedding for clustering analysis［C］//Proc of the 33rd International Conference on International Conference on Machine Learning. 2016： 478-487.

［13］Madiraju N. Deep temporal clustering： fully unsupervised learning of time-domain features［D］.［S.l.］：Arizona State University， 2018.

［14］Kim J， Moon N. CNN-GRU-Based feature extraction model of multivariate time-series data for regional clustering［J］. Advances in Computer Science and Ubiquitous Computing， 2021，3： 401.

［15］吳錚， 陳鴻昶， 張建朋. 基于時(shí)序模體注意力圖卷積的動(dòng)態(tài)網(wǎng)絡(luò)鏈路預(yù)測(cè)算法［J］. 計(jì)算機(jī)應(yīng)用研究， 2021，38（10）： 3143-3147. （Wu Zheng， Chen Hongchang， Zhang Jianpeng. Dynamic network link prediction algorithm based on temporal motif attention graph convolution［J］. Application Research of Computers， 2021，38（10）： 3143-3147.）

［16］Hu Jie， Shen Li， Albanie S， et al. Squeeze-and-excitation networks［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2020，42（8）： 2011-2023.

［17］Woo S， Park J， Lee J Y， et al. CBAM： convolutional block attention module［C］//Proc of European Conference on Computer Vision. Cham： Springer， 2018： 3-19.

［18］Van Der Maaten L， Hinton G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008，9（11）： 2579-2625.

［19］Guo Xifeng， Gao Long， Liu Xinwang， et al. Improved deep embedded clustering with local structure preservation［C］//Proc of the 26th International Joint Conference on Artificial Intelligence.Palo Alto，CA： AAAI Press， 2017： 1753-1759.

［20］Hartigan J A， Wong M A. Algorithm AS 136： a K-means clustering algorithm［J］. Journal of the Royal Statistical Society：Series C（Applied Statistics）， 1979，28（1）： 100-108.

［21］Song H， Lee J G， Han W S. PAMAE： parallel K-medoids clustering with high accuracy and efficiency［C］//Proc of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2017： 1087-1096.

［22］Li Hailin. Multivariate time series clustering based on common principal component analysis［J］. Neurocomputing， 2019，349： 239-247.

［23］Ienco D， Interdonato R. Deep multivariate time series embedding clustering via attentive-gated autoencoder［C］//Proc of the 24th Pacific-Asia Conference on Knowledge Discovery and Data Mining. Cham： Springer， 2020： 318-329.

［24］Hu Zhanxuan， Nie F， Wang Rong， et al. Multi-view spectral clustering via integrating nonnegative embedding and spectral embedding［J］. Information Fusion， 2020，55： 251-259.