朱壯壯，周治平

(江南大學物聯(lián)網(wǎng)學院，江蘇 無錫 214122)

隨著可穿戴設備的日益普及，人們越來越傾向于使用可穿戴設備來監(jiān)測睡眠狀況并且追蹤身體健康。Lim[1]等人發(fā)現(xiàn)患有疾病的手環(huán)佩戴者和健康佩戴者的手環(huán)數(shù)據(jù)存在著顯著的差異，且特定的指標與特定疾病的關聯(lián)較大。對于手環(huán)佩帶者而言，若缺乏對數(shù)據(jù)的有效分析，僅僅依靠手環(huán)顯示并不能準確地了解自身健康狀況。因此，對手環(huán)采集到的時序數(shù)據(jù)進行有效的疾病預測，以便進行及時的治療，對改善用戶的身體健康狀況具有重要的作用。

由可穿戴設備采集的數(shù)據(jù)絕大多數(shù)為時序數(shù)據(jù)，若不做任何處理直接進行預測，則容易遺漏數(shù)據(jù)間的相關性特征；盡管可穿戴設備數(shù)據(jù)對健康問題的研究分析有很大的幫助，但是僅僅有一小部分的人同意其臨床數(shù)據(jù)可用于研究分析?；诖耍疚挠柧殶o監(jiān)督的表示學習模型，通過添加無監(jiān)督預訓練矢量學習原始時序序列有用的特征[2]，以提高基于深度神經(jīng)網(wǎng)絡的疾病預測模型的性能。

1 相關工作

長期以來，研究學者們致力于研究各種表示學習技術以提高特征表示的效果。然而，早期的表示學習模型，計算復雜度高，難以應付各種復雜場景的需求。Bengio[3]等人應用分布式表示結(jié)合神經(jīng)網(wǎng)絡訓練特征表示模型，成功解決了獨熱表示(One-Hot Representation)模型中的參數(shù)爆炸以及數(shù)據(jù)稀疏性問題。word2vec[4]以及其衍生的表示學習模型[5]的提出，使得對大量的無標記數(shù)據(jù)集進行特征表示成為可能。Mikolov[6]等人提出了一種word2vec算法，該算法利用連續(xù)詞袋(Continous Bag of Words，CBOW)和Skip-Gram模型訓練詞向量。word2vec用一個單層神經(jīng)網(wǎng)絡將獨熱編碼形式的詞向量映射為分布式表示，并以分層softmax或者負采樣技術加快訓練速度。Mikolov[7]等人在CBOW的基礎上提出了分布式詞袋(Distributed Bag of Words，DBOW)模型，該模型經(jīng)過優(yōu)化可以預測上下文詞向量，提取文本的全局和局部特征。然而，上述的研究并沒有結(jié)合具體任務的信息，因此很難發(fā)揮特征表示的最大作用。

時間序列表示學習使用相似性概念執(zhí)行特征表示任務，旨在將原始時間序列轉(zhuǎn)換為向量表示，其中歐幾里得距離常用作相似性度量。SAX-VSM[8](Symbolic Aggregate Approximation Vector Space Model)使用時間序列的tf-idf(Term Frequency Inverse Document Frequency)轉(zhuǎn)換來獲取數(shù)據(jù)的特征表示，該技術是時間序列特征表示中經(jīng)常使用的技術之一。BOSS[9]是另一種時間序列特征表示技術，該方法首先為時序數(shù)據(jù)設置合適的窗口大小，接著在每個窗口上使用傅里葉變換，最后根據(jù)最近鄰方法中的相似度對相鄰進行分類。BOSS-VS[10]將SAX-VSM方法中的tf-idf統(tǒng)計和BOSS中的傅里葉變換相結(jié)合，有效地改善了表示效果，并被廣泛使用。這些算法假定原始數(shù)據(jù)滿足某種特定的分布，需要對時序數(shù)據(jù)很有研究的專家構建數(shù)學模型，在特征表示時容易丟失時間域上的重要信息。

鑒于此，從本文角度出發(fā)，提出了一種無監(jiān)督的表示學習模型act2vec，受DBOW啟發(fā)，該模型將時序數(shù)據(jù)中的每個數(shù)據(jù)視為一個word，從原始活動數(shù)據(jù)中學習時間序列的特征表示。設計了一種新穎的學習算法，通過優(yōu)化不同的度量以捕獲時間序列中的局部、全局、平滑以及序數(shù)損失；此外，針對疾病的共病性，構建堆疊雙向GRU模型并引入所學習的特征來進行疾病預測。

2 無監(jiān)督表示學習模型

2.1 分析單元粒度的選擇

為了構建活動序列的特征矩陣，首先需要確定合適分析單元的時間粒度。圖1表示一個可穿戴設備用戶一周的活動時序數(shù)據(jù)。其中x軸表示時間，時間間隔為5 min；y軸表示活動等級，范圍為0～1000。若時間粒度設置太小(例如以秒為單位)，可能導致學習到的特征矩陣存在稀疏性問題，難以處理接下來的疾病預測任務；若時間粒度設置太大(例如以周為單位)，則會削弱活動序列特征矩陣解決疾病預測任務的能力。

圖1 受試者一周內(nèi)的活動強度

活動序列可以描述用戶一段時間內(nèi)的活動情況，對于活動序列，重要的是考慮為其嵌入合適的時間粒度。在本文中，將考慮時間粒度為5 min、1 h、1 d和1周的情況。

令D＝{S1，S2，…，S N}表示含有N個受試者的活動時間序列數(shù)據(jù)集，其中每個序列S p＝(t1，t2，…，t n)表示每個受試者在一定時間內(nèi)的n個活動指標(例如運動步數(shù)和消耗卡路里)。令g∈{5 min，1 hour，1 day，1 week}表示不同時間粒度，首先根據(jù)g的值將每個序列S p分成長度相等的K個連續(xù)時間段。令T k＝(t a，t a＋1，…，t a＋L)∈T作為時間間隔，并且總長度為L，從時間a開始算起。表示學習的目標構建一個映射函數(shù)Φ:T→R d，用d維的分布式向量來表示每個時間段。該映射函數(shù)可以被視為在單個隱含層神經(jīng)網(wǎng)絡中的的嵌入矩陣中的查找操作，通過將K個段級向量串聯(lián)起來，便可得到完整活動序列的向量表示，即得到活動時序數(shù)據(jù)的特征矩陣。以一周活動數(shù)據(jù)為例，通過考慮不同的時間粒度，經(jīng)特征學習后的時序數(shù)據(jù)的特征矩陣信息，如表1所示。

表1 不同時間粒度的特征矩陣維度信息

對給定的時間粒度，通過最小化四個部分的損失函數(shù)來得到映射函數(shù)Φ，具體流程如圖2所示。

圖2 act2vec流程圖

2.2 段內(nèi)損失函數(shù)

受分布式詞袋(DBOW)的doc2vec模型的啟發(fā)，將時序片段中的元素視為doc2vec中的words，時序片段視為doc2vec中的documents，并且時序片段中的元素與時序片段都被分配了唯一的標識符，每一個標識符都對應著共享嵌入矩陣Φ(T k)中待學習的向量。通過預測時序片段內(nèi)的元素，act2vec利用段內(nèi)損失函數(shù)來學習每一個時序片段的特征矩陣。給定輸入序列T k＝(t a，t a＋1，…，t a＋L)，首先在共享嵌入矩陣中查找對應的向量，然后映射到唯一的向量Φ(T k)。噪聲對比估計[11](Noise-contrastive Estimation，NCE)被用于有效地預測損失，段間損失函數(shù)為:

式中:σ為sigmoid函數(shù)，并且定義σ(x)＝1/(1＋e－x)，w t j和w t m分別為與元素t j和t m對應的權重矢量，v(t)為t m采樣的噪聲分布。

2.3 序數(shù)損失函數(shù)

當預測時序片段時，上述的段內(nèi)損失函數(shù)將獨立地作用于時序片段內(nèi)的每一個元素。但是，由于這些元素代表活動等級，因此其值具有自然順序關系，如”5”>”1”，該關系應該考慮在表示學習模型中。為了嵌入該自然順序關系，模型在學習時序片段內(nèi)的每一個元素時使用了序數(shù)損失:

式中:σ是之前定義的sigmoid函數(shù)，Ⅱ表示指標函數(shù)，V表示時間序列可以采用的不同離散值的數(shù)量，本文中0≤V≤1000，θc是回歸的有序閾值。

2.4 段間損失函數(shù)

上面的兩個損失函數(shù)主要是為了捕獲時序片段中的局部模式。但是，由于時間片段是連續(xù)的，并且描述了一個人的活動，因此其很有可能是相關的。例如，劇烈運動后，會有一段周期內(nèi)的運動強度比較低。

與時序片段中的元素類似，數(shù)據(jù)集中的每個時序片段都被分配有一個唯一的標識符，以使用該標識符在嵌入矩陣中查找其對應的向量。在表示學習模型中，首先利用當前時序片段向量Φ(T k)來預測它的相鄰片段Φ(T k－1)和Φ(T k＋1)。假設片段T i與T k相鄰，那么段間損失可由下式表示:

式中:w T i和w T m分別是片段T i和T m關聯(lián)的權重系數(shù)，v(t)為t m采樣的噪聲分布。

2.5 平滑損失函數(shù)

先前所述的損失函數(shù)主要是捕獲時序數(shù)據(jù)中的局部、自然序數(shù)和全局特征，由于用戶活動數(shù)據(jù)存在周期性，則相鄰時序片段之間存在平滑模式。表示學習模型需要盡可能地避免時序數(shù)據(jù)相鄰片段之間的突變，通過最小化相鄰向量之間的L2距離來實現(xiàn)此需求。時序片段T k的平滑損失函數(shù)為:

式中:N(T k)表示鄰近Tk的時序片段的集合，η表示平滑損失函數(shù)的平滑強度參數(shù)。由于時間粒度為一周時不存在鄰近的時序片段的集合，因此week2vec不存在平滑損失函數(shù)。

2.6 組合損失函數(shù)

將改進的act2vec模型定義為式(1)～式(4)損失函數(shù)的組合:

式中:β>0，表示序數(shù)回歸損失的相對權重。

由于隨機梯度下降[12](Stochastic Gradient Descent，SGD)算法隨機選擇一個批次數(shù)據(jù)進行梯度更新，而不是整個數(shù)據(jù)集，因此很容易陷入局部最優(yōu)。而均方根概率(Root mean square Probability，RMSprop)算法[13]類似帶有動量的標準SGD，它使用衰減率ρ來減小振蕩幅度，從而加快訓練速度。它通常得到全局最優(yōu)解，并且與SGD相比，時間復雜度不會太大。因此，RMSprob用于訓練我們的表示學習模型。算法1給出了act2vec模型的偽代碼。首先，初始化全局學習率ε，衰減率ρ，初始參數(shù)θ，初始化累積變量γ＝0和一個小的常數(shù)δ。然后迭代循環(huán)獲得L s(T k，t j)和L c(T k，T i)的噪聲分布v(t)和v(T)，并更新參數(shù)直至模型收斂。

算法1 利用RMSprop訓練act2vec

3 層疊式雙向門控循環(huán)單元

Lynn[14]等人表明具有多個隱含層的層疊式的GRU網(wǎng)絡可以重新組合來自先前層學習到的特征，以便在高抽象級別創(chuàng)建新的時序數(shù)據(jù)特征表示，以便獲得更好的表現(xiàn)效果。在具有多個隱含層的層疊式網(wǎng)絡中，上一個隱含層的輸出用作下一個隱含層的輸入?；诖?，在本文的工作中使用了此層疊式結(jié)構，并且在實驗中表現(xiàn)出了較好的預測效果。

在時序數(shù)據(jù)的預測任務中，某個時間序列的預測不僅取決于過去時刻，還和未來的時刻有關[15]。因此，為了從不同方向處理時序數(shù)據(jù)，結(jié)合上述并引入雙向GRU[16]，提出層疊式雙向GRU(Stacked Bi-Direction GRU，SB-GRU)，如圖3所示。

圖3 層疊式雙向GRU網(wǎng)絡

SB-GRU依次疊加兩個不同方向的Bi-GRU，最底層Bi-GRU接收輸入的時序序列，用于提取時序序列的特征。隨后將提取出時序序列的特征拼接成頂層多層神經(jīng)網(wǎng)絡(Multi-Layer Perceptron，MLP)的輸入，通過MLP的隱含層使得時序序列發(fā)生非線性映射，最后通過softmax分類層給出最終的疾病分類結(jié)果。

4 實驗環(huán)境與結(jié)果分析

4.1 實驗環(huán)境

實驗平臺配置為Windows10操作系統(tǒng)、Intel Core i7－7700HQ CPU處理器、2.80 GHz、20 GB內(nèi)存，算法由Java和Python實現(xiàn)。

數(shù)據(jù)集采用Study of Latinos(SOL)和Multi-Ethnic Study of Atherosclerosis(MESA)。這些數(shù)據(jù)集是利用腕帶式的體能記錄儀采集得到的，并且部分作為公開數(shù)據(jù)集，可以用于科學研究。其中，SOL的數(shù)據(jù)來自1887個受試者，包括物理活動和一般的診斷信息。MESA由2237個受試者7天的活動時間序列組成，因此共有28868天的活動數(shù)據(jù)，這兩個數(shù)據(jù)集時序數(shù)據(jù)的采樣周期為5 min。

4.2 評估標準

利用上文所述的預測模型，需要完成四種疾病的預測:正常(Normal)、睡眠呼吸暫停(Sleep Apnea)、高血壓(Hypertension)失眠(Insomnia)。

在實驗中，隨機選擇了600個受試者的活動時間序列作為測試數(shù)據(jù)集，其余數(shù)據(jù)用作訓練數(shù)據(jù)。對表1所示的四種時間粒度下的act2vec模型，對超參數(shù)的設置如表2所示，其中w表示段內(nèi)損失的窗口大小，N(T k)表示鄰近片段數(shù)目，η表示正則化強度，d表示特征矩陣的維度。

表2 act2vec不同時間粒度下的超參數(shù)設置

4.3 結(jié)果分析

為了找到合適的act2vec特征表示的時間粒度，同時驗證其特征表示的效果，將本文算法與SAXVSM、BOSS和BOSSVS三種時間序列特征表示模型作對比。同時，為了檢驗正則化對act2vec模型性能的影響，將模型中的正則化項即平滑損失函數(shù)去除，并在相同的實驗環(huán)境下做了仿真實驗。在上文提及過，由于時間粒度為一周時不存在鄰近的時序片段的集合，因此week2vec無法添加平滑損失。

為了評估act2vec模型的特征表示效果，使用了一個簡單的邏輯回歸分類器進行分類(Logistic Regression Classifier，LRC)。從圖4中可以看出act2vec方法性能明顯優(yōu)于其他三種基準時序數(shù)據(jù)表示模型，并且以天為時間粒度的模型的效果最佳，day2vec＋Reg模型的準確率達到了83%，遠遠高于BOSS模型的59%；正則化顯著地提升了hour2vec和day2vec的特征表示效果，并且正則化對于day2vec的準確率提升最大，達到了13%；當沒有正則項時，除了day2vec外，包括基準時序序列表示模型在內(nèi)的所有模型的ACC大致相同。

圖4 特征表示模型性能對比

表3表示五種預測算法預測時間的對比，其中LRC算法的平均預測時間最短，帶有預訓練嵌入的SB-GRU平均預測時間最長。盡管帶有預訓練嵌入的SB-GRU平均預測時間最長，但是時間僅為0.186 s，準確率卻得到了明顯的提升。

表3 各預測模型平均預測時間對比 單位:s

為了評估所提出的預測模型在疾病預測方面的優(yōu)勢，采用半監(jiān)督的訓練方式，將SB-GRU與邏輯回歸分類器LRC、CNN、GRU和Bi-GRU四種方法進行對比。同時，為了驗證預訓練嵌入的效果，將沒有進行預訓練的SB-GRU進行了比較，實驗結(jié)果如下表。選取了準確性(Accuracy，ACC)，精確性(Precise，Pre)，召回率(Recall，Rec)，特異性(Specificity，Spec)和F1 score作為實驗的評價指標，ACC、Pre、Rec、Spec和F1這五種評價指標均在[0，1]之間取值，值越大預測效果越好。

如表4所示，總的來說，LRC預測表現(xiàn)最差，SBGRU模型表現(xiàn)優(yōu)于其他的所有方法，并且加入預訓練后模型的性能會得到進一步的提升。SB-GRU可以將模型預測準確率平均提升3.5%～14.3%。尤其是對睡眠呼吸暫停任務進行預測時，其準確率高于預訓練的模型。預訓練的加入會進一步提升模型的性能，對正常任務進行預測時，相比于SB-GRU，其準確率提升了13.3%。

表4 不同預測模型效果對比

在日常生活中，可獲得的人體活動時序數(shù)據(jù)多，但是大部分的受試者所患疾病卻不可知，在研究過程中，進行特征工程以學習時序數(shù)據(jù)特征的難度極大。因此，使用如act2vec無監(jiān)督表示模型以學習數(shù)據(jù)的特征是有意義的。此外，在預測過程中，使用半監(jiān)督的方式訓練模型，可以獲得更好的預測性能。

在驗證了本文算法性能后，利用該算法在采集到的手環(huán)數(shù)據(jù)上進行實驗，以進行疾病預測。將60%的數(shù)據(jù)用作訓練集，剩下的用作測試集。無監(jiān)督表示模型act2vec結(jié)合SB-GRU預測結(jié)果由圖5混淆矩陣表示。其中x軸表示真實疾病，y軸表示預測結(jié)果。

圖5 真實數(shù)據(jù)預測結(jié)果

從圖5中可以看出，標簽為正常的數(shù)據(jù)總數(shù)為119，92個數(shù)據(jù)被預測正確，8個、4個和15個樣本被錯誤的預測為睡眠呼吸暫停、高血壓及失眠，可以得出標簽為正常的數(shù)據(jù)被預測正確的概率為77.3%。同理，標簽為睡眠呼吸暫停、高血壓和失眠的數(shù)據(jù)被預測正確的概率為78.3%、71.4%以及81.7%?？傮w而言，預測效果較好。

5 結(jié)束語

針對無法高效地從大量冗余數(shù)據(jù)中提取有效信息特征，進行疾病預測的問題，提出了一種稱為act2vec的無監(jiān)督表示學習模型，該方法從原始活動數(shù)據(jù)中學習時序數(shù)據(jù)的特征表示，通過分布式表示來挖掘可用于疾病預測任務的活動模式。考慮到數(shù)據(jù)的特征矩陣無法全面反映樣本特性的問題，利用噪聲估計轉(zhuǎn)換構建表示學習損失函數(shù)，提取數(shù)據(jù)特征矩陣。引入所學習的特征矩陣構建堆疊雙向GRU模型以進行疾病預測。2個數(shù)據(jù)集上的實驗表明了所提方法的有效性。