王譯文,黎建軍,曲再鵬

(中國計量大學(xué) 機電工程學(xué)院,浙江 杭州 310018)

糖尿病是一種由于胰腺分泌胰島素不足或者不能分泌導(dǎo)致的慢性疾病[1]。國際糖尿病聯(lián)盟(IDF)官網(wǎng)最新發(fā)布的第10版全球糖尿病地圖報告顯示,糖尿病導(dǎo)致了全球超過1/10的死亡,截止到2021年,全球5.37億20～79歲成人患有糖尿病,約占全世界該年齡段總數(shù)的1/10,預(yù)計到2045年糖尿病患者數(shù)量將增長到7.83億,其中中國是全球糖尿病成人患者數(shù)量最多的國家[2]。胰島素泵,又稱人工胰臟,是目前最有望成為糖尿病患者血糖科學(xué)管理與治療的設(shè)備。連續(xù)血糖監(jiān)測設(shè)備(CGMS)是人工胰臟的重要組成部分,它為胰島素泵提供實時的血糖信息,胰島素泵控制器根據(jù)血糖數(shù)據(jù)信息調(diào)節(jié)胰島素輸注量使患者身體維持健康的血糖水平[3]。由于糖尿病患者的血糖變化是一個復(fù)雜的非線性過程,同時胰島素作用于人體具有時滯性,實現(xiàn)低血糖暫停是確保糖尿病患者安全的前提,預(yù)測性血糖監(jiān)測系統(tǒng)這一功能通過算法預(yù)測血糖水平下降到閾值以下,能夠提前暫停或調(diào)節(jié)胰島素輸注[4]。

血糖預(yù)測模型分為知識驅(qū)動模型、數(shù)據(jù)驅(qū)動模型和混合模型三大類,知識驅(qū)動模型需要構(gòu)建人體血糖生理模型,其參數(shù)通常不精確,實現(xiàn)過程特別復(fù)雜[5]。隨著血糖傳感技術(shù)的不斷發(fā)展,近年來基于數(shù)據(jù)驅(qū)動的血糖預(yù)測模型逐漸增加,數(shù)據(jù)驅(qū)動模型主要基于CGM采集的血糖測量序列,還有一些方法將輸入(葡萄糖、膳食、胰島素、運動等)結(jié)合起來,Zecchin等[6]采用了15名T1D受試者的數(shù)據(jù),通過基于神經(jīng)網(wǎng)絡(luò)算法添加不同輸入進行對比實驗,用平均絕對誤差以及時間增益來評估預(yù)測效果,結(jié)果表明,胰島素輸入以及攝入碳水化合物相關(guān)的輸入并不會改善30 min內(nèi)的短期預(yù)測效果。從糖尿病患者的實際血糖管理角度出發(fā),多輸入數(shù)據(jù)的采樣與統(tǒng)計復(fù)雜程度較大,可應(yīng)用性不高,因此盡可能選取方便采集的數(shù)據(jù)作為輸入特征,Hamdi等[7]采用了差分進化(DE)算法加權(quán)的支持向量回歸(SVR)方法預(yù)測短期血糖,選取了12例糖尿病患者的真實CGM數(shù)據(jù)進行了驗證,取得了較高的預(yù)測精度。Li等[8]提出了一種基于漏積分神經(jīng)元和嶺回歸學(xué)習算法優(yōu)化的回聲狀態(tài)網(wǎng)絡(luò)結(jié)構(gòu),比極限學(xué)習機(ELM)和反向傳播(BP)算法具有更佳的預(yù)測效果。在時序預(yù)測領(lǐng)域循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)一直比傳統(tǒng)預(yù)測方法具有獨特的優(yōu)勢,RNN的變體長短記憶單元(long-short term memory,LSTM)以及門控循環(huán)網(wǎng)絡(luò)(gated recurrent unit,GRU)近年來已在時序預(yù)測各領(lǐng)域表現(xiàn)出較好的預(yù)測效果[9],Sun等[10]采用了一個具有一個LSTM層、一個雙向LSTM層和幾個完全連接層的序列模型在預(yù)測血糖濃度,基于評估標準,LSTM網(wǎng)絡(luò)優(yōu)于線性平均移動差分(ARIMA)和SVR。滕建麗等[11]采用一種基于GRU血糖預(yù)測模型,比基本RNN網(wǎng)絡(luò)、LSTM、支持向量回歸具有更好的預(yù)測精度。由于RNN方法在面對長序列預(yù)測時無法完全消除梯度消失和梯度爆炸等問題,而Transformer模型能夠解決該問題,同時可以捕獲長期相關(guān)性[12],因此Transformer模型在時序預(yù)測方面得到了廣泛關(guān)注,近年來開始逐步研究并應(yīng)用于各領(lǐng)域[13-15]。

本文旨在將Transformer模型應(yīng)用于血糖預(yù)測領(lǐng)域。首先在預(yù)測效果優(yōu)異性方面,與其他模型進行對比分析;同時,在預(yù)測性能分析方面,探究不同輸入長度對模型預(yù)測精度的影響;最后,在預(yù)測長度有效性方面,通過克拉克網(wǎng)格誤差分析Transformer模型的臨床適用性。

1 Transformer模型原理

Transformer模型是一個序列到序列的模型,它由輸入層、解碼層、譯碼層和輸出層四部分組成,如圖1。不像傳統(tǒng)的RNN順序結(jié)構(gòu),它是一種基于Self-Attention機制的架構(gòu),具有更好的并行運算能力以及可解釋性。因此,Transformer模型在一些特定時間序列預(yù)測場景應(yīng)用中具有一定的適用性。

圖1 Transformer模型原理框架Figure 1 Transformer model principle framework

輸入層主要由嵌入層與位置編碼層組成,嵌入層主要用于序列數(shù)據(jù)的向量輸入,經(jīng)過輸入Embedding層得到嵌入向量:Xu={x1,x2,…,xT},Xu∈RT×dModel,其中T為輸入序列的長度,dModel為嵌入層的維度,x1～xT為輸入序列中第1～T位置的嵌入向量。

位置編碼層是為了確定序列的位置信息,由于沒有RNN與CNN中的遞歸層和卷積層,僅僅依靠自注意力機制無法獲取輸入的順序信息,需要主動將序列的順序信息傳遞給模型,Transformer采用正弦和余弦函數(shù)對序列Xu進行位置編碼來得到相對位置和絕對位置,其公式為

PE(t,2i)=sin(t/10 0002i/dModel),

(1)

PE(t,2i+1)=cos(t/10 0002i/dModel)。

(2)

式(1)(2)中,t表示當前序列位置,i表示維度,2i表示偶數(shù)位置,2i+1表示奇數(shù)位置,dModel表示輸入特征的維度,PE表示由奇數(shù)列和偶數(shù)列所得到的位置編碼結(jié)果。將位置編碼信息加入到嵌入層得到向量Gu表示為

Gu=Xu+PE。

(3)

編碼層是由多頭注意力層、前饋全連接層和兩個殘差連接和歸一化層組成。

(4)

(5)

前饋全連接層是由兩個線性變換組成,中間有一個ReLu激活函數(shù),由于僅僅依賴多頭注意力機制不能夠達到理想情況,通過該層可以提升網(wǎng)絡(luò)的性能,其數(shù)學(xué)表達式如下:

FFN(x)=max(0,xW1+b1)W2+b2。

(6)

式(6)中:W1和W2為權(quán)值矩陣;b1和b2為偏置項,x為輸入。

殘差連接和歸一化層的作用主要是提高信息傳遞深度,防止梯度消失,加快模型的收斂能力。

(2)對比可焊性可知，R1，R6，R10，W1以及PDC的可焊性大致排序：R6>R1>R10>PDC>W1。

譯碼層中間的結(jié)構(gòu)與編碼器相似,但是譯碼層中的注意力層與編碼器的有所不同,譯碼器是自回歸的,在序列預(yù)測中考慮未來位置的信息會對當前位置的信息造成干擾,為了防止未來信息可能被提前利用,因此將未來信息用函數(shù)掩碼掉,本文的預(yù)測模型中將譯碼層用線性層替換。

輸出層主要由一個線性變換層和一個Softmax層構(gòu)成,其中線性變換層是一個簡單的全連接神經(jīng)網(wǎng)絡(luò)層,它可以將譯碼器輸出的向量結(jié)果轉(zhuǎn)換到指定的維度,最后通過Sigmoid壓縮函數(shù)和反歸一化處理得到對應(yīng)的輸入序列的預(yù)測值Y={y1,y2…yT}。

2 實驗對比和分析

2.1 數(shù)據(jù)集來源

本文數(shù)據(jù)來源于美國國立衛(wèi)生研究院發(fā)布的DirectNet糖尿病臨床數(shù)據(jù)集,該數(shù)據(jù)集記錄著有100多名糖尿病兒童患者的連續(xù)血糖數(shù)值,數(shù)據(jù)采樣時間間隔為5 min,由專業(yè)的連續(xù)血糖監(jiān)測系統(tǒng)所得。圖2為某糖尿病患者連續(xù)3 d監(jiān)測的血糖變化曲線。

圖2 某糖尿病患者連續(xù)3 d血糖變化曲線Figure 2 Blood glucose curve of a diabetic patient for 3 consecutive days

2.2 模型評估

均方根誤差和平均百分比誤差被廣泛當作量化血糖預(yù)測模型性能的兩個評估指標。均方根誤差和平均百分比誤差的計算公式如下:

(7)

(8)

本文使用血糖歷史值作為模型輸入序列,為了探究Transformer與其他模型的預(yù)測性能,分別使用LSTM、GRU和Transformer的方法進行血糖預(yù)測。以RMSE和MAPE作為上述模型血糖預(yù)測精度的評估指標,選用5 min的輸入序列時長為例,分別采用數(shù)據(jù)集的前70%作為訓(xùn)練集,后30%作為測試集。為避免血糖預(yù)測的偶然性,對5名糖尿病患者進行不同預(yù)測時長(5 min、15 min、30 min、45 min、60 min)的RMSE以及MAPE的結(jié)果對比,如表1和表2。

表1 5名糖尿病患者的RMSE

表2 5名糖尿病患者的MAPE

分析表1與表2中的數(shù)據(jù)可知,Transformer算法在不同預(yù)測時長內(nèi)的預(yù)測效果均優(yōu)于其他兩種算法。另外,由于不同患者的血糖波動特性存在差異,在某些患者的短期血糖預(yù)測中,Transformer算法表現(xiàn)出了更小的預(yù)測偏差,且預(yù)測偏差不會隨預(yù)測時長的增長而發(fā)生顯著的變化。

2.3 不同輸入序列長度下模型預(yù)測性能分析

血糖預(yù)測模型是根據(jù)歷史血糖值來預(yù)測未來短期血糖值,所以模型輸入的序列長度會影響模型預(yù)測性能。若將Transformer模型應(yīng)用于人工胰臟的高、低血糖的預(yù)警系統(tǒng)中,利用先驗知識充分反映出患者的未來趨勢,則必須對歷史血糖值輸入序列長度做更深一步的研究分析。

不同輸入序列長度下,本文采用平均百分比誤差(MAPE)作為模型預(yù)測性能的衡量標準,以5～30 min輸入序列長度下的歷史血糖值作為模型輸入,預(yù)測患者未來1h內(nèi)的血糖水平,并通過MAPE值評估模型預(yù)測精度,結(jié)果如圖3。

圖3 不同預(yù)測時長序列下的效果對比圖Figure 3 Comparison of effects under different prediction time series

由圖3可知,當輸入序列在5～30 min范圍變化時,不同輸入序列下的血糖預(yù)測是存在差異的,其中輸入序列時長為20 min時的MAPE最低,表明此時預(yù)測效果最優(yōu)。說明血糖預(yù)測依賴短期歷史輸入序列中的信息,以及增加一定的輸入序列長度能夠提高血糖預(yù)測效果。同時,不同輸入序列下MAPE的數(shù)值差異表明,不同輸入序列下的血糖水平對血糖預(yù)測精度具有重要影響作用。

2.4 克拉克誤差網(wǎng)格分析

克拉克誤差網(wǎng)格分析(Clarke error grid analysis,EGA)是一種用于評估血糖值量技術(shù)準確性的臨床性方法[16]。EGA圖分別根據(jù)血糖預(yù)測值在A、B、C、D、E共5個區(qū)域來表示不同程度的預(yù)測效果。為了表現(xiàn)出血糖預(yù)測的準確性,A、B、C、D、E這5個區(qū)域分別有以下定義:①A區(qū)域:表示在臨床上具有準確性,預(yù)測值與實際值的偏離度不超過20%;②B區(qū)域:表示預(yù)測值與實際值的偏離度超過20%,但其誤差在可接受范圍內(nèi);③C區(qū)域:表示可能會引起血糖的無效矯正,導(dǎo)致高血糖和低血糖的發(fā)生;④D區(qū)域:表示預(yù)測值與實際值的偏差不在正常范圍內(nèi),其預(yù)測值偏差較大,不具有參考價值;⑤E區(qū)域:表示錯誤處理。若預(yù)測點在A、B區(qū)域范圍內(nèi),則表明預(yù)測值是較為準確并且是可被接受的。

取2.3節(jié)得到最優(yōu)的20 min的輸入序列時長進行分析,其不同預(yù)測時長的EGA圖如圖4所示,并作出EGA圖中的A、B、C、D、E區(qū)域占比表見表3。由表3和圖4可知,在血糖未來預(yù)測時長為5 min時,A區(qū)域的占比為100%,能夠達到最佳的血糖預(yù)測效果;當血糖未來預(yù)測時長為10 min、15 min、20 min、25 min、30 min時,其A、B區(qū)域占比總和一直保持100%,在預(yù)測中依然有著較高的準確性,能夠達到理想的血糖預(yù)測效果;

表3 不同預(yù)測時長下的EGA各區(qū)域占比

圖4 5～60 min預(yù)測時長的EGA圖(順序從左往右)Figure 4 EGA chart of 5～60 min prediction duration ( from left to right )

當血糖預(yù)測時長在30～60 min內(nèi)時,D區(qū)域的占比在較低的水平上保持上升,A、B區(qū)域的占比之和仍處在較高水平,能夠?qū)崿F(xiàn)良好的預(yù)測。以上分析表明,在無進餐、運動以及胰島素輸注的影響下,30 min內(nèi)的血糖預(yù)測是能夠達到較高的預(yù)測精度。

3 結(jié) 語

本文提出了基于Transformer的短期血糖預(yù)測模型,并與LSTM和GRU進行對比分析,以RMSE和MAPE作為血糖預(yù)測性能的評估指標,結(jié)果表明,相較于LSTM和GRU預(yù)測模型,Transformer模型在血糖預(yù)測中具有更加優(yōu)異的表現(xiàn)。另外,對于不同輸入序列長度下的Transformer模型進行對比討論,由MAPE評估指標分析結(jié)果表明,輸入序列時長為20 min的預(yù)測效果最優(yōu)。最后,進一步對未來不同預(yù)測時長內(nèi)的預(yù)測效果進行探究,采用克拉克網(wǎng)格誤差分析圖表現(xiàn)其預(yù)測性能,結(jié)果表明,Transformer血糖預(yù)測模型是一種較好的短期血糖預(yù)測方法。