徐偉鋒, 曹 平

(中國科學(xué)技術(shù)大學(xué) 管理學(xué)院,安徽 合肥 230026)

0 引言

類風(fēng)濕關(guān)節(jié)炎(RA)是一種常見的慢性自身免疫性疾病,發(fā)病人數(shù)約占全球總?cè)丝诘?.24%[1]。其通常伴隨著心血管疾病、呼吸系統(tǒng)疾病、胃腸道疾病、神經(jīng)系統(tǒng)疾病、血液系統(tǒng)疾病和腎臟疾病等合并癥,還可能使患者出現(xiàn)焦慮、抑郁和睡眠障礙等精神問題,極大地增加了患者死亡的風(fēng)險[2]。在我國,RA的發(fā)病率為0.42%,患者人均門診用藥費(fèi)用為8018元,這給普通勞動人民患者帶來了一定的經(jīng)濟(jì)壓力[3]。因此,更快地制定合適的治療方案尤為重要。

近年來學(xué)者們從不同的角度對RA展開了較多的相關(guān)研究。一方面,學(xué)者們關(guān)注于通過臨床試驗(yàn)來得到更優(yōu)的治療方案[4,5],然而這些試驗(yàn)往往需要花費(fèi)較大的人力物力,并且由于患者的健康狀況并不是完全暴露的,醫(yī)生往往需要在一個不確定的環(huán)境中進(jìn)行多階段決策,同一種治療策略可能對不同患者的效果是隨機(jī)的,因此療效具有很大的不確定性。另一方面,學(xué)者們致力于使用數(shù)據(jù)挖掘的方法從RA患者的電子病歷中尋找患者的用藥規(guī)律以及藥物對療效的影響,例如陳夢娜等[6]使用關(guān)聯(lián)規(guī)則、聚類分析等方法對RA患者的用藥規(guī)律進(jìn)行了挖掘,XIE等[7]使用關(guān)聯(lián)規(guī)則探究了RA患者一些實(shí)驗(yàn)室指標(biāo)與中藥之間的關(guān)系,但是他們都是從醫(yī)療數(shù)據(jù)挖掘的角度尋找進(jìn)行了研究,并沒有涉及醫(yī)療決策問題。本文使用的馬爾可夫決策過程(MDP)能夠較好地在不確定環(huán)境中對RA患者的住院流程進(jìn)行建模,并且能從患者決策的角度給出相應(yīng)的治療策略。

我們的工作還與MDP模型在醫(yī)療保健決策領(lǐng)域的應(yīng)用相關(guān)。在醫(yī)療保健決策領(lǐng)域中,MDP模型有著廣泛的應(yīng)用,例如ALAGOZ等[8]建立了一個用于確定最佳肝移植時間的MDP模型,CHHATWAL等[9]根據(jù)女性乳房X光片特征和人口統(tǒng)計(jì)學(xué)信息基于有限階段準(zhǔn)則建立了一個MDP模型以確定進(jìn)行乳腺活檢的時間,BAZRAFSHAN和LOTFI[10]基于有限階段準(zhǔn)則建立了一個MDP模型,其可以根據(jù)癌癥患者的病情選擇最優(yōu)的化療方案。但是以上研究都是基于有限階段準(zhǔn)則進(jìn)行建模,并未將RA這類需要終身治療的慢性疾病考慮進(jìn)去。本文從RA患者的電子病歷中提取數(shù)據(jù),基于無限平均準(zhǔn)則將MDP模型應(yīng)用于這些患者的治療過程中,并且詳細(xì)給出了MDP模型五元組的構(gòu)建過程,最后得出了最優(yōu)治療策略以及治療報酬和成本。

基于上述研究,本文創(chuàng)新地在無限平均準(zhǔn)則下將MDP模型應(yīng)用于RA患者的治療過程中,主要貢獻(xiàn)如下:首先,本文利用RA患者電子病歷中的數(shù)據(jù)建立了一個MDP模型,該建模流程不僅可以應(yīng)用于RA的治療過程中,還可以適用于其他慢性疾病的治療中;其次,我們發(fā)現(xiàn)本文所建立的MDP模型得到的治療報酬與治療成本均優(yōu)于醫(yī)院現(xiàn)有治療方案下的治療報酬與治療成本,這就顯示了MDP模型在RA治療中的潛力與價值,它在降低RA患者的治療成本的同時,提高了醫(yī)院的治療效率。

本文的內(nèi)容安排如下:第0節(jié)為引言,第1節(jié)給出研究樣本與數(shù)據(jù)來源;第2節(jié)給出模型構(gòu)建的整個過程;第3節(jié)給出最優(yōu)策略的求解方法;第4節(jié)給出模型相應(yīng)的結(jié)果以及穩(wěn)健性檢驗(yàn);第5節(jié)給出本文的結(jié)論。

1 研究樣本與數(shù)據(jù)來源

本研究所使用的資料來自安徽中醫(yī)藥大學(xué)附屬第一醫(yī)院風(fēng)濕科患者的電子病歷。這些患者于2012年6月至2016年6月期間在該院住院治療。電子病歷包括患者的基本信息、就診信息、實(shí)驗(yàn)室指標(biāo)信息以及用藥信息等。我們從中選取了被診斷為RA患者的電子病歷,并進(jìn)行了如下樣本篩選:(1)排除住院期間未使用中藥進(jìn)行治療的患者;(2)排除被診斷為有嚴(yán)重并發(fā)癥的患者和懷孕患者;(3)排除住院期間只進(jìn)行檢測了一次實(shí)驗(yàn)室指標(biāo)檢查的患者。最終共得到858例RA患者的電子病歷數(shù)據(jù),其中女性741例(86.36%),男性117例(13.64%)。患者的平均年齡為53.85歲,平均住院天數(shù)為16.69天。

2 模型構(gòu)建

住院患者的具體流程如圖1所示:

圖1 患者住院治療流程圖

由圖1可知,患者在t0時刻入院后,其在t1時刻會去檢查癥狀與實(shí)驗(yàn)室指標(biāo),在t2時刻醫(yī)生會根據(jù)患者的身體狀況做出診斷并給出相應(yīng)的治療方案,在t3時刻患者開始接受治療,之后患者可能會繼續(xù)接受幾次癥狀與實(shí)驗(yàn)室指標(biāo)檢查,然后醫(yī)生繼續(xù)給出治療方案直至其符合出院標(biāo)準(zhǔn)出院。在此過程中,患者的癥狀與實(shí)驗(yàn)室指標(biāo)檢查并不能完全代表患者真實(shí)的身體狀況,醫(yī)生往往是在不確定的環(huán)境下做出多個階段的醫(yī)療決策,該過程正好適合用MDP模型來進(jìn)行建模。MDP模型由五元組構(gòu)成,其分別為決策時刻、狀態(tài)、行動、轉(zhuǎn)移概率函數(shù)和報酬或成本,可參見劉克和曹平[11]第1章第3節(jié)。下面我們將在每一小節(jié)中給出這些要素的定義方式。

2.1 決策時刻

患者經(jīng)過實(shí)驗(yàn)室指標(biāo)檢查后,醫(yī)生會根據(jù)其健康狀況給出相應(yīng)的治療方案。把醫(yī)生每次給出治療方案的時間點(diǎn)記為決策時刻,用T記所有決策時刻的點(diǎn)集。

2.2 狀態(tài)

患者真實(shí)的健康狀況是隱藏的,醫(yī)生通常通過對患者的癥狀和實(shí)驗(yàn)室指標(biāo)檢查來推測患者的身體狀況。本研究中,我們根據(jù)醫(yī)師的建議和相關(guān)文獻(xiàn),從患者的實(shí)驗(yàn)室指標(biāo)中選擇了9個關(guān)鍵指標(biāo)來近似患者的身體狀況,這些指標(biāo)通常用于評估治療效果。這些指標(biāo)可分為三類,分別是炎癥指標(biāo)(CRP,ESR,RF)、肝功能指標(biāo)(ALT,AST)和血液學(xué)指標(biāo)(RBC,HGB,PLT,WBC)。CRP,ESR和RF作為RA的診斷標(biāo)準(zhǔn)[12],它們能幫助了解體內(nèi)的炎癥水平。ALT和AST能幫助醫(yī)生了解患者用藥過程中肝功能是否有損傷。檢查RBC和HGB能監(jiān)測貧血,檢查PLT能了解是否有血小板增多,檢查WBC能了解是否有白細(xì)胞減少。而貧血、血小板增多與白細(xì)胞減少在RA患者中較為普遍[13]。為了討論的方便,我們將上述指標(biāo)的值離散化成兩類,處于正常值參考范圍記為正常,未處于正常值參考范圍記為不正常,并分別用{1,0}表示。

接下來定義狀態(tài)s。若將狀態(tài)s定義為s=(I1,I2,…,I9),其中Ii表示上述9個指標(biāo)的取值,則一共有29種可能,以此進(jìn)行分析有以下問題。首先是轉(zhuǎn)移概率矩陣會變?yōu)橄∈杈仃?對于轉(zhuǎn)移概率的估計(jì)會產(chǎn)生較大的偏差,其次是求解會變得更為復(fù)雜,最后是按此求得的策略并不具有普適性,不利于現(xiàn)實(shí)中的應(yīng)用。為了減少狀態(tài)的個數(shù),我們選取患者用藥前和用藥后檢查的上述實(shí)驗(yàn)室指標(biāo),將其作為特征變量進(jìn)行聚類分析。而K-modes聚類算法作為一種常用的聚類算法,其常用于對分類屬性型數(shù)據(jù)的聚類中。本研究使用該聚類算法生成每個患者用藥前后的狀態(tài)。每個患者都將根據(jù)聚類結(jié)果歸入一個狀態(tài),每一個狀態(tài)代表患者的健康狀況。但是在使用該算法之前,需要指定聚類的數(shù)目K。本研究中,首先令K∈{2,3,…,10},然后對于每個K,我們多次使用該算法進(jìn)行測試,發(fā)現(xiàn)當(dāng)聚類數(shù)等于6時,分類結(jié)果是合理且可以解釋的。這些患者剛好可以根據(jù)有多少個炎癥指標(biāo)異常、貧血指標(biāo)是否異常、血小板是否異常、白細(xì)胞是否異常以及肝功能是否異常進(jìn)行分類。該結(jié)果與RA實(shí)驗(yàn)室指標(biāo)可能出現(xiàn)的情況剛好一致,聚類結(jié)果如表1所示。

表1 K-modes算法聚類結(jié)果

由上可知,根據(jù)聚類結(jié)果可將患者的狀態(tài)分為6類。當(dāng)患者處于狀態(tài)1時,ALT,AST與RF不正常,其他指標(biāo)正常;處于狀態(tài)2時,CRP,ESR,RF與HGB不正常,其他指標(biāo)正常;處于狀態(tài)3時,CRP,ESR,RF,HGB,RBC,WBC與PLT不正常,其他指標(biāo)正常;處于狀態(tài)4時,ESR與RF不正常,其他指標(biāo)正常;處于狀態(tài)5時, RF不正常,其他指標(biāo)正常;處于狀態(tài)6時,ALT,AST,CRP,ESR與RF不正常,其他指標(biāo)正常。

2.3 行動

在這些患者的治療過程中,大約有260種中藥被使用,而由于中藥處方的種類繁多,因此把每個處方視為不同的治療方案是不切實(shí)際的。于是我們把在第一次和第二次實(shí)驗(yàn)室指標(biāo)檢查之間使用的中藥作為行動的基礎(chǔ)。為了減少行動的個數(shù),我們根據(jù)藥典將使用的中藥分為22個大類,刪除使用較少的中藥類別,最后得到8大類中藥,分別為利水滲濕藥、活血化瘀藥、補(bǔ)虛藥、清熱藥、祛風(fēng)濕藥、理氣藥、消食藥和祛痰藥。我們發(fā)現(xiàn)這些患者均使用了利水滲濕藥、活血化瘀藥、補(bǔ)虛藥、清熱藥、祛風(fēng)濕藥和理氣藥,不同之處在于是否使用了消食藥和祛痰藥,其中未使用消食藥和祛痰藥的有349人,使用消食藥的有164人,使用祛痰藥的有191人,而既使用了消食藥也使用了祛痰藥的有154人。為了研究消食藥和祛痰藥對患者的影響,我們定義如下行動空間,對于任意的i∈S,A(i)={a1,a2,a3,a4},其中a1表示未使用消食藥和祛痰藥,a2表示使用消食藥,a3表示使用祛痰藥,a4表示使用消食藥和祛痰藥,即醫(yī)生在患者處于任何狀態(tài)i(i∈S)時可從行動a1,a2,a3與a4中選取其中一個。

2.4 轉(zhuǎn)移概率函數(shù)

函數(shù)p(s′|s,a)稱為轉(zhuǎn)移概率函數(shù),其表示當(dāng)前決策時刻狀態(tài)為s,若采取行動a,到下一個決策時刻轉(zhuǎn)移到s′的概率。由前面定義的狀態(tài)與行動可知,患者的狀態(tài)有6個,即狀態(tài)1到狀態(tài)6,我們分別將其記為s1,s2,s3,s4,s5與s6,采取的行動有4個,即a1,a2,a3與a4。比如說,我們想計(jì)算處于狀態(tài)2的患者在使用消食藥后變?yōu)闋顟B(tài)1的概率,那就是要計(jì)算p(s1|s2,a2)。我們可以先統(tǒng)計(jì)數(shù)據(jù)中所有這類患者的數(shù)量,得到n(s1|s2,a2)。然后,我們再統(tǒng)計(jì)數(shù)據(jù)中所有處于狀態(tài)2并使用消食藥的患者數(shù)量,得到n(a2|s2)。我們用這兩者的比率來近似p(s1|s2,a2)。在我們的數(shù)據(jù)中,n(s1|s2,a2)=23,n(a2|s2)=61。因此,我們用23/61來近似p(s1|s2,a2)。對于處于其他狀態(tài),采取其他行動的轉(zhuǎn)移概率,也可由同樣方式求得。

2.5 報酬與成本

醫(yī)生根據(jù)患者的狀態(tài)會采取不同的行動,該行動可能是確定性的,也可能是隨機(jī)的。本研究中,由于患者的健康狀況并不是完全暴露的,且根據(jù)我們的數(shù)據(jù),醫(yī)生對于處于相同狀態(tài)下的患者會隨機(jī)地選取行動,因此醫(yī)院的策略是隨機(jī)的。醫(yī)院的隨機(jī)策略定義為π:S×A→[0,1],此時π(s,ai)=P(ai|s)。醫(yī)院的具體策略如表2所示。

表2 醫(yī)院策略

于是可將指標(biāo)R定義為

(1)

其表示醫(yī)院在上述策略下的平均報酬,其值記為r。

然后我們介紹第二個度量指標(biāo)C,我們將患者兩次實(shí)驗(yàn)室指標(biāo)檢查已住院的天數(shù)視為成本,住院天數(shù)越長,患者所需支付的醫(yī)療費(fèi)用越多,成本就越大。患者從狀態(tài)s轉(zhuǎn)移到狀態(tài)s′已住院的平均天數(shù)記為δ(s,s′),成本C(s,a)表示患者在處于狀態(tài)s時采取行動a所需付出的成本,其計(jì)算公式為

于是可將指標(biāo)C定義為

(2)

其表示醫(yī)院在上述策略下的平均成本,其值記為c。

3 最優(yōu)治療策略的求解方法

在無限階段平均準(zhǔn)則下,當(dāng)MDP為單鏈且狀態(tài)空間與行動空間均有限時,必定存在一個最優(yōu)的確定性策略[11]。由于本文考慮兩個度量指標(biāo),因此一一給出這兩個度量指標(biāo)下最優(yōu)治療策略的求解方法。

(3)

(4)

(5)

(6)

(1)取V0=0,取定迭代精度ε>0,k=0。

(2)對于每個i∈S,利用

(7)

得到Vk+1。

(4)此時對每個i∈S,取

(8)

然后停止。

4 結(jié)果分析

4.1 模型結(jié)果

通過上述的求解方法,可得最優(yōu)策略和報酬與成本,如表3和表4所示。

表3 最優(yōu)策略

表4 報酬與成本

4.2 穩(wěn)健性檢驗(yàn)

表5 新行動空間下的最優(yōu)策略

表6 新行動空間下的報酬與成本

5 結(jié)論

本文基于無限階段平均準(zhǔn)則將MDP模型應(yīng)用于RA患者的中藥治療過程中。首先我們從已有的數(shù)據(jù)中推斷出建立MDP模型所需的各個參數(shù),然后我們使用相對值迭代算法來求解這一問題并得到了相應(yīng)的治療策略。結(jié)果表明,本文建立的模型得到的治療成本要低于醫(yī)院的治療成本,報酬要高于醫(yī)院的報酬,這對RA的臨床治療具有一定的指導(dǎo)意義。本研究仍然存在一些局限性,首先我們沒有考慮其他治療方法,如熏蒸、推拿、針灸和西藥等,未來可把這些納入模型的行動中;其次患者的健康狀況是隱藏的,并沒有完全暴露,部分可觀察的馬爾可夫決策過程可能是一個很好的模型,今后研究可以從這方面開展。