【作 者】譚亮，解晶

四川大學(xué)華西醫(yī)院 國有資產(chǎn)管理部，成都市，610041

0 引言

醫(yī)療設(shè)備是醫(yī)療機(jī)構(gòu)固定資產(chǎn)的重要組成部分，對醫(yī)療機(jī)構(gòu)可持續(xù)健康發(fā)展至關(guān)重要，醫(yī)療設(shè)備采購是否合理越來越成為影響醫(yī)療機(jī)構(gòu)自身軟競爭力的重要影響因素，在高端醫(yī)療設(shè)備領(lǐng)域，主要依賴進(jìn)口，價格昂貴，導(dǎo)致成本過高，通過建立智能化的醫(yī)療設(shè)備采購模型，對降低醫(yī)療成本具有積極意義[1]。醫(yī)療設(shè)備采購不僅僅是市場化的買賣關(guān)系，更是政府相關(guān)部門優(yōu)化醫(yī)療資源配置，縮小經(jīng)濟(jì)發(fā)展差異地區(qū)醫(yī)療水平差異、提高我國整體醫(yī)療水平的重要途徑，需要建立完備的決策體系，綜合考慮醫(yī)療設(shè)備采購需求、采購模式、成本績效考核、技術(shù)培訓(xùn)、長遠(yuǎn)收益、患者滿意度等因素，引入人工智能等技術(shù)構(gòu)建兼顧合理化與精細(xì)化的醫(yī)療設(shè)備采購體系平臺[2]。借助國家衛(wèi)健委公布的供需數(shù)據(jù)并實(shí)地調(diào)研收集醫(yī)療機(jī)構(gòu)患者歷史需求數(shù)據(jù)，構(gòu)建大數(shù)據(jù)量級的醫(yī)療設(shè)備采購數(shù)據(jù)池，把醫(yī)療設(shè)備采購決策過程視為馬爾科夫過程，引入深度學(xué)習(xí)感知醫(yī)療設(shè)備采購的核心約束因素，構(gòu)建多維約束下的醫(yī)療設(shè)備采購決策模型，引入改進(jìn)馬爾可夫模型，給出可觀測的醫(yī)療設(shè)備采購決策方案。為了驗證模型的實(shí)際效能[3]，搭建軟件仿真環(huán)境，選取工程評估實(shí)踐載體，對模型進(jìn)行核心指標(biāo)仿真驗證與工程實(shí)踐效能分析。

1 醫(yī)療設(shè)備采購決策模型架構(gòu)設(shè)計

以醫(yī)療設(shè)備采購決策運(yùn)維體系全鏈條需求為指引，將醫(yī)療設(shè)備采購決策模型架構(gòu)劃分為采購影響因素感知層、數(shù)據(jù)深度處理層、多維約束下的醫(yī)療設(shè)備采購最優(yōu)決策層、圖形化下的跨平臺人機(jī)交互層等，每一層通過消息耦合機(jī)制進(jìn)行雙向通信。與模型架構(gòu)相對應(yīng)，提出了一種融合經(jīng)驗緩沖因子的深度確定性策略梯度算法，作為馬爾科夫模型的前置可觀測數(shù)據(jù)來源，具體內(nèi)容如圖1所示。通過在策略網(wǎng)絡(luò)與Q網(wǎng)絡(luò)耦合環(huán)節(jié)引入經(jīng)驗緩沖因子，大幅度降低Transition數(shù)據(jù)序列在時間維度的相關(guān)性，從根源上解決了導(dǎo)致神經(jīng)網(wǎng)絡(luò)的Overfit的因素，算法迭代收斂速度跨數(shù)量級提升，從經(jīng)驗緩沖因子池中隨機(jī)采樣Mini-batch數(shù)據(jù)，消除訓(xùn)練樣本之間的關(guān)聯(lián)性，保證策略學(xué)習(xí)過程更加穩(wěn)定，收斂效率更具保障性。針對大型醫(yī)療機(jī)構(gòu)醫(yī)療設(shè)備采購最優(yōu)決策問題[4]，引入深度學(xué)習(xí)算法實(shí)現(xiàn)醫(yī)療設(shè)備采購核心約束因素自主感知，深度徑向基神經(jīng)網(wǎng)絡(luò)從訓(xùn)練樣本庫中非相關(guān)采樣進(jìn)行針對性訓(xùn)練，通過訓(xùn)練數(shù)據(jù)預(yù)測誤差建立核心約束因素與深度徑向基神經(jīng)網(wǎng)絡(luò)的物理映射，構(gòu)建多維約束下的醫(yī)療設(shè)備采購決策模型。引入改進(jìn)馬爾可夫模型，建立采購核心約束因素感知與最優(yōu)采購策略生成之間的邏輯對應(yīng)關(guān)系，深度徑向基神經(jīng)網(wǎng)絡(luò)捕獲最優(yōu)采購決策并對網(wǎng)絡(luò)初始參數(shù)進(jìn)行賦值，借助約束感知及最優(yōu)采購決策函數(shù)輸出給出可觀測的醫(yī)療設(shè)備采購決策方案。

圖1 醫(yī)療設(shè)備采購決策模型架構(gòu)示意圖Fig.1 Schematic diagram of medical equipment procurement decision model

2 醫(yī)療設(shè)備采購決策模型定量化建模及仿真

2.1 基于深度學(xué)習(xí)自主感知子階段

利用深度學(xué)習(xí)感知獲取的醫(yī)療設(shè)備采購約束因素生成目標(biāo)采購最優(yōu)決策參數(shù)要素集合，為基于馬爾科夫模型的采購最優(yōu)決策策略生成提供可視化支撐，利用融合經(jīng)驗緩沖因子的深度確定性策略梯度算法強(qiáng)大的自我感知能力[5]，實(shí)現(xiàn)多維差異性醫(yī)療設(shè)備采購約束因素的有序重組并進(jìn)行多維差異性醫(yī)療設(shè)備采購約束因素的特征提取與共享計算，提供正反饋機(jī)制修正共享過程中的誤差，構(gòu)建全局協(xié)同控制下醫(yī)療設(shè)備采購約束因素自主識別與更新機(jī)制，詳細(xì)實(shí)現(xiàn)過程如下：

根據(jù)醫(yī)療設(shè)備采購約束因素復(fù)雜多變且多源異構(gòu)的特點(diǎn)，使用策略網(wǎng)絡(luò)來充當(dāng)actor，使用價值網(wǎng)絡(luò)來擬合(s,a)函數(shù)，來充當(dāng)critic的角色，所以將融合經(jīng)驗緩沖因子的深度確定性策略梯度算法的目標(biāo)函數(shù)就可以定義為：

此時Q函數(shù)表示為在采用確定性策略μ下選擇動作的獎勵期望值，在策略網(wǎng)絡(luò)與Q網(wǎng)絡(luò)耦合環(huán)節(jié)引入經(jīng)驗緩沖因子，大幅度降低Transition數(shù)據(jù)序列在時間維度的相關(guān)性，從根源上解決了導(dǎo)致神經(jīng)網(wǎng)絡(luò)的Overfit的因素，算法迭代收斂速度跨數(shù)量級提升，從經(jīng)驗緩沖因子池中隨機(jī)采樣Mini-batch數(shù)據(jù)，由于不同子策略將會在不同回合執(zhí)行，因此，針對每一個訓(xùn)練回合[6]，可以得到一個記憶回放池，最后針對每一個訓(xùn)練回合的子策略參數(shù)求解融合目標(biāo)函數(shù)的梯度，自主識別采購約束因素并標(biāo)記，表征為：

基于式（2）的融合共享效應(yīng)，多重Q網(wǎng)絡(luò)中的參數(shù)θQ具有較好的自主進(jìn)化性能，借助Qμ(s,(μ,s))利用μ策略在s狀態(tài)下選取動作所獲取的回報期望值，自主構(gòu)建采購約束因素的特征框架，可以較好實(shí)現(xiàn)大數(shù)據(jù)量級多源異構(gòu)采購約束因素自主感知與記憶。

2.2 基于改進(jìn)馬爾可夫模型最優(yōu)決策子階段

基于式（2）給出的具有完備屬性的醫(yī)療設(shè)備采購約束因素，綜合考慮醫(yī)療設(shè)備采購的自身的復(fù)雜特點(diǎn)，通過分析采購全流程與關(guān)鍵局部流程來預(yù)測決策轉(zhuǎn)移狀態(tài)，引入部分可觀測的馬爾科夫模型自主生成采購最優(yōu)決策策略[7]。定義狀態(tài)概率為βj(k)，定義當(dāng)前采購所處的狀態(tài)為Ej，表征在醫(yī)療機(jī)構(gòu)初始采購需求（初始狀態(tài)，k=0）已明確的情況下，經(jīng)過k次狀態(tài)轉(zhuǎn)移（采購策略調(diào)整）后，則有：

從初始狀態(tài)開始，基于式（2）給出的醫(yī)療設(shè)備采購約束因素參數(shù)集，基于式（3），對初始狀態(tài)進(jìn)行迭代k次轉(zhuǎn)移后即時狀態(tài)為Ej的這一過程可以視為兩個步驟，首先經(jīng)過k-1次狀態(tài)轉(zhuǎn)移后到達(dá)前置狀態(tài)Ei(i=1,...,n)，然后根據(jù)式（2）給出的采購最優(yōu)決策策略進(jìn)行后置狀態(tài)轉(zhuǎn)移，到達(dá)狀態(tài)Ej，上述過程具有明顯的馬爾科夫過程屬性，馬爾科夫過程無后效性及Bayes條件概率公式適用，則有:

其中Pij表征狀態(tài)轉(zhuǎn)移概率，基于式（4）可以對采購過程中的任意狀態(tài)進(jìn)行概率決策，考慮到醫(yī)療設(shè)備采購最優(yōu)決策問題是離散的非連續(xù)最優(yōu)決策問題[8]，引入行向量表征可行的采購決策策略方案，定義行向量為β(k)=[β1(k),β2(k),...,βn(k)]，則結(jié)合式（4）可得逐次尋優(yōu)遞推公式，則有：

式（5）中P為狀態(tài)轉(zhuǎn)移概率矩陣，利用式（2）給出的醫(yī)療設(shè)備采購約束因素，基于式（5）可以分析得知，如果醫(yī)療機(jī)構(gòu)初始采購需求明確，則借助基于改進(jìn)馬爾可夫模型的醫(yī)療設(shè)備采購決策模型可以實(shí)現(xiàn)采購效能最優(yōu)化。

2.3 模型性能仿真驗證

選取四川大學(xué)華西醫(yī)院國有資產(chǎn)管理部2016-01-01至2020-07-01的患者需求及醫(yī)療設(shè)備采購數(shù)據(jù)文本作為初始訓(xùn)練數(shù)據(jù)，基于Matlab仿真環(huán)境，借助深度學(xué)習(xí)工具箱對模型進(jìn)行了效能仿真驗證，借助可視化工具箱進(jìn)行圖形化示意仿真，采用顯著差異標(biāo)識在仿真圖中給出對比曲線，最終仿真結(jié)果如圖2、圖3所示。設(shè)定初始損失函數(shù)，從醫(yī)療設(shè)備采購長遠(yuǎn)需求與即時需求均衡性仿真曲線圖、醫(yī)療設(shè)備采購較長周期內(nèi)患者需求預(yù)測精確性仿真曲線圖等多維度對算法進(jìn)行了仿真驗證，設(shè)定初始深度徑向基神經(jīng)網(wǎng)絡(luò)大小為128×256×16，設(shè)定深度學(xué)習(xí)回報率服從負(fù)稀疏矩陣，參數(shù)的選取以決策最優(yōu)為導(dǎo)向，確保在模型訓(xùn)練的后期仍然具有較強(qiáng)的進(jìn)化活力，引導(dǎo)訓(xùn)練進(jìn)化朝著更優(yōu)的方向發(fā)展。

圖2 醫(yī)療設(shè)備采購長遠(yuǎn)需求與即時需求均衡性仿真曲線Fig.2 Simulation curve of equilibrium between long-term demand and immediate demand for medical equipment procurement

圖3 醫(yī)療設(shè)備采購較長周期內(nèi)患者需求預(yù)測精確性仿真曲線Fig.3 Simulation curve of patient demand prediction accuracy in a long period of medical equipment procurement

3 醫(yī)療設(shè)備采購決策模型工程評估實(shí)踐

基于經(jīng)濟(jì)性考慮，采用微應(yīng)用擴(kuò)展的模式對四川大學(xué)華西醫(yī)院國有資產(chǎn)管理部現(xiàn)役應(yīng)用的國有資產(chǎn)綜合管理系統(tǒng)進(jìn)行適應(yīng)性改造，增加醫(yī)療機(jī)構(gòu)患者需求數(shù)據(jù)實(shí)時全景感知與融合、大數(shù)據(jù)量級的醫(yī)療設(shè)備采購數(shù)據(jù)池構(gòu)建、醫(yī)療設(shè)備采購決策馬爾科夫過程擬合、醫(yī)療設(shè)備采購決策模型構(gòu)建與最優(yōu)采購策略自主生成等軟件處理進(jìn)程，分配單獨(dú)的內(nèi)存資源，定期進(jìn)行業(yè)務(wù)數(shù)據(jù)內(nèi)網(wǎng)交互，實(shí)現(xiàn)數(shù)據(jù)全景共享。選取安四川大學(xué)華西醫(yī)院國有資產(chǎn)管理部近期采購的某進(jìn)口醫(yī)療設(shè)備作為模型工程應(yīng)用效能驗證載體，如圖4所示。為了評估模型的魯棒性，設(shè)置同步組，按照采購需求提出、采購計劃制定、最優(yōu)采購策略生成、采購策略同步校驗、綜合評估與人機(jī)交互等步驟對模型進(jìn)行工程評估實(shí)踐。

圖4 醫(yī)療設(shè)備采購決策模型工程評估實(shí)踐邏輯示意圖Fig.4 Schematic diagram of engineering evaluation practice of medical equipment procurement decision model

為了進(jìn)一步驗證模型的定量化工程化應(yīng)用及實(shí)踐評估效能，基于圖5給出的醫(yī)療設(shè)備采購決策模型工程評估實(shí)踐邏輯示意圖，利用四川大學(xué)華西醫(yī)院國有資產(chǎn)管理部2019年第二季度運(yùn)維產(chǎn)生的醫(yī)療設(shè)備采購數(shù)據(jù)作為統(tǒng)計對象，選取四川大學(xué)華西醫(yī)院國有資產(chǎn)管理部現(xiàn)役應(yīng)用的國有資產(chǎn)綜合管理系統(tǒng)作為對照組，從多源異構(gòu)醫(yī)療設(shè)備采購約束因素感知精確率、醫(yī)療設(shè)備采購長遠(yuǎn)需求與即時需求均衡率、較長周期內(nèi)患者需求預(yù)測精確率、多維約束下醫(yī)療設(shè)備最優(yōu)采購策略等層面多維對比模型性能，則模型定量化工程應(yīng)用效能對比，如表1所示。

表1 模型工程評估實(shí)踐效能對比表(%)Tab.1 Comparison table of practical effectiveness of model engineering evaluation

4 結(jié)論

針對長遠(yuǎn)需求與即時需求均衡要求較高、采購過程變動頻繁且約束多維的、同步感知與最優(yōu)決策需求較高的、時間效應(yīng)明顯且具有累積性的、受歷史數(shù)據(jù)影響明顯的較長周期內(nèi)的大型醫(yī)療機(jī)構(gòu)醫(yī)療設(shè)備采購最優(yōu)決策問題，提出了一種基于改進(jìn)馬爾可夫模型的醫(yī)療設(shè)備采購決策模型并進(jìn)行了工程評估實(shí)踐。在部分可觀測馬爾科夫模型中融入深度徑向基神經(jīng)網(wǎng)絡(luò)，基于醫(yī)療機(jī)構(gòu)患者歷史需求數(shù)據(jù)，構(gòu)建大數(shù)據(jù)量級的醫(yī)療設(shè)備采購數(shù)據(jù)池，把醫(yī)療設(shè)備采購決策過程視為馬爾科夫過程，引入深度學(xué)習(xí)感知醫(yī)療設(shè)備采購的核心約束因素，構(gòu)建多維約束下的醫(yī)療設(shè)備采購決策模型，引入改進(jìn)馬爾可夫模型，給出可觀測的醫(yī)療設(shè)備采購決策方案?；贛atlab仿真環(huán)境，借助深度學(xué)習(xí)工具箱對模型進(jìn)行了效能仿真驗證，選取四川大學(xué)華西醫(yī)院國有資產(chǎn)管理部為效能評價載體，對模型進(jìn)行工程化應(yīng)用效能分析，結(jié)果表明模型初步具備了大型醫(yī)療機(jī)構(gòu)醫(yī)療設(shè)備采購最優(yōu)決策，為多維約束下的醫(yī)療設(shè)備采購決策提供多維數(shù)據(jù)支撐，對構(gòu)建智慧醫(yī)療運(yùn)維全鏈條、全壽命周期醫(yī)療設(shè)備采購決策機(jī)制具有基礎(chǔ)性支撐效能。