急診部擁擠、病床資源緊張的現(xiàn)象在大型三甲醫(yī)院經(jīng)常出現(xiàn)，其原因十分復(fù)雜.首先，急診不能采用預(yù)約機(jī)制，在一天的不同時(shí)段患者到達(dá)速率高度時(shí)變且不確定.同時(shí)，急診患者的病情繁雜且有輕重緩急區(qū)別.進(jìn)一步，每個(gè)患者占用醫(yī)療資源的時(shí)間具有不確定性，例如使用病床等醫(yī)療資源的時(shí)間不確定.這些復(fù)雜因素給急診部服務(wù)管理和調(diào)度造成困難.

搶救室是急診部的核心科室，而床位是搶救室最關(guān)鍵的資源，其使用的科學(xué)性與否直接影響對(duì)患者的救治是否及時(shí)、是否能做到對(duì)患者“應(yīng)收盡收”的醫(yī)療原則.因此，急診部需要在預(yù)診時(shí)對(duì)患者病情進(jìn)行分級(jí)，對(duì)病情嚴(yán)重的患者優(yōu)先接收；對(duì)病情相對(duì)不緊急的患者根據(jù)資源占用情況選擇性接收，即進(jìn)行科學(xué)的入院控制.本文稱前者為“危重患者”，后者為“非危重患者”.搶救室床位資源有限，如何通過合理的手段，對(duì)不同等級(jí)的患者加以控制，以提高患者健康回報(bào)和醫(yī)院收益，是搶救室面臨的重要問題.由于搶救室患者一般允許的等待時(shí)間很有限，所以當(dāng)患者到達(dá)時(shí)需要實(shí)時(shí)決定是否接收.但是現(xiàn)實(shí)中做出科學(xué)實(shí)時(shí)的入院控制決策具有很大的難度，這是由于后續(xù)患者的到達(dá)、患者占用資源的時(shí)間都是高度不確定的，接收過多非危重患者導(dǎo)致床位不足，將可能影響后續(xù)危重患者的接收；接收過少則可能造成床位資源利用率不高，影響整體的醫(yī)療服務(wù)質(zhì)量和收益.因此，搶救室需要科學(xué)的患者入院控制方法和策略，以提升整體運(yùn)行和服務(wù)水平.

搶救室入院控制是醫(yī)療服務(wù)準(zhǔn)入控制問題的典型場(chǎng)景之一.醫(yī)療服務(wù)準(zhǔn)入控制是指針對(duì)待服務(wù)患者，對(duì)醫(yī)療資源(床位、檢查設(shè)備等)進(jìn)行動(dòng)態(tài)分配調(diào)度，確定何種患者在什么時(shí)間可以獲得醫(yī)療資源和服務(wù)，其主要研究方法包括Markov決策過程(MDP)、隨機(jī)規(guī)劃和近似動(dòng)態(tài)規(guī)劃等，其主要對(duì)象分為對(duì)非預(yù)約患者和預(yù)約患者的準(zhǔn)入控制.首先，很多文獻(xiàn)對(duì)非預(yù)約患者進(jìn)行了服務(wù)準(zhǔn)入控制研究.文獻(xiàn)[1]針對(duì)突發(fā)事件后的入院控制問題，考慮時(shí)變的到達(dá)率和獎(jiǎng)勵(lì)函數(shù)，建立連續(xù)時(shí)間MDP模型，并通過狀態(tài)離散化的方式進(jìn)行求解.文獻(xiàn)[3]考慮質(zhì)子治療場(chǎng)景下治療組合的比例約束，通過聚合MDP模型，求解獲得近似最優(yōu)的患者入院策略.文獻(xiàn)[5]為提高資源利用率和降低服務(wù)成本兩方面的目標(biāo)，提出了雙目標(biāo)隨機(jī)優(yōu)化模型，在不確定的需求和能力下取得資源利用率和服務(wù)成本之間的最優(yōu)均衡.文獻(xiàn)[4]針對(duì)不同緊急程度患者的入院控制問題，提出了一種配額策略，在獲得需求信息之前決定最大日接納量，并證明在特定條件下該策略等價(jià)于已知需求信息的最優(yōu)策略.文獻(xiàn)[8]考慮緊急患者和預(yù)約患者競(jìng)爭(zhēng)的入院控制問題，證明了最優(yōu)配額策略呈現(xiàn)單調(diào)性.文獻(xiàn)[2]則研究患者到達(dá)及病情演變均不確定條件下的入院控制問題，建立資源動(dòng)態(tài)分配的MDP模型，并通過粒子群算法進(jìn)行求解.文獻(xiàn)[9-11]進(jìn)一步考慮了重癥監(jiān)護(hù)室場(chǎng)景，在拒絕新來患者和讓患者提前出院之間取得平衡.

除了隨機(jī)非預(yù)約到達(dá)患者，目前對(duì)預(yù)約患者的準(zhǔn)入控制也有較廣泛研究，主要包括對(duì)患者的預(yù)約調(diào)度和手術(shù)擇期等研究.對(duì)于醫(yī)療檢查資源的預(yù)約調(diào)度問題，文獻(xiàn)[12]考慮爽約率和到達(dá)率不同的多類患者，利用分層算法框架求解.文獻(xiàn)[7]針對(duì)擇期手術(shù)決策問題，通過近似動(dòng)態(tài)規(guī)劃求解，仿真顯示算法結(jié)果使得醫(yī)療系統(tǒng)運(yùn)行效果得到改善.文獻(xiàn)[13]針對(duì)擇期患者入院控制問題，建立混合整數(shù)規(guī)劃模型，求解多種資源、多個(gè)時(shí)間段和多類患者的準(zhǔn)入控制問題.文獻(xiàn)[14] 針對(duì)多臺(tái)設(shè)備多類患者場(chǎng)景的檢查資源預(yù)約調(diào)度問題建立MDP模型，求解使得收益最大化.

凈壓力決定裂縫的寬度，長度、高度，壓裂施工中裂縫的凈壓力隨地應(yīng)力差的增加而增大，理想的裂縫高度是壓裂目的層的厚度，實(shí)際上裂縫高度完全取決于壓裂目的層的凈壓力與其上下隔層的應(yīng)力差。一般認(rèn)為，如果該壓差大于5 MPa會(huì)對(duì)裂縫的垂向延伸起遮擋作用，凈壓力與隔層應(yīng)力差小于5 MPa壓竄頂板的風(fēng)險(xiǎn)加大，壓竄頂板后裂縫沿著頂板水平延伸影響鄰井產(chǎn)氣量。

本文主要采用MDP方法進(jìn)行患者準(zhǔn)入研究.雖然如上所述的MDP方法已經(jīng)在相關(guān)問題得到了運(yùn)用，但本研究的搶救室準(zhǔn)入控制問題和以上文獻(xiàn)有顯著區(qū)別，針對(duì)搶救室這個(gè)具體場(chǎng)景下的準(zhǔn)入控制問題，本文的研究對(duì)象和基本假設(shè)都有別與已有研究.

(1) 傳統(tǒng)基于MDP的患者準(zhǔn)入研究假設(shè)提前設(shè)定了決策時(shí)刻或時(shí)間槽長度，如每隔10 min決策一次，兩個(gè)決策時(shí)刻之間(10 min長度內(nèi))不做任何決策，以簡(jiǎn)化模型和求解.而本文突破以上設(shè)定，允許時(shí)段內(nèi)發(fā)生多個(gè)事件且進(jìn)行多次決策，即患者到達(dá)時(shí)立即根據(jù)系統(tǒng)狀態(tài)做出相應(yīng)的決策，更加符合搶救室的實(shí)際運(yùn)行需要.

(2) 傳統(tǒng)MDP患者準(zhǔn)入控制模型設(shè)定系統(tǒng)只有在決策時(shí)刻才會(huì)發(fā)生狀態(tài)變化.因此需要對(duì)系統(tǒng)的隨機(jī)特征加以近似和限定，例如一般假設(shè)服務(wù)時(shí)間雖然是隨機(jī)量，但是離散為時(shí)間槽的整數(shù)倍.本文的MDP模型中突破此約束，允許各個(gè)隨機(jī)量具有連續(xù)隨機(jī)性，更加符合實(shí)際的隨機(jī)特點(diǎn).

(3) 傳統(tǒng)MDP模型由于設(shè)定了特定的決策時(shí)刻，為了獲得好的效果必然要求決策時(shí)刻密集，且對(duì)每個(gè)決策時(shí)刻均求解出一個(gè)決策策略，因此最終得到很多決策策略.本文突破此模式，針對(duì)一個(gè)較長時(shí)段求解得到統(tǒng)一策略且不限制決策時(shí)間，如此更好滿足了急診搶救室運(yùn)作管理的需要，提高了研究成果實(shí)施可行性.

1 問題與模型描述

若危重患者出院，轉(zhuǎn)移后狀態(tài)為′=(,, 2)，轉(zhuǎn)移概率為(+1)；若非危重患者出院，′=(+1,-1, 2)，轉(zhuǎn)移概率為

這里的A和B是為了方便表示,分別指信標(biāo)節(jié)點(diǎn)和普通接收節(jié)點(diǎn).令A(yù)在t2n-1時(shí)刻的坐標(biāo)為PA(t2n-1),B收到廣播信號(hào)的時(shí)刻是T2n,相對(duì)于A的實(shí)際時(shí)刻是t2n,這里dAB(t2n-1-t2n)= ‖PA(t2n-1)-PB(t2n)‖.

(1) 急診室床位總數(shù)為，每個(gè)床位可視為此服務(wù)系統(tǒng)中的“服務(wù)臺(tái)”.

(5) 根據(jù)合作醫(yī)院提供的數(shù)據(jù)統(tǒng)計(jì)擬合，設(shè)定兩類患者的醫(yī)療服務(wù)時(shí)間，即其占用床位的時(shí)間，分別服從給定參數(shù)為和的指數(shù)分布.

(3) 兩類患者到達(dá)速率的時(shí)變性質(zhì)，參考現(xiàn)有文獻(xiàn)[16]，將一個(gè)較長決策期等分為個(gè)時(shí)段，每個(gè)時(shí)段長度為.例如合作醫(yī)院的數(shù)據(jù)中=24，為1 h.

(2) 患者實(shí)際病情復(fù)雜多變，根據(jù)我國衛(wèi)生部2011年發(fā)布的急診病人病情分級(jí)指導(dǎo)原則，急診患者可分為4個(gè)等級(jí)，其中需進(jìn)入搶救室搶救的患者可分為兩個(gè)嚴(yán)重等級(jí)，本文稱為危重患者和非危重患者.

(6) 采用合作醫(yī)院的基本收治規(guī)則，即當(dāng)系統(tǒng)有床位空閑時(shí)，若危重患者到達(dá)，則必須本著“應(yīng)收盡收”的原則加以接收，分配床位；若非危重患者到達(dá)，則可以接收，也可以拒絕接收.當(dāng)床位已滿時(shí)，就不再接收任何患者.

(7) 假設(shè)接收患者會(huì)產(chǎn)生確定的正收益，拒絕患者則會(huì)產(chǎn)生相應(yīng)的負(fù)收益.接收一位危重患者和非危重患者的收益分別為和；拒絕一位危重患者和非危重患者的損失分別為和注意此處的收益并非僅指經(jīng)濟(jì)收益，而是考慮了患者救治難度、患者轉(zhuǎn)院風(fēng)險(xiǎn)、醫(yī)院經(jīng)濟(jì)收益以及社會(huì)責(zé)任等因素的綜合性指標(biāo).

本研究尋找科學(xué)的策略集合，使得時(shí)變需求下患者的入院控制問題最優(yōu)，即求解每個(gè)時(shí)段的患者入院控制策略，在每個(gè)時(shí)段內(nèi)使用對(duì)應(yīng)的最優(yōu)策略，以實(shí)現(xiàn)一個(gè)較長時(shí)域內(nèi)(例如24 h)總收益最大化.在一個(gè)時(shí)段內(nèi)患者隨機(jī)連續(xù)到達(dá)，患者每次到達(dá)需要實(shí)時(shí)決策，這造成本問題中一個(gè)時(shí)段內(nèi)雖然策略是確定的，但是決策的時(shí)間點(diǎn)和次數(shù)不確定.同時(shí)，本文放棄了類似研究常用的“時(shí)間槽”概念，設(shè)定患者的到達(dá)是隨機(jī)且速率時(shí)變的，每次到達(dá)實(shí)時(shí)決策，這樣的設(shè)定更加符合實(shí)際情況，同時(shí)也更加具有挑戰(zhàn)性.

以上決策問題可以通過有限期無折扣的MDP模型來描述.本文建立的MDP模型主要包括4個(gè)元素，即系統(tǒng)狀態(tài)、決策集合、狀態(tài)轉(zhuǎn)移概率和收益評(píng)估.

◎沒超過39℃可以不用退熱藥，自己在家觀察、物理降溫就可以了。超過39℃要就醫(yī)，預(yù)防高熱驚厥，一定要使用退熱藥。一般用布洛芬（美林）。對(duì)乙酰氨基酚（百服嚀、泰諾林），別名撲熱息痛，也是可以用的，WHO也是推薦使用，但中國乙肝高發(fā)，所以在中國建議1歲以下慎用。

1.1 系統(tǒng)狀態(tài)

定義系統(tǒng)狀態(tài)為=(,,)，、分別為當(dāng)前系統(tǒng)中危重患者和非危重患者數(shù)量；為系統(tǒng)當(dāng)前事件性質(zhì)，取值0，1，2分別表示“危重患者到達(dá)”“非危重患者到達(dá)”和“無患者到達(dá)”，其中“無患者到達(dá)”包括“患者出院”和“系統(tǒng)自轉(zhuǎn)移”(系統(tǒng)自轉(zhuǎn)移見下文13節(jié)定義)兩類事件考慮到系統(tǒng)人數(shù)不超過，因此狀態(tài)總數(shù)為

(1)

1.2 決策集合

考慮患者到達(dá)時(shí)的決策包括“接收”和“拒絕”.根據(jù)本文假設(shè)，在某些狀態(tài)下，其對(duì)應(yīng)決策集只有一個(gè)決策，如床位占滿時(shí)，只能拒絕患者；有空床且危重患者到達(dá)時(shí)，只能接收.需要指出，無患者到達(dá)時(shí)，無需進(jìn)行決策，即定義為 “空決策”，不產(chǎn)生收益或損失.綜上，定義決策集為={0, 1, 2}，其中0表示拒絕患者，1表示接收患者，2表示空決策若一個(gè)時(shí)段內(nèi)各個(gè)狀態(tài)對(duì)應(yīng)的決策均確定，則稱該時(shí)段策略確定，任意狀態(tài)對(duì)應(yīng)決策()可由該策略給出，即對(duì)任意有() =()

1.3 狀態(tài)轉(zhuǎn)移概率

相關(guān)MDP文獻(xiàn)一般是將決策期劃分為多個(gè)等長的時(shí)間槽，假設(shè)事件發(fā)生的時(shí)間間隔是離散隨機(jī)，即為時(shí)間槽的整倍數(shù)，從而將模型簡(jiǎn)化為決策時(shí)刻和系統(tǒng)狀態(tài)轉(zhuǎn)移均只發(fā)生在每個(gè)時(shí)間槽端點(diǎn).但由于本研究中患者到達(dá)時(shí)間和服務(wù)時(shí)間均為連續(xù)隨機(jī)變量且需要實(shí)時(shí)決策，所以，使用均勻化方法將系統(tǒng)事件發(fā)生時(shí)間離散化.對(duì)于一個(gè)連續(xù)時(shí)間馬爾科夫鏈，令表示其最大轉(zhuǎn)移速率，則系統(tǒng)在時(shí)段內(nèi)發(fā)生事件數(shù)量()服從參數(shù)為的泊松分布，例如，發(fā)生事件數(shù)量為的概率為

(2)

那么，若系統(tǒng)當(dāng)前狀態(tài)為，發(fā)生一次事件后轉(zhuǎn)移到的概率為

(3)

式中：為系統(tǒng)從狀態(tài)到狀態(tài)的轉(zhuǎn)移速率當(dāng)=時(shí)，表示狀態(tài)不發(fā)生改變，即系統(tǒng)自轉(zhuǎn)移.

針對(duì)本文研究的系統(tǒng)，其最大轉(zhuǎn)移速率可定義為

(4)

危重患者到達(dá)且接收，即=0，=1

本文則在對(duì)企業(yè)戰(zhàn)略管理、企業(yè)總體經(jīng)營戰(zhàn)略、企業(yè)生命周期等相關(guān)理論進(jìn)行總體簡(jiǎn)單概述的基礎(chǔ)上，結(jié)合河南省許昌市胖東來商貿(mào)集團(tuán)由創(chuàng)業(yè)期轉(zhuǎn)向企業(yè)成長期以及企業(yè)成長后期這兩次經(jīng)營戰(zhàn)略調(diào)整的經(jīng)驗(yàn)教訓(xùn)，提出了企業(yè)的首要發(fā)展目標(biāo)是成為一個(gè)長壽企業(yè)，而非把企業(yè)做大做強(qiáng)，即企業(yè)首先要致力于成為一個(gè)500年的企業(yè)，而非成為世界500強(qiáng)。文章在此觀點(diǎn)上，進(jìn)一步提出了企業(yè)實(shí)現(xiàn)長期可持續(xù)發(fā)展的一些對(duì)策和建議。

黏土磚必須在砌筑前1 d澆水濕潤，一般以水浸入磚四邊1.5 cm為宜，含水率為10%～15%。常溫下施工不得干磚上墻，雨季不得使用含水率達(dá)飽和狀態(tài)的磚砌墻。

該決策的條件為+<接收患者后，=(+1,, 2)接收后，可能發(fā)生的隨機(jī)事件如下.

首先考慮單步收益，即在某一狀態(tài)下做一次決策所能獲得的收益.對(duì)于同類型患者，接收或拒絕的收益是確定而唯一的.若時(shí)段狀態(tài)=(,,)采取的決策為，則一次決策后的單步收益可以記為

(2) 患者出院.

本文聚焦急診搶救室床位資源，研究如何通過科學(xué)的手段，將有限的床位分配給不同等級(jí)的患者，即當(dāng)患者到達(dá)搶救室時(shí)，按照何種策略決定是否接收該患者，以提高對(duì)患者的服務(wù)水平并提升醫(yī)院的綜合收益.針對(duì)急診搶救室入院控制問題，本文根據(jù)合作醫(yī)院的調(diào)研情況和實(shí)際數(shù)據(jù)做出以下幾點(diǎn)假設(shè).

(3) 自轉(zhuǎn)移.

綜上，該場(chǎng)景下狀態(tài)轉(zhuǎn)移概率可由下式表示：

(′|,)=

(5)

非危重患者到達(dá)且接收，即=1，=1

該決策的條件為+<接收患者后，=(,+1, 2)接收后，同上分析可得該條件下的狀態(tài)轉(zhuǎn)移概率為

(′|,)=

(6)

患者到達(dá)，決策為拒絕或無患者到達(dá)，即=0或= 2

對(duì)于危重患者到達(dá)，該決策的條件為+=；對(duì)非危重患者，決策條件為+≤；無患者到達(dá)時(shí)，采取空決策決策后狀態(tài)均為=(,, 2)拒絕后，同上分析可得該條件下的狀態(tài)轉(zhuǎn)移概率為

(′|,)=

(7)

對(duì)其他未討論情況，有(′|,)=0.

以上為發(fā)生一次事件時(shí)的單步狀態(tài)轉(zhuǎn)移，而當(dāng)時(shí)段內(nèi)策略確定，即每個(gè)狀態(tài)對(duì)應(yīng)的決策隨之確定，場(chǎng)景1～4的單步狀態(tài)轉(zhuǎn)移可表示為二維狀態(tài)轉(zhuǎn)移矩陣；給定時(shí)段初狀態(tài)分布(即處于各狀態(tài)的概率)= [,1,2…,]后，若該時(shí)段發(fā)生事件數(shù)為，則時(shí)段末狀態(tài)分布為()，而根據(jù)均勻化方法，發(fā)生事件數(shù)服從泊松分布，由此可利用函數(shù)(,)計(jì)算時(shí)段末的系統(tǒng)狀態(tài)如下：

(8)

在系統(tǒng)狀態(tài)+1中，狀態(tài)對(duì)應(yīng)的概率+1, 記為(|,)，即時(shí)段狀態(tài)轉(zhuǎn)移概率，表示時(shí)段初系統(tǒng)狀態(tài)分布為，采用策略，+1時(shí)段初處于狀態(tài)的概率由于當(dāng)事件數(shù)較大時(shí)，其發(fā)生概率e-()!接近于0，在數(shù)值實(shí)驗(yàn)中將其截?cái)?，給定事件數(shù)上限，從而只對(duì)∈[0,]求和即可，下文類似.

此處引入狀態(tài)分布是必要的，一方面是均勻化方法的需要，另一方面，本文目標(biāo)為求解每個(gè)時(shí)段的患者入院控制策略，即該時(shí)段每個(gè)狀態(tài)的最優(yōu)行動(dòng).經(jīng)典的MDP僅需要分別確定每個(gè)狀態(tài)的最優(yōu)行動(dòng)，不需要同時(shí)考慮其他狀態(tài).然而本文場(chǎng)景下，時(shí)段內(nèi)決策次數(shù)不確定，在時(shí)段內(nèi)可能轉(zhuǎn)移到其他任何狀態(tài).如果分別從每個(gè)狀態(tài)出發(fā)計(jì)算策略，則可能在不同的狀態(tài)下得到不同的策略，這與本文要求沖突.因此，需要在時(shí)段開始設(shè)定狀態(tài)的分布，利用分布計(jì)算并得到時(shí)段的唯一最優(yōu)策略.

1.4 收益評(píng)估

經(jīng)典MDP模型為每個(gè)決策時(shí)刻確定最優(yōu)策略，不同決策時(shí)刻策略往往不同.本文是為每個(gè)時(shí)段確定最優(yōu)策略，即本時(shí)段內(nèi)每當(dāng)患者到達(dá)搶救室，均采用此策略決策，最終實(shí)現(xiàn)決策期(個(gè)時(shí)段)內(nèi)總的收益最大化.由于每個(gè)時(shí)段內(nèi)的決策時(shí)刻和決策次數(shù)是不確定的，因此，本文在決策時(shí)所考慮的收益也區(qū)別于經(jīng)典MDP，經(jīng)典MDP考慮一次決策后獲得的“單步收益”，而本文需要考慮一個(gè)時(shí)段內(nèi)“多次決策的總收益”.本文通過均勻化方法進(jìn)行收益評(píng)估.

(1) 患者到達(dá).

(9)

文獻(xiàn)中一般是將決策期劃分為多個(gè)固定長度的時(shí)間槽，假設(shè)事件的決策時(shí)刻均在時(shí)間槽端點(diǎn)，進(jìn)而最大化逐點(diǎn)的收益之和.在本文研究的場(chǎng)景下，系統(tǒng)事件發(fā)生的時(shí)間間隔是連續(xù)隨機(jī)的，不一定為時(shí)間槽的倍數(shù)，因此需要對(duì)收益評(píng)估做出調(diào)整.給定時(shí)段初狀態(tài)分布，當(dāng)該時(shí)段策略確定，單步狀態(tài)轉(zhuǎn)移矩陣確定，由式(9)可知，每個(gè)狀態(tài)在決策后能夠獲得的單步收益也隨之確定，記為向量= [,1,2…,]若時(shí)段內(nèi)系統(tǒng)未發(fā)生轉(zhuǎn)移，則收益為0；否則，系統(tǒng)發(fā)生第(>0)次轉(zhuǎn)移后的收益可表示為()-1，則根據(jù)均勻化，時(shí)段內(nèi)的總收益可通過函數(shù)(,)計(jì)算如下：

=(,)=

(10)

1.5 經(jīng)典有限期MDP模型對(duì)比分析

以上構(gòu)建的MDP模型與經(jīng)典有限期MDP患者準(zhǔn)入控制模型存在著顯著區(qū)別.① 經(jīng)典MDP模型存在確定的決策時(shí)刻，而本模型的決策時(shí)刻為患者隨機(jī)的到達(dá)時(shí)刻，更加滿足實(shí)時(shí)決策的需要；② 經(jīng)典MDP考慮相鄰決策時(shí)刻之間的單步狀態(tài)轉(zhuǎn)移，本模型考慮逐時(shí)段之間的狀態(tài)轉(zhuǎn)移，且是基于均勻化計(jì)算狀態(tài)分布之間的轉(zhuǎn)移；③ 經(jīng)典MDP通過對(duì)每個(gè)決策時(shí)刻收益累加計(jì)算總收益，本模型則通過均勻化累加每個(gè)時(shí)段收益來計(jì)算總收益；④ 經(jīng)典MDP 模型通過確定每個(gè)決策時(shí)刻的策略來最優(yōu)化目標(biāo)，而本模型通過確定每個(gè)時(shí)段的統(tǒng)一策略來優(yōu)化系統(tǒng).

2 算法設(shè)計(jì)

首先從經(jīng)典有限期MDP的Bellman最優(yōu)性方程引入本文計(jì)算方法：

(11)

式中：()為決策時(shí)刻狀態(tài)的最優(yōu)價(jià)值，即在時(shí)刻從狀態(tài)出發(fā)，按最優(yōu)策略決策，直到?jīng)Q策期結(jié)束時(shí)所能獲得的總收益由式(11)可知，為了最大化狀態(tài)價(jià)值，需要綜合考慮當(dāng)前單步收益(,)和未來期望收益，當(dāng)前狀態(tài)和未來狀態(tài)通過狀態(tài)轉(zhuǎn)移概率(′|,)聯(lián)系.

(12)

大學(xué)生旅游消費(fèi)具有以下特征：①在價(jià)格上，給予學(xué)生足夠的優(yōu)惠，旅行社所負(fù)擔(dān)的飲食住行等方面以中檔為主，在降低成本的基礎(chǔ)上注重學(xué)生的消費(fèi)體驗(yàn)。②在學(xué)生專線的選取上符合學(xué)生的心理：路線短，時(shí)間短，名氣大。③嚴(yán)格保證旅行的安全。

根據(jù)狀態(tài)價(jià)值定義以及式(12)，本文提出Bellman最優(yōu)性方程如下式所示：

(13)

需要注意的是，經(jīng)典Bellman方程式(11)中是分別對(duì)每個(gè)狀態(tài)做出最優(yōu)決策.但是本文Bellman方程式(13)考慮逐時(shí)段的遞推關(guān)系，一個(gè)時(shí)段內(nèi)可能會(huì)發(fā)生多次狀態(tài)轉(zhuǎn)移.根據(jù)式(10)，要得到整個(gè)時(shí)段的總收益，須確定該時(shí)段完整的策略，因此不能分別求每個(gè)狀態(tài)的最優(yōu)決策，而是針對(duì)時(shí)段初狀態(tài)分布，直接確定時(shí)段內(nèi)最優(yōu)策略.

為最大化決策期的總收益，本文基于Bellman最優(yōu)性方程式(13)設(shè)計(jì)了雙向迭代算法，確定每個(gè)時(shí)段的最優(yōu)策略，即得到包含個(gè)策略的策略集合.由于該算法復(fù)雜度較高，無法應(yīng)對(duì)大規(guī)模問題，所以進(jìn)一步提出逐時(shí)段策略迭代算法.另外，為便于實(shí)際應(yīng)用，設(shè)計(jì)了雙向閾值迭代算法來求解最優(yōu)閾值策略.

對(duì)各種地理水紋記號(hào)進(jìn)行匯總、劃分、歸類后，引入視覺傳達(dá)藝術(shù)的設(shè)計(jì)方法，并融入我國傳統(tǒng)水文化中的創(chuàng)意元素，進(jìn)行圖形設(shè)計(jì)，填補(bǔ)地理水紋記號(hào)的空缺；然后依據(jù)我國水利信息化的要求，進(jìn)行數(shù)字化處理；最后再對(duì)整理后的結(jié)果進(jìn)行處理，向水利信息化靠攏，最終形成一套完整的系統(tǒng)。

1)從模擬施工過程的變形數(shù)據(jù)和現(xiàn)場(chǎng)監(jiān)測(cè)數(shù)據(jù)相比較而言，模型變形規(guī)律還是比較接近于現(xiàn)場(chǎng)數(shù)據(jù)，擬合度較好，三維模擬可以為施工提供參考.

2.1 雙向迭代算法

由式(8)可知，給定決策期初始狀態(tài)分布，若各個(gè)時(shí)段策略確定，則之后各個(gè)時(shí)段初的狀態(tài)分布(=2, 3, …,)均可確定；再由式(13)結(jié)合()定義，可從時(shí)段向時(shí)段1方向依次計(jì)算各時(shí)段各個(gè)狀態(tài)的價(jià)值() (=,-1, …, 1)經(jīng)典有限期MDP采用基于Bellman方程的逆向迭代求解，但基于本文的Bellman方程式(13)無法實(shí)現(xiàn)這樣的求解過程，其原因在于未知上一時(shí)段初的狀態(tài)分布，從而無法評(píng)估時(shí)段內(nèi)的收益和時(shí)段狀態(tài)轉(zhuǎn)移概率(|,)；同時(shí)，若采用正向求解，也會(huì)遇到未知下一時(shí)段初狀態(tài)價(jià)值的困難.因此，本文設(shè)計(jì)雙向迭代算法求解每個(gè)時(shí)段的最優(yōu)策略，其中，正向?qū)?yōu)以時(shí)段1為起點(diǎn)，基于逆向?qū)?yōu)得到的各時(shí)段狀態(tài)價(jià)值向后逐時(shí)段尋找最優(yōu)策略，并更新各時(shí)段的狀態(tài)分布，如圖1所示；逆向?qū)?yōu)以時(shí)段為起點(diǎn)，基于正向?qū)?yōu)得到的各時(shí)段的狀態(tài)分布向前逐時(shí)段尋找最優(yōu)策略，并更新各時(shí)段的狀態(tài)價(jià)值，如圖2所示；這個(gè)完整的過程稱為一輪雙向迭代.當(dāng)相鄰迭代中正向?qū)?yōu)所得策略不變時(shí)，算法收斂.

(2)()=0，?,

初始狀態(tài)分布

各時(shí)段策略

(1)雙向迭代()

《實(shí)用心電學(xué)雜志》是由江蘇大學(xué)主辦，中國醫(yī)師協(xié)會(huì)、中國心電學(xué)會(huì)等單位協(xié)辦的心電學(xué)專業(yè)期刊。雙月刊，大16開，雙月28日出版，每期10元，2019年全年60元。2013—2018年過刊任選兩年現(xiàn)僅需100元，快遞包郵。

雙向迭代算法

(3) 迭代編號(hào)=0

亳文化悠久豐富，特色鮮明，風(fēng)格獨(dú)具，這正是其走向世界的立足之本。亳文化以什么樣的路徑走出去一直是亳州市政府、企業(yè)等關(guān)注的焦點(diǎn)，研究表明，亳文化“走出去”必須改變單一路徑，突出文化個(gè)性，培育地域特色品牌，推動(dòng)彰顯亳文化的產(chǎn)品走出去。

(5)=+1

(6)=1 to

?正向?qū)?yōu)

(9)

(10)=to 1

吳玉梅不得已，只得如實(shí)告訴他們：說楊力生和楊秋香是已談過戀愛的。老兩口一邊仍然表示不同意，一邊暗暗埋怨自己兒子眼光低下。

?逆向?qū)?yōu)

廠里正在落實(shí)公司精準(zhǔn)培訓(xùn)工作要求，積極為青年人搭建成長鍛煉的平臺(tái)，通過導(dǎo)師帶徒的方式，為每個(gè)人量身定制培養(yǎng)計(jì)劃。倆人一拍即合，師徒關(guān)系就此結(jié)下。

由于會(huì)計(jì)信息化在一定程度上增強(qiáng)了財(cái)務(wù)風(fēng)險(xiǎn)概率。為此，企業(yè)要提高風(fēng)險(xiǎn)管理意識(shí)，全面地掌握住會(huì)計(jì)信息化特點(diǎn)，綜合分析企業(yè)可能存在的潛在的風(fēng)險(xiǎn)，并且制定完善的風(fēng)險(xiǎn)管理機(jī)制。首先企業(yè)需知，信息系統(tǒng)具有很大的開放性，企業(yè)的信息數(shù)據(jù)會(huì)出現(xiàn)被不法分子所盜取或者更改，對(duì)此，企業(yè)需要建立專門的網(wǎng)絡(luò)安全維護(hù)部門，安排專業(yè)的計(jì)算機(jī)人員，承擔(dān)財(cái)務(wù)信息系統(tǒng)的運(yùn)行工作，從而保障企業(yè)信息數(shù)據(jù)的安全，降低企業(yè)的財(cái)務(wù)風(fēng)險(xiǎn)與經(jīng)營風(fēng)險(xiǎn)。

(13)

(14)

(16)

數(shù)值實(shí)驗(yàn)驗(yàn)證了該算法在小規(guī)模數(shù)據(jù)上的最優(yōu)性，需要注意的是，在所有狀態(tài)中，危重患者到達(dá)或無患者到達(dá)時(shí)，決策是確定的.只有當(dāng)非危重患者到達(dá)時(shí)，可能的決策有兩種，可得到每個(gè)時(shí)段內(nèi)不同的策略共有2/3種，與狀態(tài)總數(shù)呈指數(shù)關(guān)系.由于在算法1步驟7和11中直接遍歷所有策略，顯然該算法難以應(yīng)用到大規(guī)模搶救室入院控制問題.

2.2 逐時(shí)段策略迭代算法

為求解大規(guī)模問題進(jìn)一步提出“逐時(shí)段策略迭代算法”，求解近似最優(yōu)策略.該算法從時(shí)段向時(shí)段1依次尋優(yōu)，對(duì)每個(gè)時(shí)段，采取策略迭代算法，先隨機(jī)選取一個(gè)策略，如先到先服務(wù)(FCFS)策略，再逐狀態(tài)改進(jìn)當(dāng)前策略，直到相鄰迭代所得策略不變，則該時(shí)段迭代過程結(jié)束，然后繼續(xù)對(duì)前一個(gè)時(shí)段進(jìn)行策略迭代，直到所有時(shí)段策略確定.數(shù)值實(shí)驗(yàn)顯示，每個(gè)時(shí)段一般不超過4輪迭代策略即確定，而每輪迭代需評(píng)估的策略數(shù)僅為2/3，求解效率大幅提升.

逐時(shí)段策略迭代算法

初始策略(如FCFS)

各時(shí)段策略

(1)逐時(shí)段策略迭代()

(2)+1()=0， ?

(3)=to 1

(4) 迭代編號(hào)=0

(8)=+1

(9)

(12)

(14)

2.3 雙向閾值迭代算法

考慮到搶救室入院控制實(shí)際應(yīng)用時(shí)的便利性，本文設(shè)計(jì)閾值策略.閾值策略即為每個(gè)時(shí)段提供一個(gè)閾值，基于該閾值可確定該時(shí)段內(nèi)的唯一策略.考慮兩種閾值策略，空閑床位閾值策略和非危重患者閾值策略.

(1) 空閑床位閾值策略.

該策略基于系統(tǒng)中空閑床位的數(shù)量來決定是否接收非危重患者：當(dāng)空閑床位數(shù)量大于某一閾值時(shí)，接收非危重患者；否則不接收非危重患者.

(2) 非危重患者閾值策略.

該策略基于系統(tǒng)中已有非危重患者的數(shù)量來決定是否接收非危重患者：當(dāng)已有非危重患者的數(shù)量小于某一閾值時(shí)，接收非危重患者；否則不接收非危重患者.

閾值策略可采用上文雙向迭代框架求解，本文稱為雙向閾值迭代算法.相比于雙向迭代算法，只需將對(duì)策略的搜索調(diào)整為對(duì)閾值的遍歷.雙向迭代算法每個(gè)時(shí)段要遍歷23個(gè)策略，而由于閾值范圍有限([0,])，每個(gè)時(shí)段只需要遍歷+1個(gè)策略，因此決策空間大大縮小，可應(yīng)用于較大規(guī)模場(chǎng)景.

雙向閾值迭代算法具體步驟如算法3所示.其中：為時(shí)段的閾值；(′|,)為給定閾值策略后，由狀態(tài)分布轉(zhuǎn)移到狀態(tài)′的概率；(,)為從狀態(tài)分布出發(fā)，根據(jù)閾值策略得到時(shí)段內(nèi)的總期望收益；(,)為從狀態(tài)分布出發(fā)，根據(jù)閾值策略得到+1時(shí)段初的狀態(tài)分布+1

雙向閾值迭代算法

初始狀態(tài)分布

各時(shí)段閾值

(1)雙向閾值迭代()

(2)()=0， ?,

(3) 迭代編號(hào)=0

(5)=+1

(6)=1 to

?正向?qū)?yōu)

(9)

(10)=to 1

?逆向?qū)?yōu)

(13)

(14)

(16)

3 數(shù)值實(shí)驗(yàn)

使用上海某大型三甲醫(yī)院急診部的實(shí)際運(yùn)行數(shù)據(jù)，首先利用處理后的小規(guī)模數(shù)據(jù)對(duì)雙向迭代算法的最優(yōu)性加以驗(yàn)證，再基于醫(yī)院真實(shí)數(shù)據(jù)對(duì)比分析各個(gè)算法的實(shí)際性能，最后對(duì)床位數(shù)量進(jìn)行靈敏度分析，為搶救室入院提供易于執(zhí)行的控制策略和床位數(shù)量安排指導(dǎo)意見.為使用均勻化方法，截?cái)嗔耸?8)和(10)中無限事件數(shù)，設(shè)每個(gè)時(shí)段內(nèi)最多發(fā)生事件數(shù)為=50，且通過實(shí)驗(yàn)驗(yàn)證了此設(shè)定可保證均勻化精度.數(shù)值實(shí)驗(yàn)采用的數(shù)據(jù)見網(wǎng)絡(luò)材料 https:∥pan.baidu.com/s/1UaRkX-iXta2o4NBCgwthRw (提取碼：jl48).

3.1 雙向迭代算法最優(yōu)性驗(yàn)證

理論證明雙向迭代算法最優(yōu)性非常困難.但針對(duì)小規(guī)模問題可通過枚舉法枚舉出所有時(shí)段策略的組合，確定最優(yōu)策略以及最大收益.因此，本文將雙向迭代算法與枚舉法在多組實(shí)驗(yàn)參數(shù)下的收益結(jié)果加以對(duì)比，進(jìn)行最優(yōu)性驗(yàn)證.由于醫(yī)院原始數(shù)據(jù)規(guī)模較大，考慮縮短決策期和縮小狀態(tài)空間來降低求解時(shí)間，使用醫(yī)院采集數(shù)據(jù)中連續(xù)6 h且設(shè)置3個(gè)可用床位，在此基礎(chǔ)上設(shè)置不同參數(shù)共計(jì)得到8個(gè)算例.算例中統(tǒng)一的參數(shù)設(shè)定如表1所示，算例間參數(shù)區(qū)別包括各時(shí)段到達(dá)率和單步收益(或損失)，具體參數(shù)數(shù)值見網(wǎng)絡(luò)材料SM-1節(jié).求解結(jié)果如表2所示，由表2可見，雙向迭代算法和枚舉法的求解結(jié)果完全一致，數(shù)值結(jié)果支持雙向迭代算法的最優(yōu)性假設(shè).

3.2 逐時(shí)段策略迭代和雙向閾值迭代算法對(duì)比實(shí)驗(yàn)

由于雙向迭代算法復(fù)雜度很高，難以應(yīng)對(duì)實(shí)際場(chǎng)景帶來的大規(guī)模準(zhǔn)入控制問題，利用逐時(shí)段策略迭代算法求解近似最優(yōu)策略，并從易于實(shí)施的角度，采用雙向閾值迭代算法求解兩種閾值策略.本節(jié)以先到先服務(wù)策略為基準(zhǔn)策略，記為K0，分別與近似最優(yōu)策略(記為K1)以及兩種閾值策略(記空閑床位閾值策略為K2，非危重患者閾值策略為K3)進(jìn)行對(duì)比，每種策略均由仿真進(jìn)行系統(tǒng)的性能評(píng)估，得到總收益和患者接收率指標(biāo).采用急診部提供的實(shí)際運(yùn)行數(shù)據(jù)，考慮長度為一天24 h的決策期，床位數(shù)目、服務(wù)速率等參數(shù)如表3所示(完整參數(shù)見網(wǎng)絡(luò)材料SM-2節(jié)).

4種策略收益及效率的對(duì)比結(jié)果如表4所示，表中顯示均勻化評(píng)估所得收益、仿真評(píng)估所得收益(仿真10d)、算法求得的策略相比K0的收益提升(“收益提升”列)以及算法運(yùn)行時(shí)間(取算法運(yùn)行5次的平均時(shí)間).由表4可知，在各個(gè)策略下，均勻化評(píng)估結(jié)果與仿真結(jié)果都十分接近，誤差不超過0.03%，驗(yàn)證了均勻化方法的評(píng)估精度.不同的策略下收益表現(xiàn)有顯著差異，K1取得了最高收益，相比K0提升6.96%；K2與K1表現(xiàn)非常接近，差距不足0.1%；K3相比K0提升了3.3%，表現(xiàn)不如K2策略.但從效率上看，K2和K3策略由于搜索空間較小，其求解效率遠(yuǎn)優(yōu)于K1策略.綜合來看，K2的求解結(jié)果和效率更具優(yōu)越性.

除了總收益外，患者接收率也是搶救室關(guān)注的重點(diǎn)指標(biāo)，尤其是危重患者的接收率.本文通過仿真統(tǒng)計(jì)3項(xiàng)患者接收率，分別為總接收率(即不區(qū)分患者類型的接收率，記為)、危重患者接收率(記為)和非危重患者接收率(記為).各時(shí)段平均接收率結(jié)果如表5所示，分時(shí)段接收率見網(wǎng)絡(luò)材料SM-3節(jié).相比于基準(zhǔn)策略，本文優(yōu)化后的3種策略表現(xiàn)有所差異，雖然均提高了平均危重患者接收率，但導(dǎo)致平均非危重患者接收率有不同程度的降低.K1和K2的平均危重患者接收率由95.6%提升到99.1%，提高了對(duì)危重患者的服務(wù)水平，且平均非危重患者接收率保持在84%以上.K3的平均危重患者接收率盡管也提高到98.1%，但平均非危重患者接收率降低較多不足80%.由此可見，即使在相同的參數(shù)下，采取不同的策略，對(duì)患者接收率仍有較大影響，本文提出的K1、K2策略在保證總體接收率合理的情況下，更大程度上提高了危重患者的接收率而具有優(yōu)勢(shì).

由于搶救室重點(diǎn)關(guān)注危重患者，重點(diǎn)針對(duì)每個(gè)時(shí)段的危重接收率進(jìn)行分析，如圖3所示.基準(zhǔn)策略K0在不同時(shí)段波動(dòng)很大，整體接收率低，難以實(shí)現(xiàn)應(yīng)收盡收原則.K1有19個(gè)時(shí)段的接收率在98%以上，K2也有17個(gè)時(shí)段的接收率在98%以上，驗(yàn)證了K2閾值策略的性能優(yōu)勢(shì).且注意到K1和K2策略在24個(gè)時(shí)段中接收率波動(dòng)較小，服務(wù)水平穩(wěn)定.K3策略相比K0有所提升，但有13個(gè)時(shí)段的接收率在98%以下，難以達(dá)到醫(yī)院要求.整體來看，本文求解所得3種策略相比基準(zhǔn)策略都有較大提升，其中K3提升較少，而K1和K2提升顯著，尤其是K2閾值策略，既有性能優(yōu)勢(shì)又易于實(shí)施，優(yōu)勢(shì)明顯.

3.3 床位數(shù)量靈敏度分析

顯然，床位數(shù)量越多，醫(yī)院就可以接收更多的患者，達(dá)到更高的接收率.但是搶救室床位資源成本高昂，醫(yī)護(hù)資源也有限，并不能無限擴(kuò)增床位.因此本文對(duì)床位數(shù)量進(jìn)行敏感度分析，討論不同數(shù)量的床位對(duì)危重患者接收率及總收益的影響.

除床位數(shù)量外，本節(jié)采用參數(shù)均與3.2節(jié)相同.因K2策略結(jié)果與K1策略接近，且更具實(shí)際應(yīng)用意義，本節(jié)采用K2策略進(jìn)行分析，討論在該策略下床位數(shù)量的影響.考慮∈[25, 35]的變化區(qū)間，總收益變化如表6所示.由表6可以看出，床位增加帶來收益增加，但增長速度越來越慢，即增加床位的邊際收益越來越少.

除了總收益外，搶救室還關(guān)注一天內(nèi)危重患者的平均接收率隨床位數(shù)量的變化.不同床位數(shù)量下接收率變化如圖4所示.由圖4可知，隨著床位數(shù)量增長，平均危重接收率持續(xù)增長，但增長率逐漸放緩，直到增加到30張床位時(shí)，平均危重接收率達(dá)到搶救室目標(biāo)值=0.99.基于在合作醫(yī)院調(diào)研得到的床位成本，當(dāng)床位數(shù)超過30時(shí)，增加的總收益低于床位增加成本.因此，在保證平均危重接收率達(dá)到目標(biāo)危重接收率的條件下，較為合理的床位數(shù)量為30，此時(shí)既能滿足危重患者服務(wù)水平的要求，又控制了總投入成本.

4 結(jié)語

針對(duì)急診搶救室床位資源緊張的問題，提出根據(jù)患者病情嚴(yán)重及緊急程度選擇性收治患者.建立了MDP模型，考慮到到達(dá)率的高度時(shí)變特性，使用均勻化方法逐時(shí)段進(jìn)行離散化并求解每個(gè)時(shí)段內(nèi)的最優(yōu)策略.提出了求解最優(yōu)策略的雙向迭代算法和求解近似最優(yōu)策略的逐時(shí)段策略迭代算法，實(shí)現(xiàn)了在較大規(guī)模數(shù)據(jù)和較長決策期場(chǎng)景下的應(yīng)用.為了易于在實(shí)際場(chǎng)景中實(shí)施，進(jìn)一步設(shè)計(jì)了雙向閾值迭代算法，高效地為大規(guī)模實(shí)際場(chǎng)景求解得到簡(jiǎn)單且有效的閾值策略.數(shù)值實(shí)驗(yàn)驗(yàn)證了雙向迭代算法在小規(guī)模數(shù)據(jù)上的最優(yōu)性，驗(yàn)證了近似最優(yōu)策略以及兩種閾值策略的效果，所提出的閾值策略性能與近似最優(yōu)策略接近且易于實(shí)施，可以為搶救室床位管理提供有效指導(dǎo).本研究方法雖可以對(duì)時(shí)變且隨機(jī)患者需求等復(fù)雜條件的準(zhǔn)入問題進(jìn)行決策，但也存在一些局限.首先受限于迭代算法復(fù)雜度較高，難以應(yīng)用于大規(guī)模問題，擬進(jìn)一步采用深度強(qiáng)化學(xué)習(xí)等方法來提高求解效率.另一方面可拓展考慮對(duì)允許加床等更復(fù)雜的場(chǎng)景進(jìn)行準(zhǔn)入決策研究.