趙飛　劉寧　秦敏

摘 要：動態(tài)優(yōu)化指的是計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)中對資源進(jìn)行合理的分配和任務(wù)調(diào)度的理論工具。當(dāng)前隨著計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)的高速發(fā)展，關(guān)于動態(tài)優(yōu)化的研究也得到非常大的進(jìn)步，本文主要從馬爾可夫決策來進(jìn)行具體分析。

關(guān)鍵詞：計(jì)算機(jī)系統(tǒng)；計(jì)算機(jī)網(wǎng)絡(luò)；動態(tài)優(yōu)化；模型；求解；應(yīng)用

DOI：10.16640/j.cnki.37-1222/t.2016.06.137

0 引言

當(dāng)前計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)得到非常快速的發(fā)展，在人們生活中使用得也越來越廣泛，但是隨著人們在使用過程中對有限的計(jì)算機(jī)網(wǎng)絡(luò)資源要求越來越高，怎樣進(jìn)行合理的分配使計(jì)算機(jī)網(wǎng)絡(luò)達(dá)到最大的使用效率成為人們研究的重要目標(biāo)。馬爾可夫決策的過程是計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)中動態(tài)優(yōu)化的基礎(chǔ)模型，因此本文以馬爾可夫決策來具體分析模型、求解以及應(yīng)用。

1 馬爾可夫決策過程動態(tài)模型的建立

在計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)中的動態(tài)優(yōu)化時(shí)，其中最為關(guān)鍵的地方就在于動態(tài)模型的建立，模型建立的好壞直接影響到此次決策所能起到的作用。

（1）馬爾可夫的決策過程。馬爾科夫的決策過程一般分為幾個(gè)重要的步驟：第一步，先建立一個(gè)狀態(tài)集合S，此集合需要具有描述性，決策者能夠使用這個(gè)集合做出相關(guān)的行為。第二步，將決策者在這個(gè)S集合內(nèi)所做的所有行為歸納為一個(gè)集合A。第三步，決策者在S集合內(nèi)所作出的行為即集合A所產(chǎn)生的收益，可以用R來表示該收益函數(shù)。第四步，在整個(gè)馬爾可夫決策過程中，在集合S中記錄決策者的行為會發(fā)生一定程度的轉(zhuǎn)移，將此可以總結(jié)為狀態(tài)轉(zhuǎn)移關(guān)系SM。這就是馬爾科夫的決策過程。而在實(shí)際中的馬爾可夫決策過程往往只需要決策者觀察決策環(huán)境狀態(tài)S，并根據(jù)狀態(tài)確定決策者的行為屬于隨機(jī)的馬爾可夫行為還是確定的馬爾可夫行為。接下來就是將該行為在整個(gè)系統(tǒng)中進(jìn)行轉(zhuǎn)換，重復(fù)做前面的事情，就可以完成整個(gè)馬爾可夫決策過程。

（2）馬爾可夫決策過程建模與分析。馬爾可夫決策在實(shí)際運(yùn)用之中的建模需要根據(jù)實(shí)際的情況，結(jié)合馬爾可夫決策的理論進(jìn)行分析、總結(jié)，建立符合實(shí)際情況和實(shí)際要求的模型。其具體的操作方法可以從以下幾個(gè)方面進(jìn)行：第一，分析實(shí)際研究情況，確定馬爾可夫決策建模的目標(biāo)。在馬爾可夫決策的過程中，往往會出現(xiàn)其中的某一個(gè)變量發(fā)生變化，而導(dǎo)致最后的目標(biāo)發(fā)生變化的現(xiàn)象，如：馬爾可夫決策中的收益目標(biāo)、運(yùn)行系統(tǒng)發(fā)生變化，都會導(dǎo)致最后的目標(biāo)不同。因此，在馬爾可夫決策開始之初就需要先確定建模的目標(biāo)，再根據(jù)這一目標(biāo)去限定相應(yīng)的變量。第二，在系統(tǒng)運(yùn)行的過程中，可以根據(jù)建模目標(biāo)的函數(shù)與其它各級函數(shù)的關(guān)系，將各級函數(shù)進(jìn)行最大值和最小值的調(diào)節(jié)，并將目標(biāo)函數(shù)和相關(guān)數(shù)據(jù)完整的記錄下來，最后分析這一系列數(shù)據(jù)，對馬爾可夫決策做出適當(dāng)?shù)恼{(diào)整。第三，根據(jù)該系統(tǒng)運(yùn)行空間所處的狀態(tài)進(jìn)一步確定此次做出的決策行為是否有問題，若發(fā)現(xiàn)問題及時(shí)的對其進(jìn)行優(yōu)化。在馬爾可夫決策的過程當(dāng)中，系統(tǒng)所處于的狀態(tài)和根據(jù)決策所作出的行為有可能處于空置的狀態(tài)，形成一種游離的狀態(tài)，這種狀態(tài)在一定程度上仍舊會占用系統(tǒng)中的使用空間，造成資源的浪費(fèi)現(xiàn)象。第四，對馬爾可夫決策過程進(jìn)行相應(yīng)的評價(jià)措施，爭取在馬爾可夫決策系統(tǒng)中的每個(gè)實(shí)施過程都能夠達(dá)到效率最大化，使此次計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)網(wǎng)絡(luò)的動態(tài)優(yōu)化效果能夠最佳，對計(jì)算機(jī)網(wǎng)絡(luò)中的資源和任務(wù)調(diào)度極為合理。

2 馬爾可夫決策過程中的求解

馬爾可夫決策過程在實(shí)際運(yùn)用之中，其求解方法大致可以分為兩類：精確求解算法和近似求解算法。利用精確算法，可以算得計(jì)算機(jī)網(wǎng)絡(luò)動態(tài)優(yōu)化的最有利的方法，但是其實(shí)際計(jì)算過程極為麻煩。利用近似求解算法則是通過對該系統(tǒng)中的相關(guān)數(shù)據(jù)進(jìn)行具體的分析，然后將計(jì)算機(jī)網(wǎng)絡(luò)中的相關(guān)資源進(jìn)行適當(dāng)?shù)恼{(diào)整，并且記錄下相應(yīng)的調(diào)整數(shù)據(jù)，找出一種適合計(jì)算機(jī)網(wǎng)絡(luò)相關(guān)資源分配，能夠滿足用戶使用需要的近似答案。此種求解方式在使用的時(shí)候往往較為靈活，更容易快速的找出近似的答案。兩種求解方式都各自具有一定的優(yōu)點(diǎn)，具體怎樣使用更加合適，還需要用戶在實(shí)際使用中具體的分析、總結(jié)。

3 馬爾可夫決策過程中的應(yīng)用

本文在選取馬爾可夫決策實(shí)際應(yīng)用例子時(shí)，挑選出一個(gè)可以進(jìn)行系統(tǒng)修復(fù)的實(shí)際例子作為應(yīng)用案例進(jìn)行具體的講解。

如圖1的右半部分為描述決策者的行為的非確定子網(wǎng)，左半部分為一個(gè)可能能夠正常工作，也有可能已經(jīng)失效的隨機(jī)子網(wǎng)。在MDPN模型之中，對所在位置進(jìn)行相應(yīng)的標(biāo)記可以適當(dāng)?shù)母纳朴?jì)算機(jī)網(wǎng)絡(luò)，特別是計(jì)算機(jī)系統(tǒng)中存在互相對稱的點(diǎn)，通過標(biāo)記可以很好的讓其對應(yīng)，同時(shí)也減小了系統(tǒng)中空間上的相關(guān)問題。

在目前計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)高速發(fā)展的狀態(tài)下，加強(qiáng)馬爾可夫決策過程的分析和研究，并且合理的將馬爾可夫決策進(jìn)行相關(guān)的應(yīng)用，可以在很大程上減少網(wǎng)絡(luò)資源的浪費(fèi)，對網(wǎng)絡(luò)資源進(jìn)行合理的分配，使得計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)網(wǎng)絡(luò)能夠使用效率最大化。

4 結(jié)束語

隨著對馬爾可夫決策過程中的模型、求解以及應(yīng)用的具體分析，加深對計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)中的動態(tài)優(yōu)化理解，實(shí)現(xiàn)對生活中或者工作中計(jì)算機(jī)網(wǎng)絡(luò)資源的合理分配，達(dá)到使用計(jì)算機(jī)網(wǎng)絡(luò)的最大效率。

參考文獻(xiàn)：

[1]林闖，萬劍雄，向旭東，孟坤，王元卓.計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)中的動態(tài)優(yōu)化：模型、求解與應(yīng)用[J].計(jì)算機(jī)學(xué)報(bào)，2012（07）：1339-1357.

[2]林闖，李寅，萬劍雄.計(jì)算機(jī)網(wǎng)絡(luò)服務(wù)質(zhì)量優(yōu)化方法研究綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2011（01）：1-14.

[3]劉君.計(jì)算機(jī)網(wǎng)絡(luò)可靠性優(yōu)化設(shè)計(jì)問題的研究[D].沈陽工業(yè)大學(xué)，2006.

[4]楊曉慶.計(jì)算機(jī)系統(tǒng)與計(jì)算機(jī)網(wǎng)絡(luò)中的動態(tài)優(yōu)化：模型、求解與應(yīng)用[J].計(jì)算機(jī)光盤軟件與應(yīng)用，2014（09）：108+110.

作者簡介：趙飛（1980-），男，河北博野人，本科，實(shí)驗(yàn)師，研究方向：計(jì)算機(jī)應(yīng)用技術(shù)、網(wǎng)絡(luò)技術(shù)等。