張公伯 ,李海東 ,彭一杰

(北京大學(xué)a.光華管理學(xué)院;b.工學(xué)院,北京 100871)

隨著信息技術(shù)的快速發(fā)展,系統(tǒng)管理的技術(shù)方法正在發(fā)生深刻變革。系統(tǒng)仿真研究是一個經(jīng)典的、傳統(tǒng)的領(lǐng)域,其優(yōu)點(diǎn)在于可以對一般的復(fù)雜系統(tǒng)做高置信度建模,受到學(xué)界與業(yè)界的廣泛關(guān)注。隨著我國產(chǎn)業(yè)升級不斷推進(jìn),國際競爭程度日益加深,企業(yè)對系統(tǒng)管理精益化程度的要求不斷提高,仿真技術(shù)在系統(tǒng)管理中應(yīng)用的重要性日益顯現(xiàn)。大數(shù)據(jù)、工業(yè)物聯(lián)網(wǎng)、云計(jì)算、人工智能和數(shù)字孿生技術(shù)等作為實(shí)踐系統(tǒng)管理的新興技術(shù)在仿真分析中起著重要作用。復(fù)雜系統(tǒng)通常具有動態(tài)性和隨機(jī)性,準(zhǔn)確估計(jì)系統(tǒng)的平均表現(xiàn)需要做大量仿真,且仿真耗費(fèi)的計(jì)算時間長。復(fù)雜隨機(jī)系統(tǒng)仿真中通常包含影響系統(tǒng)結(jié)構(gòu)的控制參數(shù)與不連續(xù)樣本表現(xiàn),導(dǎo)致系統(tǒng)表現(xiàn)的優(yōu)化分析困難。因此,需要從理論與方法論層面研究如何將仿真與優(yōu)化有效結(jié)合,應(yīng)用于復(fù)雜隨機(jī)系統(tǒng)的管理。有關(guān)仿真優(yōu)化方法可參考文獻(xiàn)[1-7]。

對于具有連續(xù)可控參數(shù)的優(yōu)化問題,梯度蘊(yùn)含了目標(biāo)函數(shù)隨參數(shù)變化的信息,在迭代搜索優(yōu)化方法中有著重要的應(yīng)用,使得結(jié)果逐步逼近局部或全局最優(yōu)。復(fù)雜隨機(jī)系統(tǒng)優(yōu)化問題的目標(biāo)函數(shù)的解析表達(dá)通常未知,只能通過蒙特卡洛仿真得到的系統(tǒng)樣本表現(xiàn)進(jìn)行估計(jì)。由于蒙特卡洛仿真存在噪聲,因而觀測到的系統(tǒng)樣本表現(xiàn)具有隨機(jī)性。通過蒙特卡洛仿真估計(jì)的隨機(jī)系統(tǒng)中目標(biāo)函數(shù)關(guān)于參數(shù)的梯度稱為隨機(jī)梯度估計(jì)。隨機(jī)梯度估計(jì)在仿真分析和優(yōu)化問題中有著廣泛的應(yīng)用,如敏感性分析、仿真模型的不確定性量化和隨機(jī)優(yōu)化及機(jī)器學(xué)習(xí)中的梯度下降算法。

隨機(jī)梯度估計(jì)可應(yīng)用于排隊(duì)系統(tǒng)、庫存管理系統(tǒng)、統(tǒng)計(jì)質(zhì)量控制[8-14]、機(jī)器維護(hù)系統(tǒng)[15-18]和隨機(jī)活動網(wǎng)絡(luò)[19-21]等系統(tǒng)的優(yōu)化和調(diào)控決策。現(xiàn)實(shí)中的系統(tǒng)通常結(jié)構(gòu)復(fù)雜并具有隨機(jī)性,例如,生產(chǎn)過程中產(chǎn)品訂單的到達(dá)、機(jī)器加工時間及是否發(fā)生故障都是隨機(jī)的。這些復(fù)雜系統(tǒng)通常不具有解析形式的輸出分布,但具有部分結(jié)構(gòu)信息可以分析,被稱為灰箱系統(tǒng)。恰當(dāng)?shù)乩眠@部分結(jié)構(gòu)信息可以在仿真估計(jì)系統(tǒng)表現(xiàn)的同時得到其梯度信息,從而實(shí)現(xiàn)求解優(yōu)化問題時高效搜索的目標(biāo)。例如,質(zhì)量控制圖中希望在真實(shí)生產(chǎn)環(huán)境下運(yùn)行系統(tǒng)的同時實(shí)現(xiàn)控制邊界的在線優(yōu)化設(shè)計(jì),但質(zhì)量控制圖的控制邊界屬于結(jié)構(gòu)參數(shù),它的表現(xiàn)關(guān)于控制邊界不連續(xù),使得質(zhì)量控制圖的結(jié)構(gòu)分析非常困難;生產(chǎn)系統(tǒng)中通過排隊(duì)系統(tǒng)對產(chǎn)品的加工流程進(jìn)行建模,系統(tǒng)中通常存在重加工、批量加工和優(yōu)先處理等結(jié)構(gòu),因而使得排隊(duì)網(wǎng)絡(luò)系統(tǒng)的結(jié)構(gòu)分析非常困難。

采用隨機(jī)梯度估計(jì)方法對分位數(shù)敏感性進(jìn)行計(jì)算和分析,也是仿真和復(fù)雜系統(tǒng)管理領(lǐng)域關(guān)注的重要問題。相較于系統(tǒng)的期望表現(xiàn),分位數(shù)能夠提供更多隨機(jī)系統(tǒng)表現(xiàn)尾部分布的特征,從而更好地刻畫系統(tǒng)在極端環(huán)境下的表現(xiàn),提高極端事件下系統(tǒng)的穩(wěn)健性。例如,生產(chǎn)訂單在排隊(duì)系統(tǒng)中的等待時間過長就可能失效,因此,等待時間的分位數(shù)過大將有損訂單的數(shù)量,降低企業(yè)的效益。

隨機(jī)梯度估計(jì)方法主要分為間接和直接估計(jì)。間接梯度估計(jì)通常具有兩個特征:①它只估計(jì)真實(shí)梯度的一個近似值,如在標(biāo)量情況下通過割線近似;②它僅使用來自原始(未修改)系統(tǒng)的函數(shù)評估(績效指標(biāo)輸出樣本)[22-23]。直接梯度估計(jì)利用仿真模型中隨機(jī)變量的分布信息或樣本表現(xiàn)函數(shù)的結(jié)構(gòu)信息(如輸入的概率分布或系統(tǒng)表現(xiàn)與樣本路徑的函數(shù)關(guān)系)給出真實(shí)梯度的無偏梯度估計(jì)量。

間接梯度估計(jì)方法主要有有限差分法(Finite Differences,FD)和同時擾動法(Simultaneous Perturbation,SP)[22-23]兩種。這兩種方法均不需要了解仿真模型隨機(jī)性的產(chǎn)生或樣本表現(xiàn)函數(shù),即仿真模型可以被視為黑箱。有限差分法通過仿真兩個臨近輸入點(diǎn)的函數(shù)值并用微積分基本原理來近似導(dǎo)數(shù),由此得到的估計(jì)量既有導(dǎo)數(shù)近似帶來的偏差,也有函數(shù)評估噪聲帶來的方差。對于高維問題,有限差分法需要獨(dú)立地估計(jì)每一個維度,因此,估計(jì)一次梯度所需要的仿真樣本的數(shù)量與維度相關(guān)。同時擾動法的優(yōu)點(diǎn)是一次仿真同時擾動自變量的多個維度,因此,估計(jì)一次梯度所需要的仿真樣本的數(shù)量與自變量的維度無關(guān)。

盡管間接的梯度估計(jì)具有通用性,但直接的梯度估計(jì)具有如下優(yōu)點(diǎn):①它得到的梯度的估計(jì)量是無偏的,以無偏的梯度估計(jì)量作為迭代方向可以加快仿真優(yōu)化算法(如隨機(jī)逼近算法[24])的收斂速度;②它避免了間接的梯度估計(jì)方法中確定合適的擾動大小的需要,而擾動大小的選擇直接影響梯度估計(jì)量的準(zhǔn)確性;③所得的估計(jì)量在計(jì)算上更高效,在高維問題中直接的梯度估計(jì)方法達(dá)到給定的估計(jì)精度所需要的仿真樣本的數(shù)量通常要比間接的梯度估計(jì)方法更少[22-23]。常用的無偏隨機(jī)梯度估計(jì)方法有無窮小擾動分析法(Infinitesimal Perturbation Analysis,IPA)、似然比法(Likelihood Ratio,LR)(也稱為分?jǐn)?shù)函數(shù)法(Score Function,SF))、弱導(dǎo)數(shù)法(Weak Derivative,WD)(也稱為測度求導(dǎo)法(Measured-Value Differentiation,MVD))和廣義似然比法(Generalized Likelihood Ratio,GLR)。無窮小擾動分析方法可以用于解決帶有結(jié)構(gòu)參數(shù)(即出現(xiàn)在樣本路徑與系統(tǒng)表現(xiàn)度量的函數(shù)關(guān)系中的參數(shù))和分布參數(shù)(即出現(xiàn)在輸入隨機(jī)變量的概率分布中的參數(shù))的問題,但要求樣本表現(xiàn)具有連續(xù)性;似然比方法雖然能夠處理不連續(xù)的樣本表現(xiàn),但僅適用于系統(tǒng)表現(xiàn)度量關(guān)于分布參數(shù)的梯度估計(jì)而不適用于結(jié)構(gòu)參數(shù);弱導(dǎo)數(shù)方法能降低似然比方法的方差,但需要仿真額外的樣本軌道。Gong 等[25]提出了平滑擾動分析法(Smoothed Perturbation Analysis,SPA),對無窮小擾動分析法進(jìn)行了拓展,通過取條件期望來解決樣本表現(xiàn)不連續(xù)的問題,但所選取的條件通常和問題本身相關(guān),而且條件期望估計(jì)量的計(jì)算可能需要函數(shù)取逆和額外的仿真。Rubinstein等[19]提出了推出式似然比法(Pushout LR)來解決同時帶有結(jié)構(gòu)參數(shù)和不連續(xù)的樣本表現(xiàn)的問題,但是一般需要解析的函數(shù)轉(zhuǎn)換將結(jié)構(gòu)參數(shù)從樣本表現(xiàn)中移出。Peng等[11]提出的廣義似然比方法既適用于帶有結(jié)構(gòu)參數(shù)和不連續(xù)的樣本表現(xiàn)的問題,同時具有無偏性和單樣本軌道性,也不需要取條件期望和函數(shù)轉(zhuǎn)換。

系統(tǒng)管理領(lǐng)域信息化和數(shù)字化的轉(zhuǎn)型,對基于梯度的仿真優(yōu)化方法的設(shè)計(jì)提出了挑戰(zhàn)。復(fù)雜系統(tǒng)的優(yōu)化設(shè)計(jì)需充分考慮問題情境特點(diǎn)及其中的模型假設(shè),以設(shè)計(jì)簡潔有效的基于梯度的仿真優(yōu)化方法。本文將首先介紹常用的隨機(jī)梯度估計(jì)方法,進(jìn)而考慮4個隨機(jī)系統(tǒng)的梯度估計(jì)問題,給出其在系統(tǒng)管理中的應(yīng)用場景。

1 隨機(jī)梯度估計(jì)方法

其中,當(dāng)Y是連續(xù)隨機(jī)變量時,α=P（Y（θ）≤qα（θ））。隨機(jī)梯度估計(jì)問題研究的是通過對隨機(jī)模型進(jìn)行仿真,得到系統(tǒng)表現(xiàn)度量關(guān)于參數(shù)的導(dǎo)數(shù)的估計(jì)。隨機(jī)模型中的隨機(jī)梯度估計(jì)方法可以用于仿真優(yōu)化的輸入和對參數(shù)進(jìn)行敏感性分析。仿真優(yōu)化中常用的隨機(jī)逼近方法的參數(shù)迭代更新過程就采用梯度估計(jì)作為其迭代方向,第(n+1)步迭代的計(jì)算式為

1.1 間接的梯度估計(jì)方法

1.1.1有限差分法 有限差分法不需要獲取復(fù)雜系統(tǒng)的信息,僅通過分析系統(tǒng)仿真得到的輸出樣本,就可得到有偏的梯度估計(jì)量。有限差分法將復(fù)雜系統(tǒng)視為“黑箱”,分別對參數(shù)向量θ中每一個元素進(jìn)行攝動,可得到系統(tǒng)期望表現(xiàn)梯度估計(jì)量[22-23]。單邊前向有限差分估計(jì)量是有限差分方法中常用的估計(jì)量,其第i個元素為:[Y（θ+ci ei）-Y（θ）]/ci。其中:ci為第i個方向的攝動值;ei為第i個方向的單位向量;有限差分法中另一種常用估計(jì)量是雙邊對稱有限差分估計(jì)量,其第i個元素為

當(dāng)參數(shù)向量的維度很高時,有限差分法需要的計(jì)算量很大。此外,有限差分法中需要選取攝動值的大小,如果攝動值的選取過小,得到的系統(tǒng)表現(xiàn)梯度估計(jì)量的偏差小、方差大。因此,有限差分法攝動值的選取需要平衡表現(xiàn)梯度估計(jì)量的偏差與方差。在實(shí)際應(yīng)用中,雙邊對稱有限差分估計(jì)量比單邊前向有限差分估計(jì)量的精度高,但在每一次梯度估計(jì)時,雙邊對稱有限差分估計(jì)量需要消耗更多的仿真資源(前者需要2d個仿真資源,而后者僅需要(d+1)個仿真資源)。對于二階連續(xù)可微函數(shù),雙邊對稱有限差分估計(jì)量的均方誤差的最優(yōu)收斂階為n-2/3,所對應(yīng)的攝動值的階為n-1/6,其中n為仿真資源的數(shù)量。得到最優(yōu)攝動值(即包括n-1/6前的常數(shù))對于小樣本情況下雙邊對稱有限差分估計(jì)量的表現(xiàn)十分重要,但往往非常困難。

由于不需要獲取模型的信息,故有限差分法普遍適用于復(fù)雜系統(tǒng)表現(xiàn)函數(shù)的梯度估計(jì)。但采用有限差分法估計(jì)梯度需要多次重復(fù)仿真,運(yùn)算成本大,因此不適用于高維參數(shù)問題。在基于梯度的優(yōu)化方法中,有限差分法比直接的梯度估計(jì)法的表現(xiàn)差。

1.1.2同時擾動法 同時擾動法由Spall[26]提出。同時擾動估計(jì)量消耗的仿真資源與參數(shù)向量的維度無關(guān),適用于求解高維參數(shù)問題,它的第i個元素為:［Y（θ+CΔ）-Y（θ-CΔ）］/（2ciΔi）。其中:Δ=(Δ1,Δ2,…,Δd)是d-維擾動向量,通常假設(shè)各元素Δi獨(dú)立;C是對角線為攝動值ci的對角矩陣。在每一次梯度估計(jì)時,同時擾動法需要生成d個隨機(jī)數(shù)來構(gòu)造擾動向量Δ。與雙邊對稱有限差分估計(jì)式(1)相比,同時擾動估計(jì)量的每個元素的分子都相同,只需要兩個樣本表現(xiàn)函數(shù)擾動估計(jì),與參數(shù)向量的維度d無關(guān)。由于生成樣本表現(xiàn)函數(shù)擾動估計(jì)的運(yùn)算成本大,因而同時擾動法比有限差分法的計(jì)算效率高。為保證同時擾動法幾乎處處收斂,要求擾動向量中每一項(xiàng)獨(dú)立,均值為0且逆二階矩有限。均勻分布和正態(tài)分布不滿足上述條件,常用的Δi的分布是成功概率為1/2的伯努利分布。類似于擬蒙特卡洛方法的核心思想,文獻(xiàn)[27-28]中提出了采用確定的擾動向量代替隨機(jī)擾動向量Δ的方法。

文獻(xiàn)[29]中介紹了采用同時擾動法作為迭代方向的隨機(jī)逼近方法。同時,擾動法求解高維參數(shù)問題的優(yōu)越性使其在排隊(duì)系統(tǒng)[30]、交通系統(tǒng)[31-35]和統(tǒng)計(jì)質(zhì)量控制[36]等系統(tǒng)的優(yōu)化和調(diào)控決策中有廣泛的應(yīng)用。Fu等[30]采用同時擾動法估計(jì)排隊(duì)系統(tǒng)的系統(tǒng)停留時間關(guān)于服務(wù)臺服務(wù)速率的梯度;朱承元等[34]優(yōu)化設(shè)計(jì)珠三角地區(qū)多機(jī)場系統(tǒng)的航班時刻,采用同時擾動法估計(jì)系統(tǒng)中航班總延誤時間的梯度,降低了航班總延誤成本;齊心[35]優(yōu)化設(shè)計(jì)城市交叉口排隊(duì)系統(tǒng)的信號燈時長,采用同時擾動法估計(jì)車輛在交叉口的通行時間的梯度,提升了城市交叉口的通行能力。

1.2 直接的梯度估計(jì)方法

1.2.1擾動分析法 擾動分析法(Perturbation Analysis,PA)是一種通過分析單個樣本路徑對隨機(jī)模型的期望表現(xiàn)梯度進(jìn)行估計(jì)的方法。文獻(xiàn)[37-38]中最早對該方法進(jìn)行了研究。這種方法通過樣本路徑對表現(xiàn)度量的影響以及系統(tǒng)參數(shù)對樣本路徑產(chǎn)生的擾動來衡量系統(tǒng)表現(xiàn)梯度。擾動分析法中最常用的是無窮小擾動分析法,該方法通過樣本表現(xiàn)關(guān)于參數(shù)的導(dǎo)數(shù)來估計(jì)系統(tǒng)期望表現(xiàn)梯度。系統(tǒng)期望表現(xiàn)為

如果期望與導(dǎo)數(shù)是可以交換的,則系統(tǒng)期望表現(xiàn)的梯度為

無窮小擾動分析法可以解決樣本表現(xiàn)帶有結(jié)構(gòu)參數(shù)的隨機(jī)梯度估計(jì)問題,但不能解決樣本表現(xiàn)不連續(xù)的問題。為克服這一理論缺陷,文獻(xiàn)[25,42-43]中提出利用取條件期望處理樣本表現(xiàn)不連續(xù)的平滑擾動分析法,但該方法需要解析地計(jì)算一個條件期望。在實(shí)際應(yīng)用中,該方法需要視實(shí)際問題情況而選取適當(dāng)?shù)臈l件。Hong[44]首次提出利用無窮小擾動分析法解決分位數(shù)敏感性估計(jì)問題,但得到的梯度估計(jì)量是漸近無偏,且需要對數(shù)據(jù)進(jìn)行批處理才可以保證估計(jì)量的弱相合性。Jiang等[45]在文獻(xiàn)[44]的基礎(chǔ)上提出一種不需要進(jìn)行批處理的無窮小擾動分析估計(jì)量,但該估計(jì)量僅在特定的條件下具有強(qiáng)相合性。有關(guān)無窮小擾動分析法和平滑擾動分析法的詳細(xì)介紹,可以參考文獻(xiàn)[46]。在復(fù)雜系統(tǒng)的優(yōu)化設(shè)計(jì)中,基于擾動分析法的隨機(jī)逼近方法可以實(shí)現(xiàn)生產(chǎn)參數(shù)的估計(jì)。排隊(duì)系統(tǒng)是對生產(chǎn)工藝流程建模的一種常用方法,可以刻畫生產(chǎn)訂單到達(dá)和裝配生產(chǎn)線加工等生產(chǎn)流程。優(yōu)化工藝流程的資源配置(如訂單到達(dá)速率、生產(chǎn)線機(jī)器數(shù)量和緩沖區(qū)數(shù)量等)可以提高生產(chǎn)效率、降低生產(chǎn)成本。Cheng[47]考慮多階段存貨式生產(chǎn)系統(tǒng),采用無窮小擾動分析法估計(jì)樣本路徑的梯度,實(shí)現(xiàn)減少訂單等待時間和提高生產(chǎn)加工效率的權(quán)衡。Fu等[48]采用平滑擾動分析法估計(jì)多服務(wù)臺單隊(duì)列的排隊(duì)系統(tǒng)的穩(wěn)態(tài)系統(tǒng)時間的梯度。有關(guān)擾動分析法在排隊(duì)系統(tǒng)優(yōu)化設(shè)計(jì)中的更多應(yīng)用,可以參考文獻(xiàn)[49-53]。企業(yè)需要管理生產(chǎn)原料和成品的庫存,根據(jù)客戶的需求確定補(bǔ)充庫存的時間和訂貨數(shù)量。優(yōu)化設(shè)計(jì)企業(yè)的庫存管理策略,可以避免企業(yè)超儲或缺貨,實(shí)現(xiàn)降低庫存成本的目標(biāo)。Fu[54]考慮帶有隨機(jī)客戶需求和延遲交貨的(s,S)策略庫存系統(tǒng),應(yīng)用擾動分析法估計(jì)表現(xiàn)函數(shù)的樣本路徑梯度。Bashyam 等[55]采用擾動分析法估計(jì)每周期的期望費(fèi)用關(guān)于參數(shù)s和S的梯度。擾動分析法在其他復(fù)雜系統(tǒng)管理中也有廣泛的應(yīng)用。Heidergott[16]采用平滑擾動分析法估計(jì)維護(hù)系統(tǒng)修復(fù)時間關(guān)于系統(tǒng)閾值的梯度,優(yōu)化設(shè)計(jì)維護(hù)系統(tǒng)的修復(fù)時間。Donohue等[56]應(yīng)用擾動分析法得到收益最大化的生產(chǎn)線產(chǎn)能配置方案。Yan等[57]基于擾動分析法提出了一種求解近似最優(yōu)閾值的算法,用于控制帶有兩臺串聯(lián)機(jī)器的不可靠柔性制造系統(tǒng)。Liberopoulos等[58]采用無窮小擾動分析法估計(jì)生產(chǎn)流的一階和二階梯度,用于生產(chǎn)流的設(shè)計(jì)和控制。Brooks等[59]采用無窮小擾動分析法估計(jì)異步傳輸網(wǎng)絡(luò)最小平均延遲的漸近無偏梯度。何寧等[60]采用擾動分析法估計(jì)衛(wèi)星網(wǎng)絡(luò)信息流的延時關(guān)于帶寬的梯度,實(shí)現(xiàn)最優(yōu)的信息流帶寬分配。

1.2.2似然比法 似然比法,也稱為分?jǐn)?shù)函數(shù)法。該方法將系統(tǒng)期望表現(xiàn)對參數(shù)的依賴全部轉(zhuǎn)移至輸入分布的密度函數(shù)中,即參數(shù)θ是輸入分布的密度函數(shù)中的參數(shù)(分布參數(shù))。似然比法最早在文獻(xiàn)[61]中進(jìn)行討論,隨后,文獻(xiàn)[62-65]也獨(dú)立地發(fā)現(xiàn)并對該方法進(jìn)行了研究。系統(tǒng)期望表現(xiàn)為

如果期望與導(dǎo)數(shù)可以交換,則系統(tǒng)期望表現(xiàn)的梯度為

稱h(x)為似然比估計(jì)量。似然比法可以解決樣本表現(xiàn)不連續(xù)的問題,但不能解決樣本表現(xiàn)帶有結(jié)構(gòu)參數(shù)的問題。文獻(xiàn)[46,66]中聲稱在同一模型表示下,無窮小擾動分析法比似然比法方差小,該結(jié)論在仿真分析中被視為經(jīng)驗(yàn)準(zhǔn)則。Cui等[67]給出了該經(jīng)驗(yàn)準(zhǔn)則成立的充分條件,也給出了該經(jīng)驗(yàn)準(zhǔn)則不成立的反例。

為克服似然比方法無法解決樣本表現(xiàn)帶有結(jié)構(gòu)參數(shù)問題的方法局限,文獻(xiàn)[19]中提出了推出似然比法(Push-out LR),該方法利用變量替換將不連續(xù)的樣本表現(xiàn)中的結(jié)構(gòu)參數(shù)推出至輸入分布,再采用似然比法;但采用變量替換推出的似然比法依賴于解析形式的變量替換,在實(shí)際應(yīng)用中這種方法需要視實(shí)際問題情況而定,這給該方法的理論分析和實(shí)際應(yīng)用帶來了困難。與無窮小擾動分析法相比,似然比法的無偏性條件通常更容易滿足。L’Ecuyer[68]在樣本表現(xiàn)帶有結(jié)構(gòu)參數(shù)且連續(xù)的情況下,采用導(dǎo)數(shù)中的乘積法則,將無窮小擾動分析法與似然比法相結(jié)合,提出了IPA-LR 估計(jì)量。該估計(jì)量具有單樣本軌道的性質(zhì),但在處理樣本表現(xiàn)不連續(xù)的問題時是有偏的。

在復(fù)雜系統(tǒng)的優(yōu)化設(shè)計(jì)中,似然比法不適用于估計(jì)系統(tǒng)表現(xiàn)關(guān)于系統(tǒng)結(jié)構(gòu)參數(shù)的梯度。例如,在生產(chǎn)訂單隨機(jī)到達(dá)的(s,S)策略庫存系統(tǒng)中,似然比法不適用于估計(jì)庫存量關(guān)于參數(shù)s和S的梯度,但可以估計(jì)庫存量關(guān)于訂單隨機(jī)到達(dá)時間分布中的參數(shù)的梯度。Fu[1]采用似然比法估計(jì)了GI/G/1排隊(duì)系統(tǒng)停留時間關(guān)于隨機(jī)服務(wù)時間分布中的參數(shù)的梯度。Fu等[8]采用似然比法估計(jì)質(zhì)量控制圖的平均運(yùn)行長度關(guān)于控制邊界的梯度,用于控制圖控制邊界的敏感性分析,更加準(zhǔn)確地判定系統(tǒng)是否處于受控狀態(tài)。

1.2.3弱導(dǎo)數(shù)法 弱導(dǎo)數(shù)法,也稱為測度求導(dǎo)法。該方法最早由Pflug[69-70]進(jìn)行討論。與似然比法相似,系統(tǒng)的期望表現(xiàn)梯度可以表示為

稱c（θ）（h（X(+)（θ））-h（X(-)（θ）））為弱導(dǎo)數(shù)估計(jì)量,其中,c（θ）是常數(shù),隨機(jī)變量X(+)（θ）的概率密度函數(shù)為,隨機(jī)變量X(-)（θ）的概率密度函數(shù)為由于概率密度(或概率質(zhì)量)函數(shù)的分解不是唯一的,因而弱導(dǎo)數(shù)估計(jì)量不是唯一的。

與無窮小擾動分析法和似然比法相比,弱導(dǎo)數(shù)法的無偏性條件通常更容易滿足,但要仿真額外的樣本軌道。當(dāng)參數(shù)向量的維度很高時,弱導(dǎo)數(shù)法需要的計(jì)算成本大。Heidergott等[71]采用弱導(dǎo)數(shù)法研究了分位數(shù)敏感性估計(jì)問題,解決了文獻(xiàn)[44]中估計(jì)量無法處理樣本表現(xiàn)不連續(xù)的問題,并將其應(yīng)用于排隊(duì)系統(tǒng)中,優(yōu)化了設(shè)計(jì)考慮系統(tǒng)停留時間分位數(shù)的系統(tǒng)服務(wù)速率。

在復(fù)雜系統(tǒng)的優(yōu)化設(shè)計(jì)中,弱導(dǎo)數(shù)法不適用于估計(jì)系統(tǒng)表現(xiàn)關(guān)于系統(tǒng)結(jié)構(gòu)參數(shù)的梯度,且不適用于高維生產(chǎn)參數(shù)的估計(jì)問題,因而有關(guān)弱導(dǎo)數(shù)法在復(fù)雜系統(tǒng)中的應(yīng)用的文獻(xiàn)較少。Heidergott[17]考慮帶有老化更換策略的多組件維護(hù)系統(tǒng)的優(yōu)化設(shè)計(jì)問題,應(yīng)用弱導(dǎo)數(shù)法估計(jì)維護(hù)成本關(guān)于閾值參數(shù)的梯度。

1.2.4廣義似然比估計(jì)法 復(fù)雜隨機(jī)系統(tǒng)中經(jīng)常存在不連續(xù)樣本表現(xiàn)與結(jié)構(gòu)參數(shù),例如,質(zhì)量管理中控制圖的控制邊界屬于結(jié)構(gòu)參數(shù),它的表現(xiàn)函數(shù)關(guān)于控制邊界不連續(xù)。存在不連續(xù)樣本表現(xiàn)與結(jié)構(gòu)參數(shù)時,經(jīng)典梯度估計(jì)方法的無偏性無法得到保障,如何系統(tǒng)地解決該問題是仿真領(lǐng)域的重要難題之一,很多學(xué)者對這類問題進(jìn)行了研究。Wang等[72]提出一種混合無窮小擾動分析與似然比的方法,但該方法處理不連續(xù)樣本表現(xiàn)的手段非常依賴于問題的特定結(jié)構(gòu),適用范圍有限(主要在金融領(lǐng)域)。Liu等[73]提出了一種核函數(shù)方法來處理不連續(xù)樣本表現(xiàn),但該方法得到的隨機(jī)梯度估計(jì)是有偏的。文獻(xiàn)[71,74-75]也為解決該問題做了大量研究。這些方法在應(yīng)用時需要視問題的特定情況分析,并且通常不具有單樣本軌道。

Peng等[11]首次提出了廣義似然比估計(jì)法,該方法是目前仿真優(yōu)化領(lǐng)域解決復(fù)雜隨機(jī)系統(tǒng)包含結(jié)構(gòu)參數(shù)和不連續(xù)樣本表現(xiàn)的單樣本軌道無偏隨機(jī)梯度估計(jì)問題中適應(yīng)性最強(qiáng)的方法之一。擾動分析法與似然比法均可以放到廣義似然比法的理論框架中分析。“廣義”的含義是當(dāng)樣本表現(xiàn)沒有結(jié)構(gòu)參數(shù)時,廣義似然比估計(jì)量可以退化為似然比估計(jì)量。系統(tǒng)的期望表現(xiàn)梯度可以表示為

稱φ（h（X;θ））w（X;θ）為廣義似然比估計(jì)量,其中,φ是幾乎處處連續(xù)的可測函數(shù),

d（x;θ）是與函數(shù)h、函數(shù)h的雅可比矩陣和樣本表現(xiàn)函數(shù)有關(guān)的量。廣義似然比估計(jì)法不但適用于絕大多數(shù)帶有結(jié)構(gòu)參數(shù)的問題,而且適用于現(xiàn)有方法通常很難處理的不連續(xù)且非線性的樣本表現(xiàn)問題。該方法同時解決了無窮小擾動分析法不能處理不連續(xù)樣本表現(xiàn),與似然比法不能處理結(jié)構(gòu)參數(shù)的問題。該方法為無偏隨機(jī)梯度估計(jì)提出了新的估計(jì)方法或途徑,提供了擾動分析法與似然比法由于樣本表現(xiàn)對于結(jié)構(gòu)參數(shù)不連續(xù)導(dǎo)致的偏差的解析表示,并提出了可積性條件用來補(bǔ)償光滑性條件從而得到無偏梯度估計(jì)的方法創(chuàng)新。

廣義似然比法在復(fù)雜系統(tǒng)的優(yōu)化設(shè)計(jì)中具有廣泛的應(yīng)用前景。廣義似然比法可以解決排隊(duì)系統(tǒng)分析、統(tǒng)計(jì)過程控制、供應(yīng)鏈管理、制造工廠和服務(wù)系統(tǒng)等一系列梯度估計(jì)問題。Peng等[11-12,76]討論了廣義似然比法在質(zhì)量控制圖、隨機(jī)活動網(wǎng)絡(luò)、維護(hù)系統(tǒng)和具有積壓的單一產(chǎn)品、離散時間及多期庫存模型中的應(yīng)用。Zhang等[13]和張公伯等[14]提出了一種質(zhì)量控制圖的經(jīng)濟(jì)優(yōu)化設(shè)計(jì)方法,采用廣義似然比法估計(jì)平均運(yùn)行成本關(guān)于控制圖控制邊界的梯度。Zhou等[77]考慮在給定當(dāng)前時刻信息的條件下,隨機(jī)系統(tǒng)在未來的預(yù)期性能,采用廣義似然比法估計(jì)了樣本表現(xiàn)條件期望的梯度。Peng等[78]采用廣義似然比法研究了復(fù)雜隨機(jī)模型的分布敏感性,導(dǎo)出了仿真模型輸出分布函數(shù)關(guān)于參數(shù)與變量各階導(dǎo)數(shù)的估計(jì),可以解決生產(chǎn)服務(wù)與管理等復(fù)雜系統(tǒng)數(shù)據(jù)驅(qū)動的隨機(jī)建模,減小模型結(jié)構(gòu)假設(shè)不準(zhǔn)確導(dǎo)致的誤導(dǎo)性輸出結(jié)果。Glynn 等[79]采用廣義似然比法研究了基于分布敏感性的分位數(shù)敏感性估計(jì)。但在采用廣義似然比法進(jìn)行分位數(shù)敏感性估計(jì)的問題中,仿真樣本有限時估計(jì)量存在偏差,因而在梯度下降算法中,計(jì)算估計(jì)量需要的仿真樣本數(shù)量隨著迭代次數(shù)增加,從而消耗大量的仿真資源。如何在分位數(shù)梯度優(yōu)化中逐步消除分位數(shù)敏感性估計(jì)量的偏差值得進(jìn)一步研究。

表1比較了幾種梯度估計(jì)方法及其在復(fù)雜系統(tǒng)管理中的應(yīng)用場景。

表1 隨機(jī)梯度估計(jì)方法的比較

2 系統(tǒng)管理中的應(yīng)用

隨機(jī)梯度估計(jì)在復(fù)雜系統(tǒng)管理中有著廣泛的應(yīng)用。復(fù)雜系統(tǒng)的輸入和輸出的關(guān)系未知,輸入通常受到測量誤差、信息缺失等不確定性因素的影響。敏感性分析可以通過識別模型輸入來減少不確定性,提高系統(tǒng)的穩(wěn)健性。隨機(jī)梯度估計(jì)方法可以估計(jì)復(fù)雜系統(tǒng)表現(xiàn)函數(shù)關(guān)于生產(chǎn)參數(shù)的敏感性,實(shí)現(xiàn)優(yōu)化復(fù)雜系統(tǒng)結(jié)構(gòu)、控制風(fēng)險的目標(biāo)。由于間接的梯度估計(jì)方法在實(shí)際問題總是可用,本節(jié)主要介紹直接的隨機(jī)梯度估計(jì)方法在隨機(jī)活動網(wǎng)絡(luò)、質(zhì)量控制圖、排隊(duì)系統(tǒng)和(s,S)策略庫存系統(tǒng)4個系統(tǒng)中的應(yīng)用。

2.1 隨機(jī)活動網(wǎng)絡(luò)

網(wǎng)絡(luò)計(jì)劃技術(shù)是制定項(xiàng)目進(jìn)度計(jì)劃的一種常用技術(shù)。在項(xiàng)目實(shí)施過程中,受天氣、資金和材料供應(yīng)等隨機(jī)因素的影響,生產(chǎn)活動持續(xù)時間具有隨機(jī)性。項(xiàng)目管理人員采用隨機(jī)活動網(wǎng)絡(luò)表示項(xiàng)目中計(jì)劃完成的各項(xiàng)生產(chǎn)活動的先后順序和邏輯關(guān)系,進(jìn)而可以預(yù)測項(xiàng)目的工期和費(fèi)用,優(yōu)化資源配置,實(shí)現(xiàn)總工期最短的目標(biāo)。應(yīng)用隨機(jī)梯度估計(jì)方法,可以估計(jì)項(xiàng)目的工期和費(fèi)用關(guān)于某項(xiàng)生產(chǎn)活動的參數(shù)的梯度。如下考慮一種簡單的隨機(jī)活動網(wǎng)絡(luò)模型[23],并介紹隨機(jī)梯度估計(jì)方法在該模型中的應(yīng)用。

隨機(jī)活動網(wǎng)絡(luò)由具有M個節(jié)點(diǎn)、N條邊的有向非循環(huán)圖表示,其中,每條有向邊表示生產(chǎn)活動,生產(chǎn)活動時間為隨機(jī)變量Xi,其分布為Fi,i=1,2,…,N,X1,X2,…,XN相互獨(dú)立。假定節(jié)點(diǎn)1為任務(wù)起始點(diǎn),節(jié)點(diǎn)M為任務(wù)終止點(diǎn),P為構(gòu)成起始點(diǎn)至終止點(diǎn)路徑的有向邊的集合,為所有路徑的集合,P*∈為最優(yōu)路徑(活動時間最短或最長),最優(yōu)路徑的時間可以表示為:Y(X)=問題的目標(biāo)是估計(jì)d E[Y]/dθ,其中,θ為Xi的分布參數(shù)。應(yīng)用隨機(jī)梯度估計(jì)方法,可得無窮小擾動分析估計(jì)量為

其中,1{·}是示性函數(shù)。似然比估計(jì)量和弱導(dǎo)數(shù)估計(jì)量分別為:

數(shù)值算例。如圖1所示,考慮包含5個節(jié)點(diǎn)、6條邊的隨機(jī)活動網(wǎng)絡(luò)。假定節(jié)點(diǎn)5為任務(wù)終止點(diǎn),所有路徑的集合為假設(shè)生產(chǎn)活動時間Xi服從均值為i的指數(shù)分布,即令θ=θ1=1為X1中的分布參數(shù),P*為使生產(chǎn)活動時間最短的最優(yōu)路徑。應(yīng)用隨機(jī)梯度估計(jì)方法,可得無窮小擾動分析估計(jì)量、似然比估計(jì)量和弱導(dǎo)數(shù)估計(jì)量分別為:

圖1 隨機(jī)活動網(wǎng)絡(luò)

實(shí)驗(yàn)分別在指數(shù)分布和正態(tài)分布的設(shè)定下,比較3種無偏隨機(jī)梯度估計(jì)量和單邊前向有限差分估計(jì)量FD(c)?；?06次獨(dú)立的仿真實(shí)驗(yàn),得到各估計(jì)量的數(shù)值(平均值±標(biāo)準(zhǔn)誤差),其中,標(biāo)準(zhǔn)誤差由估計(jì)的標(biāo)準(zhǔn)偏差除以樣本數(shù)的平方根計(jì)算得到。

由表2可以觀察到,當(dāng)攝動值為0.1時,有限差分估計(jì)量的偏差較大;當(dāng)攝動值為0.01時,有限差分估計(jì)量的方差較大。無窮小擾動分析估計(jì)量和弱導(dǎo)數(shù)估計(jì)量的方差比似然比估計(jì)量的方差小?；?08次獨(dú)立的仿真實(shí)驗(yàn),在指數(shù)分布的設(shè)定下,FD(0.001)的梯度估計(jì)量的數(shù)值為0.585±0.103 8;在正態(tài)分布的設(shè)定下,FD(0.001)的梯度估計(jì)量的數(shù)值為0.843±0.126 2(平均值±標(biāo)準(zhǔn)誤差)。這表明,無窮小擾動分析估計(jì)量,似然比估計(jì)量和弱導(dǎo)數(shù)估計(jì)量具有無偏性。

表2 隨機(jī)活動網(wǎng)絡(luò)最優(yōu)路徑時間的梯度估計(jì)量(平均值±標(biāo)準(zhǔn)誤差)

2.2 質(zhì)量控制圖

在生產(chǎn)過程中,受生產(chǎn)人員、機(jī)械設(shè)備、材料、工藝方法和環(huán)境等因素的影響,生產(chǎn)過程可能處于失控狀態(tài),導(dǎo)致產(chǎn)品的質(zhì)量特性值偏離規(guī)定的質(zhì)量特性值。質(zhì)量控制圖是統(tǒng)計(jì)過程控制的一種重要方法,它利用控制圖提供的信息判定生產(chǎn)過程是否處于統(tǒng)計(jì)控制狀態(tài),有助于將生產(chǎn)過程維持在受控狀態(tài),減少生產(chǎn)階段因產(chǎn)品異常帶來的損失。生產(chǎn)過程輸出的質(zhì)量特性值有隨機(jī)性,應(yīng)用隨機(jī)梯度估計(jì)方法,可以估計(jì)生產(chǎn)過程平均運(yùn)行長度關(guān)于質(zhì)量控制圖的控制邊界的梯度。如下考慮指數(shù)加權(quán)移動平均控制圖 (Exponentially Weighted Moving Average,EWMA)[13-14],并介紹隨機(jī)梯度估計(jì)方法在該模型中的應(yīng)用。此外,通過一個考慮最小化平均運(yùn)行成本的控制邊界優(yōu)化設(shè)計(jì)的數(shù)值算例,以期為隨機(jī)梯度估計(jì)方法在復(fù)雜系統(tǒng)管理中的具體應(yīng)用、改善的指標(biāo)和得到的結(jié)論提供范例。

在統(tǒng)計(jì)過程控制中,生產(chǎn)過程的平均運(yùn)行長度被定義為

其中:N為系統(tǒng)失控的時間,即N=min{i:Yi?[θ1,i,θ2,i]};Yi為在得到第i個樣本后觀測到的檢驗(yàn)統(tǒng)計(jì)量,對于指數(shù)加權(quán)移動平均控制圖:Yi=αXi+(1-α)Yi-1,i＞1,Y1=X1。Xi為第i個樣本輸出,θ是一類參數(shù),可以是θ1,i或θ2,i,分別為第i個檢驗(yàn)統(tǒng)計(jì)量的控制下界和控制上界。當(dāng)系統(tǒng)處于受控狀態(tài)和非受控狀態(tài)時,系統(tǒng)將輸出具有不同分布的樣本。取條件于Z=z,其中,Z=R/Δ,R為系統(tǒng)受控的隨機(jī)持續(xù)時間(不可觀測),服從密度為q0(·)的分布,Δ為采樣間隔,則Xi的條件密度為

其中,f1(·)和f2(·)分別為系統(tǒng)受控和不受控時輸出Xi的密度函數(shù)。假定系統(tǒng)失控時間服從參數(shù)為λ的指數(shù)分布,受控樣本輸出服從均值為μ0、方差為σ2的正態(tài)分布,失控樣本輸出服從均值為μ1、方差為σ2的正態(tài)分布。令θ1,i=1,θ2,i=2,問題的目標(biāo)是估計(jì)d ARL（θ）/d2。由于結(jié)構(gòu)參數(shù)和不連續(xù)樣本表現(xiàn)的存在,無窮小擾動分析估計(jì)量,似然比估計(jì)量和弱導(dǎo)數(shù)估計(jì)量均不存在,由此可得廣義似然比估計(jì)量為

2.2.1數(shù)值算例 考慮如下參數(shù)設(shè)定的指數(shù)加權(quán)移動平均控制圖:α=0.5;系統(tǒng)失控時間服從均值為20的指數(shù)分布,即λ=0.05;采樣間隔Δ=1;控制下界1=-1,控制上界2=1;受控或失控樣本方差σ=1;受控樣本均值μ0=0,失控樣本均值μ1=1,μ1=3。通過實(shí)驗(yàn)比較廣義似然比估計(jì)量和單邊前向有限差分估計(jì)量FD(c)。分別基于104和106次獨(dú)立的仿真實(shí)驗(yàn),得到各估計(jì)量的數(shù)值(平均值±標(biāo)準(zhǔn)誤差),其中,標(biāo)準(zhǔn)誤差由估計(jì)的標(biāo)準(zhǔn)偏差除以樣本數(shù)的平方根計(jì)算得到。

由表3可觀察到,當(dāng)攝動值為0.1時,有限差分估計(jì)量的偏差較大;當(dāng)攝動值為0.01時,有限差分估計(jì)量的方差較大?；?08次獨(dú)立的仿真實(shí)驗(yàn),在失控樣本均值μ1=1的設(shè)定下,FD(0.001)的梯度估計(jì)量的數(shù)值為10.2±1.12;在失控樣本均值μ1=3的設(shè)定下,FD(0.001)的梯度估計(jì)量的數(shù)值為7.9±1.02(平均值±標(biāo)準(zhǔn)誤差)。這表明,廣義似然比估計(jì)量具有無偏性。

表3 指數(shù)加權(quán)移動平均控制圖的梯度估計(jì)量(平均值±標(biāo)準(zhǔn)誤差)

2.2.2控制上界的優(yōu)化設(shè)計(jì) 生產(chǎn)過程的單位時間內(nèi)的平均運(yùn)行成本被定義為

考慮一個指數(shù)加權(quán)移動平均控制圖,假設(shè)失控樣本均值μ1=3,方差σ=2,其余參數(shù)設(shè)定與例2相同。令損耗成本c=2,系統(tǒng)維修成本C=10,隨機(jī)逼近方法中控制圖的初始控制上界為θ(0)=1,迭代步長an=1/n,第n步迭代使用(1 000+n)次獨(dú)立的仿真實(shí)驗(yàn)估計(jì)梯度ΔE[N]和ΔE[(N -R/Δ)+]。采用隨機(jī)逼近方法迭代10 000次得到的控制上界的樣本軌道如圖2(a)所示?；?08次獨(dú)立的仿真實(shí)驗(yàn)估計(jì)系統(tǒng)的平均運(yùn)行成本,得到的平均運(yùn)行成本的樣本軌道如圖2(b)所示。

求解得到的控制圖最優(yōu)控制上界的值為θ*=1.139。由圖2(b)觀察得到結(jié)論:通過控制上界的最優(yōu)設(shè)計(jì),生產(chǎn)過程的單位時間內(nèi)的平均運(yùn)行成本從1.52降低為1.32。采用基于廣義似然比梯度估計(jì)的隨機(jī)逼近方法,解決了控制圖控制上界的優(yōu)化設(shè)計(jì)問題,降低了生產(chǎn)過程的單位時間內(nèi)的平均運(yùn)行成本,有助于提升企業(yè)經(jīng)濟(jì)效益。

圖2 樣本軌道:(a)控制上界(b)平均運(yùn)行成本

2.3 單服務(wù)臺排隊(duì)系統(tǒng)

排隊(duì)論又稱隨機(jī)服務(wù)系統(tǒng)理論,是通過分析隨機(jī)服務(wù)系統(tǒng)中排隊(duì)等待現(xiàn)象的穩(wěn)態(tài)概率特征進(jìn)行系統(tǒng)優(yōu)化設(shè)計(jì)和控制的理論。排隊(duì)論廣泛應(yīng)用于制造業(yè)產(chǎn)品生產(chǎn)、運(yùn)輸、庫存等資源分配管理的隨機(jī)服務(wù)系統(tǒng)。例如,在產(chǎn)品加工生產(chǎn)線流程設(shè)計(jì)問題中,可以構(gòu)建加工設(shè)備服務(wù)待加工制品的排隊(duì)系統(tǒng);在企業(yè)設(shè)備維修問題中,可以構(gòu)建維修員工服務(wù)故障設(shè)備的排隊(duì)系統(tǒng);在產(chǎn)品運(yùn)輸?shù)募b箱港口資源配置問題中,可以構(gòu)建堆場服務(wù)集裝箱的排隊(duì)系統(tǒng)。排隊(duì)系統(tǒng)中存在著大量隨機(jī)性,如產(chǎn)品到達(dá)時間間隔、工作站服務(wù)時間、系統(tǒng)等待時間和系統(tǒng)停留時間等,應(yīng)用隨機(jī)梯度估計(jì)方法,可以估計(jì)排隊(duì)模型表現(xiàn)函數(shù)關(guān)于模型參數(shù)的梯度。如下考慮一種簡單的單服務(wù)臺排隊(duì)系統(tǒng)[23],并介紹隨機(jī)梯度估計(jì)方法在該模型中的應(yīng)用。

考慮一個先到先服務(wù)的G/G/1 的排隊(duì)網(wǎng)絡(luò)。記Ai為生產(chǎn)訂單的間隔到達(dá)時間,Xi為生產(chǎn)加工時間,Ti為生產(chǎn)訂單在排隊(duì)系統(tǒng)的停留時間。前N個訂單在排隊(duì)系統(tǒng)中的平均停留時間可表示為:令θ為Xi的分布Fi中的參數(shù),問題的目標(biāo)是估計(jì)假定系統(tǒng)初始狀態(tài)是空的,生產(chǎn)訂單到達(dá)過程與服務(wù)過程獨(dú)立,且到達(dá)過程互相是獨(dú)立的。根據(jù)Lindley方程,一個生產(chǎn)訂單在排隊(duì)系統(tǒng)的停留時間可表示為:Ti+1=Xi+1+(Ti-Ai+1)+。應(yīng)用隨機(jī)梯度估計(jì)方法,可得無窮小擾動分析估計(jì)量為

其中:M為觀測到的忙期數(shù);nm為在第m個忙期中的最后一個訂單;似然比估計(jì)量和弱導(dǎo)數(shù)估計(jì)量分別為:

2.4 (s,S)策略庫存系統(tǒng)

庫存管理是企業(yè)物流和供應(yīng)鏈管理中重要的研究問題。企業(yè)的庫存是為了保持持續(xù)生產(chǎn)、滿足客戶需求而存儲的原材料、在制品和制成品。庫存管理是通過對客戶需求的預(yù)測,在保證企業(yè)生產(chǎn)活動的正常進(jìn)行和產(chǎn)品供應(yīng)的前提下,加速物資流動速度,減少庫存量,實(shí)現(xiàn)降低庫存成本、提升企業(yè)經(jīng)濟(jì)效益和提高生產(chǎn)柔性的目標(biāo)。供應(yīng)鏈的庫存管理通過企業(yè)間的協(xié)調(diào)配合和信息共享,減少牛鞭效應(yīng)帶來的需求誤差,實(shí)現(xiàn)按需生產(chǎn)和降低庫存總成本的目標(biāo)。庫存問題的隨機(jī)性來自供應(yīng)者、生產(chǎn)者和客戶的不確定性。應(yīng)用隨機(jī)梯度估計(jì)方法,可以估計(jì)庫存量和庫存成本關(guān)于庫存策略中的參數(shù)的梯度。如下考慮一種簡單的(s,S)策略庫存系統(tǒng)[22],并介紹隨機(jī)梯度估計(jì)方法在該模型中的應(yīng)用。

考慮一種生產(chǎn)原材料的定期檢查(s,S)策略庫存問題,在每個周期檢查庫存量,確定是否需要補(bǔ)貨。(s,S)訂購策略為如果當(dāng)前原材料庫存量低于s,則補(bǔ)貨到庫存量S。假設(shè)所有的超額需求被積壓,會在下一周期被滿足,原材料的訂單沒有延遲,在每一周期結(jié)束時決定是否補(bǔ)貨。令Dn為第n周期的需求量,,Vn為第n周期結(jié)束時原材料的庫存量,可以表示為

其中:E[D]為平均需求量;ξn=Yn-s;Yn為滿足需求前的原材料庫存量。

3 結(jié)論

隨著新一代信息技術(shù)與先進(jìn)仿真技術(shù)的集群式創(chuàng)新、融合發(fā)展與突破,大規(guī)模復(fù)雜系統(tǒng)的仿真數(shù)據(jù)日益可測可獲,不僅有效提升企業(yè)生產(chǎn)質(zhì)量、效率和效益,也孕育著企業(yè)管理決策理論與方法的重大變革,推動管理決策研究向仿真優(yōu)化領(lǐng)域轉(zhuǎn)變。仿真技術(shù)為企業(yè)提供了能夠覆蓋產(chǎn)品論證、研發(fā)、設(shè)計(jì)、采購生產(chǎn)、銷售和服務(wù)等供應(yīng)鏈各階段的全生命周期解決方案,是企業(yè)數(shù)字化轉(zhuǎn)型升級的重要技術(shù)手段。復(fù)雜隨機(jī)系統(tǒng)的梯度估計(jì)包含比系統(tǒng)表現(xiàn)估計(jì)更多有用的信息,梯度估計(jì)的準(zhǔn)確性常常影響著系統(tǒng)表現(xiàn)的優(yōu)化分析及后續(xù)管理決策的進(jìn)行。為提升仿真及優(yōu)化效率,需結(jié)合問題情境特點(diǎn)選取高效準(zhǔn)確的隨機(jī)梯度估計(jì)方法。

在實(shí)際應(yīng)用中,根據(jù)復(fù)雜系統(tǒng)的特定情況選擇合適的隨機(jī)梯度估計(jì)方法對后續(xù)優(yōu)化分析及管理決策的制定至關(guān)重要。在進(jìn)行方法選擇時,可從以下幾方面考慮。首先,如果沒有獲取到復(fù)雜系統(tǒng)的信息,優(yōu)先考慮間接的梯度估計(jì)方法。進(jìn)一步,如果獲取到復(fù)雜系統(tǒng)的一些信息,如系統(tǒng)輸入的分布或樣本表現(xiàn)的特征等信息,則可以考慮應(yīng)用直接的梯度估計(jì)方法。對于不連續(xù)型樣本表現(xiàn),如示性函數(shù)或非平滑函數(shù),無窮小擾動分析法不適用。如果樣本表現(xiàn)帶有結(jié)構(gòu)參數(shù),則似然比法和弱導(dǎo)數(shù)法不適用。平滑擾動分析法需要視實(shí)際問題情況選取適當(dāng)?shù)臈l件計(jì)算條件期望,會消耗額外的仿真量。推出似然比法依賴于解析形式的變量替換來推出結(jié)構(gòu)參數(shù)。對于樣本表現(xiàn)不連續(xù)且?guī)в薪Y(jié)構(gòu)參數(shù)的問題,優(yōu)先考慮廣義似然比法。其次,選擇不同隨機(jī)梯度估計(jì)方法的另一影響因素是參數(shù)向量的維度。有限差分法和弱導(dǎo)數(shù)法在處理高維參數(shù)向量的梯度時會消耗很多額外的仿真量。在基于梯度的參數(shù)估計(jì)方法中,選擇合適的隨機(jī)梯度估計(jì)方法需要同時考慮估計(jì)量的偏差和方差。有限差分法得到的梯度估計(jì)量是有偏差的。一般情況下,無窮小擾動分析法比似然比法方差小。

基于梯度的參數(shù)估計(jì)方法的效果提升及其在復(fù)雜系統(tǒng)管理實(shí)踐中的應(yīng)用是仿真優(yōu)化領(lǐng)域關(guān)注的方向。

(1) 隨機(jī)梯度估計(jì)方法與強(qiáng)化學(xué)習(xí)和人工智能算法的結(jié)合可以改善大型裝配線在復(fù)雜環(huán)境中的質(zhì)量控制任務(wù),提高系統(tǒng)智能決策的抗干擾能力,實(shí)現(xiàn)人機(jī)共融的協(xié)同決策。深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)中訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)所采用的反向傳遞算法屬于仿真優(yōu)化中研究的隨機(jī)梯度估計(jì)算法。開發(fā)AlphaGo的谷歌公司Deep Mind 研究團(tuán)隊(duì)在文獻(xiàn)[80]中對隨機(jī)梯度估計(jì)方法在機(jī)器學(xué)習(xí)中的應(yīng)用做了長篇綜述。Peters等[81]討論了有限差分法和似然比法在強(qiáng)化學(xué)習(xí)策略梯度估計(jì)中的應(yīng)用。Peng等[82]采用推出似然比方法訓(xùn)練人工神經(jīng)網(wǎng)絡(luò),該方法通過在神經(jīng)元傳遞信號中加入噪聲,不但可以處理離散型激活函數(shù)和損失函數(shù)的問題,也提高了人工神經(jīng)網(wǎng)絡(luò)在對抗攻擊時的魯棒性。

(2) 隨機(jī)梯度估計(jì)通?？梢杂糜趨?shù)的敏感性分析和基于梯度的仿真優(yōu)化算法的輸入,實(shí)現(xiàn)優(yōu)化復(fù)雜系統(tǒng)結(jié)構(gòu)的目標(biāo),進(jìn)而度量和控制復(fù)雜系統(tǒng)的風(fēng)險。隨機(jī)梯度估計(jì)方法在項(xiàng)目計(jì)劃制定、產(chǎn)品生產(chǎn)、運(yùn)輸、庫存、設(shè)備維修和生產(chǎn)過程控制等系統(tǒng)管理領(lǐng)域有廣泛的應(yīng)用。經(jīng)典的隨機(jī)梯度估計(jì)的目標(biāo)是隨機(jī)模型樣本表現(xiàn)的期望,而期望刻畫的是系統(tǒng)在隨機(jī)環(huán)境下的平均表現(xiàn),未反映系統(tǒng)在極端環(huán)境下的表現(xiàn)?？紤]隨機(jī)模型樣本表現(xiàn)的分位數(shù)的隨機(jī)梯度估計(jì)可以得到在極端環(huán)境下更穩(wěn)健的系統(tǒng)管理策略。在供應(yīng)鏈系統(tǒng)管理中,考慮報酬收益分位數(shù)敏感性的報童模型可以得到在極端市場需求出現(xiàn)時表現(xiàn)更穩(wěn)健的訂購策略。Hu等[83]研究了以分位數(shù)為目標(biāo)的仿真優(yōu)化問題,基于廣義似然比法提出了單樣本軌道多尺度的隨機(jī)逼近方法,解決了分位數(shù)敏感性估計(jì)中仿真樣本軌道的不連續(xù)性以及由比值引起偏差的困難,建立了算法的收斂性并分析了其漸進(jìn)收斂到平衡點(diǎn)的穩(wěn)定性。Jiang等[84]研究了累計(jì)回報的分位數(shù)敏感性的強(qiáng)化學(xué)習(xí)問題,基于似然比法提出了兩尺度的隨機(jī)逼近方法,得到了在極端事件下表現(xiàn)更穩(wěn)健的策略。近兩年疫情導(dǎo)致的極端事件對全球供應(yīng)鏈造成了巨大影響,極端事件下的系統(tǒng)管理將會是后疫情時代的重點(diǎn)研究方向之一。

綜上所述,本文在系列相關(guān)研究的基礎(chǔ)上對系統(tǒng)管理領(lǐng)域中隨機(jī)梯度估計(jì)的應(yīng)用進(jìn)行了梳理,同時還介紹了常用的隨機(jī)梯度估計(jì)方法和系統(tǒng)管理模型。針對常用的隨機(jī)梯度估計(jì)方法,分別總結(jié)了其研究狀態(tài)和應(yīng)用場景,并通過模型介紹了這些方法在企業(yè)項(xiàng)目進(jìn)度計(jì)劃制定、生產(chǎn)過程控制、生產(chǎn)調(diào)度流程優(yōu)化和供應(yīng)鏈庫存管理領(lǐng)域的應(yīng)用。后續(xù)研究進(jìn)一步探索隨機(jī)梯度估計(jì)方法的求解路徑和優(yōu)化設(shè)計(jì),如有限差分法最優(yōu)攝動值的選取,并進(jìn)一步思考相關(guān)方法在復(fù)雜系統(tǒng)管理實(shí)踐中的具體應(yīng)用。