張旭濤， 何 楨， 畢海玲

(1. 軍事交通學(xué)院 裝備保障系，天津 300161; 2. 天津大學(xué) 管理與經(jīng)濟(jì)學(xué)部，天津 300072)

基于似無關(guān)模型的改進(jìn)多元損失函數(shù)方法

張旭濤1,2， 何 楨2， 畢海玲1

(1. 軍事交通學(xué)院 裝備保障系，天津 300161; 2. 天津大學(xué) 管理與經(jīng)濟(jì)學(xué)部，天津 300072)

對(duì)復(fù)雜產(chǎn)品或過程中存在相關(guān)性的多響應(yīng)優(yōu)化問題進(jìn)行了研究，通過引入似無關(guān)回歸模型對(duì)質(zhì)量損失函數(shù)方法進(jìn)行改進(jìn)，將響應(yīng)間的相關(guān)性綜合考慮到模型擬合和參數(shù)優(yōu)化兩個(gè)階段。算例表明，與傳統(tǒng)質(zhì)量損失函數(shù)方法相比，改進(jìn)方法得到的最優(yōu)解處期望質(zhì)量損失更小。該方法克服了傳統(tǒng)方法忽視響應(yīng)間的相關(guān)性或只在優(yōu)化階段考慮相關(guān)性的不足，是對(duì)多元損失函數(shù)的重要改進(jìn)。

似無關(guān)回歸； 多響應(yīng)優(yōu)化； 損失函數(shù)； 響應(yīng)曲面方法； 響應(yīng)相關(guān)性

響應(yīng)曲面方法[1](response surface methodology, RSM)在產(chǎn)品質(zhì)量改進(jìn)或過程優(yōu)化中有著廣泛的應(yīng)用?，F(xiàn)實(shí)中產(chǎn)品和過程的多個(gè)質(zhì)量特性往往是相互影響的，響應(yīng)變量間存在著相關(guān)性。當(dāng)響應(yīng)變量間相關(guān)性較強(qiáng)時(shí)，會(huì)對(duì)模型擬合的精度和優(yōu)化結(jié)果的可靠性產(chǎn)生較大影響。損失函數(shù)法是處理響應(yīng)間存在相關(guān)性時(shí)建立多響應(yīng)優(yōu)化函數(shù)的經(jīng)典方法。但該方法只是在構(gòu)建多響應(yīng)優(yōu)化目標(biāo)函數(shù)時(shí)考慮了響應(yīng)間的相關(guān)性，在擬合響應(yīng)回歸模型和考慮預(yù)測誤差時(shí)仍是基于最小二乘(ordinary least squares, OLS)方法，一定程度上忽略了響應(yīng)間的相關(guān)性。鑒于此，通過引入似無關(guān)回歸模型[2](seemingly unrelated regressions, SUR)對(duì)傳統(tǒng)的質(zhì)量損失函數(shù)方法進(jìn)行改進(jìn)，一方面在度量目標(biāo)偏離損失時(shí)采用更精確的SUR預(yù)測模型，另一方面在考慮響應(yīng)的預(yù)測誤差時(shí)引入了響應(yīng)誤差項(xiàng)的方差協(xié)方差陣，更充分地利用了響應(yīng)間的相關(guān)性信息。給出了改進(jìn)損失函數(shù)方法的具體步驟和算例說明，并將結(jié)果與經(jīng)典方法進(jìn)行對(duì)比，驗(yàn)證其有效性。

1 相關(guān)研究評(píng)述

1.1 損失函數(shù)方法

多元質(zhì)量損失函數(shù)最初由Pignatiello[3]在田口單響應(yīng)質(zhì)量損失函數(shù)的基礎(chǔ)上提出：

L=[y(x)-θ]TC[y(x)-θ]。

(1)

其中y(x)為在某位置x處的響應(yīng)值向量，C是一個(gè)表示過程經(jīng)濟(jì)性的正定常數(shù)矩陣，θ為最優(yōu)目標(biāo)響應(yīng)值向量。質(zhì)量損失L的期望函數(shù)為

E(L)=[E[y(x)]-θ]TC[E[y(x)]-θ]+trace[C∑y(x)]。

(2)

式中，trace表示矩陣的跡，∑y(x)為位置x處響應(yīng)的方差協(xié)方差陣。

(3)

則質(zhì)量損失L的期望函數(shù)為

(4)

(5)

實(shí)際上，當(dāng)試驗(yàn)區(qū)域內(nèi)不同位置噪聲因子對(duì)系統(tǒng)誤差影響相同時(shí)，trace[C∑y(x)]項(xiàng)是一個(gè)固定的常量，則對(duì)式(5)的優(yōu)化可以簡化為對(duì)式(4)的優(yōu)化。

在上述3種經(jīng)典的損失函數(shù)法基礎(chǔ)上，近年來又有很多關(guān)于損失函數(shù)的理論和案例研究。如Ouyang等[6]提出了一種考慮模型不確定性的加權(quán)質(zhì)量損失函數(shù)法，汪建均等[7]提出在小樣本情況時(shí)應(yīng)使用多變量偏最小二乘回歸模型，Yadav等[8]和何楨等[9]在損失函數(shù)法基礎(chǔ)上進(jìn)一步考慮穩(wěn)健性，Sibalija等[10]給出了質(zhì)量損失函數(shù)法在激光鉆孔的多響應(yīng)參數(shù)優(yōu)化的應(yīng)用等。

1.2 SUR回歸模型

考慮有r個(gè)響應(yīng)y1,y2,…,yr的多響應(yīng)問題，每個(gè)響應(yīng)均有n個(gè)觀測值，第i個(gè)響應(yīng)對(duì)應(yīng)模型的矩陣表示為

yi=Xiβi+εi,i=1,2,…,r。

(6)

式中yi為第i個(gè)響應(yīng)的n×1觀測值向量，Xi為n×pi數(shù)據(jù)矩陣，βi為pi×1待估計(jì)系數(shù)向量，εi為隨機(jī)誤差向量。

傳統(tǒng)RSM方法一般假設(shè)不同響應(yīng)間的誤差項(xiàng)是相互獨(dú)立的，即Cov(εi,εj)=0，回歸系數(shù)估計(jì)采用最小二乘估計(jì):

(7)

估計(jì)系數(shù)的方差協(xié)方差陣為

(8)

(9)

式中εi又可視為第i個(gè)響應(yīng)的OLS回歸殘差，n-pi為殘差的自由度。

對(duì)于式(6)表示的r個(gè)響應(yīng)的模型，如果假設(shè)每個(gè)模型的誤差項(xiàng)是獨(dú)立同分布的，但模型之間的誤差項(xiàng)是相關(guān)的，則稱這樣的模型為似無關(guān)模型，即

(10)

將式(6)表示的r個(gè)響應(yīng)的SUR模型寫成矩陣形式為

Y=Xβ+ε。

(11)

(12)

式中?為Kronecker乘積符號(hào)，∑為響應(yīng)間誤差項(xiàng)的方差協(xié)方差陣，記為∑=(σij)，即

(13)

(14)

與OLS方法對(duì)各個(gè)響應(yīng)模型分別獨(dú)立估計(jì)不同，SUR方法將多響應(yīng)模型作為整體進(jìn)行估計(jì)，充分利用了樣本和誤差項(xiàng)的信息，通常能給出更精確的模型參數(shù)估計(jì)。從式(14)可知，SUR回歸需要以O(shè)LS回歸為基礎(chǔ)來估計(jì)響應(yīng)間誤差項(xiàng)的方差協(xié)方差陣。

近年來有學(xué)者嘗試將SUR模型應(yīng)用到多響應(yīng)曲面優(yōu)化中來，Shah等[11]指出當(dāng)響應(yīng)間相關(guān)性較強(qiáng)時(shí)，基于SUR模型優(yōu)化時(shí)堆疊等值線圖上可以獲得更大的可行域。Peterson等[12]研究了基于SUR模型的多響應(yīng)優(yōu)化的貝葉斯方法，但該方法屬于概率方法，無法定量給出各個(gè)響應(yīng)的具體優(yōu)化情況。

2 基于SUR模型的改進(jìn)多元損失函數(shù)方法

下面以Vining方法為例，基于SUR模型對(duì)模型擬合階段和優(yōu)化階段對(duì)該方法進(jìn)行改進(jìn)，并進(jìn)行結(jié)果對(duì)比，其思路同樣適用于其他損失函數(shù)方法的改進(jìn)。基本步驟如下。

2)將試驗(yàn)觀測數(shù)據(jù)寫成式(11)所示的SUR模型形式，利用式(12)得到多響應(yīng)SUR回歸模型系數(shù)矩陣的估計(jì)，估計(jì)系數(shù)的協(xié)方差為

(15)

(16)

預(yù)測響應(yīng)的方差協(xié)方差為

(17)

3)將式(16)和式(17)分別替換式(4)中對(duì)應(yīng)的估計(jì)項(xiàng)，有

(18)

4)選擇成本矩陣C。在質(zhì)量損失函數(shù)中，過程經(jīng)濟(jì)性和響應(yīng)間的相關(guān)性可以通過成本矩陣C來考慮。Vining[4]對(duì)成本矩陣如何選擇進(jìn)行了討論，并給出了3種定量選擇的方法。由于本文關(guān)注的是SUR和OLS兩種不同數(shù)據(jù)處理思路對(duì)優(yōu)化結(jié)果的影響，成本矩陣C的討論不是本文的重點(diǎn)，在應(yīng)用中可以根據(jù)實(shí)際情況靈活選取，本文在算例分析中進(jìn)行結(jié)果對(duì)比時(shí)，成本矩陣C采用對(duì)比文獻(xiàn)中的相同設(shè)置值。

5) 在試驗(yàn)的設(shè)置區(qū)域內(nèi)進(jìn)行對(duì)式(18)進(jìn)行最小值優(yōu)化。由于目標(biāo)函數(shù)比較復(fù)雜，比較可行的方法是采用智能算法如遺傳算法。 初始可行解可以通過堆疊等值線的方法獲得，由于遺傳算法是一種隨機(jī)搜索算法，對(duì)于較復(fù)雜的優(yōu)化問題，每次得到的結(jié)果可能會(huì)有細(xì)微差異，因此在實(shí)際應(yīng)用時(shí)需要重復(fù)運(yùn)行該算法，以得到盡可能多的最優(yōu)點(diǎn)以供決策者參考。

3 算例

算例采用文獻(xiàn)[4]中引用的一個(gè)聚合物試驗(yàn)，試驗(yàn)數(shù)據(jù)如表1所示，表中的因子水平已編碼。試驗(yàn)的目的是為了確定反應(yīng)時(shí)間(x1)、反應(yīng)溫度(x2)和催化劑用量(x3)的參數(shù)設(shè)定值，使得聚合物轉(zhuǎn)化率(y1)最大，且熱力學(xué)活性(y2)達(dá)到目標(biāo)值57.5。聚合物轉(zhuǎn)化率的可接受范圍為80～100，熱力學(xué)活性的可接受范圍為55～60，故目標(biāo)值可以分別設(shè)為θ1=100，θ2=57.5。

表1 聚合物試驗(yàn)數(shù)據(jù)Tab.1 The experiment results for the polymer experiment

基于OLS擬合出各個(gè)響應(yīng)的曲面方程：

通過式(8)可以得到基于OLS的響應(yīng)y1方程估計(jì)系數(shù)的方差-協(xié)方差陣，如表2所示。

表2 基于OLS的響應(yīng)y1方程估計(jì)系數(shù)的方差-協(xié)方差陣Tab.2 Variance-covariance matrix for parameters for y1 using OLS

利用OLS殘差通過式(13)給出預(yù)測響應(yīng)誤差項(xiàng)的協(xié)方差陣的極大似然估計(jì)為

采用SUR模型估計(jì)的響應(yīng)曲面模型為

可以看出，用兩種回歸方法得到的響應(yīng)y1的模型系數(shù)結(jié)果有差別。

利用式(15)可以得到基于SUR的響應(yīng)y1方程估計(jì)系數(shù)的方差-協(xié)方差陣，如表3所示。

表3 基于SUR的響應(yīng)y1方程估計(jì)系數(shù)的方差-協(xié)方差陣Tab.3 Variance-covariance matrix for parameters for y1 using SUR

對(duì)比表2和表3可以看出，表3中的非0項(xiàng)絕對(duì)值均比表2中的小，意味著采用SUR方法得到響應(yīng)y1的模型擬合精度更高。

為了與文獻(xiàn)[4]中基于OLS的Vining質(zhì)量損失函數(shù)法進(jìn)行結(jié)果對(duì)比，成本矩陣C采用文獻(xiàn)[4]中相同的設(shè)置值，即：

表4 本文方法與Vining方法優(yōu)化結(jié)果對(duì)比Tab.4 Comparison of optimization results between the proposed approach and Vining’s method

4 結(jié)論

響應(yīng)間的相關(guān)性會(huì)對(duì)基于RSM的多響應(yīng)優(yōu)化方法中的模型擬合和優(yōu)化結(jié)果產(chǎn)生影響。通過引入SUR模型對(duì)質(zhì)量損失函數(shù)方法進(jìn)行改進(jìn)，將響應(yīng)間的相關(guān)性綜合考慮到模型擬合和參數(shù)優(yōu)化兩個(gè)階段中，是多響應(yīng)優(yōu)化方法的重要補(bǔ)充。在與傳統(tǒng)方法進(jìn)行對(duì)比分析的算例中，改進(jìn)方法能找到更好的最優(yōu)解。研究只考慮了模型擬合精度和預(yù)測誤差對(duì)優(yōu)化結(jié)果的影響，實(shí)際過程中噪聲因子或可控因子波動(dòng)會(huì)引起響應(yīng)的波動(dòng)，后續(xù)研究可以在此基礎(chǔ)上進(jìn)一步考慮多響應(yīng)間存在相關(guān)性時(shí)基于SUR的穩(wěn)健性參數(shù)優(yōu)化問題。

[1]ARDAKANIMK,WULFFSS.Anoverviewofoptimizationformulationsformultiresponsesurfaceproblems[J].QualityandReliabilityEngineeringInternational, 2013, 29(1): 3-16.

[2]ZELLNERA.Anefficientmethodofestimatingseeminglyunrelatedregressionsandtestsforaggregationbias[J].JournaloftheAmericanStatisticalAssociation, 1962, 57(298): 266-286.

[3]PIGNATIELLOJJ.Strategiesforrobustmutiresponsequalityengineering[J].IIETransactions, 1993, 25(3): 5-15.

[4]VININGGG.Acompromiseapproachtomultiresponseoptimization[J].JournalofQualityTechnology, 1998, 30(4): 309.

[5]KOY,KIMK,JUNC.Anewlossfunction-basedmethodformultiresponseoptimization[J].JournalofQualityTechnology, 2005, 37(1): 50-59.

[6]OUYANGL,MAY,BYUNJ.Anintegrativelossfunctionapproachtomulti-responseoptimization[J].QualityandReliabilityEngineeringInternational, 2013, 31(2): 193-204.

[7]汪建均，馬義中，翟云煥. 相關(guān)多質(zhì)量特性的優(yōu)化設(shè)計(jì) [J]. 管理工程學(xué)報(bào), 2011, 25(2): 66-73.

WANGJJ,MAYZ,ZHAIYH.Optimizationdesignofcorrelatedmultiplequalitycharacteristics[J].JournalofIndustrialEngineeringandEngineeringManagement, 2011, 25(2): 66-73.

[8]YADAVOP,BHAMARESS,RATHOREA.Reliability-basedrobustdesignoptimization:amulti-objectiveframeworkusinghybridqualitylossfunction[J].QualityandReliabilityEngineeringInternational, 2010, 26(1): 27-41.

[9]何楨，呂海利. 多元質(zhì)量特性穩(wěn)健性設(shè)計(jì)方法的優(yōu)化研究 [J]. 管理科學(xué). 2007, 20(1): 2-7.

HEZ,LYUH.Optimizationresearchonrobustdesignwithmultiplequalitycharacteristics[J].JournalofManagementSciences, 2007, 20(1): 2-7.

[10]SIBALIJATV,MAJSTOROVICVD.Multi-responseoptimisationofthermosoniccopperwire-bondingprocesswithcorrelatedresponses[J].TheInternationalJournalofAdvancedManufacturingTechnology, 2009, 42(3-4): 363-371.

[11]SHAHHK,MONTGOMERYDC,CARLYLEWM.Responsesurfacemodelingandoptimizationinmultiresponseexperimentsusingseeminglyunrelatedregressions[J].QualityEngineering, 2004, 16(3): 387-397.

[12]PETERSONJJ,MIRO-QUESADAG,DELCASTILLOE.ABayesianreliabilityapproachtomultipleresponseoptimizationwithseeminglyunrelatedregressionmodels[J].QualityTechnologyandQuantitativeManagement, 2009, 6(4): 353-369.

An Improved Loss Function Approach for Multi-response Optimization Using Seemingly Unrelated Regressions

ZHANG Xutao1,2，HE Zhen2, BI Hailing1

(1. Department of Equipment Support, Military Transportation University, Tianjin 300161, China;2. College of Management and Economics, Tianjin University, Tianjin 300072, China)

Multi-response optimization with correlated responses in complex product or process is studied. The seemingly unrelated regression method is employed to improve traditional loss function approach. Correlations among responses are considered both in the model fitting phase and in the optimization phase. Illustrated example shows that the proposed approach can lead to an optimal solution with smaller expected quality loss. The approach overcomes the drawback of traditional method which ignores the correlation or only considers the correlation in the optimization phase. It is an important improvement on the conventional loss function method.

seemingly unrelated regressions; multi-response optimization; loss function; response surface methodology; correlations among responses

2015- 10- 16

國家自然科學(xué)基金委杰出青年基金資助項(xiàng)目(71225006)

張旭濤(1981-)，男，河南省人， 講師， 博士，主要研究方向?yàn)橘|(zhì)量管理、試驗(yàn)設(shè)計(jì)等.

10.3969/j.issn.1007- 7375.2016.06.008

F406.3

A

1007-7375(2016)06- 0051- 05