程 進(jìn)，王 堅(jiān)

(同濟(jì)大學(xué) CIMS研究中心，上海 200092) (*通信作者電子郵箱1410tankchj@#edu.cn)

基于多任務(wù)學(xué)習(xí)的煉鋼終點(diǎn)預(yù)測方法

程 進(jìn)*，王 堅(jiān)

(同濟(jì)大學(xué) CIMS研究中心，上海 200092) (*通信作者電子郵箱1410tankchj@#edu.cn)

鋼水質(zhì)量通常根據(jù)終點(diǎn)命中率來判斷，但煉鋼過程影響因素眾多，機(jī)理分析難以準(zhǔn)確預(yù)測終點(diǎn)溫度和含碳量，鑒于此，提出一種由數(shù)據(jù)驅(qū)動(dòng)的多任務(wù)學(xué)習(xí)(MTL)煉鋼終點(diǎn)預(yù)測方法。首先，分析并提取煉鋼過程的輸入和輸出要素，結(jié)合煉鋼兩階段吹煉特點(diǎn)選擇多個(gè)子學(xué)習(xí)任務(wù)；其次，根據(jù)子任務(wù)與終點(diǎn)參數(shù)的相關(guān)性選擇合適的子任務(wù)，提升終點(diǎn)預(yù)測的準(zhǔn)確度并構(gòu)建多任務(wù)學(xué)習(xí)模型，再對(duì)模型輸出結(jié)果進(jìn)行二次優(yōu)化；最后，通過近端梯度算法對(duì)處理后的生產(chǎn)數(shù)據(jù)進(jìn)行模型訓(xùn)練，獲取多任務(wù)學(xué)習(xí)模型的過程參數(shù)。以某鋼廠為案例，該方法相比神經(jīng)網(wǎng)絡(luò)在終點(diǎn)溫度12℃誤差范圍內(nèi)和終點(diǎn)含碳量0.01%誤差內(nèi)的準(zhǔn)確度提升了10%，誤差范圍6℃和0.005%的預(yù)測準(zhǔn)確度分別提升了11%和7%。實(shí)驗(yàn)結(jié)果表明，多任務(wù)學(xué)習(xí)在實(shí)際中能夠提升終點(diǎn)預(yù)測的準(zhǔn)確性。

產(chǎn)品質(zhì)量預(yù)測；煉鋼終點(diǎn)預(yù)測；數(shù)據(jù)驅(qū)動(dòng)；多任務(wù)學(xué)習(xí)；近端梯度算法

0 引言

制造業(yè)全球化競爭日益加?。阂环矫妫瑐鹘y(tǒng)制造企業(yè)面臨本國和外國的雙重壓力，提高產(chǎn)品質(zhì)量刻不容緩；另一方面，綠色生產(chǎn)，節(jié)約成本又要求制造企業(yè)能夠有效提升成品率。產(chǎn)品質(zhì)量預(yù)測是在生產(chǎn)前通過對(duì)原材料、設(shè)備和相關(guān)因素的分析，提前對(duì)最終產(chǎn)品質(zhì)量進(jìn)行評(píng)估的一種方法，通過此類預(yù)測企業(yè)可以根據(jù)結(jié)果相應(yīng)地調(diào)整原材料配比或生產(chǎn)設(shè)備，避免不必要的經(jīng)濟(jì)損失。尤其對(duì)鋼鐵企業(yè)來說，因?yàn)閱闻萎a(chǎn)量大，質(zhì)量瑕疵往往造成大量的經(jīng)濟(jì)損失，產(chǎn)品質(zhì)量的準(zhǔn)確預(yù)測就顯得至關(guān)重要。

煉鋼是鋼鐵生產(chǎn)的必需環(huán)節(jié)之一，尤其是轉(zhuǎn)爐煉鋼，單批次的鋼水產(chǎn)量達(dá)上百噸，提升鋼水質(zhì)量對(duì)鋼企降低成本、實(shí)現(xiàn)節(jié)能減排具有關(guān)鍵意義[1]。轉(zhuǎn)爐煉鋼是將鐵水、廢鋼、鐵合金以及一些副料通過高爐加熱，通過復(fù)雜的化學(xué)和物理反應(yīng)，將鐵水中的硫、磷等對(duì)鋼鐵性能產(chǎn)生負(fù)面影響的元素進(jìn)行置換，同時(shí)根據(jù)后續(xù)工藝要求獲得符合產(chǎn)品性能條件的鋼水的過程。其中，氧氣轉(zhuǎn)爐由于單爐產(chǎn)量大，吹煉時(shí)間短、熱效率高、升溫速度快等優(yōu)點(diǎn)得到了廣泛的應(yīng)用[2]。

通常，鋼水質(zhì)量通過終點(diǎn)命中情況來判斷其否是達(dá)標(biāo)。終點(diǎn)參數(shù)中終點(diǎn)碳含量和終點(diǎn)溫度是判斷鋼水符合產(chǎn)品質(zhì)量的重要指標(biāo)。整個(gè)煉鋼過程也是要求出爐的鋼水盡可能滿足指標(biāo)的規(guī)定范圍。

但煉鋼環(huán)節(jié)生產(chǎn)環(huán)境復(fù)雜、干擾因素多、生產(chǎn)多受企業(yè)實(shí)際情況影響，傳統(tǒng)的機(jī)理分析難以有效地預(yù)測鋼水的質(zhì)量，隨著數(shù)據(jù)科學(xué)的發(fā)展和成熟，以及企業(yè)對(duì)數(shù)據(jù)資源的重視，歷史生產(chǎn)數(shù)據(jù)可以反映出生產(chǎn)中外部條件變化對(duì)產(chǎn)品性能的影響，利用有效的手段充分發(fā)揮數(shù)據(jù)的作用，為有效提升轉(zhuǎn)爐終點(diǎn)參數(shù)預(yù)測提供了新角度。

1 數(shù)據(jù)驅(qū)動(dòng)的轉(zhuǎn)爐終點(diǎn)預(yù)測

為了最大概率命中終點(diǎn)參數(shù)，機(jī)理模型需要利用靜態(tài)模型和動(dòng)態(tài)模型對(duì)生產(chǎn)過程的各類輸入?yún)?shù)進(jìn)行預(yù)測(圖1)。靜態(tài)模型主要以鐵水?dāng)?shù)據(jù)和終點(diǎn)指標(biāo)為基準(zhǔn)，根據(jù)熱平衡和物料平衡構(gòu)建數(shù)學(xué)模型，計(jì)算煉鋼過程中各類原料的理論加入量。動(dòng)態(tài)模型則根據(jù)測量參數(shù)及理論指標(biāo)結(jié)合計(jì)算原料增加量，并在此進(jìn)行吹煉和測量，使之能盡可能達(dá)到終點(diǎn)指標(biāo)。

圖1 機(jī)理模型驅(qū)動(dòng)的轉(zhuǎn)爐煉鋼生產(chǎn)流程

為了根據(jù)實(shí)際生產(chǎn)環(huán)境進(jìn)行合理的預(yù)測，部分學(xué)者開始研究基于數(shù)據(jù)的預(yù)測方法，數(shù)據(jù)模型主要分為增量模型、統(tǒng)計(jì)模型和智能模型。增量模型和統(tǒng)計(jì)模型是對(duì)歷史生產(chǎn)數(shù)據(jù)進(jìn)行分析和修正，并根據(jù)當(dāng)前生產(chǎn)任務(wù)從歷史數(shù)據(jù)案例中發(fā)現(xiàn)相似和最好的生產(chǎn)工藝知識(shí)作為推薦[3]。王心哲等[4]利用因果關(guān)系分析對(duì)案例屬性進(jìn)行確認(rèn)，提升案例推理對(duì)轉(zhuǎn)爐靜態(tài)控制模型預(yù)測的有效性，袁平等[5]在案例推理基礎(chǔ)上加入增量補(bǔ)償，提高終點(diǎn)預(yù)報(bào)的精度，但案例推理的準(zhǔn)確度受限于案例庫規(guī)模，且難以對(duì)案例知識(shí)重現(xiàn)。隨著人工智能的發(fā)展，大量學(xué)者開始將終點(diǎn)參數(shù)預(yù)測與之相結(jié)合，其中神經(jīng)網(wǎng)絡(luò)模型最為突出。黃金俠等[6]和付佳等[7]結(jié)合靜態(tài)模型，計(jì)算部分輸入?yún)?shù)的理論結(jié)果，并以實(shí)際終點(diǎn)參數(shù)作為輸出，提升預(yù)測的精度。柴天佑等[8]和張輝宜等[9]則將徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于終點(diǎn)參數(shù)預(yù)測。Han等[10]利用反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network, BPNN)改進(jìn)后的極端學(xué)習(xí)機(jī)用于連續(xù)時(shí)間的終點(diǎn)預(yù)測，并利用膜進(jìn)化算法減小模型的過擬合問題。趙曉東等[2]根據(jù)耦合多變系統(tǒng)原理，利用多輸入輸出神經(jīng)網(wǎng)絡(luò)進(jìn)行終點(diǎn)參數(shù)預(yù)報(bào)。此外，王安娜等[1]將粒子群算法用于BPNN權(quán)值計(jì)算，提高預(yù)測速度和精度，馮明霞[11]通過回阻抗算法改進(jìn)BPNN權(quán)值計(jì)算，提高學(xué)習(xí)收斂速度。

但以上數(shù)據(jù)驅(qū)動(dòng)的終點(diǎn)預(yù)測面臨同樣的問題，煉鋼企業(yè)雖然擁有大量的煉鋼歷史數(shù)據(jù)，同時(shí)也包含了大量的可變因素，如原料參數(shù)、設(shè)備、工作小組等，這些因素往往會(huì)影響工藝過程，使終點(diǎn)參數(shù)造成較大的偏差。為了提高預(yù)測的精度和體現(xiàn)再現(xiàn)性原理，在數(shù)據(jù)處理階段往往需要對(duì)離散屬性進(jìn)行篩選，保證條件和工藝操作的穩(wěn)定，以獲取相同的冶煉效果(圖2)[9]。最常用的篩選方法是根據(jù)相同鋼種的生產(chǎn)數(shù)據(jù)來預(yù)測終點(diǎn)參數(shù)。鋼企在生產(chǎn)計(jì)劃以訂單需求進(jìn)行編排，造成了雖然歷史生產(chǎn)數(shù)據(jù)總量很大，但訓(xùn)練模型可用的樣本卻不多的問題。而該問題也導(dǎo)致了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練欠擬合、預(yù)測結(jié)果不穩(wěn)定等現(xiàn)象。

圖2 終點(diǎn)參數(shù)預(yù)測神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程

基于此，本文提出了一種基于多任務(wù)學(xué)習(xí)的煉鋼終點(diǎn)參數(shù)預(yù)測方法。將終點(diǎn)溫度和終點(diǎn)碳含量作為主任務(wù)，根據(jù)煉鋼兩階段吹煉特點(diǎn)選擇多個(gè)子學(xué)習(xí)任務(wù)并計(jì)算與主任務(wù)的相關(guān)度，選擇相關(guān)度相對(duì)較大的預(yù)測任務(wù)同時(shí)與主任務(wù)作為多任務(wù)學(xué)習(xí)的輸出，提升對(duì)主任務(wù)的預(yù)測能力，最后利用子任務(wù)預(yù)測結(jié)果二次優(yōu)化主任務(wù)的預(yù)測精度，該方法可以有效改善在訓(xùn)練樣本欠缺的情況下神經(jīng)網(wǎng)絡(luò)的訓(xùn)練精度，同時(shí)提升對(duì)終點(diǎn)參數(shù)的預(yù)測能力。

2 多任務(wù)學(xué)習(xí)

多任務(wù)學(xué)習(xí)(Multi-Task Learning, MTL)是利用歸納轉(zhuǎn)移機(jī)理，對(duì)訓(xùn)練樣本選取多個(gè)訓(xùn)練目標(biāo)，根據(jù)目標(biāo)間特定的相關(guān)信息來提升學(xué)習(xí)系統(tǒng)的泛化性能力的方法[12]。與傳統(tǒng)機(jī)器學(xué)習(xí)中的單任務(wù)學(xué)習(xí)(Single-Task Learning, STL)不同，MTL充分利用了多個(gè)任務(wù)之間的相關(guān)信息來提升任務(wù)之間的可識(shí)別度或預(yù)測能力。傳統(tǒng)的STL模型雖然可以對(duì)樣本進(jìn)行準(zhǔn)確的分類，但由于訓(xùn)練樣本的數(shù)量有限，導(dǎo)致部分?jǐn)?shù)據(jù)特征被忽視從而引起模型欠擬合，在實(shí)際的應(yīng)用中不能獲得較好的效果。MTL通過放松部分訓(xùn)練樣本與主任務(wù)之間的關(guān)系，同時(shí)相關(guān)任務(wù)利用潛在數(shù)據(jù)特征，提升模型訓(xùn)練效果，從而實(shí)現(xiàn)模型的泛化能力。目前，MTL主要解決圖像識(shí)別、文本識(shí)別等相關(guān)分類問題。

與單任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(Single-Task Learning Neural Network, STLNN)相比(圖3)[12]，多任務(wù)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)(Multi-Task Learning Neural Network, MTLNN)采用多個(gè)任務(wù)同一隱層的方式，每個(gè)隱層的輸出將作為多個(gè)任務(wù)輸入。MTLNN通過多任務(wù)共享隱層的機(jī)制，可以有效地提取任務(wù)之間的共同信息，克服由于訓(xùn)練樣本不足而導(dǎo)致的網(wǎng)絡(luò)訓(xùn)練不足，但這種特性導(dǎo)致MTLNN的預(yù)測性能依賴于主任務(wù)和子任務(wù)之間的相關(guān)性，若主任務(wù)和子任務(wù)之間相互獨(dú)立，網(wǎng)絡(luò)性能不僅不能提升，反而加大了訓(xùn)練難度，甚至可能影響預(yù)測能力。

圖3 基于神經(jīng)網(wǎng)絡(luò)的STL與MTL對(duì)比

3 轉(zhuǎn)爐終點(diǎn)參數(shù)預(yù)測模型

轉(zhuǎn)爐煉鋼中靜態(tài)模型通常確定了原料加入量的大致范圍，鋼企在配置后通常已經(jīng)對(duì)鐵水量(各類元素含量)、副原料量(白云石、石灰、鎂球)、廢鋼量(廢鋼種類)、初始礦石量等參數(shù)進(jìn)行了確定。一次吹煉結(jié)束后，根據(jù)鋼水溫度和碳含量和終點(diǎn)指標(biāo)對(duì)比并利用動(dòng)態(tài)模型預(yù)測原料補(bǔ)加量，這些量包括了補(bǔ)吹氧氣量、礦石加入量、冷卻劑等，該類變量可以作為子任務(wù)。二次吹煉的終點(diǎn)參數(shù)作為預(yù)測對(duì)象和MTL中的主任務(wù)。

3.1 任務(wù)相關(guān)性分析

多任務(wù)學(xué)習(xí)模型構(gòu)建前，首先需要尋找主任務(wù)和與之相關(guān)的子任務(wù)。通常，多任務(wù)學(xué)習(xí)主任務(wù)與其相關(guān)任務(wù)要具有相同的輸入變量，在確定了相關(guān)任務(wù)后，從中選擇相關(guān)度較大的任務(wù)作為子任務(wù)為模型提供預(yù)測參數(shù)。

(1)

表1 終點(diǎn)溫度的主任務(wù)與子任務(wù)相關(guān)系數(shù)

3.2 多任務(wù)神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)屬于人工智能中一種復(fù)雜的網(wǎng)絡(luò)模型，通過模擬人腦中神經(jīng)元之間的信息傳遞過程實(shí)現(xiàn)對(duì)不同的信息反映并提供不同的行為方式。不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以用于分類、擬合或預(yù)測，其中BPNN由于對(duì)復(fù)雜非線性具有較強(qiáng)的映射能力，在對(duì)內(nèi)在復(fù)雜問題的求解上具有優(yōu)勢。轉(zhuǎn)爐煉鋼過程雖然具有大量的機(jī)理模型對(duì)終點(diǎn)參數(shù)進(jìn)行預(yù)測，但由于生產(chǎn)環(huán)境和設(shè)備等不穩(wěn)定因素的影響其預(yù)測結(jié)果并不理想，由于神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的魯棒性可以有效減小不良因素對(duì)結(jié)果的影響。根據(jù)BPNN結(jié)構(gòu)構(gòu)建轉(zhuǎn)爐終點(diǎn)溫度預(yù)測多任務(wù)神經(jīng)網(wǎng)絡(luò)模型。

神經(jīng)網(wǎng)絡(luò)權(quán)值矩陣：

W2∈R3×(q+1)

權(quán)值矩陣中除了輸入?yún)?shù)權(quán)值外還加入一維常系數(shù)權(quán)值向量。

圖4中d表示輸入?yún)?shù)的數(shù)量，輸入?yún)?shù)為煉鋼實(shí)際生產(chǎn)中實(shí)測的原料量、配比和相關(guān)記錄數(shù)據(jù)。q表示神經(jīng)網(wǎng)絡(luò)隱層數(shù)量，為簡單說明問題本文采用單隱層的BPNN結(jié)構(gòu)。輸出參數(shù)則分為主任務(wù)和子任務(wù)，主任務(wù)為終點(diǎn)溫度，子任務(wù)為總吹氧量和礦石補(bǔ)加量。

圖4 基于MTL的終點(diǎn)預(yù)測神經(jīng)網(wǎng)絡(luò)模型

隱層網(wǎng)絡(luò)結(jié)構(gòu)：

H=W1X

(2)

X={x1,x2,…,xN}，xi=(xi1,xi2,…,xid,b1)T，b1為常數(shù),H∈Rq×N。

隱層網(wǎng)絡(luò)激活函數(shù)選擇雙曲正切函數(shù)：

(3)

預(yù)測輸出表示為：

(4)

3.3 主任務(wù)預(yù)測值優(yōu)化

為了提高預(yù)測精度，減小預(yù)測誤差，充分利用多任務(wù)神經(jīng)網(wǎng)絡(luò)輸出之間的相關(guān)性，通過多任務(wù)的改進(jìn)聯(lián)合概率預(yù)測主任務(wù)的誤差變化正負(fù)和絕對(duì)值大小，從而達(dá)到對(duì)主任務(wù)的預(yù)測值優(yōu)化的作用。

優(yōu)化后的預(yù)測函數(shù)表示為：

(5)

(6)

(7)

(8)

(9)

其中：δsub表示每個(gè)子任務(wù)預(yù)測值與期望值的標(biāo)準(zhǔn)差，r(2)∈R1×2，表示主任務(wù)誤差與兩個(gè)子任務(wù)的相關(guān)系數(shù)向量。相關(guān)性越大，子任務(wù)預(yù)測值對(duì)主任務(wù)誤差優(yōu)化的作用越大。

4 多任務(wù)神經(jīng)網(wǎng)絡(luò)訓(xùn)練

神經(jīng)網(wǎng)絡(luò)的預(yù)測精度取決于網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的傳遞權(quán)值，對(duì)單任務(wù)神經(jīng)網(wǎng)絡(luò)而言，網(wǎng)絡(luò)中權(quán)值訓(xùn)練僅需要考慮過擬合問題，最優(yōu)權(quán)值表示為式(10):

(10)

其中：Γ(X,y,W)表示為訓(xùn)練集的經(jīng)驗(yàn)損失函數(shù)，Ρ(W)為正則化項(xiàng)，用來避免網(wǎng)絡(luò)過擬合，λ>0為正則化參數(shù)。

多任務(wù)學(xué)習(xí)還需要考慮每個(gè)任務(wù)的經(jīng)驗(yàn)損失函數(shù)在總經(jīng)驗(yàn)損失函數(shù)中所占的比例問題，不同的比例決定了不同任務(wù)提供的共享信息的重要程度。本文中總經(jīng)驗(yàn)損失函數(shù)函數(shù)定義為：

(11)

(12)

其中:Γ(X,y,W)是可微函數(shù)，Ρ(W)是一個(gè)閉的凸函數(shù)，可以利用近端梯度算法[13]求解該問題，近端梯度算法表示為:

Wk+1=Proxχk,p(Wk-χk▽?duì)?X,y,Wk))

(13)

其中:χk表示梯度下降步長，利用近端算子Proxχk,p(·)將結(jié)果投影到p空間，χk也表示投影參數(shù)。χk的選擇決定了算法是否收斂，本文采用線搜索算法對(duì)χk求解[14]。其中判決收斂的函數(shù)被定義為:

(14)

根據(jù)上述內(nèi)容對(duì)多任務(wù)神經(jīng)網(wǎng)絡(luò)權(quán)值進(jìn)行訓(xùn)練：

步驟1 初始化各類參數(shù)χk、β、λ、η、迭代次數(shù)S，確定隱層結(jié)構(gòu)和隱層數(shù)量。

步驟2 對(duì)權(quán)值矩陣W1、W2初始化,記作Wk，在[-1,1]隨機(jī)取值。

步驟3 對(duì)輸入?yún)?shù)和目標(biāo)變量標(biāo)準(zhǔn)化，參數(shù)范圍約束在[-1,1]。

(15)

其中:xmax是每個(gè)輸出參數(shù)額定最大值組成的向量,xmin是每個(gè)輸出參數(shù)額定最小值組成的向量。

步驟5 將標(biāo)準(zhǔn)化后的輸入?yún)?shù)代入目標(biāo)函數(shù)：

f(W)=Γ(X,y,W)+λ‖W‖2

(16)

求得預(yù)測誤差E，若E<η或者訓(xùn)練代數(shù)k=S，則跳入步驟9；否則k=k+1，進(jìn)入步驟6。

步驟6 利用式(13)計(jì)算新的權(quán)值矩陣Wk+1，并將Wk+1代入到式(11)和式(14)。

步驟8 更新χk，讓?duì)謐+1=βχk，返回步驟5。

步驟9 結(jié)束訓(xùn)練，輸出最優(yōu)的權(quán)值矩陣W*。

5 實(shí)驗(yàn)驗(yàn)證

5.1 數(shù)據(jù)處理

實(shí)驗(yàn)數(shù)據(jù)來自某鋼廠2012年下半年6個(gè)月的轉(zhuǎn)爐煉鋼生產(chǎn)記錄。生產(chǎn)記錄總共5 865爐次鋼水生產(chǎn)過程數(shù)據(jù)，其中包括了爐座信息、班組信息、鋼水計(jì)劃目標(biāo)值、兩次吹煉的原料加入量信息、補(bǔ)吹信息、過程測量值以及鋼水最終的命中情況共659個(gè)屬性類。一方面，由于部分關(guān)鍵參數(shù)是通過人工記錄的，關(guān)鍵屬性值會(huì)存在缺失或錯(cuò)誤如“0”值或空值；另一方面，不同類型鋼的煉鋼工藝會(huì)有區(qū)別，出于對(duì)企業(yè)知識(shí)產(chǎn)權(quán)的保護(hù)無法獲得詳細(xì)記錄，而這可能導(dǎo)致模型失真。鑒于以上情況，將缺失數(shù)據(jù)剔除并基于出鋼記號(hào)選擇生產(chǎn)記錄較多的鋼作為研究對(duì)象，并最終確定采用AP655K1類鋼的899爐次生產(chǎn)記錄。通過篩選得到輸出參數(shù)5項(xiàng)(表2)，22個(gè)參數(shù)作為輸入屬性(表3)。

5.2 模型選擇

首先計(jì)算終點(diǎn)參數(shù)與輸出參數(shù)之間的相關(guān)系數(shù)(表1和表4)，令γr=0.4，則總吹氧量和礦石補(bǔ)加量同時(shí)作為終點(diǎn)溫度和終點(diǎn)碳含量的子任務(wù)。以699爐次數(shù)據(jù)作為訓(xùn)練樣本集，以200爐次作為測試集。分別構(gòu)建以終點(diǎn)溫度和終點(diǎn)碳含量為主任務(wù)，總吹氧量和礦石補(bǔ)加量為子任務(wù)的本文MTL模型、MTLNN和STLNN模型。利用近端梯度算法訓(xùn)練以上三個(gè)模型的BPNN，其中χ0=4，β=0.5，λ=0.3，η=0.001，迭代次數(shù)為200次。本文采用遍歷的方式確定單隱層STLNN和MTLNN的最佳結(jié)構(gòu)，隱層神經(jīng)元數(shù)從3到30個(gè)，每種結(jié)構(gòu)重復(fù)100次并選取在訓(xùn)練樣本集上使式(16)最小的值(圖5)。其中：(a)為終點(diǎn)溫度模型計(jì)算的總經(jīng)驗(yàn)損失函數(shù)值，兩個(gè)模型在隱層神經(jīng)元數(shù)為14時(shí)獲得最優(yōu)；(b)為終點(diǎn)碳含量模型的值，兩個(gè)模型在隱層神經(jīng)元數(shù)為17時(shí)最優(yōu)，min1和min2分別對(duì)應(yīng)STLNN和MTLNN最小總經(jīng)驗(yàn)損失函數(shù)的解。

表2 輸出參數(shù)統(tǒng)計(jì)量

表3 輸入數(shù)據(jù)統(tǒng)計(jì)量

表4 終點(diǎn)碳含量的主任務(wù)與子任務(wù)相關(guān)系數(shù)

圖5 MTLNN和STLNN模型訓(xùn)練結(jié)果

5.3MIV分析

平均影響值(MeanImpactValue,MIV)分析用于研究神經(jīng)網(wǎng)絡(luò)中輸入變量對(duì)輸出變量的影響程度，本文利用該方法來識(shí)別STLNN和MTLNN模型中各輸入屬性對(duì)終點(diǎn)參數(shù)的影響。首先選取一個(gè)輸入屬性，將其取值分別增加10%和減少10%，生成兩個(gè)新樣本集，其次，將新樣本集分別代入訓(xùn)練好的STLNN和MTLNN模型中再次計(jì)算預(yù)測結(jié)果，最后，求兩個(gè)新樣本集預(yù)測結(jié)果平均差值絕對(duì)值。通過此步驟依次計(jì)算22個(gè)輸入屬性對(duì)終點(diǎn)溫度的影響(圖6)。

圖6 MTLNN和STLNN模型的MIV分析

22個(gè)輸入?yún)?shù)依次對(duì)應(yīng)表3，MIV值越大表示該屬性相對(duì)其他輸入?yún)?shù)對(duì)終點(diǎn)溫度的預(yù)測影響程度越大，兩個(gè)模型中錳含量、鐵水溫度和抑制劑量均為影響程度前3的屬性，之后MTLNN模型中廢鐵總量、鐵水量和石灰量均高于其他屬性0.025以上，但STLNN模型C類廢鋼量和D類廢鋼量對(duì)模型的影響程度也依然很高，5個(gè)屬性的相對(duì)MIV值在0.6～0.7，表明了兩個(gè)模型對(duì)終點(diǎn)溫度預(yù)測時(shí)所參考的輸入?yún)?shù)權(quán)重不同，而該特點(diǎn)將影響模型對(duì)新樣本的適應(yīng)度，即模型的泛化能力。

5.4 模型對(duì)比

將本文MTL模型、MTLNN和STLNN模型應(yīng)用到測試數(shù)據(jù)中，驗(yàn)證模型對(duì)未知輸入數(shù)據(jù)的預(yù)測準(zhǔn)確度。

圖7 三種方法對(duì)終點(diǎn)溫度和碳含量的預(yù)測結(jié)果比較

圖8表示三種方法的終點(diǎn)碳含量預(yù)測值與實(shí)際鋼水碳含量的測量值的絕對(duì)誤差波動(dòng)范圍。從總體上看本文MTL模型的預(yù)測誤差波動(dòng)幅度要小于MTLNN和STLNN模型。針對(duì)訓(xùn)練數(shù)據(jù)集(Training)：本文MTL模型的預(yù)測誤差波動(dòng)幅度和MTLNN模型近似，在[-0.034,0.023]區(qū)間內(nèi)；STLNN模型誤差較大，在[-0.033,0.039]區(qū)間內(nèi)，負(fù)絕對(duì)誤差比本文MTL模型低了0.001，但正絕對(duì)誤差高出0.016。在測試數(shù)據(jù)集(Testing)上：本文MTL模型比MTLNN模型正絕對(duì)誤差低0.006，負(fù)絕對(duì)誤差低0.004；同時(shí)本文MTL模型比STLNN模型正絕對(duì)誤差低0.014，負(fù)絕對(duì)誤差低0.007。基于MTL模型的絕對(duì)誤差波動(dòng)區(qū)間小于STL模型，意味著MTL模型具有相對(duì)更準(zhǔn)確的預(yù)測能力。本文MTL模型與MTLNN模型相比，對(duì)訓(xùn)練數(shù)據(jù)集的預(yù)測波動(dòng)近似，主要由于對(duì)預(yù)測值進(jìn)行優(yōu)化中需要考慮誤差正負(fù)問題，而部分點(diǎn)的誤差正負(fù)概率通常不會(huì)極端表現(xiàn)為負(fù)誤差或正誤差，所以在優(yōu)化中不僅會(huì)縮小誤差，同時(shí)也有可能增大誤差，但在測試數(shù)據(jù)集上誤差范圍縮小了0.01，表明本文MTL模型具有更好的泛化能力，即實(shí)際的預(yù)測能力。

表5 終點(diǎn)溫度預(yù)測和終點(diǎn)碳含量預(yù)測對(duì)比 %

圖8 三種方法在終點(diǎn)碳含量預(yù)測中的誤差線對(duì)比

6 結(jié)語

針對(duì)鋼水質(zhì)量預(yù)測問題，本文提出了一種基于多任務(wù)學(xué)習(xí)的煉鋼終點(diǎn)預(yù)測方法，該方法與傳統(tǒng)數(shù)據(jù)驅(qū)動(dòng)方法相比可以解決由于樣本數(shù)量不足導(dǎo)致模型預(yù)測精度不足和泛化能力弱的問題。該方法主要特點(diǎn)在于利用多個(gè)子任務(wù)優(yōu)化模型對(duì)主任務(wù)的學(xué)習(xí)能力，同時(shí)協(xié)助優(yōu)化主任務(wù)。通過實(shí)際數(shù)據(jù)驗(yàn)證，該方法比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在終點(diǎn)溫度12℃誤差范圍內(nèi)和終點(diǎn)含碳量0.01%誤差內(nèi)的預(yù)測準(zhǔn)確度提升了10%，誤差范圍6℃和0.005%的預(yù)測準(zhǔn)確度分別提升了11%和7%，同時(shí)表現(xiàn)出了較強(qiáng)的泛化能力。

本文只考慮了在單一鋼種的情況下利用多任務(wù)學(xué)習(xí)方法進(jìn)行預(yù)測，下一步工作將考慮更多結(jié)合離散屬性，增加模型對(duì)多鋼種的終點(diǎn)參數(shù)預(yù)測能力。

)

[1] 王安娜,陶子玉,姜茂發(fā),等.基于PSO和BP網(wǎng)絡(luò)的LF爐鋼水溫度智能預(yù)測[J].控制與決策,2006,21(7):814-816.(WANGAN,TAOZY,JIANGMF,etal.IntelligencetemperaturepredictionofmoltensteelinLFbasedonPSOcombinedwithBPneuralnetwork[J].ControlandDecision, 2006, 21(7): 814-816.)

[2] 趙曉東,徐生林,楊成忠.轉(zhuǎn)爐煉鋼多變量神經(jīng)網(wǎng)絡(luò)預(yù)報(bào)模型[J].化工學(xué)報(bào),2010,61(8):2111-2115.(ZHAOXD,XUSL,YANGCZ.MultivariableneuralnetworkpredictivemodelforBOFsteelmaking[J].JournalofChemicalIndustryandEngineering(China), 2010, 61(8): 2111-2115.)

[3] 薄洪光,劉曉冰,馬躍,等.基于粗糙集的鋼鐵行業(yè)工藝知識(shí)發(fā)現(xiàn)方法[J].計(jì)算機(jī)集成制造系統(tǒng),2009,15(1):135-141.(BOHG,LIUXB,MAY,etal.Roughsetbasedprocessknowledgediscoveryapproachinironandsteelindustry[J].ComputerIntegratedManufacturingSystems, 2009, 15(1): 135-141.)

[4] 王心哲,韓敏.基于因果關(guān)系的CBR模型用于轉(zhuǎn)爐煉鋼靜態(tài)控制[J].大連理工大學(xué)學(xué)報(bào),2011,51(4):593-598.(WANGXZ,HANM.Causality-basedCBRmodelforstaticcontrolofconvertersteelmaking[J].JournalofDalianUniversityofTechnology, 2011, 51(4): 593-598.)

[5] 袁平,王福利,毛志忠.基于案例推理的電弧爐終點(diǎn)預(yù)報(bào)[J].東北大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,32(12):1673-1676.(YUANP,WANGFL,MAOZZ.CBRbasedendpointpredictionofEAF[J].JournalofNortheasternUniversity(NaturalScience), 2011, 32(12): 1673-1676.)

[6] 黃金俠,金寧德.轉(zhuǎn)爐冶煉終點(diǎn)靜態(tài)控制預(yù)測模型[J].煉鋼,2006,22(1):45-48.(HUANGJX,JINND.Staticcontrolpredictivemodelforconverterrefiningendpoint[J].Steelmaking, 2006, 22(1): 45-48.)

[7] 付佳,陶百生,陳春雨,等.基于BP神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐供氧模型研究[J].冶金自動(dòng)化,2014,38(4):11-15.(FUJ,TAOBS,CHENCY,etal.ResearchonoxygenmodelforBOFbasedonBPneuralnetwork[J].MetallurgicalIndustryAutomation, 2014, 38(4): 11-15.)

[8] 柴天佑,謝書明，杜斌，等.基于RBF神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)爐煉鋼終點(diǎn)預(yù)報(bào)[J].中國有色金屬學(xué)報(bào),1999,9(4):868-872.(CHAITY,XIESM,DUB,etal.EndpointpredictionofbasicoxygenfurnacesteelmakingbasedonRBFneuralnetwork[J].TheChineseJournalofNonferrousMetals, 1999, 9(4): 68-872.)

[9] 張輝宜,周奇龍,袁志祥,等.樣本自選擇回歸分析算法在轉(zhuǎn)爐煉鋼中的應(yīng)用[J].鋼鐵研究學(xué)報(bào),2011,23(12):5-8.(ZHANGHY,ZHOUQL,YUANZX,etal.Applicationoftheregressionalgorithmbasedonsample-self-selectioninBOFsteelmaking[J].JournalofIronandSteelResearch, 2011, 23(12): 5-8.)

[10]HANM,LIUC.Endpointpredictionmodelforbasicoxygenfurnacesteel-makingbasedonmembranealgorithmevolvingextremelearningmachine[J].AppliedSoftComputing, 2014, 19(1): 430-437.

[11] 馮明霞,鄒宗樹,李強(qiáng).應(yīng)用改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型預(yù)報(bào)轉(zhuǎn)爐冶煉終點(diǎn)[J].煉鋼,2006,22(1):40-44.(FENGMX,ZOUZS,LIQ.Heatendpointpredictionofcombinedblownconverterbyimprovedartificialneuralnetworkmodel[J].Steelmaking, 2006, 22(1): 40-44.)

[12]CARUANAR.Multitasklearning[J].MachineLearning, 1997, 28(1): 41-75.

[13]ROCKAFELLARRT.Monotoneoperatorsandtheproximalpointalgorithm[J].SIAMJournalonControlandOptimization, 1976, 14(5): 877-898.

[14]LUOZQ,YUW.Anintroductiontoconvexoptimizationforcommunicationsandsignalprocessing[J].IEEEJournalonSelectedAreasinCommunications, 2006, 24(8): 1426-1438.

ThisworkispartiallysupportedbytheNationalKeyTechnologyR&DProgramofChina(2015BAF22B00).

CHENG Jin, born in 1989, Ph. D. candidate. His research interests include machine learning, computer integrated manufacturing.

WANG Jian, born in 1961, Ph. D., professor. His research interests include enterprise informatization, networked manufacturing and system integration.

Endpoint prediction method for steelmaking based on multi-task learning

CHENG Jin*, WANG Jian

(CIMSResearchCenter,TongjiUniversity,Shanghai200092,China)

The quality of the molten steel is usually judged by the hit rate of the endpoint. However, there are many influencing factors in the steelmaking process, and it is difficult to accurately predict the endpoint temperature and carbon content. In view of this, a data-driven Multi-Task Learning (MTL) steelmaking endpoint prediction method was proposed. Firstly, the input and output factors of steelmaking process were analyzed and extracted, and a number of sub-learning tasks were selected to combine the two-stage blowing characteristics of steelmaking. Secondly, according to the relativity between the sub-tasks and the endpoint parameters, the appropriate subtasks were selected to improve the accuracy of the endpoint prediction, and the multi-task learning model was constructed, and the model output was optimized twice. Finally, the process parameters of the multitask learning model were obtained by model training of the processed production data through the proximal gradient algorithm. In the case of a steel plant, compared with neural network, the prediction accuracy of the method proposed increased 10% when endpoint temperature error was less than 12℃ and carbon content error was less than 0.01%. The prediction accuracy increased by 11% and 7% respectively with the error range less than 6℃ and 0.005%. The experimental results show that multi-task learning can improve the accuracy of endpoint prediction in practice.

product quality prediction; endpoint prediction for steelmaking; data driven; Multi-Task Learning (MTL); proximal gradient algorithm

2016- 08- 24;

2016- 10- 24。

國家科技支撐計(jì)劃資助項(xiàng)目(2015BAF22B00)。

程進(jìn)(1989—)，男，上海人，博士研究生，主要研究方向：機(jī)器學(xué)習(xí)、計(jì)算機(jī)集成制造； 王堅(jiān)(1961—)，男，山東淄博人，教授，博士，主要研究方向：企業(yè)信息化、網(wǎng)絡(luò)化制造與系統(tǒng)集成。

1001- 9081(2017)03- 0889- 07

10.11772/j.issn.1001- 9081.2017.03.889

TP273+.5

A