張 洪

(上海寶信軟件股份有限公司工業(yè)互聯(lián)網(wǎng)研究院/大數(shù)據(jù)中心 上海：201203)

0 引言

廢鋼是一種可循環(huán)再生利用的寶貴資源，是鋼鐵生產(chǎn)，尤其是短流程工藝煉鋼中的重要原料。相較于以鐵礦石為主要原料的傳統(tǒng)長流程煉鋼，以廢鋼為原料的短流程煉鋼在碳排放方面有明顯優(yōu)勢。為達(dá)到國家提出的碳達(dá)峰、碳中和的目標(biāo)，廢鋼在鋼鐵冶煉行業(yè)中的應(yīng)用必將受到重視。另一方面，我國作為鋼鐵生產(chǎn)和消費(fèi)大國，對海外的鐵礦石資源高度依賴。提高原料中廢鋼占比，可以緩解行業(yè)市場受制于人的局面，因此廢鋼加工生產(chǎn)企業(yè)在未來將有廣闊的發(fā)展前景。

對于廢鋼加工企業(yè)而言，掌控廢鋼市場采購和銷售價格是企業(yè)控制成本和提高利潤的關(guān)鍵因素。準(zhǔn)確預(yù)測未來廢鋼價格波動，判斷未來廢鋼供需關(guān)系，可以指導(dǎo)企業(yè)提前制定合適的策略，選擇正確的時機(jī)采購以及銷售合適的產(chǎn)品。另外，即將推出的廢鋼期貨使得廢鋼具備了金融屬性，價格預(yù)測結(jié)果可以幫助相關(guān)企業(yè)制定套期保值方案，甚至構(gòu)建相關(guān)的投資策略?；谏鲜龇治?，相關(guān)從業(yè)者亟需一套廢鋼價格預(yù)測方法論。

目前業(yè)內(nèi)對此問題的研究，主要集中于通過分析上下游相關(guān)行業(yè)的運(yùn)行走勢，結(jié)合從業(yè)者的市場經(jīng)驗(yàn)，人為給出定性的判斷，定量的研究成果比較有限。本次研究運(yùn)用大數(shù)據(jù)與人工智能前沿技術(shù)，通過分析歷史數(shù)據(jù)，建立深度學(xué)習(xí)模型，提供廢鋼未來價格走勢的若干量化預(yù)測結(jié)果。

1 研究背景

國內(nèi)廢鋼價格定量研究的相關(guān)工作目前主要集中于探索廢鋼與替代品價格的相關(guān)性分析。在文獻(xiàn)[1]中，作者通過對廢鋼價格和鐵礦石普指價格做因果關(guān)系檢驗(yàn)，得出了普指價格能深度影響廢鋼價格，但廢鋼價格對普指價格影響較弱的結(jié)論。但以廢鋼歷史價格變化作為一個時間序列，進(jìn)而建模預(yù)測未來價格趨勢的研究成果較少。

關(guān)聯(lián)下游行業(yè)中，鋼材產(chǎn)品如螺紋鋼、熱軋卷板等市場價格的建模預(yù)測，相對而言成果較多。如在文獻(xiàn)[2]、[4]、[6]中引入BP神經(jīng)網(wǎng)絡(luò)，文獻(xiàn)[3]中支持向量機(jī)(Support Vector Machine)，文獻(xiàn)[4]、[5]中引入時間序列ARMA模型等，對西本鋼材價格、熱軋鋼價格等指數(shù)做了短期波動或長期趨勢預(yù)測，其預(yù)測精度也具有一定的實(shí)際參考價值。相關(guān)方法論也可探索遷移至廢鋼領(lǐng)域。

如果以目前市場中最具影響力的廢鋼價格指數(shù)(如鋼之家廢鋼價格指數(shù))作為研究指標(biāo)，其可視為一種金融時間序列，相關(guān)研究成果也可作為重要參考來源。近年來，隨著計(jì)算機(jī)技術(shù)的發(fā)展，深度學(xué)習(xí)已被廣泛應(yīng)用于金融時間序列預(yù)測上，尤其是以長短時記憶神經(jīng)網(wǎng)絡(luò)(LSTM，Long-Short Term Memory)為代表的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN, Recurrent Neural Network)，展現(xiàn)出相較于傳統(tǒng)統(tǒng)計(jì)方法在精度和效率上的優(yōu)勢，如在文獻(xiàn)[7]、[8]中，不論是以道瓊斯、標(biāo)準(zhǔn)普爾為代表的指數(shù)預(yù)測，還是對英特爾等單只股票的價格預(yù)測，均能達(dá)到50%以上的趨勢預(yù)測準(zhǔn)確度。

相較上述模型，本次研究采用的主要算法模型——時間卷積網(wǎng)絡(luò)(TCN, Temporal Convolution Network)是深度學(xué)習(xí)領(lǐng)域在時序預(yù)測方面的更前沿技術(shù)。其本質(zhì)是用因果卷積和擴(kuò)張卷積進(jìn)行時間序列建模，相較循環(huán)神經(jīng)網(wǎng)絡(luò)，能捕捉更長時間維度(更長過往歷史)的信息，并且模型訓(xùn)練效率更高。文獻(xiàn)[9]中詳細(xì)說明了時間卷積網(wǎng)絡(luò)的特性，文獻(xiàn)[10]、[11]中探索其在股票指數(shù)預(yù)測問題的應(yīng)用，結(jié)果展示出其預(yù)測性能明顯優(yōu)于對應(yīng)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。

2 模型設(shè)計(jì)

基于時間卷積網(wǎng)絡(luò)的廢鋼價格預(yù)測模型建立以及訓(xùn)練流程如圖1所示，包含如下幾個模塊。

圖1 廢鋼價格預(yù)測模型建模流程圖

2.1 數(shù)據(jù)準(zhǔn)備

建模目標(biāo)是鋼之家6-10mm重廢鋼價格指數(shù)。除此以外，還需要普氏鐵礦石指數(shù)、國內(nèi)港口鐵礦石庫存、鋼之家螺紋鋼現(xiàn)貨價格指數(shù)、螺紋鋼HRB400規(guī)格現(xiàn)貨價格、螺紋鋼期貨結(jié)算價與成交量、全國鋼廠螺紋鋼庫存與產(chǎn)線開工率、鋼企廢鋼庫存以及日均到貨量、國內(nèi)汽車產(chǎn)量、房地產(chǎn)開投完成額等12組數(shù)據(jù)作為候選變量。

2.2 特征選擇與數(shù)據(jù)預(yù)處理

通過Granger因果關(guān)系檢驗(yàn)，提取出與重廢鋼價格具備相關(guān)性的特征變量作為模型入?yún)ⅰ?/p>

為了提高深度學(xué)習(xí)模型訓(xùn)練時使用的梯度下降法的收斂速度，需要對源數(shù)據(jù)各字段做歸一化處理。本次使用的最大最小標(biāo)準(zhǔn)化方法，即

其中xsrc,xnew,xmax,xmin分別表示源數(shù)據(jù)，歸一化數(shù)據(jù)，源數(shù)據(jù)中的最大值和最小值。

2.3 訓(xùn)練集和測試集劃分

采用隨機(jī)采樣的方式，將源數(shù)據(jù)集按照85%的比例劃分為訓(xùn)練集,15%為測試集。其中訓(xùn)練集用于模型訓(xùn)練和交叉驗(yàn)證，測試集用于模型評估。

2.4 模型建立

此模型主體是帶2層時間卷積網(wǎng)絡(luò)的殘差模塊，并最終通過1層全連接層輸出最終的預(yù)測結(jié)果。其中所用的時間卷積網(wǎng)絡(luò)是通過3個因果卷積疊加而成的擴(kuò)張卷積網(wǎng)絡(luò)構(gòu)建殘差，再與1個1×1卷積核的卷積網(wǎng)絡(luò)組合而成。具體架構(gòu)如圖2，分別展示了模型全貌以及其中的核心時間卷積網(wǎng)絡(luò)(使用了大小為3的卷積核，四次擴(kuò)張因子依此為d=1,2,4,8)。

圖2 模型架構(gòu)與時間卷積網(wǎng)絡(luò)架構(gòu)

假設(shè)模型輸入表示為x=(xT,xT-1,…xT-n+1,xT-n),分別代表第T,T-1,…，T-n天的輸入向量(歸一化后的廢鋼價格以及其他相關(guān)指數(shù))，則經(jīng)過擴(kuò)張因子d,大小為k的卷積核以后，則第s天輸出為

這里f代表的是卷積核。以圖2為例，記經(jīng)歷一系列的擴(kuò)張卷積變換的結(jié)果為

G(x)=(F8F4F2F1)(F8F4F2F1)(x)

則模型的最終輸出為

o=D(ReLU(G(x)+C(x)))

這里C(x)是用于殘差計(jì)算的1×1卷積變換，ReLU是激活函數(shù)，D(x)是全連接層代表的函數(shù)。計(jì)算可知，在k=3,d=1,2,4,8時，模型可以通過使用過去33天的數(shù)據(jù)，預(yù)測未來1天的結(jié)果，并且不會容易出現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)常見的訓(xùn)練時梯度爆炸的問題，大大提高了模型捕捉信息的能力。

本次工作中，模型實(shí)現(xiàn)使用的tensorflow和keras框架，其中的時間卷積網(wǎng)絡(luò)是基于1維卷積層Conv1D加工得到。

2.5 模型訓(xùn)練與交叉驗(yàn)證

模型訓(xùn)練時參考的目標(biāo)是均方差損失函數(shù)，即未來一天真實(shí)價格與預(yù)測值(均經(jīng)過歸一化)誤差平方的平均值。在進(jìn)行模型評估時還考慮了價格趨勢預(yù)測的準(zhǔn)確率，即預(yù)測未來一天價格向上或者向下波動趨勢的準(zhǔn)確率。在最優(yōu)化均方差損失函數(shù)時，我們選擇了一種梯度下降算法Adam，相較其他算法，在效率和效果上均取得較好的平衡性。

通過對訓(xùn)練集做交叉驗(yàn)證，對模型的超參數(shù)進(jìn)行選擇。超參數(shù)主要包括梯度下降算法的學(xué)習(xí)速率、Dropout層的比率、TCN網(wǎng)絡(luò)卷積核大小、擴(kuò)張因子、輸出的特征個數(shù)等。另外合理的權(quán)重初始化策略也是保證模型訓(xùn)練收斂效果和速度的重要影響因素。本次工作中，最終選擇了k=2,d=1,2,4,8,f=4這樣的超參數(shù)組合決定模型架構(gòu)，其他關(guān)鍵選擇包括梯度下降算法的學(xué)習(xí)速率選定為0.001,Dropout層的比率選定為0.2。對卷積層權(quán)重用He Normal,對全連接層權(quán)重用Glorot Uniform兩種初始化策略進(jìn)行模型的訓(xùn)練，并經(jīng)過多次隨機(jī)實(shí)驗(yàn)，篩選出均方差最小的一組初值權(quán)重進(jìn)行模型重訓(xùn)練以及后續(xù)評估。

2.6 模型評估

為了評估模型實(shí)際預(yù)測的效果，本次研究對比了幾種基準(zhǔn)模型在廢鋼價格預(yù)測問題上的性能，包括了ARIMA模型，長短時記憶網(wǎng)絡(luò)LSTM，基于門控循環(huán)單元GRU的循環(huán)神經(jīng)網(wǎng)絡(luò)等。對比的指標(biāo)包括了在訓(xùn)練集以及測試集上均方差以及趨勢預(yù)測準(zhǔn)確率等。

3 實(shí)驗(yàn)結(jié)果

模型訓(xùn)練以及評估所用的數(shù)據(jù)范圍為2018年10月16日開始至2020年12月30日終止的鋼之家廢鋼價格指數(shù)，其發(fā)布頻率為按日發(fā)布。其他12個相關(guān)影響因子也采集同一時間范圍的數(shù)據(jù)，其中普氏鐵礦石指數(shù)、螺紋鋼現(xiàn)貨價格指數(shù)、HRB400現(xiàn)貨價格、螺紋鋼期貨結(jié)算價與成交量按日發(fā)布；港口鐵礦石庫存、鋼廠螺紋鋼庫存與產(chǎn)線開工率、鋼企廢鋼庫存以及日均到貨量、國內(nèi)汽車產(chǎn)量、房地產(chǎn)開投完成額按周或月發(fā)布，折算為日均數(shù)據(jù)進(jìn)行分析。

在將各組因子進(jìn)行歸一化處理以后，對各因子分別于廢鋼價格指數(shù)做Granger因果假設(shè)檢驗(yàn)，表1是F-test對應(yīng)的p值結(jié)果。由表1結(jié)果可見，螺紋鋼現(xiàn)貨、期貨價格以及鐵礦石指數(shù)都對廢鋼價格走勢有一定影響力，可對廢鋼價格預(yù)測有一定貢獻(xiàn)，因此將此3組變量作為外部影響因子選入模型參數(shù)。

模型的訓(xùn)練集和測試集大致按85：15的比例劃分，即選擇2018年10月16日開始至2020年8月31日終止的時間序列作為訓(xùn)練集，2020年9月1日開始至2020年12月30日終止的時間序列作為測試集。按照模型設(shè)計(jì)中TCN的描述，此模型是使用過往33天的數(shù)據(jù)預(yù)測未來1天的價格，即擬合如下函數(shù)，x34=f(x1,x2,…,x33)(xn表示第n天的廢鋼價格)，因此訓(xùn)練集中包含686條記錄，測試集中包含121條數(shù)據(jù)。

為了檢驗(yàn)?zāi)Ｐ偷男阅?，本次工作考慮了兩組指標(biāo)：(歸一化后)價格預(yù)測均方誤差以及價格趨勢預(yù)測準(zhǔn)確度。均方誤差是模型訓(xùn)練時的目標(biāo)損失函數(shù)；趨勢預(yù)測即預(yù)測未來一天價格漲或跌的趨勢，其準(zhǔn)確度定義為，在所有日期中，預(yù)測的漲跌趨勢與實(shí)際的結(jié)果相一致的天數(shù)所占的比例。均方誤差越小，趨勢預(yù)測準(zhǔn)確度越高，代表模型的性能越強(qiáng)。

依照模型設(shè)計(jì)中設(shè)定的超參數(shù)，模型訓(xùn)練和評估的結(jié)果如圖3所示。

圖3 模型訓(xùn)練均方誤差隨迭代次數(shù)變化圖

由圖3可見，模型經(jīng)過60次左右迭代以后，在訓(xùn)練集與測試集上的均方誤差差異不大(均在1.0×10-4左右)，過擬合性已能控制。模型預(yù)測的廢鋼價格變化與實(shí)際值對比如圖4所示：

圖4 廢鋼價格預(yù)測與實(shí)際價格對比圖

其中實(shí)線是從2020年9月1日開始的預(yù)測價格，虛線是實(shí)際價格走勢。模型預(yù)測的結(jié)果在整體走勢上基本符合實(shí)際，絕對誤差均值與中位數(shù)分別是7.03(元)與3.81(元)，誤差超過價格1%的預(yù)測僅占4.8%。圖4說明模型已具備一定的預(yù)測準(zhǔn)確度。

最后，對比時間卷積網(wǎng)絡(luò)和傳統(tǒng)的時序預(yù)測模型，如ARIMA、基于LSTM和GRU的循環(huán)神經(jīng)網(wǎng)絡(luò)等，在廢鋼價格預(yù)測問題上的模型性能差異，結(jié)果如表2所示：

表2 時序模型性能對比

基準(zhǔn)模型中，ARIMA使用的階數(shù)為(3，1，1)，LSTM和GRU均使用16個特征輸出，上述結(jié)果以及其他超參數(shù)均是經(jīng)過交叉驗(yàn)證得到最優(yōu)解。表2說明了時間卷積網(wǎng)絡(luò)在測試集趨勢準(zhǔn)確度方面較其他模型性能有較大提升，綜合訓(xùn)練集和測試集的結(jié)果，在均方誤差指標(biāo)上也是性能相對更為穩(wěn)定的模型。

4 結(jié)論及研究展望

本文針對廢鋼價格預(yù)測問題，引入了深度學(xué)習(xí)領(lǐng)域的時間卷積網(wǎng)絡(luò)構(gòu)建模型。由于該模型能捕捉更長歷史時期的信息，且其訓(xùn)練算法避免了一部分梯度爆炸的可能性，其結(jié)果較傳統(tǒng)模型呈現(xiàn)出一定的性能優(yōu)勢；與實(shí)際數(shù)據(jù)對比，模型預(yù)測誤差也在可容忍范圍以內(nèi)。結(jié)論可實(shí)際應(yīng)用于廢鋼加工銷售企業(yè)作為決策參考，方法論也可遷移至行業(yè)上下游相關(guān)時序預(yù)測研究上。其成果已經(jīng)部分應(yīng)用于國內(nèi)某廢鋼加工企業(yè)。

由于此次研究涉及的數(shù)據(jù)是過往26.5個月的廢鋼以及其他相關(guān)產(chǎn)品價格指數(shù)，為了模型評估的完整和有效性要求，將最后4個月數(shù)據(jù)劃分為測試集。實(shí)際操作過程中，會設(shè)計(jì)系統(tǒng)加入自學(xué)習(xí)機(jī)制，以全量歷史數(shù)據(jù)作為訓(xùn)練集進(jìn)行訓(xùn)練，保證模型性能的持久穩(wěn)定。

另外，此模型性能仍有提升空間。文獻(xiàn)[8]中的注意力機(jī)制，文獻(xiàn)[11]中知識圖譜等工具均是深度學(xué)習(xí)時序預(yù)測領(lǐng)域較為前沿的工具。探索此類工具結(jié)合時間卷積網(wǎng)絡(luò)，在廢鋼以及其他鋼鐵行業(yè)相關(guān)產(chǎn)品價格預(yù)測方面的應(yīng)用，是我們下一步將要開展的工作。