由楚川 朱孟宇 趙軍

摘? 要：機(jī)器學(xué)習(xí)在動物生理預(yù)測方面取得良好的效果，但在處理具有局限性的時(shí)序問題上未能得到深入應(yīng)用。文章通過環(huán)境數(shù)據(jù)對乳蛋白進(jìn)行預(yù)測研究，根據(jù)數(shù)據(jù)的時(shí)序特點(diǎn)，對雙向門控循環(huán)神經(jīng)單元的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行重新設(shè)計(jì)，設(shè)計(jì)了一種基于注意力機(jī)制的正反向交替的門控循環(huán)神經(jīng)網(wǎng)絡(luò)（LG）預(yù)測模型，實(shí)驗(yàn)驗(yàn)證模型在精度上和速度上都優(yōu)于其他模型，所挖掘的關(guān)鍵指標(biāo)有助于深入理解對奶牛生理情況的影響，進(jìn)而有效提升養(yǎng)殖效益。

關(guān)鍵詞：奶牛乳蛋白預(yù)測模型；隨機(jī)森林算法；門控循環(huán)神經(jīng)網(wǎng)絡(luò)；正反向交替門控循環(huán)神經(jīng)網(wǎng)絡(luò)模型

中圖分類號：TP18? ? 文獻(xiàn)標(biāo)識碼：A? 文章編號：2096-4706（2023）06-0006-07

Research on the Prediction Model of Milk Protein in Dairy Cattle Based on

Attention Mechanism

YOU Chuchuan1， ZHU Mengyu1， ZHAO Jun2

（1.School of Information Engineering， Ningxia University， Yinchuan? 750021， China;

2.School of Advanced Interdisciplinary Studies， Ningxia University， Zhongwei? 755099， China）

Abstract： Machine learning has achieved good results in animal physiological prediction， but it has not been applied in dealing with time series problems with limitations. The paper predicts and studies the milk protein through environmental data， redesigns the network structure of two-way Gated Recurrent Unit according to the time sequence characteristics of the data， and designs a forward and reverse alternating gated Recurrent Neural Network （LG） prediction model based on attention mechanism. The experiment verifies that the model is superior to other models in accuracy and speed， The key indicators excavated are conducive to deeply understand the impact on the physiological conditions of dairy cows， and then effectively improve the breeding benefits.

Keywords： milk protein prediction model; Random Forest algorithm; Gated Recurrent Neural Network; forward and reverse alternating gated Recurrent Neural Network Model

0? 引? 言

在我國現(xiàn)有的農(nóng)業(yè)模式下，國家提出了“現(xiàn)代農(nóng)業(yè)”發(fā)展戰(zhàn)略與糧食安全戰(zhàn)略研究[1]。畜牧業(yè)是我國農(nóng)業(yè)的重要組成部分，作為畜牧業(yè)重要組成部分之一的奶牛養(yǎng)殖業(yè)，被國家列為調(diào)整和鼓勵(lì)扶持發(fā)展的重點(diǎn)產(chǎn)業(yè)。我國奶牛智慧化養(yǎng)殖起步較晚、起點(diǎn)較低。近年，奶牛規(guī)?；B(yǎng)殖技術(shù)的不斷提升使得我國乳制品產(chǎn)量得到回升。本文采用基于注意力機(jī)制的正反向交替門控循環(huán)神經(jīng)網(wǎng)絡(luò)的搭建并進(jìn)行相關(guān)預(yù)測，與傳統(tǒng)的奶牛生理預(yù)測、發(fā)情預(yù)測、營養(yǎng)預(yù)測及疾病預(yù)測相比能進(jìn)一步認(rèn)識到環(huán)境因素與乳蛋白間的影響，深入理解環(huán)境因素對奶牛生理情況的影響，進(jìn)而使企業(yè)通過預(yù)測結(jié)果提出有效的應(yīng)對策略，從而提高自身的利益。

1? 模型與算法

乳脂率、乳蛋白以及乳糖率是乳成分中較為重要的幾種物質(zhì)[2]，而這些乳成分的含量與牛舍中環(huán)境因素有著不可分割的聯(lián)系，傳統(tǒng)的都是通過神經(jīng)網(wǎng)絡(luò)訓(xùn)練的方式利用環(huán)境因素對乳成分中的乳脂率進(jìn)行預(yù)測，但是由于神經(jīng)網(wǎng)絡(luò)是模仿人的神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的，所以在一些方面就會出現(xiàn)瑕疵，因此本文在神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上再做出一定的改進(jìn)，提出來一種正反向交替門控循環(huán)神經(jīng)網(wǎng)絡(luò)模型，并在模型中加入了注意力機(jī)制，目的是為了使乳蛋白預(yù)測模型更加精確，進(jìn)而使整個(gè)生理模型更加完善。

1.1? LG模型

對于Bi-LSTM做出改進(jìn)的另一種雙向循環(huán)神經(jīng)網(wǎng)絡(luò)單元Bi-GRU模型，雖然可以對Bi-LSTM模型的一些不足進(jìn)行提升，但是其在前后信息的緊要聯(lián)系上又不如長短時(shí)記憶網(wǎng)絡(luò)[3，4]。因此，本章對模型進(jìn)行改進(jìn)，考慮到雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中包含正向和反向兩個(gè)方向的特殊性，并且對模型的提升既要提高訓(xùn)練效率，又要加強(qiáng)序列前后的聯(lián)系并縮短預(yù)測時(shí)間，所以提出一種基于LSTM與GRU正反向交替的雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)，即LG模型。LG模型不僅具有LSTM關(guān)于時(shí)間序列前后信息的強(qiáng)大關(guān)聯(lián)功能，并且由于其是將LSTM與GRU有機(jī)結(jié)合，所以LG模型在訓(xùn)練效率、預(yù)測速度上也都發(fā)揮得非常出色，因此利用LG模型進(jìn)行預(yù)測大有裨益。

為了更直觀地了解對模型的改進(jìn)思想，如圖1所示，為LG模型的結(jié)構(gòu)圖。圖中（X1， X2，…， Xt）為輸入序列X，Xt+1為輸出的最終結(jié)果，從LG模型的結(jié)構(gòu)圖中不難看出，該模型的輸入層和輸出層與雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)基本相同，LG模型的不同主要是在隱藏層的雙向循環(huán)神經(jīng)單元上做出改進(jìn)，不同于一般的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的隱藏層內(nèi)部正反向均為同一種神經(jīng)元（LSTM、GRU）的結(jié)構(gòu)，LG模型是通過正反向的LSTM單元與GRU單元相互交替而成的，所以該模型實(shí)現(xiàn)了既能在速度上有所提升，又可以在精度上提升優(yōu)勢。該模型的輸出結(jié)果的方式與雙向循環(huán)神經(jīng)網(wǎng)絡(luò)相同，將正向結(jié)果記為：，反向的結(jié)果記為 。最終的輸出結(jié)果也是通過某種運(yùn)算將正向輸出結(jié)果與反向的輸出結(jié)果進(jìn)行結(jié)合得到一個(gè)最終的ht，然后再進(jìn)行統(tǒng)一的輸出預(yù)測結(jié)果Xt+1。

另外，從圖1中還可以看出，LG模型采用的是一種多層雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)建立的，采用該結(jié)構(gòu)可以讓LG網(wǎng)絡(luò)的表達(dá)能力和學(xué)習(xí)能力更強(qiáng)。多層LG模型的整體結(jié)構(gòu)是與多層雙向循環(huán)神經(jīng)網(wǎng)絡(luò)相同的，主要區(qū)別在于多層雙向循環(huán)神經(jīng)網(wǎng)絡(luò)中每個(gè)時(shí)間步的輸入都會經(jīng)過正反兩個(gè)相同的循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM、GRU），而LG模型的特點(diǎn)是不同方向的神經(jīng)元是不同的[5-7]。LG模型在雙向循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了功能的增強(qiáng)，解決了原本雙向多層神經(jīng)網(wǎng)絡(luò)的一些局限性，所以其在復(fù)雜度與時(shí)效性上表現(xiàn)得非常優(yōu)越，因此本文利用該模型進(jìn)行乳蛋白預(yù)測模型的搭建。

1.2? seq2seq模型結(jié)構(gòu)

Seq2seq模型最初提出的目的是因?yàn)閱我坏难h(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不能去處理變長序列的問題，所以，在2014年由CHO等人提出了一種Seq2seq的模型結(jié)構(gòu)[8，9]，該模型最初的應(yīng)用場景是在智能翻譯、文本的摘要以及對圖像分析后自動生成相關(guān)的描述信息等方面。該模型的整體是由編碼器、中間向量以及解碼器組合而成的，通常情況下，該模型的搭建需要一種多層的循環(huán)神將網(wǎng)絡(luò)作為基本的主干網(wǎng)絡(luò)結(jié)構(gòu)，因此在本章的seq2seq模型建立中選擇的是由上節(jié)提出的LG網(wǎng)絡(luò)模型作為seq2seq模型的基本主干網(wǎng)絡(luò)。seq2seq網(wǎng)絡(luò)模型結(jié)構(gòu)實(shí)際上就是一種編解碼（encoder-decoder）[10]的結(jié)構(gòu)，但是seq2seq模型具有其獨(dú)特之處，即：在輸入輸出時(shí)不需要規(guī)定其具有相同的長度。由于該模型具有編、解碼的結(jié)構(gòu)，所以要按照順序先進(jìn)行編碼過程然后再進(jìn)行解碼操作，編碼就是通過encoder編碼過程將輸入序列通過循環(huán)神經(jīng)網(wǎng)絡(luò)中的某一種算法轉(zhuǎn)換為指定的中間矩陣形式，然后再通過decoder解碼的方式將編碼形成的中間矩陣進(jìn)行對應(yīng)的解碼得到輸出序列，seq2seq模型的結(jié)構(gòu)示意圖如圖2所示。

從圖2中可以看出seq2seq模型就是將輸入向量x經(jīng)過某種特定的循環(huán)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行編解碼處理后生成另一個(gè)目標(biāo)向量Y的過程，對于這樣的一組向量，其中X為指定的輸入向量，X=（X1， X2， X3，…Xt），Y為輸出的目標(biāo)向量，記為Y=（Y1， Y2， Y3，…Yt），圖中C為向量組X輸入后進(jìn)行encoder非線性編碼操作后形成的一個(gè)中間向量形式，形成的中間向量C的計(jì)算公式如式（1）所示：

C=f （X1， X2， X3，…Xt）? ? ? ? ? ? ? ? ? ? ? ? ? （1）

上式中f為指定的編碼方式，通常情況下編碼方式都是以RNN及其改進(jìn)算法（LSTM、GRU）進(jìn)行編碼的，解碼操作所用到的算法和原理與編碼操作用到的算法和原理是相同的，只是在解碼操作中需要將生成的中間向量加到需要解碼的向量組中去[11]。

1.3? 注意力機(jī)制（Attention mechanism）

起初注意力機(jī)制的提出就是模仿人腦在處理和思考問題時(shí)候的生物神經(jīng)元的工作原理，因此，注意力機(jī)制在一定程度上與人腦的注意力行為是類似的，例如：人類在處理圖片信息的時(shí)候，總會選擇自己著重關(guān)注的一部分，而忽略一部分相關(guān)性較小的信息[12，13]。不單單是在圖像方面，在音頻、文字等方面也會出現(xiàn)類似的情況。在神經(jīng)網(wǎng)絡(luò)中添加注意力機(jī)制的優(yōu)點(diǎn)在于其不但可以幫助神經(jīng)網(wǎng)絡(luò)挑選專注的特征子集，即：在訓(xùn)練過程中選擇出對輸出幫助更大的元素，而且還可以在有限的計(jì)算能力下，進(jìn)行更有效的資源分配。所以近幾年來注意力機(jī)制在深度學(xué)習(xí)上的應(yīng)用較為廣泛，但是其主要應(yīng)用場景仍是在自然語言處理方面。

注意力機(jī)制可以嵌入到seq2seq模型結(jié)構(gòu)中進(jìn)行嵌套使用，注意力機(jī)制可以使seq2seq模型輸入的序列通過學(xué)習(xí)得到各個(gè)特征因素的重要程度，并且根據(jù)該程度的大小將特征進(jìn)行合并，所以注意力機(jī)制能夠?qū)⑤斎胄蛄兄兄匾潭雀叩脑赜羞x擇性地挑出，然后再有選擇性的學(xué)習(xí)輸入與輸出序列間的對應(yīng)關(guān)系[14]。加入注意力機(jī)制以后seq2seq模型經(jīng)過編碼操作以后不再是單一的定長中間向量C，而是由多個(gè)中間向量C共同組成的編碼形式，該向量形式中包括不同的輸入序列以及不同的權(quán)重參數(shù)兩部分，能夠更好地為解碼操作提供幫助，提高模型整體的工作效率。加入Attention機(jī)制后的seq2seq模型的運(yùn)行圖如圖3所示。

從圖3中可以看出，在加入注意力機(jī)制后X序列的輸出不再是直接編碼為中間向量C，而是需要通過下式（2）的計(jì)算方式將各個(gè)元素的權(quán)重計(jì)算出來。

（2）

在式（2）中，j為輸入的X序列中的第j個(gè)元素，i為時(shí)刻，t是輸入序列的長度，函數(shù)f （x）表示對序列X中元素的編碼過程，aij表示重要權(quán)重的分?jǐn)?shù)，aij的分?jǐn)?shù)一般通過softmax函數(shù)來進(jìn)行計(jì)算，softmax的計(jì)算公式如式（3）所示：

（3）

在式（3）中，eij表示時(shí)刻i輸入的元素與輸出元素的相關(guān)程度，程度越高eij的值越高，相應(yīng)的aij值也會越大。計(jì)算得到不同的中間向量的權(quán)重之后，按照對應(yīng)關(guān)系再進(jìn)行解碼操作。

2? 數(shù)據(jù)準(zhǔn)備

2.1? 數(shù)據(jù)描述

本文的研究是對乳成分中乳蛋白進(jìn)行預(yù)測，實(shí)驗(yàn)中采用環(huán)境因素作為預(yù)測的條件因素。經(jīng)過對環(huán)境數(shù)據(jù)和鮮奶統(tǒng)計(jì)表中的數(shù)據(jù)分析，本研究在經(jīng)歷過實(shí)際考察了寧夏銀川地區(qū)荷斯坦奶?；厍也捎媚膛鰞?nèi)的環(huán)境監(jiān)測數(shù)據(jù)集以及鮮奶統(tǒng)計(jì)報(bào)表作為樣本集數(shù)據(jù)集，環(huán)境數(shù)據(jù)采用牛場內(nèi)部環(huán)境傳感器（溫濕度傳感器、二氧化碳傳感器等）記錄時(shí)間間隔為一小時(shí)的環(huán)境數(shù)據(jù)，對環(huán)境數(shù)據(jù)和鮮奶統(tǒng)計(jì)表中的數(shù)據(jù)進(jìn)行重構(gòu)、異常值處理以及歸一化等數(shù)據(jù)預(yù)處理操作后，得到從2016年6月21日0：00至2020年12月21日22：00每天6：00、14：00和22：00這三個(gè)時(shí)間點(diǎn)的環(huán)境及鮮奶統(tǒng)計(jì)表中的數(shù)據(jù)。該數(shù)據(jù)是一個(gè)二維的數(shù)據(jù)形式，其表頭分別為環(huán)境因素名稱及乳成分名稱，其中環(huán)境名稱分別為：溫度（AT）、濕度（AH）、平均二氧化碳濃度（ACO2）、平均光照強(qiáng)度（ALI）、平均氨氣濃度（ANH3）和平均甲烷濃度（ACH4），乳成分名稱分別為：乳脂率（BFC）以及乳蛋白（LAC）。這些數(shù)據(jù)都是按照時(shí)間序列進(jìn)行排序的。歸一化后的數(shù)據(jù)形式如表1所示。

2.2? 基于注意力機(jī)制的LG乳蛋白預(yù)測模型的搭建

在本文研究中，訓(xùn)練集數(shù)據(jù)采用的是由2016年6月21日6：00至2020年2月7日22：00的全部環(huán)境及乳蛋白數(shù)據(jù)，其中訓(xùn)練集與測試集數(shù)據(jù)比例為7：3，將2020年2月8日起至2020年末的所有數(shù)據(jù)作為測試集數(shù)據(jù)，在模型的搭建中本文選用的是Python語言中Keras人工神經(jīng)網(wǎng)絡(luò)庫用來當(dāng)做TensorFlow的接口[15]。本文實(shí)驗(yàn)環(huán)境為Windows 10操作系統(tǒng)電腦，實(shí)驗(yàn)編程語言為Python 3.7，搭建預(yù)測模型，其他庫包括NumPy、pandas、lightgbm、Matplotlib、Seaborn等。本實(shí)驗(yàn)設(shè)置小批次處理為1 024，由于一天內(nèi)的鮮奶采集時(shí)刻為3個(gè)，所以滑動窗口設(shè)置為3，正反向循環(huán)神經(jīng)網(wǎng)絡(luò)的層數(shù)也為3，每層神經(jīng)元為128個(gè)，全連接神經(jīng)元為128，模型的輸入矩陣為（3，6），神經(jīng)網(wǎng)絡(luò)中的每層之間仍采用concat的拼接方式，由于LSTM與GRU都是采用誤差反向傳播的機(jī)制去進(jìn)行誤差修正[16]，所以本研究將Attention機(jī)制添加在了神經(jīng)網(wǎng)絡(luò)的隱藏層與輸出層之間，以用來提高訓(xùn)練的效率與精確度，最后再通過dense層將模型的最終結(jié)果進(jìn)行輸出，乳蛋白預(yù)測模型構(gòu)建流程圖如圖4所示。實(shí)驗(yàn)表明，迭代次數(shù)達(dá)500次左右時(shí)學(xué)習(xí)趨近穩(wěn)定，學(xué)習(xí)效率大大提高。

3? 模型的評估對比

由于模型結(jié)構(gòu)和原理不同，所以不同模型訓(xùn)練得出的結(jié)果也會不同，本文利用LSTM、GRU、Bi-GRU、Bi-LSTM模型以及LG模型進(jìn)行預(yù)測，并與測試集上的真實(shí)值進(jìn)行比較，不同模型的預(yù)測結(jié)果折線圖如圖5所示，其中橫坐標(biāo)的每個(gè)刻度為每八小時(shí)的一個(gè)整體時(shí)刻，單位為（/8 h），縱坐標(biāo)為乳蛋白情況，單位為%，其中實(shí)線為真實(shí)值，虛線為預(yù)測值。

以上是五種不同模型進(jìn)行乳蛋白的預(yù)測結(jié)果并與測試集中的真實(shí)數(shù)據(jù)集進(jìn)行比對得出的折線圖，從圖5中不難看出，雖然五種模型在擬合效果上不盡相同，但是這五種模型的預(yù)測趨勢基本正確，因此需要利用誤差評估的手段來區(qū)分各個(gè)模型擬合效果的好壞，以下分別利用平均絕對誤差（Mean Absolute Error， MAE）、均方誤差（Mean Square Error， MSE）和平均絕對百分比誤差（Mean Absolute Percentage Error， MAPE）三種誤差評估方式對模型進(jìn)行評估以下簡稱為MAE、MSE和MAPE，并以柱狀圖的方式更直觀地對以上五種模型進(jìn)行誤差評估與分析，誤差分析柱狀圖如圖6所示。

為了全面的體現(xiàn)模型擬合效果的優(yōu)劣，因此選用三種不同的誤差評估方式對模型進(jìn)行誤差評估以達(dá)到更加全面的體現(xiàn)模型優(yōu)劣的效果，從圖6中不難看出，單向LSTM構(gòu)建的乳脂率預(yù)測模型在三種誤差評估方式上表現(xiàn)的都是最差的，其余三種單向GRU、雙向LSTM以及雙向GRU在三種評估方式上表現(xiàn)的基本相同[17]，而基于Attention機(jī)制LG模型在三種評估方式上的誤差值要遠(yuǎn)小于其余四個(gè)模型的誤差值，說明基于Attention機(jī)制的LG模型在乳成分中乳蛋白的預(yù)測值與真實(shí)值相差甚小，因此通過三種誤差評估方式能夠表明基于Attention機(jī)制的LG模型在精度以及擬合效果上表現(xiàn)得更好，所以基于Attention機(jī)制的LG模型能夠?yàn)槿槌煞种腥榈鞍椎念A(yù)測提供一定的科學(xué)指導(dǎo)作用。

4? 結(jié)? 論

本文主要以乳成分中的乳蛋白為重點(diǎn)預(yù)測對象，構(gòu)建了基于注意力機(jī)制的LG乳蛋白預(yù)測模型，并將該模型應(yīng)用到生理預(yù)測模型中，對該模型的構(gòu)建首先考慮到隨機(jī)森林與Bi-GRU模型的利弊，針對該模型的短板進(jìn)行了模型的改進(jìn)，之后利用LG模型對Bi-GRU模型前后信息聯(lián)系較弱的缺點(diǎn)進(jìn)行改進(jìn)，并在模型中添加了注意力機(jī)制以提高模型的性能；然后對基于注意力機(jī)制的LG模型進(jìn)行模型的整體搭建與實(shí)驗(yàn)，其中包括數(shù)據(jù)的預(yù)處理，模型構(gòu)建及使用；最后針對該模型進(jìn)行評估并與其他模型進(jìn)行比較。得出該模型在預(yù)測效率、精度以及魯棒性等方面的效果均優(yōu)于其他模型。因此，實(shí)驗(yàn)表明基于注意力機(jī)制的LG乳蛋白預(yù)測模型在奶牛生理模型的理論指導(dǎo)與構(gòu)建上具有一定的意義。

參考文獻(xiàn)：

[1] 童津津，張華，吳富鑫，等.不同泌乳水平奶牛產(chǎn)奶量、乳成分和環(huán)境溫濕指數(shù)的相關(guān)性研究 [J].動物營養(yǎng)學(xué)報(bào)，2020，32（7）：3171-3180.

[2] 母童，虎紅紅，馮小芳，等.寧夏地區(qū)荷斯坦牛乳成分及相關(guān)指標(biāo)的非遺傳因素、體細(xì)胞評分變化規(guī)律 [J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào)，2021，42（2）：34-43.

[3] 張騰，劉新亮，高彥平.基于卷積神經(jīng)網(wǎng)絡(luò)和雙向門控循環(huán)單元網(wǎng)絡(luò)注意力機(jī)制的情感分析 [J].科學(xué)技術(shù)與工程，2021，21（1）：269-274.

[4] 湯森林，張霞，戚文超，等.基于長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的葡萄葉面積指數(shù)高光譜反演 [J].遙感信息，2022，37（5）：38-44.

[5] IMANI M. Long Short-Term Memory Network and Support Vector Regression for Electrical Load Forecasting [C]//2019 International Conference on Power Generation Systems and Renewable Energy Technologies （PGSRET）.Istanbul：IEEE，2019：1-6.

[6] CHUNG J，GULCEHRE C，CHO K，et al. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling [J/OL].arXiv：1412.3555 [cs.NE].[2022-11-03].https：//arxiv.org/abs/1412.3555.

[7] 劉琳嵐，肖庭忠，舒堅(jiān)，等.基于門控循環(huán)單元的鏈路質(zhì)量預(yù)測 [J].工程科學(xué)與技術(shù)，2022，54（6）：51-58.

[8] CHO K，MERRIENBOER B V，GULCEHRE C，et al. Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation [J/OL].arXiv：1406.1078 [cs.CL].[2022-11-05].https：//arxiv.org/abs/1406.1078.

[9] 陳禮賢，梁杰，黃一帆，等.基于深度自回歸循環(huán)神經(jīng)網(wǎng)絡(luò)的邊緣負(fù)載預(yù)測 [J/OL].小型微型計(jì)算機(jī)系統(tǒng)：1-8[2023-02-07].

http：//kns.cnki.net/kcms/detail/21.1106.TP.20221123.0919.010.html

[10] ZHOU H，F(xiàn)ANG Z J，GAO Y B，et al. Feature Fusion Network Based on Attention Mechanism for 3D Semantic Segmentation of Point Clouds-Science Direct [J].Pattern Recognition Letters，2020，133：327-333.

[11] 蔣玉英，陳心雨，李廣明，等.圖神經(jīng)網(wǎng)絡(luò)及其在圖像處理領(lǐng)域的研究進(jìn)展 [J/OL].計(jì)算機(jī)工程與應(yīng)用：1-17（2022-11-28）.http：//kns.cnki.net/kcms/detail/11.2127.tp.20221125.1424.030.html

[12] ZHOU H X，ZHANG Y J，YANG L F，et，al. Short-Term Photovoltaic Power Forecasting Based on Long Short Term Memory Neural Network and Attention Mechanism [J].IEEE Access，2019，7（99）：78063-78074.

[13] 師巖，王宇，吳水清.基于Self-Attention模型的機(jī)器翻譯系統(tǒng) [J].計(jì)算機(jī)與現(xiàn)代化，2019（7）：9-14.

[14] 楊子農(nóng).基于Seq2Seq框架的文本風(fēng)格遷移研究 [D].南京：南京郵電大學(xué)，2022.

[15] 胥凌.面向TensorFlow和PyTorch的線性代數(shù)基準(zhǔn)測試 [J].航空計(jì)算技術(shù)，2022，52（3）：5-9.

[16] 王麗朝，孟子堯，陳詩明，等.基于GRU神經(jīng)網(wǎng)絡(luò)的光伏電站數(shù)據(jù)預(yù)處理方法 [J].太陽能學(xué)報(bào)，2022，43（11）：78-84.

[17] 鄭偉.多尺度注意力機(jī)制DenseNet網(wǎng)絡(luò) [J/OL].軟件導(dǎo)刊：1-6[2022-12-29].https：//kns.cnki.net/kcms/detail/42.1671.TP.20221207.1123.038.html.

作者簡介：由楚川（1997—），男，漢族，遼寧鐵嶺人，大數(shù)據(jù)工程師，碩士，研究方向：大數(shù)據(jù)智能；朱孟宇（1997—），男，漢族，河南周口人，碩士在讀，研究方向：大數(shù)據(jù)智能；通訊作者：趙軍（1971—），男，漢族，寧夏中衛(wèi)人，教授，博士，研究方向：大數(shù)據(jù)智能和企業(yè)計(jì)算實(shí)驗(yàn)研究。

收稿日期：2022-12-31

基金項(xiàng)目：寧夏自然科學(xué)基金項(xiàng)目（2020AAC03028）