摘要： 針對圖注意力網(wǎng)絡(luò)處理噪聲和時(shí)序數(shù)據(jù)較弱， 并且在堆疊多層后出現(xiàn)梯度爆炸、 過平滑等問題， 提出一種改進(jìn)圖注意力網(wǎng)絡(luò)模型.首先， 使用Squeeze-and-Excitation模塊對樣本輸入數(shù)據(jù)的特征信息進(jìn)行不同程度關(guān)注， 增強(qiáng)模型處理噪聲的能力； 其次， 使用多頭注意力機(jī)制， 將序列數(shù)據(jù)中每個(gè)序列相對其他序列進(jìn)行加權(quán)求和， 提取數(shù)據(jù)的時(shí)序性； 再次， 將圖注意力網(wǎng)絡(luò)提取的節(jié)點(diǎn)特征與節(jié)點(diǎn)的度中心性拼接， 獲取節(jié)點(diǎn)的局部特征， 并用全局平均池化的方式提取節(jié)點(diǎn)的全局特征； 最后， 將兩者進(jìn)行融合得到節(jié)點(diǎn)的最終特征表示， 增強(qiáng)模型的表征能力. 為驗(yàn)證改進(jìn)圖注意力網(wǎng)絡(luò)的有效性， 將改進(jìn)圖注意力網(wǎng)絡(luò)模型與LSTM，GRU和GGNN模型進(jìn)行對比， 實(shí)驗(yàn)結(jié)果表明， 該模型預(yù)測效果得到有效提升， 具有更高的預(yù)測精度.

關(guān)鍵詞： 圖注意力網(wǎng)絡(luò)； 多頭注意力； 節(jié)點(diǎn)度中心性； 全局平均池化

中圖分類號： TP18" 文獻(xiàn)標(biāo)志碼： A" 文章編號： 1671-5489（2024）04-0933-10

Oil Well Production Prediction Model Based onImproved Graph Attention Network

ZHANG Qiang， PENG Gu， XUE Chenbin

（School of Computer and Information Technology， Northeast Petroleum University， Daqing 163318， Heilongjiang Province， China）

Abstract： Aiming at" the problems that graph attention networks were weak in handling noisy and temporal data， as well as gradient explosion and oversmoothing after stacking multiple layers， we proposed an improved graph attention network model. Firstly， we used" the Squeeze-and-Excitation module to pay different levels of attention to the feature information of the sample input data to enhance the model’s ability to handle noise. Secondly， the temporal sequence of the data was extracted by using the multi-head attention mechanism， which weighted and summed each sequence in the sequence data relative to the other sequences. Thirdly，" the node features extracted from the graph attention network were spliced with the degree centrality of the nodes to obtain the local features of the nodes， and the global features

of the nodes were extracted by using global average pooling. Finally， the two were fused to obtain the final feature representation of the nodes， which enhanced the representational ability of the model.

In order to verify the effectiveness of the improved graph attention network， the improved graph attention network model was compared with LSTM， GRU and GGNN models. The experimental results show that the prediction effect of the model has been effectively improved， with higher prediction accuracy.

Keywords： graph attention network; multi-head attention; node degree centrality; global average pooling

油井產(chǎn)量是油田開發(fā)的重要指標(biāo)［1］， 準(zhǔn)確預(yù)測產(chǎn)油量可優(yōu)化開采方案、 提高油田開發(fā)效率并降低開采成本. 近年來， 隨著人工神經(jīng)網(wǎng)絡(luò)理論的不斷發(fā)展， 越來越多的新型神經(jīng)網(wǎng)絡(luò)被應(yīng)用在油田產(chǎn)量預(yù)測中［2-4］. 同時(shí)， 基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型也被應(yīng)用于油田產(chǎn)量的預(yù)測. 例如： 任燕龍等［5］使用長短期記憶網(wǎng)絡(luò)建立了油田產(chǎn)量的預(yù)測模型； 潘少偉等［6］在長短期記憶網(wǎng)絡(luò)的基礎(chǔ)上使用注意力機(jī)制提取了數(shù)據(jù)的時(shí)序性， 增強(qiáng)了模型的可移植性； 張蕾等［7］提出了一種基于時(shí)域卷積網(wǎng)絡(luò)的方法， 分階段搭建產(chǎn)量預(yù)測模型， 并對該模型使用麻雀搜索算法優(yōu)化超參數(shù)， 提高了模型的訓(xùn)練速度. 這些模型雖然都取得了較好的效果， 但都未考慮油田開采中井位布局的影響， 即未考慮油田井網(wǎng)拓?fù)浣Y(jié)構(gòu)對產(chǎn)量的影響.

在水驅(qū)油田開發(fā)過程中， 由于油田地質(zhì)結(jié)構(gòu)復(fù)雜和地層非均勻的特性， 油田的井位布局采用節(jié)點(diǎn)型布局， 即油井和水井成交叉或分叉的布置方式， 這種布置方式是油田能持續(xù)增產(chǎn)的關(guān)鍵因素. 因此， 為有效挖掘并利用油田中油井和水井的關(guān)系和信息， 且體現(xiàn)出不同水井對油井的不同影響程度， 可以將油水井的動靜態(tài)數(shù)據(jù)的特征信息和井網(wǎng)的拓?fù)浣Y(jié)構(gòu)抽象表現(xiàn)為圖數(shù)據(jù)， 并采用圖注意力網(wǎng)絡(luò)（graph attention network， GAT）進(jìn)行處理. 相比傳統(tǒng)的機(jī)器學(xué)習(xí)， 圖注意力網(wǎng)絡(luò)能考慮到圖數(shù)據(jù)的拓?fù)浣Y(jié)構(gòu)， 捕捉圖數(shù)據(jù)中節(jié)點(diǎn)與邊以及節(jié)點(diǎn)與節(jié)點(diǎn)之間的關(guān)系， 具有更強(qiáng)的表達(dá)和泛化能力. 但圖注意力網(wǎng)絡(luò)存在處理噪聲能力弱， 不能處理時(shí)序性數(shù)據(jù)以及在堆積多層后會出現(xiàn)梯度爆炸、 過平滑等問題， 為解決這些問題， 本文提出一種改進(jìn)的圖注意力網(wǎng)絡(luò)搭建產(chǎn)量預(yù)測模型. 首先， 采用SE（squeeze-and-excitation）模塊調(diào)整輸入數(shù)據(jù)特征的重要性， 避免噪聲特征數(shù)據(jù)產(chǎn)生的影響， 改善模型的魯棒性； 其次， 采用多頭注意力機(jī)制， 使序列數(shù)據(jù)中每個(gè)序列占有不同的權(quán)重， 使時(shí)間軸上越近的序列所占的權(quán)重越大， 提高圖注意網(wǎng)絡(luò)處理時(shí)序數(shù)據(jù)的能力； 最后， 采用多尺度特征提取的方法， 分別獲取圖數(shù)據(jù)中節(jié)點(diǎn)的全局特征和局部特征， 并將兩者相融合得到節(jié)點(diǎn)的特征表示， 以提高模型的表征能力.

1 圖注意力網(wǎng)絡(luò)模型

圖神經(jīng)網(wǎng)絡(luò)［9］可使用圖模型處理復(fù)雜的系統(tǒng)建模問題， 其核心思想是通過鄰接矩陣的方式聚合節(jié)點(diǎn)和鄰居節(jié)點(diǎn)的特征， 得到節(jié)點(diǎn)的最終輸出表示［10-11］. 但這種聚合方式存在缺點(diǎn)， 不能很好地突出鄰居節(jié)點(diǎn)對中心節(jié)點(diǎn)的影響程度. 圖注意力網(wǎng)絡(luò)［12-14］則改變了節(jié)點(diǎn)與鄰居節(jié)點(diǎn)的聚合方式， 不再是簡單使用鄰接矩陣的方式聚合， 而是在迭代過程中用注意力機(jī)制方式計(jì)算每個(gè)鄰居節(jié)點(diǎn)的注意力權(quán)重， 即突出了不同鄰居節(jié)點(diǎn)對節(jié)點(diǎn)的影響程度. 節(jié)點(diǎn)與鄰居節(jié)點(diǎn)的權(quán)重系數(shù)計(jì)算公式為

αij=exp{LeakyReLU（βT（Whi‖Whj））}∑Nik=1exp{LeakyReLU（βT（Whi‖Whk））}，（1）

其中： hi表示中心節(jié)點(diǎn)； hj表示鄰居節(jié)點(diǎn)； W為可訓(xùn)練參數(shù)， 使用拼接操作將變化后的hi和hj拼接； 用βT表示參數(shù)點(diǎn)積操作， 同時(shí)將得到結(jié)果進(jìn)行歸一化即可得到權(quán)重系數(shù)； αij為歸一化后的結(jié)果， 表示hj對hi節(jié)點(diǎn)的影響程度. 定義h′i為hi節(jié)點(diǎn)更新后的輸出表示， 更新過程如圖1所示， 計(jì)算公式為

h′i=σ∑Nij=1αijWhj.（2）

2 改進(jìn)圖注意力網(wǎng)絡(luò)預(yù)測模型

為提高GAT處理噪聲數(shù)據(jù)和時(shí)序數(shù)據(jù)的能力， 在網(wǎng)絡(luò)中引用SE模塊和多頭注意力機(jī)制. SE模塊會自適應(yīng)調(diào)整輸入數(shù)據(jù)特征的重要性， 避免噪聲數(shù)據(jù)對模型產(chǎn)生影響. 多頭注意力機(jī)制會計(jì)算不同序列之間的權(quán)重， 然后使序列數(shù)據(jù)中的每個(gè)序列相對其他序列進(jìn)行加權(quán)求和， 以此提取輸入數(shù)據(jù)的時(shí)序性. 同時(shí)為增強(qiáng)GAT網(wǎng)絡(luò)的表征能力， 對輸入數(shù)據(jù)的特征采用多尺度融合的方法. 即將經(jīng)過數(shù)據(jù)轉(zhuǎn)換模塊得到的圖數(shù)據(jù)輸入到特征提取模塊中， 分別提取圖數(shù)據(jù)中節(jié)點(diǎn)的局部特征和全局特征； 將獲取的局部特征和全局特征進(jìn)行融合， 從而得到節(jié)點(diǎn)的最終表示. 模型的整體框架如圖2所示. 模型流程如下：

1） 將樣本特征張量X輸入SE模塊， 使SE模塊學(xué)習(xí)張量X中每個(gè)特征的重要性權(quán)重， 然后將權(quán)重與原始張量X相乘得到加權(quán)后的特征向量輸出；

2） 將SE模塊輸出的特征向量輸入到多頭注意力機(jī)制中， 利用多頭注意力機(jī)制學(xué)習(xí)特征向量中每個(gè)序列的權(quán)重， 使每個(gè)序列相對其他序列進(jìn)行加權(quán)求和得到新的輸出向量；

3） 為提高模型的泛化性， 將經(jīng)過多頭注意力機(jī)制輸出后的特征向量輸入到數(shù)據(jù)轉(zhuǎn)換模塊， 通過數(shù)據(jù)轉(zhuǎn)換模塊將輸入數(shù)據(jù)轉(zhuǎn)換為圖結(jié)構(gòu)數(shù)據(jù)；

4） 為增強(qiáng)模型的表征能力， 將轉(zhuǎn)換的圖數(shù)據(jù)輸入到特征提取模塊， 分別提取圖數(shù)據(jù)的局部特征和全局特征， 再將兩者融合， 進(jìn)而得到最終輸出張量X′.

2.1 噪聲處理

SE模塊可通過調(diào)整每個(gè)特征的相關(guān)性， 抑制不重要的特征， 加強(qiáng)模型處理噪聲的能力. SE模塊的結(jié)構(gòu)如圖3所示. 對于給定的張量

X∈瘙綆H×C（其中H表示樣本數(shù)量， C表示特征數(shù)）， 計(jì)算公式為

zi=1H∑Hj=1xi，j，（3）

其中zi表示第i個(gè)特征多個(gè)樣本取均值后的結(jié)果， 圖中激勵(lì)操作是將zi輸入兩層全連接中， 計(jì)算出每個(gè)特征的注意力權(quán)重. 定義si為張量X中第i個(gè)特征的注意力權(quán)重， 計(jì)算公式為

f（zi）=ReLU（W1zi+b1），（4）si=σ（W2f（zi）+b2）.（5）

2.2 時(shí)序特征提取

注意力機(jī)制是一種計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域常用的技術(shù)［15-18］， 它可以在給定的輸入中自動找出有用的信息， 進(jìn)而提高模型對重要信息的關(guān)注度. 其基本思想是為每個(gè)輸入元素分配一個(gè)權(quán)重， 然后將權(quán)重與原始輸入相乘得到加權(quán)后的輸出. 雖然注意力機(jī)制在很多任務(wù)上性能優(yōu)異， 但注意力機(jī)制仍存在計(jì)算開銷大和不能捕捉長距離依賴關(guān)系等缺點(diǎn). 自注意力機(jī)制［19］則克服了這些缺點(diǎn)， 是注意力機(jī)制的一種特殊形式， 它采用并行計(jì)算的方式提高模型的計(jì)算效率， 并且能捕捉輸入序列之間的長距離依賴關(guān)系. 在自注意力機(jī)制中， 每個(gè)向量都會相對其他向量計(jì)算注意力權(quán)重， 然后進(jìn)行加權(quán)求和獲得新的輸出向量. 圖4為時(shí)序數(shù)據(jù)中單個(gè)序列的自注意力機(jī)制計(jì)算過程.

將圖4中序列x1與權(quán)重矩陣WQ，WK，WV分別相乘即可得到q1，k1，v1， 將數(shù)據(jù)中其他序列與權(quán)重矩陣WQ，WK，WV分別相乘也會得到對應(yīng)的q，k，v. 最終將這些結(jié)果相結(jié)合即可得到3個(gè)矩陣Q，K，V. 利用得到的Q，K，V即可計(jì)算出經(jīng)過自注意力機(jī)制后的輸出表示. 整體計(jì)算過程如圖5所示， 其中dk是標(biāo)準(zhǔn)化操作.

多頭注意力機(jī)制則是在自注意力機(jī)制基礎(chǔ)上， 將輸入向量映射到不同的子空間， 在每個(gè)子空間上進(jìn)行自注意力機(jī)制的計(jì)算； 最后將多個(gè)子空間的注意力表示結(jié)果合并得到最終的輸出表示［20］. 因此， 相比自注意力機(jī)制， 多頭注意力機(jī)制能捕捉輸入的不同方面特征， 具有更好的表征能力. 給定一個(gè)輸入張量X∈瘙綆N×d， 多頭注意力機(jī)制包含h個(gè)頭， 對于自注意力頭i， Headi執(zhí)行如下運(yùn)算：

Headi=SoftmaxQi（Ki）TdHead

Vi，（6）

Qi=XWQi， Ki=XW

Ki， Vi=XWVi，（7）

其中： WQi，WKi，WVi∈瘙綆d×dHead為自注意頭i的

權(quán)重矩陣； dHead為每個(gè)頭的維度， dHead=dh. 最后沿維度拼接各個(gè)注意力頭的輸出：

MultiHead（x）=Concat（Headi，…，Headh）.（8）

2.3 模型增強(qiáng)

特征提取模塊包含兩個(gè)模塊， 分別是全局特征提取模塊和局部特征提取模塊. 其中全局特征模塊中使用全局平均池化［21-22］提取節(jié)點(diǎn)的全局特征. 全局平均池化可對樣本的每個(gè)特征求平均值， 然后再連接成一個(gè)向量， 以此獲取樣本的全局信息， 計(jì)算公式為

global_feature=1N∑Ni=1Xi，（9）

其中： N表示節(jié)點(diǎn)總數(shù)； X表示節(jié)點(diǎn)的特征矩陣， X∈瘙綆N×D， D表示每個(gè)節(jié)點(diǎn)特征向量的維度; Xi表示節(jié)點(diǎn)i的特征向量; global_feature∈瘙綆

D表示節(jié)點(diǎn)的全局特征， 也可視為整個(gè)圖的全局特征表示.

在局部特征提取模塊中使用GAT網(wǎng)絡(luò)和節(jié)點(diǎn)度中心性相結(jié)合的方式提取節(jié)點(diǎn)的局部特征. 同時(shí)， 為避免在使用GAT網(wǎng)絡(luò)訓(xùn)練時(shí)， 堆疊多層出現(xiàn)的模型退化、 梯度爆炸等問題，

在網(wǎng)絡(luò)中引用了殘差連接［23-24］， 如圖6所示. 圖6中h（x）表示由GAT組成的殘差塊， x表示前一層網(wǎng)絡(luò)的輸出. 整體過程就是將前一層的輸出輸入到殘差塊中得到新的輸出， 最后再將新的輸出輸入到后續(xù)網(wǎng)絡(luò)中. 殘差塊可以將模型的冗余層數(shù)變?yōu)楹愕扔成洌?從而避免產(chǎn)生模型退化現(xiàn)象.

為提高模型的表征能力， 將經(jīng)由GAT網(wǎng)絡(luò)后的輸出與節(jié)點(diǎn)度中心性［25-27］進(jìn)行拼接， 以此表征節(jié)點(diǎn)的局部特征. 節(jié)點(diǎn)度中心性表示該節(jié)點(diǎn)在整個(gè)圖中的重要程度.

度中心性較高的節(jié)點(diǎn)表示它的鄰居節(jié)點(diǎn)更多， 同時(shí)也表示該節(jié)點(diǎn)的傳播能力較強(qiáng). 如果刪除該節(jié)點(diǎn)， 則會對整個(gè)圖的連通性造成較大影響. 因此， 計(jì)算圖中節(jié)點(diǎn)的度中心性非常必要. 本文主要針對有向圖的處理， 有向圖的節(jié)點(diǎn)度中心性需要分別計(jì)算入度中心性和出度中心性， 然后再將兩者相加， 計(jì)算公式為

Cin（i）=din（i）n-1，（10）

Cout（i）=dout（i）n-1， （11）C（i）=Cin（i）+Cout（i），（12）

其中Cin（i）表示節(jié)點(diǎn)i的入度中心性， din（i）表示節(jié)點(diǎn)i的入度數(shù)， n表示節(jié)點(diǎn)總數(shù). 節(jié)點(diǎn)i的出度中心性Cout（i）與入度中心性計(jì)算過程相同.

最后將入度中心性與出度中心性相加即得出節(jié)點(diǎn)i的度中心性C（i）.

3 算法步驟

下面給出改進(jìn)圖注意力網(wǎng)絡(luò)模型（SMF-GATs）算法.

算法1 SMF-GATs模型.

輸入： 采油井和注入井每月生產(chǎn)信息X=（x1，x2，…，xN）， 采油井和注入井的連通信息A=（α1，α2，…，αN）;

輸出： t時(shí)刻采油井的產(chǎn)量Xt;

步驟1） Wt←fc（globalAvgPool（X））

步驟2） X←cal（X，Wt）

步驟3） for i←1 to num do //num表示Head數(shù)

步驟4）"" WQi，WKi，WVi←linear（X）

步驟5）"" Qi←XWQi， Ki

←XWKi， Vi←XWVi

步驟6）"" Headi←SoftmaxQi（Ki）TdHeadVi

步驟7） end for

步驟8） Xatt←concat（Headi，…，Headnum）

步驟9） for i←1 to N do //N表示月份數(shù)

步驟10）"" gi←Graph（xi，αi）

步驟11） end for

步驟12） for G←（g1，g2，…，gN）， Xglobal←globalfeature（G）

步驟13） Xlocal←concat（resGAT（G），degreeC（G））

步驟14） Xt←fc（W1Xglobal+W2Xlocal）

步驟15） end for

步驟16） return Xt.

算法1的步驟如下：

1） 輸入生產(chǎn)信息X=（x1，x2，…，xN）后， 算法對X中的數(shù)據(jù)進(jìn)行降噪處理， 即先對X進(jìn)行平均池化壓縮得到權(quán)重矩陣Wt， 再與原始輸入信息X相乘得到新的輸入；

2） 計(jì)算降噪輸出后X的查詢（Q）、 鍵（K）和值（V）， 并將這三者相乘獲得新的輸出Xatt， 以此挖掘出生產(chǎn)信息間的長期依賴關(guān)系；

3） 將Xatt與采油井和注入井的連通信息A=（α1，α2，…，αN）抽象表現(xiàn)為圖數(shù)據(jù)集G；

4） 在圖數(shù)據(jù)集G中分別計(jì)算每個(gè)節(jié)點(diǎn)度中心性和節(jié)點(diǎn)聚合周圍鄰居節(jié)點(diǎn)后的新節(jié)點(diǎn)， 并將兩者融合， 得到節(jié)點(diǎn)的局部特征表示；

5） 采用全局平均池化的方式獲取圖數(shù)據(jù)集G的全局特征， 并將其與前一步的節(jié)點(diǎn)局部特征按不同權(quán)重融合， 得到節(jié)點(diǎn)的最終輸出表示， 再將其輸入到全連接中得出采油井在t時(shí)刻的產(chǎn)油量Xt.

算法1是對基礎(chǔ)GAT模型的改進(jìn)， 涉及降噪、 融入注意力機(jī)制以及多尺度提取模塊等操作， 這些操作加強(qiáng)了GAT模型處理噪聲和時(shí)序數(shù)據(jù)的能力， 從而加快了GAT模型的訓(xùn)練速度， 其時(shí)間復(fù)雜度低于基礎(chǔ)GAT模型； 但也由于該算法分別計(jì)算提取圖數(shù)據(jù)集的局部特征和全局特征， 使用了更多的矩陣運(yùn)算， 使得該算法的空間復(fù)雜度較基礎(chǔ)GAT模型高.

4 實(shí)驗(yàn)設(shè)計(jì)與分析

4.1 數(shù)據(jù)集及歸一化處理

本文實(shí)驗(yàn)使用的數(shù)據(jù)集是某油田實(shí)際生產(chǎn)過程中產(chǎn)生的油水井月數(shù)據(jù)， 數(shù)據(jù)集信息列于表1. 由表1可見， 油井和水井共有月數(shù)據(jù)7 992條， 實(shí)驗(yàn)時(shí)將數(shù)據(jù)按月份劃分比例.

使用24個(gè)月的數(shù)據(jù)作為訓(xùn)練集， 3個(gè)月的數(shù)據(jù)作為測試集， 即將所有數(shù)據(jù)中的7 104條數(shù)據(jù)作為訓(xùn)練集， 888條數(shù)據(jù)作為測試集進(jìn)行實(shí)驗(yàn).

實(shí)驗(yàn)前需對數(shù)據(jù)集進(jìn)行歸一化處理. 本文采用最小最大歸一化方式， 其基本思想就是將原始數(shù)據(jù)映射到［0，1］內(nèi)， 計(jì)算公式為xnorm=x-xminxmax-xmin，（13）

其中x表示樣本中某個(gè)特征的值， xmin表示該特征在數(shù)據(jù)集中的最小值， xmax表示該特征在數(shù)據(jù)集中的最大值. 使用最小最大歸一化可消除每個(gè)特征的量綱影響， 有利于模型學(xué)習(xí)特征之間的隱藏關(guān)系.

4.2 數(shù)據(jù)轉(zhuǎn)換

本文提出的改進(jìn)圖注意力網(wǎng)絡(luò)預(yù)測模型中包含數(shù)據(jù)轉(zhuǎn)換模塊， 其主要功能是將模型輸入的數(shù)據(jù)轉(zhuǎn)換為模型內(nèi)部需要處理的圖數(shù)據(jù). 對應(yīng)油田數(shù)據(jù)集， 就是將油水井的月生產(chǎn)數(shù)據(jù)轉(zhuǎn)換為圖數(shù)據(jù)， 方法如下： 將油井和水井視為圖數(shù)據(jù)中的節(jié)點(diǎn)， 注入井和采油井存在有向邊. 每個(gè)井的特征數(shù)據(jù)表現(xiàn)為圖數(shù)據(jù)節(jié)點(diǎn)的特征. 將井距信息作為節(jié)點(diǎn)與節(jié)點(diǎn)之間邊的屬性. 表2列出了某油田月數(shù)據(jù)中其中5個(gè)月份的數(shù)據(jù).

由表2可見， 節(jié)點(diǎn)之間的邊數(shù)不是一成不變的， 這是因?yàn)樵谟吞飳?shí)際開發(fā)過程中可能會存在措施或是調(diào)整等生產(chǎn)工況因素， 如注水井停用則表現(xiàn)為該注水井與其他采油井并不連通， 對應(yīng)的邊數(shù)就會減少.

4.3 評價(jià)指標(biāo)

本文實(shí)驗(yàn)采用的評價(jià)指標(biāo)有平方絕對誤差（MAE）、 均方誤差（MSE）和R2， 計(jì)算公式如下：

MAE=1n∑ni=1i-yi，（14）

MSE=1n∑ni=1（yi-i）2，（15）

R2（y，）=1-∑ni=1（yi-i）2∑ni=1（yi-y）2，（16）

其中yi為第i個(gè)樣本的真實(shí)值， i為第i個(gè)樣本的預(yù)測值， y為樣本真實(shí)值的均值， n為樣本的數(shù)量. 表3列出了改進(jìn)圖注意力網(wǎng)絡(luò)模型在訓(xùn)練集和測試集上的各項(xiàng)指標(biāo)， MAE和MSE是模型在數(shù)據(jù)集上的平均誤差和均方誤差， R2體現(xiàn)了模型預(yù)測值與真實(shí)值的擬合程度.

4.4 實(shí)驗(yàn)參數(shù)設(shè)置

本文實(shí)驗(yàn)中， 設(shè)模型的特征輸入維度為21， 多頭注意力機(jī)制中頭數(shù)設(shè)為3， 局部特征提取模塊中GAT的層數(shù)設(shè)為3. 模型整體使用Adam優(yōu)化器作為模型的優(yōu)化器， 加快模型的訓(xùn)練速度. 模型的初始學(xué)習(xí)率為0.002， 訓(xùn)練周期數(shù)設(shè)為800， 使用均方誤差作為模型的損失函數(shù).

4.5 模型分部對比

為驗(yàn)證SE模塊、 多頭注意力機(jī)制和特征提取模塊對圖注意力網(wǎng)絡(luò)模型的提升效果， 在相同的訓(xùn)練集和測試集情況下， 使用同樣的初始學(xué)習(xí)率、 優(yōu)化器、 訓(xùn)練周期等超參數(shù)， 對上述各部分進(jìn)行實(shí)驗(yàn)對比驗(yàn)證， 實(shí)驗(yàn)對比結(jié)果列于表4. 表4中的S-GATs表示SE模塊與GATs網(wǎng)絡(luò)的融合， 通過SE模塊自適應(yīng)調(diào)整輸入數(shù)據(jù)各特征的權(quán)重， 避免了噪聲數(shù)據(jù)的影響， 使基礎(chǔ)GATs網(wǎng)絡(luò)擬合效果得到提升； SM-GATs表示在S-GATs網(wǎng)絡(luò)的基礎(chǔ)上融合了多頭注意力機(jī)制， 挖掘出輸入數(shù)據(jù)的時(shí)序特征， 提升了模型網(wǎng)絡(luò)的性能； SMF-GATs表示在SM-GATs的基礎(chǔ)上加入特征提取模塊， 提取圖數(shù)據(jù)中的節(jié)點(diǎn)局部特征和全局特征， 并將兩者進(jìn)行融合， 增強(qiáng)了模型的表征能力， 加快了模型的訓(xùn)練速度， 使模型的預(yù)測效果得到提升.

4.6 多種模型預(yù)測性能對比

為進(jìn)一步驗(yàn)證SMF-GATs模型的有效性， 將該模型與長短時(shí)記憶網(wǎng)絡(luò)（long short-term memory， LSTM）［28|29］、 門控循環(huán)單元（gated recurrent unit， GRU）和門控圖神經(jīng)網(wǎng)絡(luò)（gated graph sequence neural networks， GGNN）［32|33］模型進(jìn)行對比. 為充分體現(xiàn)各模型的性能， 對每個(gè)模型的參數(shù)進(jìn)行調(diào)優(yōu)， 選擇最佳的參數(shù)， 實(shí)驗(yàn)結(jié)果列于表5. 由表5可見， SMF-GATs和GGNN模型的R2值均高于LSTM和GRU模型. 這是因?yàn)镾MF-GATs和GGNN模型都屬于圖神經(jīng)網(wǎng)絡(luò)， 而圖神經(jīng)網(wǎng)絡(luò)對比其他經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)會在訓(xùn)練過程中捕捉數(shù)據(jù)中節(jié)點(diǎn)與節(jié)點(diǎn)之間的隱藏關(guān)系， 從而提高模型的準(zhǔn)確性. SMF-GATs模型在訓(xùn)練集和測試集的擬合程度比GGNN模型更高， 這是因?yàn)镾MF-GATs模型引入了SE模塊， 利用SE模塊自適應(yīng)調(diào)整特征的特性， 減少了噪聲數(shù)據(jù)對模型的影響， 提高了模型的準(zhǔn)確性， 并且SMF-GATs模型從不同尺度提取數(shù)據(jù)特征進(jìn)行融合， 增強(qiáng)了模型的自身表征能力.

綜上所述， 針對圖注意力網(wǎng)絡(luò)處理噪聲和時(shí)序數(shù)據(jù)較弱， 并且在堆疊多層后出現(xiàn)梯度爆炸、 過平滑等問題， 本文提出了一種改進(jìn)圖注意力網(wǎng)絡(luò)模型.

該模型在數(shù)據(jù)輸入時(shí)使用SE模塊調(diào)整輸入數(shù)據(jù)的特征權(quán)重， 抑制了數(shù)據(jù)中不重要的特征， 避免噪聲數(shù)據(jù)的影響， 改善了模型的魯棒性. 多頭注意力機(jī)制的應(yīng)用則使模型能更好地處理時(shí)序數(shù)據(jù). 為增強(qiáng)模型的表征能力， 在模型中使用殘差連接、 圖注意力網(wǎng)絡(luò)和節(jié)點(diǎn)度中心性相結(jié)合方式提取圖數(shù)據(jù)節(jié)點(diǎn)中的局部特征， 并使用全局平均池化的方式提取節(jié)點(diǎn)的全局特征， 最后將兩者融合得到圖數(shù)據(jù)節(jié)點(diǎn)的最終表示， 使模型預(yù)測準(zhǔn)確性得到提升.

參考文獻(xiàn)

［1］ 計(jì)秉玉， 孟新. 基于儲量結(jié)構(gòu)變化的油田開發(fā)指標(biāo)預(yù)測與優(yōu)化數(shù)學(xué)模型研究 ［J］. 運(yùn)籌與管理， 2022， 31（9）： 135-139. （JI B Y， MENG X. Research on Forecasting and Optimizing Mathematical Model of Oilfield Development Indexes Based on Changes in Reserve Structure ［J］. Operations Research and Management Science， 2022， 31（9）： 135-139.）

［2］ 葉鋒. 多元線性回歸在經(jīng)濟(jì)技術(shù)產(chǎn)量預(yù)測中的應(yīng)用 ［J］. 中外能源， 2015， 20（2）： 45-48. （YE F. Application of Multiple Linear Regression to Economic and Technical Oil Production Forecast ［J］. Sino-Global Energy， 2015， 20（2）： 45-48.）

［3］ 鐘儀華， 林旭旭， 劉雨鑫. 基于多元混沌時(shí)間序列的油田產(chǎn)量預(yù)測模型 ［J］. 數(shù)學(xué)的實(shí)踐與認(rèn)識， 2016， 46（6）： 99-105. （ZHONG Y H， LIN X X， LIU Y X. The Oilfield Output Prediction Model Based on Multivariate Chaotic Time Series ［J］. Mathematics in Practice and Theory， 2016， 46（6）： 99-105.）

［4］ 李東昊， 王天柱. 基于灰色理論和遺傳算法的單井產(chǎn)油量預(yù)測方法 ［J］. 天津科技， 2017， 44（8）： 48-51. （LI D H， WANG T Z. Grey Theory and Genetic Algorithm for Single Well Oil Production Prediction ［J］. Tianjin Science amp; Technology， 2017， 44（8）： 48-51.）

［5］ 任燕龍， 谷建偉， 崔文富， 等. 基于改進(jìn)果蠅算法和長短期記憶神經(jīng)網(wǎng)絡(luò)的油田產(chǎn)量預(yù)測模型 ［J］. 科學(xué)技術(shù)與工程， 2020， 20（18）： 7245-7251. （REN Y L， GU J W， CUI W F， et al. Oilfield Production Prediction Model Based on Improved Fruit Fly Algorithm and Long-Short Term Memory Neural Network ［J］. Science Technology and Engineering， 2020， 20（18）： 7245-7251.）

［6］ 潘少偉， 鄭澤晨， 王吉， 等. 基于長短期記憶網(wǎng)絡(luò)和注意力機(jī)制的油井產(chǎn)油量預(yù)測 ［J］. 科學(xué)技術(shù)與工程， 2021， 21（30）： 13010-13015. （PAN S W， ZHENG Z C， WANG J， et al. Oil Production Prediction of Oil Wells Based on Long Short-Term Memory Networks and Attention ［J］. Science Technology and Engineering， 2021， 21（30）： 13010-13015.）

［7］ 張蕾， 竇宏恩， 王天智， 等. 基于集成時(shí)域卷積神經(jīng)網(wǎng)絡(luò)模型的水驅(qū)油田單井產(chǎn)量預(yù)測方法 ［J］. 石油勘探與開發(fā)， 2022， 49（5）： 996-1004. （ZHANG L， DOU H E， WANG T Z， et al. A Production Prediction Method of Single Well in Water Flooding Oilfield Based on Integrated Temporal Convolutional Network Model ［J］. Petroleum Exploration and Development， 2022， 49（5）： 996-1004.）

［8］ 馬帥， 劉建偉， 左信. 圖神經(jīng)網(wǎng)絡(luò)綜述 ［J］. 計(jì)算機(jī)研究與發(fā)展， 2022， 59（1）： 47-80. （MA S， LIU J W， ZUO X. Survey on Graph Neural Network ［J］. Journal of Computer Research and Development， 2022， 59（1）： 47-80.）

［9］ JIANG B， ZHANG Z Y， LIN D D， et al. Semi-supervised Learning with Graph Learning-Convolutional Networks ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： 2019： 11313-11320.

［10］ 馬超， 熊順， 蔣丹妮. 圖卷積神經(jīng)網(wǎng)絡(luò)在道路網(wǎng)選取中的應(yīng)用 ［J］. 測繪科學(xué)， 2022， 47（12）： 200-205. （MA C， XIONG S， JIANG D N. Application of the Graph Convolution Network in the Road Network Auto-selection ［J］. Science of Surveying and Mapping， 2022， 47（12）： 200-205.）

［11］ VELICKOVIC P， CUCURULL G， CASANOVA A， et al. Graph Attention Networks ［EB/OL］. （2017-10-30）［2023-03-15］. https：//arxiv.org/abs/1710.10903.

［12］ 岳子巍， 方勇， 張磊. 基于圖注意力網(wǎng)絡(luò)的安卓惡意軟件檢測 ［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 59（5）： 88-95. （YUE Z W， FANG Y， ZHANG L. Android Malware Detection Based on Graph Attention Networks ［J］. Journal of Sichuan University （Natural Science Edition）， 2022， 59（5）： 88-95.）

［13］ 劉淵， 趙紫娟， 楊凱. 基于節(jié)點(diǎn)相似性的圖注意力網(wǎng)絡(luò)表示學(xué)習(xí)模型 ［J］. 計(jì)算機(jī)應(yīng)用研究， 2023， 40（3）： 822-827. （LIU Y， ZHAO Z J， YANG K. Graph Attention Network Representation Learning with Node Similarity ［J］. Application Research of Computers， 2023， 40（3）： 822-827.）

［14］ HU J， SHEN L， SUN G. Squeeze-and-Excitation Networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 7132-7141.

［15］ 牛哲文， 余澤遠(yuǎn)， 李波， 等. 基于深度門控循環(huán)單元神經(jīng)網(wǎng)絡(luò)的短期風(fēng)功率預(yù)測模型 ［J］. 電力自動化設(shè)備， 2018， 38（5）： 36-42. （NIU Z W， YU Z Y， LI B， et al. Short-Term Wind Power Forecasting Model Based on Deep Gated Recurrent Unit Neural Network ［J］. Electric Power Automation Equipment， 2018， 38（5）： 36-42.）

［16］ CAO P， CHEN Y， LIU K， et al. Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-attention Mechanism ［C］//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. ［S.l.］： ACL， 2018： 182-192.

［17］ 謝琪琦， 辛月蘭， 曾曦. 基于注意力機(jī)制的多視圖三維重建 ［J］. 激光雜志， 2023， 44（1）： 136-142. （XIE Q Q， XIN Y L， ZENG X. Multi-view 3D Reconstruction Based on Attention Mechanism ［J］. Laser Journal， 2023， 44（1）： 136-142.）

［18］ 付宏建， 白宏陽， 郭宏偉， 等. 融合多注意力機(jī)制的光學(xué)遙感圖像目標(biāo)檢測方法 ［J］. 光子學(xué)報(bào)， 2022， 51（12）： 312-320. （FU H J， BAI H Y， GUO H W， et al. Object Detection Method of Optical Remote Sensing Image with Multi-attention Mechanism ［J］. Acta Photonica Sinica， 2022， 51（12）： 312-320.）

［19］ VASWANI A， SHAZEER N， PARMAR N， et al. Attention Is All You Need ［J］. Advances in Neural Information Processing Systems， 2017， 30： 6000-6010.

［20］ 張振坤， 張冬梅， 李江， 等. 基于多頭自注意力機(jī)制的LSTM-MH-SA滑坡位移預(yù)測模型研究 ［J］. 巖土力學(xué)， 2022， 43（增刊2）： 477-486. （ZHANG Z K， ZHANG D M， LI J， et al. LSTM-MH-SA Landslide Displacement Prediction Model Based on Multi-head Self-attention Mechanism ［J］. Rock and Soil Mechanics， 2022， 43（Suppl 2）：" 477-486.）

［21］ 周飛燕， 金林鵬， 董軍. 卷積神經(jīng)網(wǎng)絡(luò)研究綜述 ［J］. 計(jì)算機(jī)學(xué)報(bào)， 2017， 40（6）： 1229-1251. （ZHOU F Y， JIN L P， DONG J. Review of Convolutional Neural Network ［J］. Chinese Journal of Computeres， 2017， 40（6）： 1229-1251.）

［22］ CHEN Z Y， XU Q Q， CONG R M， et al. Global Context-Aware Progressive Aggregation Network for Salient Object Detection ［C］//Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 10599-10606.

［23］ HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely Connected Convolutional Networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 4700-4708.

［24］ 王進(jìn)， 李穎， 蔣曉翠， 等. 基于層級殘差連接LSTM的命名實(shí)體識別 ［J］. 江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 43（4）： 446-452. （WANG J， LI Y， JIANG X C， et al. Named Entity Recognition of LSTM Based on Hierarchial Residual Connection ［J］. Journal of Jiangsu University （Natural Science Edition）， 2022， 43（4）： 446-452.）

［25］ DAS K， SAMANTA S， PAL M. Study on Centrality Measures in Social Networks： A Survey ［J］. Social Network Analysis and Mining， 2018， 8： 1-11.

［26］ 閆泓任， 馬國帥， 錢宇華. 基于節(jié)點(diǎn)度中心性的無監(jiān)督特征選擇 ［J］. 數(shù)據(jù)采集與處理， 2019， 34（2）： 312-321. （YAN H R， MA G S， QIAN Y H. Degree-Centrality Based Feature Selection ［J］. Journal of Data Acquisition and Processing， 2019， 34（2）： 312-321.）

［27］ 黃祖南， 鄭正喜. 復(fù)雜產(chǎn)業(yè)網(wǎng)絡(luò)度中心性研究 ［J］. 統(tǒng)計(jì)研究， 2021， 38（5）： 147-160. （HUANG Z N， ZHENG Z X. Research on the Degree Centrality of Complex Industry Network ［J］. Statistical Research， 2021， 38（5）： 147-160.）

［28］ SONG X Y， LIU Y T， XUE L， et al. Time-Series Well Performance Prediction Based on Long Short-Term Memory （LSTM） Neural Network Model ［J］. Journal of Petroleum Science and Engineering， 2020， 186： 106682-1-106682-11.

［29］ 王力， 金輝. 基于多頭自注意力機(jī)制的大氣數(shù)據(jù)系統(tǒng)多故障識別 . 江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2023， 44（4）： 444|451.（WANG L， JIN H. Multi|fault Recognition of Air Data System Based on Multi|head Self|attention Mechanism . Journal of Jiangsu University （Natural Science Edition）， 2023， 44（4）： 444|451.）

［30］ 劉棟， 楊輝， 姬少培， 等. 基于多模型加權(quán)組合的文本相似度計(jì)算模型 . 計(jì)算機(jī)工程， 2023， 49（10）： 97|104. （LIU D， YANG H， JI S P， et al. Text Similarity Computing Model Based on Weighted Combination of Multiple Models . Computer Engineering， 2023， 49（10）： 97|104.）

［31］ 胡向東， 張婷. 基于時(shí)空融合深度學(xué)習(xí)的工業(yè)互聯(lián)網(wǎng)異常流量檢測方法 . 重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 34（6）： 1056|1064. （HU X D， ZHANG T. Abnormal Traffic Detection Method for Industrial Internet Based on Deep Learning with Time|Space Fusion . Journal of Chongqing University of Posts and Telecommunications （Natural Science Edition）， 2022， 34（6）： 1056|1064.）

［32］ LI Y J， DANIEL T， MARC B， et al. Gated Graph Sequence Neural Networks ［EB/OL］. （2015-11-17）［2023-03-01］. https：//arxiv.org/abs/1511.05493.

［33］ 李盼， 解慶， 李琳， 等. 知識增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)序列推薦模型 . 計(jì)算機(jī)工程， 2023， 49（2）： 70|80. （LI P， XIE Q， LI L， et al. Knowledge|Enhanced Graph Neural Network Model for Sequential Recommendation . Computer Engineering， 2023， 49（2）： 70|80.）

（責(zé)任編輯： 韓 嘯）