謝曉慶

（1.海洋石油高效開發(fā)國家重點實驗室，北京100028；2.中海油研究總院有限責任公司，北京100028）

0 引言

在對注聚參數(shù)進行優(yōu)化設計時，傳統(tǒng)的做法通常是按照各注聚參數(shù)的不同取值設計一系列組合方案，然后利用油藏數(shù)值模擬方法對所有組合方案進行篩選［1-3］，但這種做法工作量巨大，需要耗費很長時間［4-6］。油藏生產優(yōu)化經歷了開發(fā)方式由簡單到復雜、控制變量由單一到多元、優(yōu)化解法由梯度算法到無梯度算法的發(fā)展過程，其本身也經歷了由單次優(yōu)化到閉合優(yōu)化的轉變［7-9］。無梯度優(yōu)化算法［10-12］對最優(yōu)化算法理論研究很有意義，被應用于許多實際問題的解決，在很多行業(yè)都得到了廣泛應用。趙輝等［13-14］、萬琦［15］、張凱等［16］將無梯度算法應用于油藏開發(fā)生產優(yōu)化。油藏開發(fā)生產優(yōu)化是通過求解描述油藏生產的最優(yōu)控制模型，優(yōu)化油水井的產出和注入控制參數(shù)［17-18］，使油藏開發(fā)處于最優(yōu)狀態(tài)，該問題屬于復雜的大系統(tǒng)動態(tài)最優(yōu)控制問題，可以用無梯度優(yōu)化算法解決。

針對有限差分隨機逼近（FDSA）算法和同時擾動隨機逼近（SPSA）算法的原理和優(yōu)缺點，提出一種有限差分梯度引導的同時擾動隨機逼近（SPSA-FDG）算法，并將其應用到聚合物驅注采參數(shù)優(yōu)化中，以期為化學驅注采參數(shù)的最優(yōu)控制提供新的思路。

1 聚合物驅生產優(yōu)化數(shù)學模型

在實際生產中，聚合物是分段塞注入的，因此，聚合物驅最優(yōu)控制即通過最優(yōu)化方法和油藏數(shù)值模擬技術確定每個段塞的尺寸和最優(yōu)注入質量濃度，以實現(xiàn)油田開發(fā)效果的最佳化。由于聚合物驅投資大、風險高，因此，通常采用增量累計凈現(xiàn)值作為性能指標對該類項目的盈利水平進行科學評價，其表達式為

增量年現(xiàn)金流入量為聚合物驅相對于水驅年增原油產量的銷售收入，增量年現(xiàn)金流出量為聚合物驅生產過程中的投資、稅費以及生產成本。選取聚合物驅項目的增量累計凈現(xiàn)值作為最優(yōu)控制的性能指標函數(shù)，同時選取聚合物注入質量濃度和段塞尺寸作為聚合物驅最優(yōu)控制研究的優(yōu)化參數(shù)。在實際生產中，參數(shù)的選取會受到注入能力和聚合物價格的影響，故對聚合物注入質量濃度和段塞尺寸要加以限制，即控制變量要滿足一定的約束條件，而邊界約束是最常見的約束形式［19-21］。結合最優(yōu)化問題的一般數(shù)學表達形式，建立聚合物驅最優(yōu)控制數(shù)學模型，即

式中：Qoi為年增油量，t；Po為原油價格，元/t；α 為原油商品率，%；Qpi為年注聚量，t；Cm為噸油增量操作費用，元；Pp為聚合物價格，元/t；Rs為資源稅，元/t；R為綜合稅率，%；n為區(qū)塊等效井數(shù)，口；Is為單井增量投資費用，元/口；ui為第i個控制變量；為控制變量ui的上約束；為控制變量ui的下約束；Nu為控制變量數(shù)，個。

聚合物驅最優(yōu)控制問題就是在控制變量滿足約束條件的情況下，計算性能指標函數(shù)J的最大值及相應的最優(yōu)控制變量u。

2 聚合物驅無梯度優(yōu)化求解算法

聚合物驅注采參數(shù)最優(yōu)控制是一類復雜的大規(guī)模最優(yōu)化問題，目前尚無有效方法計算聚合物驅的真實梯度，因此，采用無梯度優(yōu)化算法求解聚合物驅最優(yōu)控制模型。有限差分隨機逼近算法梯度近似程度高、收斂速度快，但每個迭代步的性能指標函數(shù)計算量正比于控制變量維數(shù)，當控制變量維數(shù)較高時，計算量非常大。SPSA-FDG算法對控制變量進行同時擾動，每個迭代步最少僅須計算一次性能指標函數(shù)即可獲得迭代搜索方向，減少了每個迭代步的計算量，但同時該算法計算的梯度近似精度低，降低了收斂速度［16，22］。

針對上述問題，提出了一種由有限差分梯度引導的同時擾動隨機逼近算法，該方法在迭代過程中根據(jù)性能指標函數(shù)對各控制變量的敏感性變化，實時調整各控制變量擾動步長的大小比例，以便使各控制變量所引起的性能指標函數(shù)改變量近似相等，保證計算得到的各控制變量SPSA近似梯度大小比例與FDSA算法類似，從而提高收斂速度。

2.1 有限差分隨機逼近算法原理

基于有限差分隨機逼近算法，利用中心差分格式可以計算得到性能指標函數(shù)對控制變量的近似梯度為

2.2 同時擾動隨機逼近算法原理

同時擾動隨機逼近算法獨立于具體的油藏數(shù)值模擬器，而且能夠對所有的優(yōu)化控制變量進行同時擾動優(yōu)化，計算目標函數(shù)對所有控制變量的近似梯度信息時僅須進行2次油藏數(shù)值模擬計算，而且計算次數(shù)不隨控制變量的增加而增多，因此，該方法尤其適合求解控制變量參數(shù)體系復雜的海上油田化學驅生產優(yōu)化問題。

式中：εl為第l個迭代計算步Nu維控制變量對應的擾動步長對角矩陣，其中εl，i為第l個迭代計算步第i個控制變量的擾動步長為在第l個迭代計算步所獲得的最優(yōu)控制變量；Δl為Nu維隨機擾動向量，其中所包含元素Δl，i(i=1，2，…，Nu)為服從參數(shù)為±1的對稱Bernoulli分布。

在獲得隨機擾動梯度后，便可采用迭代法進行優(yōu)化求解，在第l+1迭代計算步所獲得的控制變量為

式中：αl為迭代步長，為了保證當l→∞時，ulopt能夠收斂到局部最優(yōu)解。

2.3 有限差分梯度引導的同時擾動隨機逼近算法

由式（2）可知，性能指標函數(shù)對控制變量ui和uj的FDSA近似梯度比值為

假設SPSA算法中各控制變量采用的擾動步長取值與FDSA算法相同，則性能指標函數(shù)對控制變量ui的SPSA近似梯度與FDSA近似梯度之間有如下關系

由式（7）可知，性能指標函數(shù)對控制變量ui和uj的SPSA近似梯度比值為

若要使性能指標函數(shù)對控制變量ui和uj的SPSA近似梯度大小比例與FDSA近似梯度大小比例相同，則要滿足

由于控制變量擾動步長取值為非負數(shù)，將式（9）帶入式（6）可得，控制變量ui和uj的擾動步長應滿足

在第l個迭代計算步建立SPSA擾動步長修正矩陣為

則第l個迭代計算步各控制變量的SPSA-FDG近似梯度為

式中：εl，max為根據(jù)能夠取得選取的適當擾動步長，常數(shù)；Ml，i為第l個迭代計算步第i個控制變量的擾動步長修正系數(shù)。

由式（12）可知，當采用SPSA-FDG算法時，如果每個迭代計算步都進行擾動步長修正，則類似于FDSA算法；如果從不進行擾動步長修正，則為SPSA算法。由此可見，SPSA-FDG算法是該類算法中相對一般的算法，F(xiàn)DSA算法和SPSA算法則為該類算法的2個特例。

3 聚合物驅生產優(yōu)化應用實例

基于CMG油藏數(shù)值模擬軟件建立了油藏數(shù)值模擬模型，再利用SPSA-FDG算法開展了聚合物驅最優(yōu)控制研究，并將其優(yōu)化結果與FDSA算法和SPSA算法的優(yōu)化結果進行了對比。

所建油藏數(shù)值模擬模型劃分為7個模擬層（圖1），采用五點法井網(wǎng)，共包括4口注入井和9口生產井。各注采井組縱向非均質性差異大，其中INJ-1井和INJ-3井所在井組縱向非均質性弱，變異系數(shù)為0.18，INJ-2井和INJ-4井所在井組縱向非均質性強，變異系數(shù)為0.86。油藏的平均滲透率為1 500 mD，地下原油黏度為60 mPa·s，孔隙體積為116.89萬m3，聚合物溶液的殘余阻力系數(shù)為1.8，可及孔隙體積為0.82，最大吸附體積質量為0.3 kg/m3。

圖1 油藏數(shù)值模擬模型Fig.1 Reservoir numerical simulation model

聚合物驅過程采用四段塞的注入方式，包括前置段塞、主段塞、副主段塞和后置段塞，本次聚合物驅最優(yōu)控制研究即通過最優(yōu)化方法確定每口井每個段塞的最佳注入質量濃度和段塞尺寸，共包括32個控制變量。在優(yōu)化過程中，對各控制變量僅考慮邊界約束條件，其中注入質量濃度考慮礦場聚合物驅實踐經驗和聚合物實際注入能力，上、下邊界分別設置為0 mg/L和2 300 mg/L，各階段段塞尺寸上、下邊界分別設置為0 PV和0.1 PV。

分別采用FDSA，SPSA和SPSA-FDG等3種算法求解聚合物驅最優(yōu)控制問題，均基于相同的初始估計。4口注聚井的初始狀態(tài)估計相同，其中前置段塞質量濃度和尺寸分別為1 700 mg/L和0.012 5 PV；主段塞質量濃度和尺寸分別為1 400 mg/L和0.037 5 PV；副主段塞質量濃度和尺寸分別為1 200 mg/L和0.037 5 PV；后置段塞質量濃度和尺寸分別為1 000 mg/L和0.012 5 PV。對于SPSA-FDG算法，當基本SPSA算法進行到第13，30，50次迭代計算時，分別引入FDG梯度對擾動步長進行修正。

從各優(yōu)化方法在不同迭代次數(shù)或數(shù)值模擬次數(shù)下的凈現(xiàn)值變化（圖2、表1）可以看出，優(yōu)化后最終凈現(xiàn)值均顯著增加。雖然SPSA-FDG算法梯度估計精度沒有FDSA算法高，但卻高于SPSA算法，同時又保留了SPSA算法每次迭代僅須進行2次油藏數(shù)值模擬計算的優(yōu)點，因此，在達到收斂時僅須進行248次油藏數(shù)值模擬計算，是3種方法中總體上計算量最小的，且收斂到的凈現(xiàn)值也略高于其他2種方法。綜上所述，SPSA-FDG算法收斂性要好于FDSA算法和SPSA算法，而且易于和任何油藏數(shù)值模擬器相結合，能夠用來求解聚合物驅最優(yōu)控制問題。

圖2 各優(yōu)化方法不同迭代次數(shù)（a）或不同數(shù)值模擬次數(shù)（b）下的凈現(xiàn)值變化Fig.2 Net present value of under different iterative times（a）or different numerical simulation times（b）for each optimization method

表1 優(yōu)化方法收斂性對比Table1 Convergencecomparison of each optimization method

圖3為利用SPSA-FDG算法優(yōu)化后的聚合物驅調控圖。從圖3可以看出，各注入井聚合物驅前置段塞聚合物質量濃度最高，用量中等，主要起到前緣調剖作用；主段塞及副主段塞聚合物質量濃度較高，用量最多，是聚合物驅改善油水流度比、降水增油的關鍵部分；后置段塞為流度保護段塞，聚合物質量濃度最低，用量最少，主要是為了防止后續(xù)水驅指進破壞主段塞而影響開發(fā)效果。

圖3 利用SPSA-FDG算法優(yōu)化后的聚合物驅調控圖Fig.3 Polymer flooding control diagram after SPSA-FDG algorithm optimization

對利用各種優(yōu)化算法計算得到的各注入井聚合物配注量優(yōu)化結果（表2）進行分析可知，在聚合物注入總量一定的情況下，注入井所在井組非均質性強，聚合物配注量大；相反，若注入井所在井組非均質性弱，則聚合物配注量小。為了進一步討論各單井聚合物優(yōu)化配注對聚合物驅總體開發(fā)效果的影響，設計了各單井均勻注聚方案。均勻注聚方案的聚合物注入總量與SPSA-FDG算法優(yōu)化結果相同，為1 123 PV·mg/L，采用單段塞方式注入，段塞尺寸取SPSA-FDG算法優(yōu)化得到的各單井段塞尺寸的平均值，即0.652 PV，則聚合物注入質量濃度為1 722.4 mg/L。

表2 各注入井聚合物配注量優(yōu)化結果Table 2 Optimization results of polymer injection of each injection well

圖4為分別采用SPSA-FDG算法優(yōu)化注聚方案與均勻注聚方案計算得到的油藏含水率及累積采出程度變化曲線。從圖4可看出，采用由SPSAFDG算法計算得到的優(yōu)化方案使開發(fā)效果得到明顯改善。這主要是因為經SPSA-FDG算法優(yōu)化后，位于強非均質性井組的注入井聚合物配注量增大，且由于聚合物驅提高采收率幅度隨著油藏非均質性的增強呈上升趨勢，因此，非均質性較強的井組因聚合物配注量增大而增加的產油量大于非均質性較弱的井組因相同聚合物配注量減小而減少的產油量，從而使得油藏總體采出程度得到提高。

圖4 含水率及累積采出程度變化曲線Fig.4 Curves of water cut and cumulative degreeof recovery

圖5 油藏剩余油飽和度分布Fig.5 Residual oil saturation distribution in reservoir

圖5 為分別利用SPSA-FDG算法優(yōu)化注聚方案與均勻注聚方案計算得到的第4層油藏模型剩余油飽和度分布。從圖5可以看出，采用由SPSAFDG算法計算得到的優(yōu)化方案進行聚合物驅開發(fā)時，在聚合物注入總量一定的情況下，油藏波及系數(shù)增大，強非均質性井組的剩余油飽和度明顯降低，弱非均質性井組的剩余油飽和度變化不大，油藏剩余油分布更加均勻。這是由于重力作用和油層的正韻律性使得注入水向油層下部高滲層段竄流，以致隨著縱向變異系數(shù)增大而產生暴性水淹，導致水驅采收率急劇下降。

另外，對采用SPSA-FDG算法優(yōu)化注聚方案與均勻注聚方案計算得到的凈現(xiàn)值隨開發(fā)時間變化的關系曲線進行對比和分析發(fā)現(xiàn)，在聚合物注入總量一定的情況下，采用SPSA-FDG算法優(yōu)化注聚方案，經濟凈現(xiàn)值比均勻注聚方案提高了11.64%，且投資回收期比均勻注聚方案縮短。

4 結論

（1）本文提出的由有限差分梯度引導的同時擾動隨機逼近（SPSA-FDG）算法與有限差分隨機逼近（FDSA）算法相比，數(shù)值模擬次數(shù)可以減少一半以上，與同時擾動隨機逼近（SPSA）算法相比，迭代次數(shù)可以減少一半以上。

（2）注入井聚合物驅前置段塞聚合物質量濃度最高，用量中等，主要起到前緣調剖作用；主段塞及副主段塞聚合物質量濃度較高，用量最多，是聚合物驅改善油水流度比、降水增油的關鍵部分；后置段塞為流度保護段塞，聚合物質量濃度最低，用量最少，主要是為了防止后續(xù)水驅指進破壞主段塞而影響開發(fā)效果。

（3）與均勻注聚方案對比發(fā)現(xiàn)，采用SPSA-FDG算法計算得到的優(yōu)化方案，聚合物驅見效時間提前，含水下降漏斗加深，累積采出程度提高，油藏總體開發(fā)效果更好。

（4）SPSA-FDG算法能夠解決海上油田聚合物驅開發(fā)階段的注采最優(yōu)控制問題，可以最大限度地提高聚合物驅開發(fā)階段的經濟效益，從而改善海上油田不同開發(fā)階段開發(fā)方式組合模式的總體開發(fā)效果。

致謝：在項目完成過程中，中海油研究總院教授級高級工程師康曉東和中國石油大學（華東）侯健教授、杜慶軍老師均給予了幫助，在此表示感謝！