顧軼,韓潮,劉建勛,劉升剛,邢煒

1.北京航空航天大學(xué) 宇航學(xué)院,北京 100191 2.北京空間飛行器總體設(shè)計部,北京 100094 3.北京航空航天大學(xué)集成電路科學(xué)與工程學(xué)院,北京 100191

1 引言

光學(xué)衛(wèi)星對地面成像時,云層的遮擋對成像效果會產(chǎn)生很大的影響[1]。據(jù)有關(guān)部門統(tǒng)計,中國60%的光學(xué)衛(wèi)星圖像因為云層遮擋而無法成為有效的數(shù)據(jù)產(chǎn)品,這不僅不能滿足用戶需求,還對衛(wèi)星資源造成極大浪費[2]。云層對于可見光衛(wèi)星拍攝圖像的遮擋情況,不同的文獻給出了調(diào)研的結(jié)果。Adrien指出,根據(jù)天氣預(yù)報的不同,運行中的衛(wèi)星獲取的高達50%的圖像可能會因為云層過多而被丟棄[3]。Ju則指出,LandSat-7衛(wèi)星傳感器獲得的圖像中有35%被云層覆蓋[4]。當(dāng)觀測目標被云層遮擋時,不僅成像質(zhì)量受到很大影響,而且對該目標的成像觀測會消耗觀測時間窗口、衛(wèi)星存儲空間、衛(wèi)星能量等資源,從而減少了對其他目標的觀測機會。短期云層預(yù)測技術(shù)的實現(xiàn),可以得到未來一段時間目標上空的云層遮擋情況,對地觀測衛(wèi)星可因此選擇云層覆蓋較少的區(qū)域進行成像觀測,因此云層預(yù)測對對地觀測衛(wèi)星任務(wù)規(guī)劃具有指導(dǎo)意義[5-6]。

數(shù)值天氣預(yù)報是氣象預(yù)報中最常用的方法,Roussel等指出,數(shù)值天氣預(yù)報模型的計算量大,往往需要幾個小時才能得到預(yù)報結(jié)果[7]。施行健等在研究短臨降水問題時指出,數(shù)值天氣預(yù)報模型更適用于長期預(yù)報[8]。以往與短期云層預(yù)測相關(guān)的研究工作多集中在太陽能輻照度預(yù)報領(lǐng)域。云的覆蓋范圍會直接影響太陽輻照度的變化,而太陽輻照度預(yù)測多采用基于地面采集的云層圖像[9],圖像采集時間間隔為1-6min。基于地面圖像的云層預(yù)測研究中,目前還應(yīng)用了自回歸差分移動平均模型[10]、Lukas-Kanade光流算法[11]、自回歸神經(jīng)網(wǎng)絡(luò)模型[12]、生成對抗網(wǎng)絡(luò)[13]等方法。

太陽能輻照度預(yù)測關(guān)注于小區(qū)域的云層變化,多采用地面觀察天空的云層圖像,時間變化范圍短,覆蓋區(qū)域范圍小?？紤]到衛(wèi)星成像的視場幅寬為數(shù)十公里到數(shù)百公里量級,這種小區(qū)域的云層預(yù)測并不能滿足對地觀測衛(wèi)星任務(wù)規(guī)劃的需要。因此,本文面向?qū)Φ赜^測衛(wèi)星任務(wù)規(guī)劃[14-16]的實際需要,利用風(fēng)云衛(wèi)星的云圖數(shù)據(jù)開展大區(qū)域短期云層預(yù)測研究[17]。本文對傳統(tǒng)的光流算法進行了改進,引入拉普拉斯算子對云運動過程中的擴散現(xiàn)象進行刻畫,并通過真實的云運動序列圖像訓(xùn)練神經(jīng)網(wǎng)絡(luò),采用反向傳播算法對擴散因子進行優(yōu)化。仿真試驗結(jié)果表明,相比于傳統(tǒng)光流算法,引入拉普拉斯算子的改進光流法能夠獲得更佳的云層預(yù)測效果。

依據(jù)憂思科學(xué)家聯(lián)盟(UCS)的統(tǒng)計數(shù)據(jù),截至2021年1月1日,全球共有在軌對地觀測衛(wèi)星917顆,其中光學(xué)對地觀測衛(wèi)星402顆,占對地觀測衛(wèi)星總量的43.8%。中國共擁有在軌對地觀測衛(wèi)星198顆,其中光學(xué)對地觀測衛(wèi)星85顆,占對地觀測衛(wèi)星總量的42.9%。由此可見光學(xué)衛(wèi)星在對地觀測衛(wèi)星中的重要地位,但是對于光學(xué)對地觀測衛(wèi)星而言,云層覆蓋的不確定性對觀測任務(wù)的完成有顯著影響,云覆蓋被認為是導(dǎo)致衛(wèi)星遙感圖像失效的最主要因素之一[5]。依據(jù)國際衛(wèi)星云氣候?qū)W計劃(international satellite cloud climatology project,ISCCP)提供的數(shù)據(jù),在全球范圍內(nèi),云層的平均覆蓋率約為67%[18],廣泛存在的云層會對光學(xué)對地觀測衛(wèi)星的成像產(chǎn)生了重要影響,遙感圖像中含有的云區(qū)域會導(dǎo)致圖像部分失效,進而將使得對地觀測任務(wù)失敗[19]。

云層預(yù)測屬于時空序列預(yù)測問題,包括時間和空間兩個方面,時間方面是指用被預(yù)測事物過去和現(xiàn)在的觀測數(shù)據(jù)推測未來,空間方面指圖片上的目標以及目標運動和變化的空間信息。

假設(shè)每時刻包含P個測量的一定空間區(qū)域的云層信息被記錄在M×N的網(wǎng)格中。從空間上看,任何時刻的測量值都可以表示為X∈P×M×N,從時間上看,T個時間步長上的觀測值形成觀測序列X1,X2,…,XT。時空預(yù)測學(xué)習(xí)問題是在給定包括當(dāng)前觀測的先前J個序列長度的條件下,預(yù)測未來最可能的長度為K的序列。數(shù)學(xué)模型可以表示如下:

p(Xt+1,…,Xt+K∣Xt-J+1,…,Xt)

2 基于光流法的短期云層預(yù)測

2.1 算法框架

地球靜止衛(wèi)星的圖像具有較高的時間和空間分辨率,是云層運動數(shù)據(jù)的來源,也是所提出的預(yù)報方法的基礎(chǔ)。利用風(fēng)云衛(wèi)星云圖進行云測預(yù)測的整體流程如圖1所示。

圖1 基于衛(wèi)星云圖的云層預(yù)測方法流程Fig.1 Flow of cloud forecasting method based on satellite cloud image

首先需要將衛(wèi)星的圖像提取為云灰度圖像,然后依據(jù)連續(xù)的云層圖像序列計算得到云運動矢量,假設(shè)接下來一個時間步光流不發(fā)生變化,利用此光流外推當(dāng)前圖像,得到預(yù)測的云層圖像。本文引入拉普拉斯算子刻畫云層運動過程中的擴散情況,對圖像進行后處理以提升云層預(yù)測的精度。最后將預(yù)測的云圖與真實的云圖進行對比,采用均方誤差(MSE)和圖像結(jié)構(gòu)相似性(SSIM)作為評價指標,對云層預(yù)測進行效果評估。給定兩個圖像x和y,兩張圖像的結(jié)構(gòu)相似性可按如下公式進行計算:

2.2 光流法基本原理

光流定義了空間運動物體在成像平面上的像素點運動的瞬時速度,光流法是利用圖像序列中像素在相鄰幀之間的相關(guān)性來計算相鄰幀之間物體運動信息的一種方法。

對于連續(xù)運動的圖像,記圖像上任一點在t時刻的亮度為E(x,y,t),同時該點在水平及垂直方向的運動速度為:

u=dx/dt

v=dy/dt

經(jīng)過Δt的時間間隔后,記對應(yīng)點的亮度為E(x+Δx,y+Δy,t+Δt),由Taylor展開可得:

忽略上式中的二階小量,假設(shè)Δt較小,亮度恒定,即E(x+Δx,y+Δy,t+Δt)=E(x,y,t),則上式可轉(zhuǎn)化為:

Exu+Eyv+Et=0

從而計算得到u和v的值。本文采用稠密光流法中的Farneback光流法,利用OpenCV中的函數(shù)calcOpticalFlowFarneback進行實現(xiàn),Farneback光流法原理可參考文獻[20],在此不再進行贅述。

通過在數(shù)據(jù)集上對Farneback光流法的參數(shù)進行調(diào)整和網(wǎng)格搜索,經(jīng)過大量的參數(shù)測試,會發(fā)現(xiàn)不同參數(shù)下光流法的結(jié)果的差別并不大,進而可以確定Farneback光流算法的參數(shù)數(shù)值。

2.3 云運動矢量外推

在對云圖進行預(yù)測時,可以利用通過不同數(shù)量的圖像序列對光流進行初始化,參考文獻[8]中的設(shè)定,本文將測試以下三種不同的光流外推方式:

1)Farne1計算最后兩個觀測幀的光流;

2)Farne2根據(jù)最后兩個流場的平均值初始化速度;

3)Farne3通過對最接近的三個流場的加權(quán)平均給出初始化的光流,由于更接近于當(dāng)前時刻的流場的影響會更大,參考文獻[8]中的設(shè)置方式,將最接近的三個流場的加權(quán)系數(shù)依次設(shè)置為0.7、0.2和0.1。

隨著每一步的云層預(yù)測結(jié)果,光流的值將依據(jù)生成的云圖進行更新,由此可以實現(xiàn)多步的云層預(yù)測。

2.4 云層擴散現(xiàn)象的刻畫

需要指出,光流雖然能刻畫物體的運動,但是對于云這種流體具有的生成和擴散的特性,光流法不能對其進行刻畫,這是光流法的局限之處。為了對云在運動中的擴散現(xiàn)象進行描述,本文采用拉普拉斯算子對云圖的預(yù)測結(jié)果進行卷積濾波。

記圖像的像素強度值為I(x,y),則其拉普拉斯算子L(x,y)可由下式給出:

L(x,y)可以使用卷積濾波器計算。由于輸入圖像表示為一組離散像素,因此必須找到一個離散卷積核,用來近似拉普拉斯算子定義中的二階導(dǎo)數(shù)。由于卷積核設(shè)計會影響計算效率,本文選擇了最簡單和最經(jīng)典的卷積核S形式,其定義如下。

其中參數(shù)λ∈R,λ>0為擴散因子。通過對輸入圖像進行拉普拉斯卷積,即可實現(xiàn)云層由中心區(qū)域向四周的傳播。在對圖像進行拉普拉斯卷積時,卷積核將對云層圖像中的每一個像素都進行卷積,因此云層在一點處的擴散可以間接影響到更大的區(qū)域,這樣就可以合理地刻畫云層的擴散現(xiàn)象。

利用反向傳播算法對擴散因子λ的取值進行優(yōu)化。由于云層的擴散是在持續(xù)進行的,預(yù)測未來K步的云圖結(jié)果將對應(yīng)不同程度的擴散,即擴散因子的參數(shù)集合為:

通過深度學(xué)習(xí)框架PyTorch搭建神經(jīng)網(wǎng)絡(luò)的卷積層,利用真實的云層序列圖像作為樣本并制作數(shù)據(jù)集,確保每一張通過預(yù)測得到的云圖都有對應(yīng)時刻的真實云層圖像,可以計算預(yù)測云圖和真實云圖的均方誤差值MSE,將MSE作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練時的損失函數(shù),并利用反向傳播算法對擴散因子參數(shù)進行優(yōu)化。

3 仿真結(jié)果分析

本文利用風(fēng)云二號衛(wèi)星的云圖序列數(shù)據(jù),針對第一島鏈和第二島鏈中間某區(qū)域(北緯9.23°～24.23°和東經(jīng)126.83°～141.83°)的云層情況進行研究,考慮到多數(shù)對地觀測衛(wèi)星為近地軌道衛(wèi)星,軌道周期約為1.5h,因此本文將選擇3h作為云層預(yù)測的時間范圍,這樣云層預(yù)測的結(jié)果將能為未來兩個軌道圈次的衛(wèi)星對地觀測任務(wù)提供指導(dǎo)。云層圖像每30min一張,則預(yù)測的時間步長K=6,本文共針對7980組序列圖像進行預(yù)測。下面將分別從時間和空間角度對云層預(yù)測結(jié)果進行分析,然后將對比引入拉普拉斯算子前后的云層預(yù)測結(jié)果,并展現(xiàn)擴散因子λ在每一個預(yù)測步的取值。

3.1 時間尺度上的云層預(yù)測結(jié)果

在時間尺度上,可計算圖像預(yù)測結(jié)果與真實云圖之間的MSE和SSIM指標,對應(yīng)的數(shù)值變化分別如圖2和圖3所示。

圖2 三種外推模型預(yù)測結(jié)果的均方誤差對比Fig.2 Comparison of the mean square error of the prediction results of three extrapolation models

圖3 三種外推模型預(yù)測結(jié)果的結(jié)構(gòu)相似性對比Fig.3 Comparison of the structural similarity of the prediction results of the three extrapolation models

隨著預(yù)測步數(shù)從1增加到6,可以看到MSE的值會從30增加到300左右,SSIM的值會從0.87減小到0.5左右,這說明圖像預(yù)測的準確性會隨著預(yù)測步數(shù)的增加而逐漸降低。圖2和圖3中的圖例采用三種標記代表不同外推方式,通過對比三種不同的外推方式的計算結(jié)果,可以看到三種方法下的云層預(yù)測結(jié)果存在一定的差異,試驗結(jié)果在MSE和SSIM指標上表現(xiàn)出了很好的一致性,即在每一步的云層預(yù)測效果上,Farne2均優(yōu)于Farne3,而Farne3均優(yōu)于Farne1。在平均水平上,Farne1的效果最差,而Farne2和Farne3的表現(xiàn)效果相對更好。這主要是因為Farne1直接將上一步的云運動矢量作為當(dāng)前時刻的結(jié)果,而現(xiàn)實中的云運動的速度大小和方向都可能會發(fā)生變化,Farne2和Farne3采用了前兩步或前三步云層運動矢量結(jié)果的加權(quán),考慮了不同時刻下運動矢量的變化,更加符合真實的云層運動情況。與Farne1和Farne3外推結(jié)果相比,基于Farne2外推的每一步的云層預(yù)測結(jié)果與真實圖像的MSE最小,而SSIM最大,這說明Farne2的效果最優(yōu)。由于Farne2的結(jié)果最佳,所以在后續(xù)的云層預(yù)測中,將主要展現(xiàn)基于Farne2外推方式的試驗結(jié)果。

圖4展示了兩組云層預(yù)測的序列圖像結(jié)果,其中黑色背景表示無云,白色區(qū)域表示云層覆蓋。每組圖像的三行從上至下依次為:輸入的云圖序列;真實的輸出云圖;預(yù)測的云圖序列。通過對比預(yù)測云圖和真實的云圖,可以看出基于云運動矢量外推的方法能夠預(yù)測云的整體運動趨勢,在較短的時間步長內(nèi),能夠達到一定的預(yù)測精度。

圖4 衛(wèi)星云圖的兩個預(yù)測實例Fig.4 Two prediction examples of satellite cloud images

同時從圖像中也能夠看到光流法的弊端,如圖4(b)中的預(yù)測序列所示,隨著預(yù)測步長的增加,圖像左上角和右下角的黑色區(qū)域會增大,而在真實的圖像序列中,對應(yīng)區(qū)域一直為白色有云狀態(tài)。這是因為隨著云層運動,本區(qū)域周圍的云層也會運動到當(dāng)前區(qū)域,而光流法僅能提取當(dāng)前區(qū)域的云運動情況,因此會出現(xiàn)預(yù)測圖像邊界上的黑色區(qū)域,對此問題將在文中后續(xù)進一步分析。

3.2 空間尺度上的云層預(yù)測結(jié)果

基于云運動矢量的云圖預(yù)測方法存在空間上的邊界效應(yīng),因此可以采用更大區(qū)域范圍的圖像進行云層預(yù)測,選取圖像的中間部分作為預(yù)測結(jié)果,這樣可以減少邊界的影響,在一定程度上提升云層預(yù)測的效果。本文針對像素分辨率為100×100的圖像進行云層預(yù)測,該圖像區(qū)域?qū)?yīng)經(jīng)緯度范圍為北緯9.23°～24.23°和東經(jīng)126.83°～141.83°,該區(qū)域邊界長度約為1680km×1680km。然后分別針對整個圖像和圖像中心的50×50的像素區(qū)域進行預(yù)測結(jié)果的計算和統(tǒng)計,對比結(jié)果如表1所示。

從MSE的對比結(jié)果可以看到,中間區(qū)域的平均MSE為28.839,遠小于全部區(qū)域MSE的160.706。并且在每一個預(yù)測時間步上,中間區(qū)域的MSE和SSIM的結(jié)果都要優(yōu)于全部區(qū)域的統(tǒng)計結(jié)果,這表明選取中間區(qū)域作為預(yù)測結(jié)果能夠很好地避免有限邊界的影響。因此在實踐中,采用更大區(qū)域的圖像預(yù)測中心小區(qū)域的云層情況是更有效的。

表1 不同區(qū)域大小的云層預(yù)測結(jié)果對比

在對中心50×50的圖像進行覆蓋率誤差的統(tǒng)計時,以10×10的像素分辨率為一個區(qū)域,采用閾值分割法計算云層覆蓋百分比,取預(yù)測圖像和真實圖像覆蓋率誤差的絕對值進行統(tǒng)計,在7980組數(shù)據(jù)中分別選取50%和80%分位數(shù),預(yù)測未來第3h的統(tǒng)計結(jié)果如圖5所示。

圖5 區(qū)域覆蓋率誤差的分位數(shù)統(tǒng)計/(%)Fig.5 Quantile statistics of regional coverage error/(%)

圖(a)展示的區(qū)域覆蓋率誤差最大值約為9%,平均值約為6.8%,圖(b)展示的區(qū)域覆蓋率誤差最大值約為16.5%,平均值約為11.7%,可知云層預(yù)測結(jié)果具有比較高的精度,同時,基于衛(wèi)星云圖的云層預(yù)測可以為對地觀測衛(wèi)星任務(wù)規(guī)劃提供一定的指導(dǎo)。

3.3 改進光流法的云層預(yù)測結(jié)果

考慮到云層在運動過程中的擴散現(xiàn)象,引入了拉普拉斯算子對云層擴散進行刻畫。本節(jié)分別針對三種光流外推方法,開展了加入拉普拉斯算子前后的云層預(yù)測結(jié)果的對比分析,拉普拉斯算子對云層預(yù)測結(jié)果的MSE和SSIM的影響分別如表2和表3所示,其中Farne1-N、Farne2-N和Farne3-N表示不加入拉普拉斯算子時的三種光流外推策略。

從對比結(jié)果可以看出,加入拉普拉斯算子后,云層預(yù)測的MSE值比沒有加入時要明顯降低,并且在每一個預(yù)測時間步上都會有效果的提升;同時云層預(yù)測結(jié)果的SSIM指標在進行拉普拉斯卷積后也會有所提升,并且提升效果的幅度會隨著預(yù)測步長的增加而增大,因此對比結(jié)果很好地展現(xiàn)了拉普拉斯算子對云層預(yù)測效果提升的有效性。

表2 拉普拉斯算子對預(yù)測結(jié)果的MSE的影響對比

表3 拉普拉斯算子對預(yù)測結(jié)果的SSIM的影響對比

通過神經(jīng)網(wǎng)絡(luò)的反向傳播算法對每個預(yù)測步的擴散因子λ進行優(yōu)化,對λ的取值進行統(tǒng)計如表4所示。可以發(fā)現(xiàn),隨著預(yù)測步長的增加,λ的取值也會提升。λ的值越大表明云層擴散的效果越明顯。因為隨著預(yù)測時間增加,云層的擴散也會逐漸累積,擴散效果會更加明顯,這與λ的取值能夠很好地吻合,這反映出基于真實云圖數(shù)據(jù)下,參數(shù)λ取值優(yōu)化結(jié)果的合理性。

表4 擴散因子λ在每個預(yù)測步上的取值

4 結(jié)論

利用風(fēng)云衛(wèi)星的真實云圖,采用基于Farneback光流法的運動矢量外推可以實現(xiàn)云層預(yù)測,從時間尺度上,云層預(yù)測的誤差會隨著預(yù)測步長的增加而增大,依據(jù)云圖的對比效果可知光流法的結(jié)果能夠近似預(yù)測云層的運動趨勢;從空間尺度上,基于光流法的云層預(yù)測具有邊界效應(yīng),即邊界處云的移動無法得到周邊云層的補充,因此工程上可以采用更大區(qū)域的云圖計算光流來預(yù)測中間區(qū)域的云層情況;通過對比引入拉普拉斯算子前后的云層預(yù)測效果,可以發(fā)現(xiàn)增加對云層擴散的刻畫,可以有效地提升云層預(yù)測的精度,通過對優(yōu)化后擴散因子λ取值的分析,可以發(fā)現(xiàn)隨著預(yù)測步長增加,云的平均擴散效果也是增加的,這也驗證了拉普拉斯算子和擴散因子的有效性。

未來與展望:目前基于深度學(xué)習(xí)的視頻預(yù)測方法已成為計算機視覺的研究重點之一,而且隨著衛(wèi)星技術(shù)的進步,目前也有大量的云圖數(shù)據(jù),未來可以考慮采用深度學(xué)習(xí)進行云層預(yù)測研究;此外,需要將云層預(yù)測的結(jié)果與對地觀測衛(wèi)星的任務(wù)規(guī)劃結(jié)合起來,短期的云層預(yù)測可以給衛(wèi)星任務(wù)重規(guī)劃提供指導(dǎo),未來的研究可以建立短期云層預(yù)測與對地觀測衛(wèi)星任務(wù)規(guī)劃問題結(jié)合的框架,并研究設(shè)計基于云層預(yù)測的地面目標觀測任務(wù)規(guī)劃算法。