（中國氣象局氣象干部培訓(xùn)學(xué)院，北京 100081）

光流法及其在氣象領(lǐng)域里的應(yīng)用

柳士俊 張蕾

（中國氣象局氣象干部培訓(xùn)學(xué)院，北京 100081）

光流法是研究視覺和客觀物體之間關(guān)系的數(shù)學(xué)分析方法，在圖像識(shí)別和追蹤的相關(guān)領(lǐng)域已有廣泛的成功應(yīng)用。本文通過介紹經(jīng)典的Horn-Schunck方法和Lucas-Kanade方法，引入光流方法的基本概念和原理，進(jìn)而在此基礎(chǔ)上進(jìn)一步用統(tǒng)一的變分方法框架解釋絕大部分光流場算法。最后介紹光流方法在氣象領(lǐng)域的應(yīng)用及其前景。

光流，變分法，圖像識(shí)別，氣象

0 引言

遙看藍(lán)天白云，云卷云舒，壯美絕倫，其光影變幻投影在視網(wǎng)膜上，如同水流一樣形成一種光的流動(dòng)，這種由于空間物體運(yùn)動(dòng)而反映在像平面上的像素隨時(shí)間的運(yùn)動(dòng)變化，有點(diǎn)像流體的運(yùn)動(dòng)，我們稱之為光流（optical flow）。這個(gè)概念是Gibson于1950年首先提出的[1]。光流實(shí)際上是空間運(yùn)動(dòng)物體在觀測成像面上的像素運(yùn)動(dòng)的瞬時(shí)速度。光流就是研究圖像灰度在時(shí)間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系。

實(shí)用上可以將光流矢量定義為二維圖像平面特定坐標(biāo)點(diǎn)上的灰度瞬時(shí)變化率，表示圖像灰度模式的表觀運(yùn)動(dòng)，是一個(gè)二維矢量場。光流矢量的全體構(gòu)成光流場（optical flow field），包含各像素點(diǎn)的瞬時(shí)運(yùn)動(dòng)速度矢量信息。二維光流場實(shí)際上是實(shí)際物體的三維運(yùn)動(dòng)場的投影。光流法的實(shí)質(zhì)是由二維光流場重構(gòu)三維運(yùn)動(dòng)場。由于像素點(diǎn)運(yùn)動(dòng)中隱含了目標(biāo)運(yùn)動(dòng)的信息，因此光流場的分析可被用來確定目標(biāo)的運(yùn)動(dòng)情況，研究光流場的目的就是為了從序列圖像中重構(gòu)目標(biāo)運(yùn)動(dòng)場。

雖然光流場圖像分析的直接目的是確定運(yùn)動(dòng)場，然而光流場并不總是對(duì)應(yīng)于實(shí)際的運(yùn)動(dòng)場。嚴(yán)格地說，光流場與運(yùn)動(dòng)場雖然有著密切的關(guān)系，但是并非完全對(duì)應(yīng)的關(guān)系。也就是說：運(yùn)動(dòng)產(chǎn)生光流，因而有光流就一定存在著運(yùn)動(dòng)，然而并不是說有了運(yùn)動(dòng)就一定能夠產(chǎn)生光流。不過在絕大多數(shù)的情況下，如果光流場滿足所謂的三要素：第一，運(yùn)動(dòng)（ 速度場），光流形成的必要條件；第二，帶光學(xué)特征的部位（例如有灰度的像素點(diǎn)），能攜帶信息；第三，成像投影（從場景到圖像平面），能夠被觀察到；那么，在滿足三要素的條件下，光流場與運(yùn)動(dòng)場都是相互對(duì)應(yīng)的。所以在許多情況下我們可以根據(jù)光流與運(yùn)動(dòng)場的相互關(guān)系，由圖像的變化來估計(jì)相對(duì)運(yùn)動(dòng)。

雖然光流的概念在20世紀(jì)50年代由Gibson提出，然而光流計(jì)算技術(shù)的真正實(shí)用研究卻開始于20世紀(jì)80年代初Horn等[2]以及Lucas等[3]的奠基性工作，而后的20年里各種新算法和改進(jìn)算法不斷出現(xiàn)，并取得了豐碩的研究成果。Barron等[4]對(duì)這一階段的代表性工作做了詳細(xì)介紹。此后的光流計(jì)算技術(shù)受制于方法本身存在的一些難點(diǎn)和問題，如光流計(jì)算的可靠性問題、大位移問題、光照的影響問題、運(yùn)動(dòng)邊界遮擋問題和復(fù)雜背景運(yùn)動(dòng)問題、光流計(jì)算速度慢的問題等，技術(shù)進(jìn)展較為緩慢。盡管如此，部分問題還是有所突破，如Lauze等[5]提出解決大位移光流計(jì)算問題的分層方法；Kim等[6]消除光照對(duì)光流計(jì)算的影響的方法。在這些工作的基礎(chǔ)上，Papenberg[7]對(duì)變分模型中的數(shù)據(jù)項(xiàng)進(jìn)行了總結(jié)和分類。近些年隨著偏微分方程和張量分析等數(shù)學(xué)方法在圖像分析中的不斷滲透，光流計(jì)算技術(shù)在計(jì)算精度、可靠性等方面取得了較大的進(jìn)展。最具代表性的是以Weickert[8-10]為首的團(tuán)隊(duì)在此領(lǐng)域的重大突破。Roth等[11-12]提出場景中反射物體的光流計(jì)算方法，并將統(tǒng)計(jì)方法引入光流場計(jì)算中。Baker等[13]對(duì)Barron之后的光流計(jì)算工作做了歸納和總結(jié)，并提出光流計(jì)算的各種評(píng)估方法。Brox等[14]提出匹配法解決大位移光流計(jì)算問題的方法。近些年，國內(nèi)學(xué)者也對(duì)光流計(jì)算進(jìn)行了大量研究[15-18]。

時(shí)變圖像光流場計(jì)算技術(shù)目前大致有以下幾個(gè)研究方向：（1）研究解決光流場計(jì)算不適定問題①在經(jīng)典的數(shù)學(xué)物理中，適定問題是指滿足下列三個(gè)要求的問題：1）解是存在的；2）解是惟一的；3）解連續(xù)依賴于定解條件。這三個(gè)要求中，只要有一個(gè)不滿足，則稱之為不適定問題。的方法；（2）研究光流場計(jì)算基本公式的不連續(xù)性；（3）光流場重建物體三維運(yùn)動(dòng)和結(jié)構(gòu)的研究。本文將首先通過介紹經(jīng)典的Horn-Schunck方法和Lucas-Kanade方法，引入光流方法的基本概念和原理，在此基礎(chǔ)上進(jìn)一步用統(tǒng)一的變分方法框架解釋絕大部分光流場算法。最后介紹光流方法在氣象領(lǐng)域的應(yīng)用及其前景。

1 基本原理

為光流基本等式引入適當(dāng)?shù)募s束條件形成可行的估計(jì)算法，從而獲得光流場的估計(jì)，是光流算法的核心問題。最早使用的、具有代表性的光流算法有兩個(gè)，一個(gè)是基于全局平滑的Horn-Schunk方法，另一個(gè)是基于局部匹配的Lucas-Kanade方法。這兩種方法是后來的各種方法的基礎(chǔ)，通過了解這兩種方法，以引入一些適用于所有光流算法的基本原理和概念，下面介紹這兩種算法。

1.1 基于全局平滑的方法——Horn-Schunk光流計(jì)算方法

1981年，Horn與Schunk等在相鄰圖像之間的間隔時(shí)間很?。ǎ?0ms），且其圖像中灰度變化也很小、光照恒定不變的前提下，推導(dǎo)出灰度圖像光流場計(jì)算的基本等式——光流基本方程，創(chuàng)造性地將二維運(yùn)動(dòng)與圖像灰度聯(lián)系了起來，開拓了圖像連續(xù)處理的新領(lǐng)域。其方法的核心是假設(shè)光流的連續(xù)性，運(yùn)動(dòng)主體是像素灰度，也就是讓灰度在圖像平面上流動(dòng)起來，正像在液體或氣體中的流點(diǎn)的流動(dòng)一樣。如我們所熟知的，在流體力學(xué)中，連續(xù)性方程起了重要的作用，而在圖像處理中，要做的是找到一個(gè)與流體的連續(xù)性方程類似的方程來確定光流場，這個(gè)方程就是光流基本方程。

Horn-Schunck光流計(jì)算方法的核心是基于兩個(gè)假設(shè)。假設(shè)1，灰度守恒：任何物體點(diǎn)所觀察到的亮度隨時(shí)間是恒定不變的（當(dāng)時(shí)間間隔足夠小時(shí)）。假設(shè)2，平滑約束：圖像平面內(nèi)的鄰近點(diǎn)以類似的方式進(jìn)行移動(dòng)（即速度平滑性）。

根據(jù)假設(shè)1，可以建立光流基本方程。設(shè)圖像像素m在(x, y)位置及t時(shí)刻的灰度為I(x, y, t)，m的速度定義為光流矢量其中定義空間矢量微分算符由于灰度守恒，可得到

式中，Ix，Iy，It可以直接根據(jù)圖像中鄰近點(diǎn)的值計(jì)算而得。根據(jù)光流基本方程，可進(jìn)一步定義光流誤差為：

式中，X=(x, y)。根據(jù)假設(shè)1，此項(xiàng)應(yīng)取極小值。

由于光流基本約束方程只有一個(gè)，而光流矢量卻有兩個(gè)未知數(shù)u和v，該方程只能求出光流場梯度方向的值，方程是不適定的，可通過引入附加的光滑性假設(shè)，使光流問題正則化②求解不適定問題的普遍方法是用一組與原不適定問題相“鄰近”的適定問題的解云逼近原問題的解,這種方法稱為正則化方法。，因此從光流基本約束方程求解光流場必須引入附加的約束條件。假定光流在整個(gè)圖像上的變化平滑，也就是加上平滑約束條件，即上面的假設(shè)2，我們得到第二約束條件，即梯度模取極小值。

對(duì)于光滑變化的光流，將其速度梯度范數(shù)作為光滑性測度，定義其分量平方和為光滑性測度誤差：

根據(jù)假設(shè)2，此項(xiàng)也應(yīng)取極小值。

將微分約束誤差e1(X)與加權(quán)光滑性測度誤差e2(X)組合起來，有

式中，λ是拉格朗日乘數(shù)，它決定了上述兩種誤差之間的相對(duì)權(quán)重。當(dāng)圖像成像質(zhì)量較好，灰度圖像值的測量精確時(shí)，e1應(yīng)給以更大的權(quán)重，λ的值應(yīng)取得小些，以削弱e2增強(qiáng)e1；相反，當(dāng)灰度值的測量中含有很多噪聲時(shí)，e1這一項(xiàng)不能反應(yīng)對(duì)光流基本約束方程的實(shí)際偏離情況，λ的值應(yīng)取得大些，以削弱e1增強(qiáng)e2。

具體實(shí)現(xiàn)上述想法，可以通過構(gòu)造如下拉格朗日泛函完成。

通常，我們把E1稱為數(shù)據(jù)項(xiàng)。而把E2稱為平滑項(xiàng)。當(dāng)上式取極值時(shí)，方程是適定的。

根據(jù)變分原理，對(duì)于上述泛函E求極值的問題, 等價(jià)于求解相應(yīng)的等價(jià)歐拉—拉格朗日方程組，然后對(duì)方程組進(jìn)行離散化，得到對(duì)應(yīng)的差分方程，進(jìn)而可以求出u和v。實(shí)際計(jì)算中，經(jīng)常將求解出的u和v表示成迭代方程的形式，采用松弛迭代法求解。只要迭代次數(shù)足夠大，或者兩次迭代之間的誤差足夠小，就可以終止迭代，得到比較穩(wěn)定的光流矢量 。

1.2 基于局部匹配的方法：Lucas-Kanade光流計(jì)算方法

另一個(gè)常用的方法是Lucas-Kanade光流計(jì)算方法。Lucas和Kanade假設(shè)在某一個(gè)小的空間鄰域Ω上，運(yùn)動(dòng)矢量保持恒定不變，設(shè)圖像間是線性相關(guān)的，然后使用加權(quán)最小二乘法來估計(jì)光流[19]。乍看起來，這個(gè)假設(shè)類似于Horn-Schunck方法中的假設(shè)2，然而處理方法卻截然不同。扼要地說，Horn-Schunck方法是整體的、全局的。通過補(bǔ)充平滑假設(shè)使方程組正則化。而Lucas-Kanade方法卻是通過在局部補(bǔ)充n個(gè)方程，由于一般情況下n＞＞2，故從數(shù)學(xué)上看，問題是超定的，最后通過最小二乘法使問題正則化。其方法是局部匹配的。具體方法如下：

在一個(gè)小的空間鄰域Ω上，光流估計(jì)誤差可以被定義為：

式中，W(x, y)為窗口權(quán)重函數(shù)，它應(yīng)使鄰域Ω中心區(qū)域?qū)s束產(chǎn)生的影響比外圍區(qū)域?qū)ζ洚a(chǎn)生的影響更重要。設(shè)，則上式的解可以得到速度場：

可見，當(dāng)ATW2A為非奇異矩陣時(shí)，式（7）可以得到解析解，其中所有的求和都是通過鄰域Ω上的點(diǎn)得到的。

簡而言之，Horn-Schunck方法認(rèn)為圖像序列中同一運(yùn)動(dòng)物體引起的光流場是連續(xù)和平滑的，從而引入了對(duì)光流的平滑性約束，將光流求解的病態(tài)問題轉(zhuǎn)化為求解凸函數(shù)的最小值問題，是光流求解的里程碑，屬于全局方法。而Lucas-Kanade方法則是通過在小的局部區(qū)域內(nèi)運(yùn)用加權(quán)最小二乘法求解光流，屬于局部匹配方法。在基于灰度的光流算法中，Horn-Schunck方法與Lucas-Kanade法仍是目前應(yīng)用廣泛、可靠性較高的方法，其他方法大多是對(duì)這兩種方法的改進(jìn)。

2 基于變分方法的統(tǒng)一框架模式

基于上述光流基本約束方程，產(chǎn)生了很多形式的光流計(jì)算方法，但其中絕大部分可以統(tǒng)一描述為變分模型[7]，所謂變分光流計(jì)算就是最小化某個(gè)能量泛函的過程?；镜淖兎止饬饔?jì)算模型形同式（6），可歸納為由數(shù)據(jù)項(xiàng)和平滑項(xiàng)組成。數(shù)據(jù)項(xiàng)與要處理圖像序列的先驗(yàn)知識(shí)有關(guān)，例如，圖像的灰度、梯度等信息，數(shù)據(jù)項(xiàng)決定了計(jì)算模型與真實(shí)運(yùn)動(dòng)的相似程度。平滑項(xiàng)是附加給光流基本方程的約束條件，主要解決光流計(jì)算方程的不適定問題。光流計(jì)算的變分方法以其模型的通用性、建模的自動(dòng)化與準(zhǔn)確性、可獲得稠密的光流場等優(yōu)勢成為當(dāng)前光流計(jì)算的主流方法之一，它可以為不同類型光流場的計(jì)算提供統(tǒng)一的數(shù)學(xué)模型。

構(gòu)造泛函的過程，就是具體化數(shù)據(jù)項(xiàng)e1與光滑項(xiàng)e2的過程。根據(jù)變分原理，對(duì)于上述E的泛函求極值的問題，等價(jià)于求解等價(jià)歐拉—拉格朗日方程組，其數(shù)值求解一般采用最速下降法或松弛法迭代求解。

下文將分別考慮數(shù)據(jù)項(xiàng)與平滑項(xiàng)，給出在不同假設(shè)條件下，一些不同算法或算法組合的具體形式。

2.1 數(shù)據(jù)項(xiàng)e1的形式

2.1.1 灰度常值假設(shè)

這種情況前面已經(jīng)討論過，就是灰度滿足光流基本方程。數(shù)據(jù)項(xiàng)為前面介紹過的式（2）。

2.1.2 灰度梯度常值假設(shè)

很明顯，當(dāng)光照有變化時(shí)，灰度常值假設(shè)是不成立的，然而這時(shí)的灰度梯度卻是不變的，因而這時(shí)數(shù)據(jù)項(xiàng)為：

2.1.3 灰度Hessian矩陣常值假設(shè)

定義灰度Hessian矩陣為Ixixj，則在灰度Hessian矩陣常值假設(shè)下，

2.1.4 灰度范數(shù)常值假設(shè)

2.1.5 灰度拉普拉斯算子常值假設(shè)

定義灰度拉普拉斯算子范數(shù)為 ，則在灰度拉普拉斯算子范數(shù)常值假設(shè)下，

2.1.6 灰度Hessian矩陣行列式常值假設(shè)

定義灰度Hessian矩陣行列式為 ，則在灰度Hessian矩陣行列式常值假設(shè)下，

2.2 平滑項(xiàng)e2的形式

2.2.1 均勻光滑模式

均勻光滑模式就是假定光流場臨近點(diǎn)運(yùn)動(dòng)是相同的，即前面介紹過的式（3）。很容易看出，數(shù)據(jù)項(xiàng)模式2.1.1與光滑項(xiàng)模式2.2.1組合起來，就是Horn-Schunck模式。

2.2.2 圖像驅(qū)動(dòng)的各向同性光滑模式

均勻光滑模式在有些情形容易導(dǎo)致過度光滑，解決辦法是在2.2.1模式的基礎(chǔ)上進(jìn)行修正，引入一個(gè)函數(shù)g，它是灰度梯度的函數(shù)，通常是采用高斯函數(shù)形式，以自適應(yīng)修正光滑項(xiàng)，圖像梯度大的地方修正小，圖像變化平緩的地方修正大，故稱為圖像驅(qū)動(dòng)的各向同性光滑模式，具體形式如下：

2.2.3 圖像驅(qū)動(dòng)的各向異性光滑模式

各向同性光滑模式可以解決均勻光滑模式的過度光滑現(xiàn)象，但是在有些情況，如物體邊緣，在法線方向灰度梯度變化大，而在垂直物體表面法線方向基本不變，這時(shí)，應(yīng)該采用各向異性光滑模式如下：

2.2.4 光流驅(qū)動(dòng)的各向同性光滑模式

當(dāng)光照變化時(shí)，上述的圖像驅(qū)動(dòng)的各向同性、各向異性光滑模式均不能很好解決問題，這時(shí)可采取引入另一個(gè)函數(shù)H，它是光流平滑性的函數(shù)，可以自適應(yīng)修正光滑項(xiàng)，光流梯度矢量大的地方修正大，光流梯度矢量小的地方修正小，故稱為光流驅(qū)動(dòng)的各向同性光滑模式，具體形式如下：

2.2.5 光流驅(qū)動(dòng)的各向異性光滑模式

各向同性光滑光流平滑模式可以解決光照變化產(chǎn)生的虛假光流，但是也會(huì)錯(cuò)誤平滑一些正常的光流。這時(shí)，采用各向異性光滑模式如下：

以上方法具體可參見文獻(xiàn)[8-10]。

2.3 數(shù)據(jù)項(xiàng)與平滑項(xiàng)的卷積形式

2.1 和2.2小節(jié)敘述的是基于整體變分的Horn-Schunck模式的拓展數(shù)據(jù)項(xiàng)與光滑項(xiàng)的方法。同樣，也可以沿著另一個(gè)方向，即基于局部匹配的Lucas-Kanade模式的拓展數(shù)據(jù)項(xiàng)與光滑項(xiàng)的方法。當(dāng)圖像有噪聲的時(shí)候，可以將Horn-Schunck模式與Lucas-Kanade模式的優(yōu)點(diǎn)結(jié)合起來。使其既滿足光滑性，又克服噪聲干擾，具有魯棒性。

首先拓展Lucas-Kanade模式的空間，將窗口函數(shù)

拓展為積分核函數(shù)Kρ，將離散求和變?yōu)檫B續(xù)卷積運(yùn)算。得到下式的數(shù)據(jù)項(xiàng)：

式中，*號(hào)表示卷積運(yùn)算，Kρ為卷積核函數(shù)，在以為半徑為ρ的Ω領(lǐng)域內(nèi)求卷積。類似地，有平滑項(xiàng)：

拓展后的數(shù)據(jù)項(xiàng) 與平滑項(xiàng) 即保持了全局方法的致密性特點(diǎn)，又有局部匹配法魯棒性較好的特點(diǎn)。卷積核函數(shù)Kρ有多種選擇，通常為Gaussian核。同樣，式（5）中數(shù)據(jù)項(xiàng)與平滑項(xiàng)不過是Kρ=1項(xiàng)的特例。

從前面幾節(jié)的討論可見，由2.1節(jié)與2.2節(jié)的方法可以組合出數(shù)十種泛函形式，再與2.3節(jié)的方法組合，理論上，可以統(tǒng)一絕大部分光流算法模式。在實(shí)用上，可根據(jù)光流場的特點(diǎn)，選取上面介紹的不同數(shù)據(jù)項(xiàng)和光滑項(xiàng)進(jìn)行組合，代入式（5）的泛函取極值，求解相應(yīng)的等價(jià)歐拉—拉格朗日方程組，然后對(duì)方程組進(jìn)行離散化，得到對(duì)應(yīng)的差分方程，進(jìn)而可以求出滿意的結(jié)果。

3 光流法在氣象上的應(yīng)用

3.1 在中小尺度強(qiáng)對(duì)流系統(tǒng)中對(duì)雷達(dá)產(chǎn)品的應(yīng)用

從20世紀(jì)50年代至今，基于雷達(dá)數(shù)據(jù)的雷暴識(shí)別追蹤和外推預(yù)報(bào)技術(shù)發(fā)展了很多方法。這些方法大致可以分為兩大類：最早出現(xiàn)的交叉相關(guān)法（cross correlation）和隨后出現(xiàn)的單體質(zhì)心法（centroid tracking）。在變化較為平緩的層狀云降水系統(tǒng)中，雷暴的外形和移動(dòng)速度變化都不是很劇烈，此時(shí)交叉相關(guān)法的效果較好。對(duì)強(qiáng)對(duì)流天氣過程，雷暴的外形和移動(dòng)速度隨時(shí)間變化迅速，交叉相關(guān)法簡單的計(jì)算相關(guān)系數(shù)的方法難以保證追蹤的準(zhǔn)確性，效果就會(huì)明顯降低，并最終影響預(yù)報(bào)的結(jié)果。

由于光流法全局平滑的假設(shè)，即使雷暴的運(yùn)動(dòng)和外形變化比較劇烈，也能較準(zhǔn)確地得到雷暴的整體運(yùn)動(dòng)趨勢，這是交叉相關(guān)法無法相比的。對(duì)比試驗(yàn)證實(shí)[20]，對(duì)層狀降水的天氣個(gè)例，交叉相關(guān)法和光流法的效果沒有明顯的差別，兩種方法取得了大致相同的評(píng)分結(jié)果。而對(duì)于對(duì)流降水的天氣過程，光流法則要優(yōu)于交叉相關(guān)法，與簡單的交叉相關(guān)法相比，光流法使用全局平滑約束來求解偏微分運(yùn)動(dòng)方程，對(duì)變化較大的強(qiáng)對(duì)流降水系統(tǒng)，也可以準(zhǔn)確地得到雷暴的整體運(yùn)動(dòng)趨勢。試驗(yàn)及評(píng)價(jià)結(jié)果驗(yàn)證了光流法在強(qiáng)對(duì)流降水系統(tǒng)下的優(yōu)越性[21]。

3.2 在中尺度對(duì)流系統(tǒng)MCS中對(duì)衛(wèi)星云圖產(chǎn)品的應(yīng)用

衛(wèi)星云圖在掌握大氣環(huán)流、中長期天氣預(yù)報(bào)以及災(zāi)害性天氣學(xué)的研究中有重要作用。觀測大氣環(huán)流情況的一個(gè)方法是在衛(wèi)星云圖上標(biāo)出風(fēng)矢。風(fēng)矢的大小和方向由云塊移動(dòng)的速度決定。這類方法稱為云導(dǎo)風(fēng)方法。早在20世紀(jì)70年代，通過靜止氣象衛(wèi)星得到的遙感圖像應(yīng)用于氣象觀測和預(yù)報(bào)之時(shí)，最早的自動(dòng)風(fēng)矢量計(jì)算技術(shù)就己經(jīng)出現(xiàn)。當(dāng)時(shí)，美國國家環(huán)境衛(wèi)星和資料信息局的Leese和工作于IBM的Novak最早提出將最大相關(guān)法[22]應(yīng)用于云導(dǎo)風(fēng)計(jì)算中，最大相關(guān)法及其改進(jìn)算法一直到現(xiàn)在仍然是各國氣象機(jī)構(gòu)廣為采用的主流算法。

已有的初步工作表明[23]，光流法能更好的捕捉到衛(wèi)星云圖中像素的運(yùn)動(dòng)，由前一時(shí)刻圖像和光流場得到的運(yùn)動(dòng)后的圖像與實(shí)際圖像間的交叉相關(guān)系數(shù)高達(dá)98.4%～99.2%，均方根誤差在3.5～5.0。與基于最大相關(guān)法的云導(dǎo)風(fēng)計(jì)算方法相比，相關(guān)系數(shù)提高了約0.7%，均方根誤差降低了約1.2，計(jì)算時(shí)間也大大減少。從視覺效果的對(duì)比中，可以看出光流算法所得流場的空間和時(shí)間連續(xù)性較好，對(duì)一些特殊的風(fēng)場結(jié)構(gòu)也有很好的體現(xiàn)。

3.3 圖驅(qū)動(dòng)技術(shù)

無論是交叉相關(guān)法、云導(dǎo)風(fēng)方法，還是目前的光流法，其預(yù)報(bào)的有效性隨著時(shí)間的增加而迅速降低，這是因?yàn)轭A(yù)報(bào)只是利用過云時(shí)刻的資料進(jìn)行簡單的外推，無法從物理機(jī)制上預(yù)報(bào)雷暴、臺(tái)風(fēng)等天氣現(xiàn)象的生成、發(fā)展和消亡。這些方法都是基于主觀分析的輔助技術(shù)?？陀^分析方法主要是基于數(shù)值預(yù)報(bào)。它是基于大氣動(dòng)力方程，從物理機(jī)制上著手，采用現(xiàn)代數(shù)值計(jì)算技術(shù)，將微分方程轉(zhuǎn)換為差分方程，對(duì)觀測數(shù)據(jù)進(jìn)行數(shù)據(jù)同化處理，輸出各種物理場，以預(yù)測天氣現(xiàn)象的實(shí)況。如果把圖廣義理解為數(shù)據(jù)點(diǎn)陣的空間分布，那么，這時(shí)輸入數(shù)據(jù)是圖，是有限觀測的內(nèi)插格點(diǎn)場，輸出結(jié)果也是圖，是有限輸出的格點(diǎn)外插場。由于觀測、插值、模式本身都有誤差，所以要通過數(shù)據(jù)同化技術(shù)使之協(xié)調(diào)，達(dá)到總體誤差最小。示意圖見圖1。

所謂圖驅(qū)動(dòng)技術(shù)（Figure drive technology），也可稱為圖算技術(shù)（Figure computing technology），是指直接由觀測圖輸出預(yù)報(bào)圖，比如由已知云圖、天氣圖直接得到未來幾天的云圖、天氣圖。其驅(qū)動(dòng)機(jī)制稱為廣義光流基本方程，前面所述的光流法是其最基本的模式，只是唯象的描述。光流法的未來發(fā)展將是把物理機(jī)制、動(dòng)力方程融入到廣義光流基本方程中，與前面所述的NWP模式不同，這里不對(duì)觀測數(shù)據(jù)（圖）進(jìn)行同化，而是對(duì)模式進(jìn)行“同化”。輸出的結(jié)果也是直接輸出圖。示意圖見圖2。

圖驅(qū)動(dòng)的光流方法，綜合了主觀分析與客觀分析的優(yōu)點(diǎn)，可以滿足對(duì)目前觀測資料急劇增多，處理手段還停留在手工階段的數(shù)據(jù)處理需求。

3.4 海洋表面風(fēng)場的提取

風(fēng)是海浪氣候等的主要輸入?yún)?shù)，海面風(fēng)場的觀測十分重要。風(fēng)力是導(dǎo)致海洋表面運(yùn)動(dòng)的重要?jiǎng)恿ΓＣ骘L(fēng)參與調(diào)節(jié)熱量、進(jìn)行水汽交換等海洋與大氣相互作用等過程, 從而影響局域甚至全球氣候。

基于光流運(yùn)動(dòng)估計(jì)技術(shù)，利用海洋動(dòng)力環(huán)境X 波段雷達(dá)監(jiān)測系統(tǒng)（XWCMS）樣機(jī)，可提取海面風(fēng)場。XWCMS 系統(tǒng)主要由X波段海洋動(dòng)力環(huán)境探測雷達(dá)系統(tǒng)和算法實(shí)現(xiàn)與顯控應(yīng)用軟件組成。2007年2—3 月，在青島小麥島海域進(jìn)行海上試驗(yàn)[24]，試驗(yàn)采集的雷達(dá)海雜波數(shù)據(jù)主要用于海浪、海面流信息提取，并與現(xiàn)場測量儀器（波浪騎士浮標(biāo)、海流計(jì)）進(jìn)行比測研究，同時(shí)，利用光流運(yùn)動(dòng)估計(jì)技術(shù)得到了海面風(fēng)場分布。

3.5 對(duì)TITAN的預(yù)報(bào)結(jié)果的改進(jìn)

TITAN算法是目前臨近天氣預(yù)報(bào)的主要方法之一，它使用組合最優(yōu)化算法對(duì)風(fēng)暴體進(jìn)行追蹤，通過使用一些幾何算法來實(shí)現(xiàn)對(duì)風(fēng)暴的合并、分裂的識(shí)別[25]。然而，試驗(yàn)發(fā)現(xiàn)，由于在算法中使用的速度約束是固定不變的，且預(yù)報(bào)方法只適用于那些組織結(jié)構(gòu)比較穩(wěn)定的風(fēng)暴，而對(duì)組織結(jié)構(gòu)變化比較大的風(fēng)暴則不太適合，導(dǎo)致TITAN算法對(duì)那些結(jié)構(gòu)變化較大的風(fēng)暴追蹤效果較差，經(jīng)常發(fā)生追蹤失敗的情況。因此，引入了基于區(qū)域匹配的光流法對(duì)TITAN 算法進(jìn)行了改進(jìn)（主要是改進(jìn)了質(zhì)心的預(yù)報(bào)方法）。

光流法是利用圖像序列中像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性來確定各自像素位置的“運(yùn)動(dòng)”，即研究圖像灰度在時(shí)間上的變化與景象中物體結(jié)構(gòu)及其運(yùn)動(dòng)的關(guān)系，且圖像光流的計(jì)算不需在圖像序列中建立特征之間的對(duì)應(yīng)關(guān)系[26]。因此即使風(fēng)暴的組織結(jié)構(gòu)發(fā)生較大的變化，其也可以較好地反映出圖像中運(yùn)動(dòng)物體的運(yùn)動(dòng)趨勢。具體的改進(jìn)方法為：（1）將與風(fēng)暴質(zhì)心相鄰各點(diǎn)的光流法結(jié)果求和, 以便得出風(fēng)暴質(zhì)心的運(yùn)動(dòng)方向；（2）將TITAN算法中對(duì)質(zhì)心的預(yù)報(bào)結(jié)果和用光流法得出的結(jié)果求和, 并求出和向量的方向；（3）將光流法的結(jié)果轉(zhuǎn)到與和向量相同的方向上。

通過以上處理既可以使預(yù)報(bào)的結(jié)果更加符合風(fēng)暴的實(shí)際運(yùn)動(dòng)趨勢，又可以使它與風(fēng)暴的變化趨勢基本一致。這樣不僅可以提高對(duì)風(fēng)暴追蹤的成功率，而且還可以提高預(yù)報(bào)的準(zhǔn)確性。通過加入光流法進(jìn)行改進(jìn)后, 對(duì)風(fēng)暴的運(yùn)動(dòng)趨勢的估計(jì)更加符合真實(shí)情況。

[1]Gibson J J. The Pecrpetion of the Visual World. Boston: Houghton Mifin, 1950.

[2]Horn B K P, Schunck B G. Determining optical flow. Artificial Intelligence, 1981, 17(1/3) : 185-204．

[3]Lucas B D, Kanade T. An iterative image registration technique with an application to stereo vision//Proceedings of Seventh International Joint Conference on Artifcial Intelligence. Vancouver: IEEE Press, 1981.

[4]Barron J L, Fleet D J, Beauchemin S S. Performance of optical fow techniques. International Journal of Computer Vision, 1994, 12(1) : 43-77.

[5]Lauze F, Kornprobst P, Mémim E. A coarse to fine multiscale approach for linear least squares optical flow estimation// Proceedings of the British Machine Vision Conference. London: Kingston University, 2004: 767-776.

[6]Kim Y H, Martínez A M, Kak A C. Robust motion estimation under varying illumination. Image and Vision Computing, 2005, 23(4) : 365-375.

[7]Papenberg N. Highly accurate optic flow computation with theoretically justifed warping . International Journal of Computer Vision, 2006, 67(2) : 141-158.

[8]Bruhn A, Weickert J. Lucas /Kanade meets Horn / Schunck:combining local and global optic flow methods. International Journal of Computer Vision, 2005, 61(3) : 211-231.

[9]Brox T, Bruhn A, Papenberg N, et al. High accuracy optic flow estimation based on a theory for warping//Proc 8th European Conference on Computer Vision. Prague: IEEE Press, 2004.

[10]Bruhn A, Weickert J. Towards ultimate motion estimation: combining highest accuracy with Real-Time performance//Proc 10th International Conference on Computer Vision. Beijing: IEEE Press, 2005．

[11]Roth S, Black M J. Specular flow and the recovery of surface structure//Proc IEEE International Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2006, 6(2): 1869-1876.

[12]Roth S, Black M J. On the spatial statistics of optical flow. International Journal of Computer Vision, 2007, 74(1): 33-50.

[13]Baker S, Scharstein D, Lewis J P. A database and evaluation methodology for optical fow //Proc 11th International Conference on Computer Vision. Rio de Janeiro: IEEE Press, 2009, 7(10) : 1-8.

[14]Brox T, Malik J. Large displacement optical flow. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 9( 6) : 41-48.

[15]陳震, 高滿屯, 沈允文. 圖像光流場計(jì)算技術(shù)研究進(jìn)展. 中國圖象圖形學(xué)報(bào), 2002, 7A(5) : 434-439.

[16]危水根, 陳震, 黎明. 基于梯度光流場計(jì)算方法的一種改進(jìn). 計(jì)算機(jī)工程, 2006, 32(1) : 198-200.

[17]關(guān)鍵, 段惠, 李茂寬. 幾何代數(shù)域內(nèi)的光流場改進(jìn)算法. 海軍航空工程學(xué)院學(xué)報(bào), 2008, 23(1) : 9-12.

[18]盧宗慶. 運(yùn)動(dòng)圖像分析中的光流計(jì)算方法研究. 西安: 西安電子科技大學(xué), 2008.

[19]Lucas B, Kanade T. An Iterative Image Registration Technique with an Application to Stereo Vision//Proc DARPA Image Understanding Workshop, 1981, 54(7) : 121-130.

[20]Battiti R, Amaldi E, Koch C. Computing Optical Flow Across Multiple Scales: An Adaptive Coarse-to-fine Strategy. International Journal of Computer Vision, 2004, 6(2) : 133-145.

[21]韓雷, 王洪慶, 林隱靜. 光流法在強(qiáng)對(duì)流天氣臨近預(yù)報(bào)中的應(yīng)用.北京大學(xué)學(xué)報(bào)(自然科學(xué)版) , 2008, 44(5): 751-755.

[22]Leese J A, Novak S, Clark B. An automatic technique for obtaining cloud motion from Geosynchronous Satellite data using cross correlation. J Appl Meteor, 1971, 10(1) : 118-132.

[23]劉閔. 中尺度對(duì)流系統(tǒng)中多個(gè)云團(tuán)的跟蹤和預(yù)測. 南京: 南京理工大學(xué), 2013.

[24]王劍, 段華敏. X波段雷達(dá)圖像提取海洋表面風(fēng)場. 海洋技術(shù), 29(3): 5-8.

[25]陳明軒, 俞小鼎, 譚曉光, 等. 對(duì)流天氣臨近預(yù)報(bào)技術(shù)的發(fā)展與研究進(jìn)展. 應(yīng)用氣象學(xué)報(bào), 2004 , 15 (6) : 754- 766.

[26]胡以靜, 李政訪, 胡躍明. 計(jì)算機(jī)測量與控制, 2007 , 15 (2): 219- 221.

Optical Flow Method and Its Application in the Field of Meteorology

Liu Shijun, Zhang Lei

(Chinese Meteorological Administration Training Centre, Beijing 100081)

Optical flow method is a mathematical analysis of the relationship between the visual sense and its object. It has been widely applied successfully in related areas of image recognition and tracking. This paper introduces the basic concept and principle of optical flow method by examples such as the Horn-Schunck and the Lucas-Kanade method, and then on the basis of further using the unified variational method to explain the vast majority of optical flow field algorithm. Finally, it introduces the application of the optical flow method in the field of meteorology and its prospects.

optical flow, variational method, image identification, meteorology

10.3969/j.issn.2095-1973.2015.04.002

2013年8月20日；

2013年12月25日

柳士?。?964—），Email: Lsj8848@163.com

資助信息：國家重大科學(xué)研究計(jì)劃項(xiàng)目（2012CB957803）