方宇強(qiáng)，戴 斌，宋金澤，單恩忠

(國防科學(xué)技術(shù)大學(xué) 機(jī)電工程與自動(dòng)化學(xué)院，湖南 長沙，410073)

運(yùn)動(dòng)目標(biāo)的分割就是在給定的圖像序列中提取出感興趣的運(yùn)動(dòng)區(qū)域，它可以作為重要步驟應(yīng)用于各項(xiàng)計(jì)算機(jī)視覺任務(wù)中，如智能監(jiān)控系統(tǒng)、軍事偵察、圖像壓縮、人的運(yùn)動(dòng)分析等。同時(shí)，人類的視覺往往對(duì)運(yùn)動(dòng)的物體或目標(biāo)感興趣，大量有意義的視覺信息都包含在運(yùn)動(dòng)中。但在實(shí)際的圖像采集過程中，光照、相機(jī)運(yùn)動(dòng)、陰影等因素都會(huì)給運(yùn)動(dòng)目標(biāo)的分割帶來很大的困難；所以，運(yùn)動(dòng)目標(biāo)的分割是計(jì)算機(jī)視覺領(lǐng)域極具意義且具有挑戰(zhàn)性的課題之一。光流技術(shù)作為一種重要的二維運(yùn)動(dòng)估計(jì)技術(shù)，能夠很好地反映出圖像中的運(yùn)動(dòng)變化，為運(yùn)動(dòng)目標(biāo)的分割提供有效的信息。如Polley等[1-2]利用對(duì)光流場的估計(jì)來檢測運(yùn)動(dòng)目標(biāo)。而光流技術(shù)與其他常用的運(yùn)動(dòng)檢測技術(shù)，如背景建模、幀間差分法等相比，一方面能夠在進(jìn)行運(yùn)動(dòng)檢測的同時(shí)，給出運(yùn)動(dòng)的大小和方向信息；另一方面，對(duì)于場景運(yùn)動(dòng)的情況具有較好的魯棒性，即當(dāng)攝像機(jī)運(yùn)動(dòng)的情況下，依舊能夠有效地反映出運(yùn)動(dòng)不一致的區(qū)域，如 Giachetti等[2-3]將光流技術(shù)應(yīng)用于智能車輛的障礙物檢測中?？傊?，有效地計(jì)算出光流場可以為運(yùn)動(dòng)目標(biāo)的分割提供必要信息?；顒?dòng)輪廓模型是被廣泛關(guān)注的圖像分割方法，主要分為參數(shù)活動(dòng)輪廓模型和幾何活動(dòng)輪廓模型。其中幾何活動(dòng)輪廓模型由于采用了水平集的方法而具有較強(qiáng)的拓?fù)渥赃m應(yīng)性，能夠很好地處理目標(biāo)的分裂與合并，所以，得到了廣泛應(yīng)用，如Muford等[4]提出的M-S模型可以同時(shí)實(shí)現(xiàn)對(duì)圖像的分割和去噪，Chan等[5]于區(qū)域分割的思想提出了經(jīng)典的C-V模型。這些模型一般依據(jù)目標(biāo)的紋理、顏色、邊緣等信息建立能量泛函，然后，通過最小化這一能量泛函，得到曲線的演化驅(qū)動(dòng)函數(shù)，使曲線收斂于目標(biāo)輪廓，實(shí)現(xiàn)目標(biāo)的分割。近年來，活動(dòng)輪廓模型逐漸地被應(yīng)用于運(yùn)動(dòng)目標(biāo)分割中。其基本思想是將運(yùn)動(dòng)信息融入到所要建立的能量泛函中，從而有效地將運(yùn)動(dòng)目標(biāo)分割出來。如萬成凱等[6]通過在能量函數(shù)中引入Gauss混合背景模型，來實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的分割，并取得了很好的效果。 然而，混合Gauss背景建模方法雖然可以有效地處理復(fù)雜場景下的目標(biāo)檢測，但無法有效地克服攝像機(jī)移動(dòng)的情況，使其應(yīng)用范圍受到約束。由于光流技術(shù)不易受攝像機(jī)運(yùn)動(dòng)的影響，所以，結(jié)合光流和活動(dòng)輪廓模型的運(yùn)動(dòng)目標(biāo)檢測技術(shù)受到關(guān)注，如 Polley等[1,7]將光流信息融入到活動(dòng)輪廓模型中進(jìn)行運(yùn)動(dòng)目標(biāo)分割。然而，其中仍存在以下問題：

一是活動(dòng)輪廓模型的選擇。當(dāng)選用光流信息作為運(yùn)動(dòng)目標(biāo)分割的依據(jù)時(shí)，應(yīng)充分考慮目標(biāo)的光流特征，運(yùn)動(dòng)目標(biāo)往往在其邊界處有較強(qiáng)的光流值，而其內(nèi)部由于特征一致性較高，常常產(chǎn)生較弱的光流甚至“運(yùn)動(dòng)空洞”。所以，選擇基于區(qū)域的分割模型并不合適，分割時(shí)應(yīng)該更多的考慮運(yùn)動(dòng)邊緣信息。

二是光流的計(jì)算方法。如文獻(xiàn)[1, 7]中的計(jì)算模型，平滑項(xiàng)約束都采用的是線性平滑，這樣，就在平滑整個(gè)光流場的同時(shí)，使運(yùn)動(dòng)邊界模糊化，衰減了重要的分割信息——目標(biāo)的邊緣運(yùn)動(dòng)信息，降低了分割的準(zhǔn)確性。

針對(duì)上述問題，本文作者提出一種改進(jìn)的基于活動(dòng)輪廓和光流的運(yùn)動(dòng)目標(biāo)分割方法。該方法采用基于非線性擴(kuò)散的光流計(jì)算模型，能夠有效地保留運(yùn)動(dòng)目標(biāo)的邊緣運(yùn)動(dòng)信息，并將光流信息有效地融合到基于邊緣的幾何活動(dòng)輪廓模型中，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的分割。實(shí)驗(yàn)結(jié)果表明：本文作者采用的方法充分結(jié)合了光流和幾何活動(dòng)輪廓模型的特點(diǎn)，相比于以往的算法，取得了較高的分割準(zhǔn)確性。

1 基于非線性擴(kuò)散的光流估計(jì)

1.1 擴(kuò)散-反應(yīng)式光流計(jì)算模型

擴(kuò)散是物理學(xué)中的1個(gè)常見的概念，表示某種濃度分布不均勻的雜質(zhì)在某種介質(zhì)中的遷移。若以函數(shù)φ(x, y, z, t)表示濃度隨時(shí)間t和空間(x, y, z)的變化，空間分布的不均勻性用梯度φ?來刻畫，那么，擴(kuò)散過程可表述為：

其中：a為傳導(dǎo)系數(shù)。

經(jīng)典的光流計(jì)算方法中，一般首先建立相應(yīng)的光流計(jì)算模型即能量泛函如 Horn-Schunck全局平滑約束模型[8]以及 Bruhn等[9]提出的結(jié)合全局和局部平滑的約束模型，然后，通過變分法來實(shí)現(xiàn)能量泛函的最小化，從而得到相應(yīng)的光流解，并取得了較好的光流計(jì)算結(jié)果。而能量泛函的設(shè)計(jì)中一般包括了滿足相容性約束的數(shù)據(jù)項(xiàng)和滿足光滑性約束的正則項(xiàng)，如下式(Horn-Schunck全局平滑約束模型[8])：

因而，光流計(jì)算就可以描述為如式(2)所示的反應(yīng)擴(kuò)散過程。將光流的求解過程視為一個(gè)從無序到有序，從不穩(wěn)定到穩(wěn)定的流場反應(yīng)擴(kuò)散過程。其中，反應(yīng)項(xiàng)保證了光流由非穩(wěn)態(tài)到穩(wěn)態(tài)過程中滿足自身的運(yùn)動(dòng)模型，而擴(kuò)散項(xiàng)可以控制光流的平滑程度和平滑方向。

1.2 基于非線性擴(kuò)散光流計(jì)算模型

從式(2)可以看出：在經(jīng)典的光流計(jì)算模型中，傳導(dǎo)系數(shù)a都為常數(shù)1，即一種線性擴(kuò)散的過程。線性擴(kuò)散在進(jìn)行流場平滑性約束的同時(shí)會(huì)造成運(yùn)動(dòng)邊緣信息的模糊化。而運(yùn)動(dòng)邊緣信息是光流場的重要信息，同時(shí)也是運(yùn)動(dòng)分割的最重要特征。所以，為了在進(jìn)行平滑性約束的同時(shí)保護(hù)邊緣，應(yīng)使傳導(dǎo)系數(shù)依賴流場的局部信息變化，實(shí)現(xiàn)非線性擴(kuò)散。如Nagel等[10-11]采用有向平滑的方式來提高光流計(jì)算的精度。本文也是基于這種想法，為了提高后期分割的準(zhǔn)確性采取了一種非線性擴(kuò)散的光流計(jì)算方法。

由Perona和Malik[12]提出的P-M方程是應(yīng)用于圖像濾波的偏微分方程，利用圖像的梯度模值，進(jìn)行各向同性的非線性擴(kuò)散，將圖像的濾波過程與圖像邊緣檢測的過程結(jié)合起來。由于數(shù)學(xué)上P-M模型解的存在唯一性不能保證，Cattle等[13]針對(duì)這一病態(tài)性，給出了其空域正則化模型：

其中：c為滿足一定約束的單調(diào)減函數(shù)，稱為擴(kuò)散率函數(shù)。設(shè)擴(kuò)散函數(shù)為：

該函數(shù)可以保證當(dāng)r ＜＜ K即梯度模值較小時(shí)，擴(kuò)散過程在邊緣的切向和法向都是正擴(kuò)散，能夠起到平滑作用，而當(dāng) r＞K時(shí)，在邊緣的切向上是正擴(kuò)散，而在法向上是反擴(kuò)散，銳化邊緣。本文利用非線性擴(kuò)散的想法改進(jìn)原有的線性擴(kuò)散過程，設(shè)置相應(yīng)的擴(kuò)散函數(shù)，將正則化的 P-M 方程引入到光流計(jì)算中，得到同時(shí)具有平滑性約束和運(yùn)動(dòng)邊緣增強(qiáng)的光流計(jì)算模型：

1.3 數(shù)值計(jì)算

對(duì)于式(3)，本文采用半隱式的計(jì)算方案，離散化為：

其中：擴(kuò)散項(xiàng)的散度算子采用“半點(diǎn)”離散化方案，如圖1所示，式中下標(biāo)；Ω為離散化時(shí)所用的四鄰域范圍；τ為時(shí)間步長。

圖1 半點(diǎn)離散化方案Fig.1 Half-point discretisation

若將符合圖像大小(M×N)的流場數(shù)據(jù)u和v轉(zhuǎn)換成M維、N列向量，則可將離散化的公式轉(zhuǎn)化為：

其中：矩陣 A (un)和B(un)表示MN×MN的稀疏化系數(shù)矩陣，其中元素表示為

這樣，光流的求解可以進(jìn)一步轉(zhuǎn)化為解下述非線性方程組：

可以看出，方程中的系數(shù)項(xiàng)中 A (un)和B(un)會(huì)隨著每次計(jì)算的結(jié)果實(shí)時(shí)改變，而為了克服這種非線性情況，可以采用Lagged-Diffusivity方法[14]將非線性等式求解分解為一系列的線性方程組求解。具體步驟如下：

(1) 由第 n層數(shù)據(jù)計(jì)算權(quán)系數(shù) A (un)和B(un)的數(shù)值。

(2) 在固定系數(shù)情況下，采取線性方程組的迭代解法(如Gauss-Sidel方法)進(jìn)行求解，計(jì)算出下一時(shí)刻的光流。

這樣，便可以通過非線性擴(kuò)散來改進(jìn)光流計(jì)算中的平滑過程，保留運(yùn)動(dòng)的不連續(xù)區(qū)域，為后期的運(yùn)動(dòng)分割提供更為準(zhǔn)確的分割信息。

2 基于運(yùn)動(dòng)邊緣信息的活動(dòng)輪廓模型

基于水平集方法和曲線演化理論的幾何活動(dòng)輪廓模型中，曲線運(yùn)動(dòng)方程往往來自于最小化閉合曲線C的某一能量泛函。如基于邊緣信息的測地線活動(dòng)輪廓模型(GAC)、基于區(qū)域信息的 Chan-Vese模型等。針對(duì)這類由曲線的能量泛函最小化所導(dǎo)出的曲線演化問題，常采用變分方法進(jìn)行求解。常見的模型往往針對(duì)單幅圖像中的邊緣、亮度和紋理等空間域信息，而運(yùn)動(dòng)目標(biāo)本身就具備不同的紋理和亮度區(qū)域，僅僅考慮空域信息往往很難將目標(biāo)完整地分割出來。但若將光流信息引入模型，則可以很好地反映圖像在時(shí)域中的變化，有效地分割運(yùn)動(dòng)區(qū)域。

運(yùn)動(dòng)目標(biāo)往往在其邊緣處產(chǎn)生較強(qiáng)的光流信息，而其內(nèi)部光流信息較弱，甚至產(chǎn)生“運(yùn)動(dòng)空洞”，也就是說，運(yùn)動(dòng)邊緣信息與區(qū)域信息相比更有利于分割。本文在得到合適的光流場后，進(jìn)一步建立基于運(yùn)動(dòng)邊緣信息的幾何活動(dòng)輪廓模型，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的分割。

引入時(shí)間輔助變量t和正則化的Heaviside階躍函數(shù)，可以求出能量泛函對(duì)應(yīng)的梯度下降流：

對(duì)于如上的偏微分方程，本文采用顯式的計(jì)算方案，即

其中，散度計(jì)算仍采用半點(diǎn)離散化格式：

式中每一項(xiàng)“半點(diǎn)”值用相鄰2個(gè)“整點(diǎn)”的平均值近似表示，如： gi,j±1/2= ( gi,j±1+ gi,j)/2。這樣通過選取合適的時(shí)間步長，經(jīng)過有限步迭代可以得到最終解。

圖2 光流計(jì)算效果對(duì)比實(shí)驗(yàn)Fig.2 comparison of optical flow fields

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)1 用基于非線性擴(kuò)散的光流計(jì)算方法和傳統(tǒng)的基于線性擴(kuò)散的光流方法比較。實(shí)驗(yàn)圖像采用Traffic視頻的連續(xù)2幀，大小為688×565的灰度圖像，程序?qū)崿F(xiàn)采用 Matlab7.1仿真軟件。在實(shí)驗(yàn)中，分別采用本文的光流算法和傳統(tǒng)的光流算法得到相應(yīng)的光流場，并為了直觀顯示，采用HSV模型來表示光流的大小和方向，如圖2所示。從圖2可以看出：本文方法相比于傳統(tǒng)方法，可以得到準(zhǔn)確的光流場；而從圖中局部放大區(qū)域的光流場來看，本文算法由于改進(jìn)了光流計(jì)算模型中的擴(kuò)散項(xiàng)，采取了非線性擴(kuò)散的方式，所以，減小了運(yùn)動(dòng)邊緣處的平滑效果，保留了更為準(zhǔn)確的運(yùn)動(dòng)區(qū)域邊緣信息。

實(shí)驗(yàn)2 將本文算法與結(jié)合光流和基于區(qū)域的活動(dòng)輪廓模型分割算法相比較，驗(yàn)證本文算法的有效性。實(shí)驗(yàn)素材采用實(shí)拍視頻，圖像為 320×240的彩色圖像，描述固定場景下多目標(biāo)的運(yùn)動(dòng)情況，如圖3所示。圖3中列出視頻中2組典型的圖像序列，并分別利用本文算法和基于區(qū)域的算法進(jìn)行運(yùn)動(dòng)目標(biāo)的分割。從分割結(jié)果看，基于區(qū)域的方法受到“運(yùn)動(dòng)空洞”的影響，往往不能完整地分割出運(yùn)動(dòng)目標(biāo)的輪廓；而本文方法很好地利用了光流計(jì)算產(chǎn)生的強(qiáng)邊緣信息，并有效地將其融合到基于邊緣的幾何活動(dòng)輪廓模型中，較完整地分割出運(yùn)動(dòng)的目標(biāo)，同時(shí)也說明水平集方法具備拓?fù)溥m應(yīng)性。

圖3 輪廓分割效果對(duì)比Fig.3 Comparison of different segmentation results

圖4 運(yùn)動(dòng)場景的分割Fig.4 Segmentation results with dynamic background

實(shí)驗(yàn)3 為了更好地說明本文算法對(duì)攝像機(jī)運(yùn)動(dòng)情況的適應(yīng)性，采用一段車載攝像機(jī)錄制的視頻進(jìn)行實(shí)驗(yàn)。視頻圖像為640×480的彩色圖像，描述了不同時(shí)刻車輛行駛在校園道路上的情況。利用本文算法，分割出場景中相對(duì)運(yùn)動(dòng)的行人目標(biāo)。其中分割區(qū)域根據(jù)實(shí)際的道路情況來確定，規(guī)定為車前方的一塊梯形區(qū)域，如圖4所示。而場景中的運(yùn)動(dòng)目標(biāo)產(chǎn)生的光流往往與車輛本身行駛時(shí)產(chǎn)生的光流場不同，利用這種相異性可以使輪廓曲線收斂于道路區(qū)域中相對(duì)運(yùn)動(dòng)明顯的邊緣區(qū)域。從實(shí)驗(yàn)結(jié)果看，本文算法具備了分割出動(dòng)態(tài)場景中相對(duì)運(yùn)動(dòng)目標(biāo)的能力。然而，真正應(yīng)用于移動(dòng)機(jī)器人的環(huán)境感知中還有很多因素需要考慮，如道路上的水跡、陰影的影響等，但在相對(duì)簡單的場景下，本文算法具有一定的有效性，體現(xiàn)了算法的應(yīng)用和發(fā)展前景。

4 結(jié)論

提出了一種改進(jìn)的基于活動(dòng)輪廓和光流的運(yùn)動(dòng)目標(biāo)分割算法，在以下方面進(jìn)行了較好的改進(jìn)。

(1) 該算法改進(jìn)了傳統(tǒng)光流算法中的擴(kuò)散約束，采取了邊緣增強(qiáng)的非線性擴(kuò)散約束，有效地保護(hù)了運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)邊緣，得到了更為準(zhǔn)確的運(yùn)動(dòng)邊緣，可以為后期分割提供更有效、更完整的信息，使得基于光流技術(shù)的運(yùn)動(dòng)目標(biāo)分割算法更加準(zhǔn)確和有效。

(2) 將光流信息融合到基于邊緣的幾何活動(dòng)輪廓模型中，建立新的運(yùn)動(dòng)分割模型，并通過相應(yīng)的數(shù)值計(jì)算方法，實(shí)現(xiàn)完整的運(yùn)動(dòng)目標(biāo)分割。幾組圖像數(shù)據(jù)上的實(shí)驗(yàn)結(jié)果說明本文算法與以往的算法相比有所改進(jìn)，得到了更為完整的運(yùn)動(dòng)目標(biāo)輪廓，用運(yùn)動(dòng)邊緣信息代替運(yùn)動(dòng)區(qū)域信息，使活動(dòng)輪廓和光流信息結(jié)合模型更有效。

(3) 該算法面對(duì)攝像機(jī)運(yùn)動(dòng)的情況仍具有一定的適應(yīng)性，可以分割出動(dòng)態(tài)場景中的相對(duì)運(yùn)動(dòng)目標(biāo)，充分體現(xiàn)了光流技術(shù)應(yīng)用于運(yùn)動(dòng)分割中的優(yōu)勢和該算法廣闊的應(yīng)用前景。

[1] Polley R L, Max Q H M, Peter X L. Optical flow and active contour for moving object segmentation and detection in monocular robot[C]//IEEE Conference on Robotics and Automation. Orlando, Florida: IEEE Comput Soc, 2006:4075-4080.

[2] Smith S M, Brady J M. ASSET-2: Real-time motion segmentation and shape tracking[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(8):814-820.

[3] Giachetti A, Campani M, Torre V. The use of optical flow for the autonomous navigation[J]. IEEE Transactions on Robotics and Automation, 1998, 14(1): 34-48.

[4] Muford D, Shan J. Optimal approximation by piecewise smooth functions and associated variational problems[J].Communication Pure Apply of Mathematics, 1989, 42(4):577-685.

[5] Chan T, Vese L. Active contours without edges[J]. IEEE Transaction on Image Processing, 2001, 10(2): 266-277.

[6] 萬成凱, 袁寶宗, 苗振江. 一種基于活動(dòng)輪廓和Gauss背景模型的固定攝像機(jī)運(yùn)動(dòng)目標(biāo)分割算法[J]. 中國科學(xué) F輯: 信息科學(xué), 2009, 39(4): 391-396.

WAN Cheng-kai, YUAN Bao-zong, MAO Zeng-jiang. A moving object segmentation algorithm for static camera via active contours and GMM[J]. Science in China Series F: Information Science, 2009, 39(4): 391-396.

[7] Zinbi Y, Chahir S. Moving object segmentation using optical flow with active contour model[C]//IEEE Conference on ICTTA.Damascus: IEEE Comput Soc, 2008: 273-276.

[8] Horn B K P, Schunck B G. Determining optical flow[J]. Artificial Intelligence, 1981, 17(1/3): 185-203.

[9] Bruhn A, Weickert J. Lucas-Kanade meets Horn-Schunck:Combining local and global optical flow methods[J].International Journal of Computer Vision, 2005, 61(3): 211-231.

[10] Nagel H, Enkelmann W. An investigation of smoothness constraints for the estimation of displacement vector field from image sequence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(5): 565-593.

[11] Weickert J, Schnorr C. A theoretical framework for convex regularizers in PDE-based computation of image motion[J].International Journal of Computer Vision, 2001, 45(3): 245-264.

[12] Perona P, Malik J. Scale-space and edge detection using anisotropic diffusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.

[13] Cattle F, Coll T, Lion P L. Image selective smoothing and edge detection by nonlinear diffusion[J]. SIAM Journal on Numerical Analysis, 1992, 29(1): 182-193.

[14] Chunming L, Chenyang X. Level set evolution without re-initialization: A new variational formulation[C]//IEEE conference on CVPR. San Diego, CA: IEEE Comput Soc, 2005:430-436.

[15] Chan T, Mulet P. On the convergence of the Lagged diffusivity fixed point method in total varietion image restoration[J]. SLAM Journal on Numerical Analysis, 1999, 36(2): 354-367.