李 晨，劉怡丹,2，孫科林，李 勃，全向前，劉凱斌

(1.中國科學(xué)院 深海科學(xué)與工程研究所，海南 三亞 572000；2.同濟(jì)大學(xué) 海洋與地球科學(xué)學(xué)院，上海 200092)

隨著成像技術(shù)的飛速發(fā)展，人們渴望通過成像角度理解海洋動態(tài)，尤其是海底生物.通過固定攝像頭拍攝特定區(qū)域，是一種直觀和有效的方式去記錄和理解場景[1].隨著攝像頭的彩色化、高清化，使得通過視頻監(jiān)控獲取更多的海洋信息成為可能.計(jì)算機(jī)處理視頻監(jiān)控涉及運(yùn)動目標(biāo)提取和識別技術(shù)[2].

運(yùn)動目標(biāo)提取算法可分為2類.一類是基于圖像增強(qiáng)的算法：圖像超分辨[3]，增強(qiáng)信噪比[4]，顯著度增強(qiáng)[5]，時(shí)域、頻域增強(qiáng)[6]等.該類算法從信號角度出發(fā)忽略了目標(biāo)的形態(tài)屬性，造成虛警率較高.第二類是基于運(yùn)動目標(biāo)建模的算法：幀間差異[7]，模糊集模型[8]，Bayesian模型[9]，趨向性模型[10]，運(yùn)動預(yù)測模型[11]，局部約束模型[12]，GMM運(yùn)動模型[13]，低秩模型[14]，紋理模型[15]等.該類算法充分考慮了目標(biāo)形態(tài)特征，但所建模型復(fù)雜度高，面對復(fù)雜條件目標(biāo)提取效率較低.

目標(biāo)識別算法也可分為2類.一類基于傳統(tǒng)特征的算法：聲學(xué)特征[16]，多角度形態(tài)學(xué)特征[17]，魚群分布特征[18]，顏色特征[19]，紋理特征[20]等.該類算法基于目標(biāo)先驗(yàn)信息予以建模，但對于復(fù)雜條件下，如遮擋、陰影等條件下，識別性能不足.第二類是基于深度特征的算法：SVM[21]，AdaBoost[22]，梯度森林模型[23]，基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合模型[24]等.該類算法基于深度學(xué)習(xí)理論構(gòu)建網(wǎng)絡(luò)，建立訓(xùn)練樣本和測試樣本之間的映射關(guān)系，取得了不錯的效果，是當(dāng)前主流的研究方向.

雖然利用計(jì)算機(jī)手段對魚類的提取與識別已取得了一定的效果，但仍存在以下問題：① 目標(biāo)運(yùn)動形態(tài)多變，導(dǎo)致提取不完全.如目標(biāo)突然運(yùn)動，出現(xiàn)拖尾.② 當(dāng)目標(biāo)運(yùn)動后，保持長時(shí)間靜止，使得運(yùn)動目標(biāo)淹沒在背景中，導(dǎo)致目標(biāo)提取失敗.③ 魚行進(jìn)的不確定性，同一類魚形態(tài)會發(fā)生改變，僅從空間維度建立模型，無法有效對魚類識別.

為此文中對視覺認(rèn)知原理進(jìn)行研究：從時(shí)間維度改進(jìn)GMM算法得到變化區(qū)域；從空間維度根據(jù)局部邊界相似性，完整提取運(yùn)動目標(biāo)；從時(shí)空維度建立關(guān)聯(lián)的深度學(xué)習(xí)模型，實(shí)現(xiàn)魚類識別.

1 算 法

視頻監(jiān)控是通過固定攝像頭拍攝特定區(qū)域的技術(shù).視頻監(jiān)控可視為一組圖像數(shù)據(jù)組成.圖像Ii可以表示為

Ii=B+Fi，

(1)

式中：B為純背景圖像，即在整個視頻中客觀存在，并且一直保持靜止?fàn)顟B(tài)的圖像；Fi為運(yùn)動目標(biāo).從時(shí)間維度分析，Ii-1和Ii之間具有連續(xù)性.從空間維度分析，F(xiàn)i具有完整性，局部相似性.從時(shí)間與空間維度分析，隨著時(shí)間的推移B會因光照變化產(chǎn)生變化，而其在空間結(jié)構(gòu)不會產(chǎn)生變化.

基于以上分析文中提出運(yùn)動目標(biāo)提取與魚類識別算法，流程如圖1所示，從時(shí)間維度建立改進(jìn)GMM模型提取運(yùn)動區(qū)域，在空間維度基于傳統(tǒng)幀差法建立物體特征模型實(shí)現(xiàn)完整運(yùn)動目標(biāo)提取，抑制拖尾以及陰影的影響.在時(shí)空維度，引入投票機(jī)制，與數(shù)據(jù)庫中的數(shù)據(jù)動態(tài)判斷，得出識別結(jié)果.

圖1 算法流程圖

1.1 時(shí)間維度算法

從時(shí)間維度分析連續(xù)幀之間的差異是判別運(yùn)動目標(biāo)的主要方式.文獻(xiàn)[25]提出了GMM算法，該算法符合人類認(rèn)知過程，具有運(yùn)算速度快，可較好地提取出運(yùn)動目標(biāo)的優(yōu)勢.其基本思想是使用多個高斯分布表示序列圖像中每個像素點(diǎn)的特征，如果當(dāng)前幀中的某像素的特征與高斯分布相匹配，則被判定為背景像素，否則為前景像素：

(2)

式中：k表示高斯模型的個數(shù)；η是高斯概率密度函數(shù)；ωi,t、ui,t、Σi,t分別是t時(shí)刻對第i個高斯模型權(quán)值、均值、協(xié)方差矩陣.權(quán)值ωi,t更新：

ωi,t=(1-α)ωi,t-1+α(Mi,t).

(3)

將各高斯模型分布按照優(yōu)先級次序進(jìn)行排列，構(gòu)建背景模型：

(4)

式中：α是學(xué)習(xí)因子；Mi,t是匹配模型；T是設(shè)定閾值，用于真實(shí)反應(yīng)背景的數(shù)據(jù)占總數(shù)據(jù)的最小比重.

GMM算法僅從像素值變化角度建模分析，但未充分考慮目標(biāo)、噪聲等因素帶來的影響，導(dǎo)致檢測錯誤.所以從像素變化的穩(wěn)定性角度予以分析，主要思想是為尋找圖像中穩(wěn)定的像素點(diǎn)來抑制不穩(wěn)定的像素點(diǎn).

GMM算法判斷像素點(diǎn)x的狀態(tài)記為g(x).統(tǒng)計(jì)像素點(diǎn)在N幀圖像前景與背景轉(zhuǎn)化的次數(shù)記為φN(x).設(shè)定閾值T用于判斷是否為穩(wěn)定像素點(diǎn).當(dāng)φN(x)

(5)

φN(y)=min(φN(X)),y∈X,

g(x),g(y)∈{B,F},

1.2 空間維度算法

根據(jù)改進(jìn)的GMM算法，從時(shí)間維度動態(tài)更新B與F，降低B與F錯分類的概率，后續(xù)需要從空間維度進(jìn)一步判別，完整提取運(yùn)動區(qū)域.圖像幀差算法，其主要思想是選取兩幀圖像逐點(diǎn)計(jì)算像素值差的絕對值，以特定閾值來衡量其差別.傳統(tǒng)算法背景幀的選取是固定的.背景幀和閾值的選取直接影響提取結(jié)果.在GMM算法初步提取出運(yùn)動區(qū)域的基礎(chǔ)上，構(gòu)建自適應(yīng)的差分體系，實(shí)現(xiàn)完整提取運(yùn)動區(qū)域.

步驟1：令第k幀圖像Ak對應(yīng)的灰度圖像為Gak，更新的第k幀彩色背景圖像記為Bk，其對應(yīng)的灰度圖像為Gbk，其中B1=A1.

步驟2：Gak與Gbk自適應(yīng)的計(jì)算分割閾值為Tk.令Q(x,y)=|Gak(x,y)-Gbk(x,y)|，

(6)

式中：Nk為Rak所含像素點(diǎn)個數(shù)，x,y∈Rak.

步驟3：根據(jù)Tk計(jì)算Gak與Gbk的差異，得到潛在的運(yùn)動點(diǎn)Gdk(x,y)：

(7)

對Gdk進(jìn)行數(shù)學(xué)形態(tài)學(xué)操作，并標(biāo)記連通區(qū)域記為{Rdk}M，表示共有M個連通區(qū)域.

步驟4：完整提取運(yùn)動目標(biāo)：

(8)

(9)

式中：x,y∈Rfk.若L(Gak,Fk)>L(Gbk,Fk)，則說明Fk∈Gak，從Gak提取Fk；反之，則說明Fk∈Gbk，從Gbk提取Fk.

由于魚運(yùn)動的不確定性，使得同一類魚在空間上展示為不同體態(tài)，導(dǎo)致識別失敗.根據(jù)魚類運(yùn)動的連續(xù)性，需要關(guān)聯(lián)時(shí)間維度和空間維度建立模型，引入投票機(jī)制，動態(tài)對魚類識別.

2 試驗(yàn)結(jié)果與分析

試驗(yàn)平臺為WIN7環(huán)境，VS2015編寫的程序.試驗(yàn)數(shù)據(jù)采用10組視頻數(shù)據(jù)和10組監(jiān)控?cái)?shù)據(jù)組成數(shù)據(jù)庫.將數(shù)據(jù)庫分為3類.包括類型1：首幀為純背景圖像，目標(biāo)一直運(yùn)動.類型2：目標(biāo)運(yùn)動后，長期保持靜止?fàn)顟B(tài).類型 3：目標(biāo)保持長時(shí)間靜止然后運(yùn)動.

2.1 性能展示

類型1：首幀沒有運(yùn)動目標(biāo)，后續(xù)魚一直運(yùn)動，如圖2所示.首先根據(jù)時(shí)間維度模型對變化的區(qū)域進(jìn)行提取，得到疑似運(yùn)動區(qū)域.然后通過空間維度對陰影部分予以去除，準(zhǔn)確得到運(yùn)動目標(biāo).

圖2 類型1數(shù)據(jù)處理效果圖

類型2：首幀沒有運(yùn)動目標(biāo)，然后有一條魚進(jìn)入視野，與類型1類似，在第30幀圖像魚開始運(yùn)動，隨著時(shí)間的推移這條魚長時(shí)間保持靜止?fàn)顟B(tài)，如圖3所示.傳統(tǒng)的算法由于僅從時(shí)間維度建模，導(dǎo)致魚會漸漸淹沒至背景中，導(dǎo)致提取失敗，而文中提出的算法在時(shí)間維度的基礎(chǔ)上，建立空間模型實(shí)現(xiàn)目標(biāo)分割，完整地提取出魚.

類型3：首幀包含運(yùn)動目標(biāo)，隨著時(shí)間的推移目標(biāo)運(yùn)動，如圖4所示.由于引入了時(shí)間和空間維度，使得目標(biāo)運(yùn)動后不會產(chǎn)生拖尾現(xiàn)象.完整地提取出魚.

圖4 類型3數(shù)據(jù)的處理效果圖

2.2 運(yùn)動目標(biāo)提取算法性能比較

為驗(yàn)證文中算法的有效性，從分割精度與處理時(shí)間予以分析.采用面積交迭度[26](area overlap measure，AOM)作為分割效果的評價(jià)指標(biāo)，定義為

(10)

式中：AOM表示面積交迭度；γ為人工標(biāo)記的運(yùn)動區(qū)域；ν為算法分割出的運(yùn)動區(qū)域；S(·)表示對應(yīng)區(qū)域的像素點(diǎn)數(shù).AOM取值越大表明分割效果越好.檢測結(jié)果如表1所示.

表1 AOM值和處理時(shí)間統(tǒng)計(jì)

傳統(tǒng)GMM算法[25]通過前景與背景像素分布的不同，用多個高斯模型予以擬合，計(jì)算速度快，可實(shí)現(xiàn)運(yùn)動目標(biāo)的提取.SGMM算法[13]在GMM基礎(chǔ)上建立shadow分布模型.FGMM算法[6]從頻域角度改進(jìn)GMM算法，較傳統(tǒng)GMM模型效果有所改善.MPM算法[11]建立運(yùn)動預(yù)測模型，判別目標(biāo)運(yùn)動速度進(jìn)而實(shí)現(xiàn)目標(biāo)提取.LRM算法[14]建立低秩模型，可實(shí)現(xiàn)較小目標(biāo)的有效提取，但速度較慢.EEM算法[15]根據(jù)邊界不變性，提取運(yùn)動目標(biāo)，對于類型2,3的情況算法效果有所改善.通過對比ROC曲線可直觀地得出，文中提出的算法從時(shí)間、空間兩個維度綜合考慮，時(shí)間維度改進(jìn)GMM算法，空間維度引入邊界判別機(jī)制，降低了錯誤判別的概率.雖然面對類型1文中的算法略低于LRM.然而面對類型2,3較主流算法均大幅度提高，并且處理速度達(dá)到0.04 s·幀-1.

2.3 魚類識別性能比較

為驗(yàn)證算法有效性，引入受試者工作特征曲線(receiver operating characteristic curve，ROC)來衡量效果，其中縱坐標(biāo)為真陽性率(true positive rate，TPR)，橫坐標(biāo)為假陽性率(false positive rate，F(xiàn)PR).對比各種算法的識別效果如圖5所示.MVW算法[17]從多角度對魚進(jìn)行觀察，實(shí)現(xiàn)魚類識別.SVM算法[21]將魚類識別視為分類問題.HSV算法[19]從顏色空間建立模型實(shí)現(xiàn)對不同顏色的錦鯉識別.TEX算法[20]從紋理特征入手，對魚類識別.ABT算法[22]建立AdaBoost分類器實(shí)現(xiàn)魚類識別.而文中提出的算法從時(shí)間和空間維度建立模型實(shí)現(xiàn)了魚類識別，效果最好.

圖5 ROC曲線

3 結(jié) 論

1) 在時(shí)間維度，依據(jù)魚類目標(biāo)運(yùn)動的連續(xù)性，構(gòu)建符合視覺感知的GMM模型，提取運(yùn)動區(qū)域，提升了運(yùn)動目標(biāo)的檢出精度.但對于運(yùn)動幅度小或者目標(biāo)因長時(shí)間停留時(shí)，會出現(xiàn)漏檢測的情況.

2) 在空間維度，借鑒幀差法的思想，構(gòu)建模型，利用數(shù)學(xué)形態(tài)學(xué)對目標(biāo)區(qū)域進(jìn)一步提取，尤其是運(yùn)動幅度小或者目標(biāo)因長時(shí)間停留的情況.

3) 在時(shí)空關(guān)聯(lián)維度，由于魚運(yùn)動的不確定性，使得同一類魚在空間上展示為不同體態(tài)，導(dǎo)致識別失敗.根據(jù)魚類運(yùn)動的連續(xù)性，關(guān)聯(lián)時(shí)間維度和空間維度建立模型，引入投票機(jī)制，動態(tài)對魚類識別.

4) 文中提出的算法可滿足不同條件下的運(yùn)動魚類提取，AOM達(dá)到80%以上，具有魯棒性.