鄭思凡 王衛(wèi)星 何占華 梁子裕 陳平平

(1.福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350116；2.黎明職業(yè)大學(xué) 智能制造工程學(xué)院，福建 泉州 362000；3.長(zhǎng)安大學(xué) 信息工程學(xué)院，陜西 西安 710064；4.福建慧舟信息科技有限公司，福建 福州 350003；5.黎明職業(yè)大學(xué) 科技處，福建 泉州 362000)

近年來(lái)隨著機(jī)器視覺(jué)、模式識(shí)別等技術(shù)的不斷成熟以及運(yùn)輸組織改變與車(chē)輛高速重載新要求的提出，車(chē)輛運(yùn)行故障動(dòng)態(tài)檢測(cè)系統(tǒng)(Running Trouble of Freight Car Detection System，TFDS)[1]成為交通部大力推廣的一套自動(dòng)安檢標(biāo)準(zhǔn)系統(tǒng)，從而為機(jī)器視覺(jué)在交通運(yùn)輸智能化領(lǐng)域的應(yīng)用奠定了基礎(chǔ)、指明了方向。文獻(xiàn)[2]首次提出了基于圖像灰度映射、邊緣檢測(cè)、Hough變換等經(jīng)典視覺(jué)算法代替肉眼來(lái)實(shí)現(xiàn)對(duì)機(jī)械擺桿故障的識(shí)別、定位和分割，但停留在靜態(tài)的尺寸配合及幾何形態(tài)方面，未對(duì)擺桿的運(yùn)動(dòng)特性做進(jìn)一步定量故障視覺(jué)檢測(cè)研究；另一方面，雖然TFDS[1]在鐵路運(yùn)輸方面對(duì)解決列車(chē)大密度開(kāi)行與克服人工列檢效率低等方面發(fā)揮了重要作用，但在公路運(yùn)輸方面，客運(yùn)汽車(chē)安全例檢智能信息化水平依然具有較大的發(fā)展空間，作為T(mén)FDS在公路系統(tǒng)的一個(gè)延伸，為了加強(qiáng)地理分布較為分散的客運(yùn)日趟故障安全例檢站的信息化與智能化管理，本研究擬側(cè)重解決客運(yùn)汽車(chē)日趟安檢的一個(gè)重要內(nèi)容——在復(fù)雜玻璃背景下對(duì)車(chē)輛刮水器擺桿擺幅的視覺(jué)檢測(cè)，改進(jìn)基于等長(zhǎng)軌跡稀疏子空間聚類(lèi)的運(yùn)動(dòng)分割算法。

從運(yùn)動(dòng)目標(biāo)檢測(cè)目的考慮，當(dāng)前較為成熟的算法有基于目標(biāo)特征提取建模的生成式目標(biāo)跟蹤算法，如增量學(xué)習(xí)(Incremental Learning for Robust Visual Tracking，IVT)、自適應(yīng)結(jié)構(gòu)局部稀疏表觀(Adaptive Structural Local Sparse Appearance Model，ALSA)、加速近端梯度L1范數(shù)跟蹤(L1 Tracker Using Accelerated Proximal Gradient Approach，L1APG[3])、視頻跟蹤分解(Visual Tracking Decomposition，VTD)、采樣跟蹤器(Tracking by Sampling Trackers，VTS[4- 6])等；以及前景實(shí)時(shí)在線訓(xùn)練分類(lèi)器的判別式跟蹤算法，如核循環(huán)結(jié)構(gòu)跟蹤(Circulant Structure of Tracking-by-Detection with Kernels，CSK)、色度空間跟蹤(Coloring Visual Tracking CN)、核相關(guān)濾波(Kernelized Correlation Filters，KCF)、判別尺度空間跟蹤器(Discriminatiive Scale Space Tracker，DSST)、 時(shí)空上下文跟蹤(Spatio-Temporal Context Learning，STC)、特征融合自適應(yīng)核相關(guān)濾波(A Scale Adaptive Kernel Correlation Filter Tracker with Feature Integration，SAMF[7- 9])等。但是上述各算法都是基于塊狀窗口區(qū)域進(jìn)行特征提取，對(duì)于刮水器擺桿這種細(xì)長(zhǎng)型幾何外形并不合適，因此筆者考慮由光流場(chǎng)出發(fā)，通過(guò)軌跡聚類(lèi)這種自底向上的方式來(lái)檢測(cè)擺桿運(yùn)動(dòng)。當(dāng)前基于光流軌跡的運(yùn)動(dòng)分割有兩類(lèi)：一類(lèi)是以SFM(Structure From Motion)[10]三維重建理論為基礎(chǔ)，將不同運(yùn)動(dòng)剛體軌跡聚類(lèi)到2～4維的低維超平面子空間里，代表性算法有廣義主成分分析(Generalized Principal Component Analysis，GPCA)、局部子空間相似度聚類(lèi)(Local Subspace Affinity，LSA)、低秩分解(Low Rank Representation，LRR)、低秩子空間聚類(lèi)(Low Rank Subspace Clustering，LRSC)、多段學(xué)習(xí)(Multi-Stage Learning，MSL[11])、稀疏子空間聚類(lèi)(Sparse Subspace Clustering，SSC[12])等，其中SSC性能最優(yōu)；另外一類(lèi)是以類(lèi)內(nèi)類(lèi)間相似度比最大的流形假定為基礎(chǔ)，對(duì)稠密變分光流軌跡時(shí)空相似度進(jìn)行譜聚類(lèi)為架構(gòu)的運(yùn)動(dòng)分割算法(如文獻(xiàn)[13- 15])。幾何上看，擺桿各自的軌跡呈線性關(guān)系分屬不同線性子空間，同步運(yùn)動(dòng)擺桿的軌跡則共處于仿射子空間，因此可以采用稀疏子空間聚類(lèi)方法分割不同擺桿，但是SSC等子空間聚類(lèi)分割算法要求軌跡等長(zhǎng)，而雨刮擺動(dòng)過(guò)程中，其邊緣會(huì)因與玻璃背景中黑色的物體(如頂上雨蓬)融合而造成部分軌跡中斷，同時(shí)因?yàn)楣庹詹煌沟脭[桿不同部位的軌跡起始點(diǎn)并不完全相同。這樣直接采用SSC算法進(jìn)行分割的軌跡將過(guò)于稀疏，導(dǎo)致隨機(jī)抽樣一致性(Random Sample Consensus，RANSAC)擬合的擺桿位置有較大誤差，另一方面，稠密光流軌跡譜聚類(lèi)在構(gòu)建軌跡時(shí)空相似度矩陣時(shí)，考慮的是軌跡共有時(shí)間段局部速度及位移的相似性，相隔較遠(yuǎn)的軌跡因相似度低往往聚類(lèi)為不同類(lèi)別，導(dǎo)致擺桿兩端出現(xiàn)過(guò)分割現(xiàn)象。

為此，在綜合兩類(lèi)軌跡聚類(lèi)優(yōu)缺點(diǎn)后，本研究提出了一種雙粒度光流流形學(xué)習(xí)的汽車(chē)刮水器運(yùn)動(dòng)分割算法，先將完整的等長(zhǎng)擺桿光流軌跡作為粗粒度特征光流軌跡進(jìn)行稀疏子空間聚類(lèi)，獲得可靠的種子樣本；然后通過(guò)提高空間采樣率得到稠密細(xì)粒度大位移(Large Displacement Optical Flow，LDOF[16])變分光流后，再與粗粒度光流構(gòu)建軌跡時(shí)空相似度流形拓?fù)鋱D，并在圖上將種子軌跡樣本鄰接節(jié)點(diǎn)標(biāo)簽離散值分布凸松弛為高斯隨機(jī)場(chǎng)連續(xù)值分布后，利用調(diào)和函數(shù)進(jìn)行半監(jiān)督標(biāo)簽值擴(kuò)散，從而獲得被聚類(lèi)為同一標(biāo)簽值的稠密的擺桿光流特征點(diǎn)；最后通過(guò)對(duì)軌跡縱坐標(biāo)極值所在的幀的光流特征點(diǎn)分別進(jìn)行逐次RANSAC直線擬合，以獲得主擺桿的擺角從而完成雨刮運(yùn)動(dòng)的定量檢測(cè)。

1 LDOF變分光流定義及采集

LDOF是 Ochs等[16]為解決傳統(tǒng)KLT光流因局限于結(jié)構(gòu)張量較大的角點(diǎn)導(dǎo)致光流過(guò)于稀疏而提出的大位移稠密變分光流，LDOF將求解每一個(gè)像素在下一幀圖像的最佳位移w=(u，v)值轉(zhuǎn)化為求解如下泛函能量值：

(1)

另外，為了正則化光流場(chǎng)，使之分段光滑，定義平滑項(xiàng)如下：

(2)

E(u，v)=EData+αESmooth

(3)

其中：α>0為正則化參數(shù)，u與v為待優(yōu)化的目標(biāo)位移。為了避免陷入局部最優(yōu)，上述泛函對(duì)應(yīng)歐拉-拉格朗日方程必須在不同尺度空間求解，即以2為基數(shù)下采樣3次，先在分辨率最低的尺度空間獲取位移解的終值，作為下一層分辨率較高的解初值層層修正細(xì)化，最終求得全局最優(yōu)解。因此對(duì)于高速運(yùn)動(dòng)雨刮，文中采用浙江大華技術(shù)股份有限公司出廠的分辨率為720 p、幀率為60幀/s的DH-IPC-HF5210-I高速槍型相機(jī)進(jìn)行采集，以保證下一幀移動(dòng)位移在分辨率最低的尺度空間范圍內(nèi)。另外，為了保證實(shí)時(shí)性，軟件上可以采用OpenCV3.4集成的Nvidia GPU加速版的BroxOpticalFlow類(lèi)完成計(jì)算。

為了保證獲取足夠數(shù)量等長(zhǎng)軌跡作為后續(xù)半監(jiān)督學(xué)習(xí)的種子樣本，在SSC聚類(lèi)前應(yīng)先將低對(duì)比度的雨刮背景反色為霧狀再通過(guò)暗通道去霧濾波環(huán)節(jié)[17]來(lái)增強(qiáng)雨刮作為前景的對(duì)比度，效果如圖1所示。

(a)去霧前

(b)去霧后

Fig.1 Rendering of enhancing contrast through dehazing in dark channel

2 刮刷總成的機(jī)構(gòu)及擺桿運(yùn)動(dòng)獨(dú)立性分析

由SFM[10]理論可知，在仿射相機(jī)模型的條件下，剛體各像素運(yùn)動(dòng)軌跡坐標(biāo)構(gòu)成的矩陣可以分解為運(yùn)動(dòng)矩陣與形狀矩陣的乘積。其中運(yùn)動(dòng)矩陣由相機(jī)的內(nèi)外校正參數(shù)與每一幀剛體相對(duì)相機(jī)的位姿(旋轉(zhuǎn)與平移)構(gòu)成；形狀矩陣形成剛體外形點(diǎn)云分布，同一剛體的點(diǎn)云軌跡因?yàn)楣蚕硗粋€(gè)相機(jī)的位姿矩陣而處于同一個(gè)線性空間，相機(jī)的位姿矩陣在SE(3)連續(xù)李群流形里，其秩小于等于4，所以各剛體軌跡均位于不同的4維超平面流形里。但是文獻(xiàn)[12]指出，如果不同剛體存在同步運(yùn)動(dòng)，則位姿矩陣自由度產(chǎn)生坍縮使得子空間存在部分重疊，因此下面從雨刮的四連桿機(jī)構(gòu)運(yùn)動(dòng)機(jī)理分析其軌跡獨(dú)立性。

當(dāng)前客運(yùn)車(chē)輛較常用的刮水器總成結(jié)構(gòu)由兩部分四連桿組成，如圖2所示。

圖2 刮水器連桿結(jié)構(gòu)

其中L1、L2、L3、L4構(gòu)成并聯(lián)搖擺桿機(jī)構(gòu)，L5、L6、L7構(gòu)成主刮曲柄擺桿系統(tǒng)；并聯(lián)搖擺桿機(jī)構(gòu)是Grashof連桿的一種特例，起到同步輸入動(dòng)桿與輸出桿速度和相位的作用。根據(jù)矢量運(yùn)算原理，文獻(xiàn)[18]得到主刮擺桿的角速度如下：

(4)

其中，θ為對(duì)應(yīng)連桿與x軸夾角，ω為相應(yīng)角速度，同理主刮連桿角速度如下：

(5)

其中，l1，l2，l3的含義同文獻(xiàn)[18].

由圖2可見(jiàn)，由于驅(qū)動(dòng)桿鉚接的位置不同，左右擺桿角速度并不相同，因此左右擺桿運(yùn)動(dòng)在這種情況下線性獨(dú)立，但是在實(shí)踐中發(fā)現(xiàn)，對(duì)于小型客車(chē)，會(huì)存在由嚴(yán)格同步雙搖桿驅(qū)動(dòng)的刮水器結(jié)構(gòu)，如圖3所示[19]。

圖中連桿A、B、C、D構(gòu)成平行雙搖桿，由曲柄EF驅(qū)動(dòng)，因此左右擺桿軌跡位姿旋轉(zhuǎn)分量相同，使得二者在3維仿射空間里存在部分子空間重疊。所以對(duì)于同步擺桿的運(yùn)動(dòng)分割存在左右擺桿軌跡聚類(lèi)標(biāo)識(shí)互相交錯(cuò)，出現(xiàn)小型客車(chē)雨刮擺桿擬合誤差較大現(xiàn)象。

圖3 同步雙搖桿刮水器結(jié)構(gòu)

3 光流軌跡分布及直接SSC聚類(lèi)局限性分析

圖4 刮水器總的光流軌跡分布

由圖4可見(jiàn)，因?yàn)楸尘暗膹?fù)雜性，整體密度與長(zhǎng)短分布不均，為得到滿幅擺動(dòng)等長(zhǎng)軌跡作為聚類(lèi)種子，在上述軌跡集合中提取長(zhǎng)度大于48幀的軌跡如圖5所示。

圖5 粗粒度光流軌跡分布

則余下的不等長(zhǎng)軌跡可作為細(xì)粒度軌跡用于標(biāo)簽擴(kuò)散，其分布如圖6所示。

圖6 細(xì)粒度光流軌跡分布

定義上述粗粒度光流長(zhǎng)度48幀為F，則按照文獻(xiàn)[12]提出的SSC算法，將上述長(zhǎng)度為F的粗粒度光流軌跡每個(gè)點(diǎn)坐標(biāo)按照先橫坐標(biāo)后縱坐標(biāo)次序排列為矩陣的每一列，每列前F行為橫坐標(biāo)，后F行為縱坐標(biāo)，各列構(gòu)成自表達(dá)字典并按照下式逐列求其他各列對(duì)本列的線性表達(dá)系數(shù)矩陣C：

(6)

s.t.Y=YC+E，

diag(C)=0，

CT1=1。

其中：C為N×N自表達(dá)系數(shù)矩陣，N為軌跡數(shù)；Y為2Q×N軌跡集合矩陣，Q為幀數(shù)；E為誤差矩陣；F是Frobenius范數(shù)；λ為權(quán)衡參數(shù)，用以平衡軌跡誤差與解的稀疏性及泛函的凸性，在此取0.01。為采用并行運(yùn)算提高運(yùn)算速度，文獻(xiàn)[12]也提供了此優(yōu)化函數(shù)的ADMM(交替方向乘子法)算法實(shí)現(xiàn)，通過(guò)引入兩個(gè)拉格朗日乘子后以并行線程的方式輪流對(duì)5個(gè)優(yōu)化變量?jī)?yōu)化迭代以解得矩陣C。

將矩陣C看為各軌跡所在子空間相似度進(jìn)行譜聚類(lèi)，取任一軌跡y坐標(biāo)極值作為滿幅擺動(dòng)所在幀，可得如圖7所示的聚類(lèi)結(jié)果。

圖7 粗粒度光流直接SCC聚類(lèi)擬合結(jié)果

Fig.7 Direct SSC clustering and line fitting results of coarsE- granularity optical flow

由圖7可見(jiàn)，SSC準(zhǔn)確標(biāo)識(shí)了左右擺桿，但由于過(guò)于稀疏，經(jīng)過(guò)RANSAC直線擬合后左右刮刷總成(即主擺桿與副擺桿)均出現(xiàn)較大的角度誤差，于是下面將細(xì)粒度光流一并考慮，并構(gòu)建時(shí)空相似度圖，以借助半監(jiān)督標(biāo)簽擴(kuò)散算法完成軌跡進(jìn)一步稠密的分割提取。

4 雙粒度光流流形學(xué)習(xí)的原理及實(shí)現(xiàn)

依前述分析，文中構(gòu)建兩種粒度光流相似度拓?fù)鋱D，為了充分表達(dá)軌跡時(shí)空兩方面的相似度以區(qū)分交叉與相向運(yùn)動(dòng)，下面采用文獻(xiàn)[20]提出的軌跡位移與速度共有區(qū)間的統(tǒng)計(jì)值的RBF函數(shù)值來(lái)衡量軌跡的相似度，軌跡平均偏移距離與速度如下：

(7)

(8)

可得兩條軌跡總的時(shí)空相似度距離為

dvelocity(Ti，Tj)]

(9)

則d(Ti，Tj)的RBF熱核映射wi，j即為拓?fù)鋱D邊的權(quán)值，按照相似度高的節(jié)點(diǎn)標(biāo)簽應(yīng)盡可能一致的流形聚類(lèi)假定原則可構(gòu)造標(biāo)簽擴(kuò)散目標(biāo)泛函如下：

(10)

其中：yi、yj為節(jié)點(diǎn)i、j標(biāo)簽值。

將上述樣本種子標(biāo)簽作為泛函邊界條件后，問(wèn)題可轉(zhuǎn)化為離散狀態(tài)下馬爾科夫隨機(jī)場(chǎng)對(duì)標(biāo)簽的最大后驗(yàn)概率(MAP)的估計(jì)問(wèn)題，如下式所示：

p(y)∝exp(-E(y))|yL=ξ

(11)

為了避免NP問(wèn)題，文獻(xiàn)[21]將標(biāo)簽離散取值凸松弛為種子標(biāo)簽yl=ξ約束的條件連續(xù)分布的高斯隨機(jī)場(chǎng)：

(12)

其中：fU為待求標(biāo)簽平均值；Δ為拉氏矩陣，按照種子與非種子分塊定義如下：

(13)

將離散型變量y松弛為連續(xù)變量f后將上述帶邊界條件的二次型泛函(式(10))看為狄利克雷積分離散化形式并對(duì)f求其歐拉-拉格朗日方程可得：

Δf=0

(14)

可見(jiàn)f的解即為調(diào)和函數(shù)，將式(13)分塊定義帶入式(14)可得待求標(biāo)簽值如下：

fU=-(ΔUU)-1ΔULyL

(15)

為方便矩陣運(yùn)算，對(duì)標(biāo)簽值進(jìn)行hot-one編碼，經(jīng)過(guò)軌跡長(zhǎng)度與位移閾值篩選后只剩下左右擺桿兩個(gè)剛體的軌跡，因熱核RBF函數(shù)帶寬的取值與各軌跡位移與速度的方差有關(guān)，考慮到左右擺桿機(jī)械上是由同一電機(jī)驅(qū)動(dòng)，故在此統(tǒng)一取熱核RBF函數(shù)帶寬σ為1.2，鄰接半徑ε為20像素，Ncut的K-mean聚類(lèi)超參數(shù)k為2，最后可得標(biāo)簽擴(kuò)散后的稠密分割結(jié)果及相應(yīng)擬合結(jié)果，如圖8所示。

由圖8可見(jiàn)，擺桿的擬合精度與主擺桿擺角的準(zhǔn)確度均得到提高，可以分別得到準(zhǔn)確的主擺桿與刮刷總成的擬合直線。

在擺角的計(jì)算中，考慮到擬合的直線數(shù)目是已知的，因此這里并不需要采用象Hough變換或能量標(biāo)簽值最優(yōu)的PEARL[22]算法去檢測(cè)直線數(shù)目后擬合，而是通過(guò)取較小的擬合誤差(10像素)來(lái)避免主擺桿與副擺桿被擬合為同一條直線，即采用序列RANSAC的方式對(duì)雙粒度運(yùn)動(dòng)分割得到的點(diǎn)集逐次去除已擬合好的點(diǎn)集，順次得到左右主擺桿與副擺桿擬合直線。

圖8 雙粒度流形學(xué)習(xí)后聚類(lèi)結(jié)果

Fig.8 Clustering result after two granularity manifold learning

為了簡(jiǎn)化計(jì)算，根據(jù)安檢需要，這里只計(jì)算擺動(dòng)過(guò)程中擺角極大端處的斜率的反正切值，最小擺角統(tǒng)一默認(rèn)為0，求得夾角如圖8中的θ1與θ2所示，其中θ2為斜率取絕對(duì)值后反正切得到，基準(zhǔn)線取圖中x軸。

綜合前述，文中算法步驟如下。

輸入：車(chē)輛靜止后雨刮擺動(dòng)2 s視頻片段、鄰接半徑ε、RBF帶寬σ、聚類(lèi)數(shù)目K、粗粒度光流軌跡長(zhǎng)度L、前后光流方向一致性閾值H；

輸出：在任何一幀的稠密軌跡標(biāo)識(shí)散點(diǎn)圖。

步驟1 以設(shè)定的空間采用率求各采樣像素結(jié)構(gòu)張量Jρ，取大于張量閾值像素變分光流LDOF[16]，在生成的光流flo文件中對(duì)各光流采樣點(diǎn)位置進(jìn)行前后光流方向一致性檢查，保留相鄰幀大于一致性閾值H的flo光流，小于閾值H的位置重新初始化為新軌跡起點(diǎn)參與下一輪光流采集與方向一致性檢查，最終將所有幀的flo文件同一位置小于閾值H的各光流連線形成同一條軌跡保存在軌跡元胞數(shù)組元素中；總體上看，不同位置的光流則因遮擋或背景情況不同形成長(zhǎng)度不一的軌跡群，這個(gè)軌跡群可相應(yīng)保存在總體的軌跡元胞數(shù)組中。

步驟3 將所有軌跡作為節(jié)點(diǎn)，按照式(7)-(9)計(jì)算各節(jié)點(diǎn)在鄰接半徑ε內(nèi)邊權(quán)值wi，j，建立ε-NN近鄰矩陣。

步驟4 對(duì)標(biāo)簽進(jìn)行hot-one矢量編碼并按照式(15)計(jì)算非種子標(biāo)簽的編碼值，因?yàn)閔ot-one矢量編碼將標(biāo)簽指示的類(lèi)別值映射到“1”所在的腳標(biāo)位置，因此可將計(jì)算出來(lái)的非種子標(biāo)簽的編碼矢量最大值分量的腳標(biāo)位置作為本軌跡的聚類(lèi)標(biāo)簽值輸出。

步驟5 取兩類(lèi)種子軌跡y坐標(biāo)極值所在幀的散點(diǎn)圖逐次進(jìn)行RANSAC直線擬合和相關(guān)擺角計(jì)算。

5 算法時(shí)間復(fù)雜度分析

由上述算法步驟4及式(15)可以看出，雙粒度標(biāo)簽擴(kuò)散在求解時(shí)僅僅需要運(yùn)行1次的逆陣與矩陣乘法運(yùn)算，并不需要迭代，其時(shí)間復(fù)雜度遠(yuǎn)低于單粒度的ADMM算法，為方便定量分析比較單粒度的SSC算法與文中提出的雙粒度SSC運(yùn)動(dòng)分割算法的時(shí)間復(fù)雜度，這里假定軌跡數(shù)目為n，軌跡均為滿幅等長(zhǎng)且長(zhǎng)度為p(即聚類(lèi)數(shù)據(jù)維度)，迭代次數(shù)為T(mén)，下面通過(guò)ADMM的迭代過(guò)程分析其時(shí)間復(fù)雜度。

因式(6)的自表達(dá)系數(shù)矩陣對(duì)角線元素表示元素自身相似度，為方便迭代更新，將對(duì)角線元素設(shè)置為0并作為輔助矩陣A引入，并以λe與λz分別表示稀疏誤差系數(shù)與數(shù)據(jù)重構(gòu)誤差系數(shù)，則目標(biāo)函數(shù)可轉(zhuǎn)化為

(16)

s.t.A=C-diag(C)，

AT1=1。

為保證目標(biāo)函數(shù)嚴(yán)格凸性，增加兩個(gè)懲罰項(xiàng)及懲罰系數(shù)ρ，可將原目標(biāo)函數(shù)進(jìn)一步轉(zhuǎn)化為如下形式：

(17)

s.t.A=C-diag(C)，

AT1=1。

C+diag(C)))

(18)

式中：C，E，A為優(yōu)化變量；δ，Δ為拉格朗日乘子變量。ADMM算法對(duì)這兩組變量交替輪流優(yōu)化如下：

(λzYTY+ρI+ρ11T)A(k+1)=λzYT(Y-E(k))+

ρ(11T+C(k))-1δ(k)T-Δ(k)

(19)

(20)

(21)

δ(k+1)=δ(k)+ρ(A(k+1)T1-1)

(22)

Δ(k+1)=Δ(k)+ρ(A(k+1)-C(k+1))

(23)

可以看出，式(20)-(23)僅包含矩陣加減運(yùn)算，可以對(duì)矩陣元素直接運(yùn)算，因此ADMM算法的迭代過(guò)程主要計(jì)算集中在式(19)的矩陣A求逆及YTY的矩陣乘法，二者的時(shí)間復(fù)雜度為O(n3+n2p)，空間復(fù)雜度為n2，考慮迭代次數(shù)T，則其總的復(fù)雜度為O(Tn3+Tn2p)。

另一方面，假設(shè)在n條軌跡中抽取m條軌跡作為種子，并以鄰接半徑無(wú)窮大建立ε-NN近鄰矩陣，則雙粒度算法最大的時(shí)間復(fù)雜度為：O(Tm3+Tm2p)+O(n2p)+O((n-m)3+(n-m)2p)。

由上述分析可見(jiàn)，因雙粒度算法在降階SSC后并不需要迭代，在m?n的情況下可顯著降低時(shí)間復(fù)雜度。不過(guò)，m的最小值必須受子空間正確恢復(fù)條件限制，即[12]：

(24)

6 客運(yùn)站測(cè)試視頻的同步采集與算法測(cè)試結(jié)果比較

6.1 光流軌跡中斷處理及時(shí)空域的選取

為了方便批量精確采集雨刮臂的刮動(dòng)周期所在時(shí)間范圍、減少運(yùn)算量，將上述算法模塊經(jīng)過(guò)ocx封裝后并以回調(diào)函數(shù)體的形式嵌入客運(yùn)站的車(chē)輛跟蹤模塊進(jìn)行同步，當(dāng)車(chē)輛跟蹤模塊檢測(cè)到車(chē)輛停止在安檢地溝停止線附近2 s后以30幀/s的幀率啟動(dòng)光流采集60幀圖像作為光流采集總的時(shí)間范圍。

如前所述，在光流采集中，通過(guò)反色去霧提高對(duì)比度，通過(guò)提高幀率使軌跡連續(xù)光滑并保證種子軌跡稠密度，但在實(shí)踐中，環(huán)境照度及玻璃雨篷深色背景等仍然會(huì)使采集到的光流軌跡出現(xiàn)中斷現(xiàn)象，同一條軌跡經(jīng)過(guò)算法“步驟1”的前后一致性檢查后，在黑色背景區(qū)域?qū)⒈桓魯酁槎鄺l較短軌跡，如圖9所示。

圖9 軌跡中斷現(xiàn)象及軌跡時(shí)間段選取

Fig.9 Discontinuity phenomenon of trajectory and it’s frame period selection

由圖9可見(jiàn)，在60幀滿幅擺動(dòng)中，并不存在滿幅長(zhǎng)度的軌跡，因此文中提出雙粒度分割算法只能在滿幅擺動(dòng)的頭尾端提取較短的粗粒度光流來(lái)進(jìn)行SSC聚類(lèi)獲取種子標(biāo)簽，如圖9中，算法將粗粒度軌跡長(zhǎng)度由正常環(huán)境照度情況下的48降為15以獲得足夠數(shù)量的種子，并從中提取y均值最大的軌跡(如圖中A、B)覆蓋的時(shí)間幀作為所有待SSC聚類(lèi)光流軌跡的采集時(shí)間段。

另外，為了避免車(chē)燈亮暗變化生成的虛假光流對(duì)擺桿光流的影響，系統(tǒng)運(yùn)行前需要事先采集客運(yùn)站各車(chē)型的車(chē)牌、擋風(fēng)玻璃、各車(chē)燈等視覺(jué)檢測(cè)部位的坐標(biāo)錄入數(shù)據(jù)庫(kù)，作為每輛車(chē)配準(zhǔn)前的坐標(biāo)信息，當(dāng)有車(chē)輛進(jìn)站準(zhǔn)備安檢時(shí)，車(chē)牌識(shí)別模塊將根據(jù)識(shí)別出的車(chē)牌從數(shù)據(jù)庫(kù)調(diào)出上述坐標(biāo)重新配準(zhǔn)得到新的坐標(biāo)，每次配準(zhǔn)需要的單應(yīng)性(Homography)矩陣，則由本車(chē)輛事先采集好的車(chē)牌及車(chē)身logo等面板特征的SIFT描述子與當(dāng)前進(jìn)站停止后讀取的一幀圖像相應(yīng)面板匹配生成，最后得到實(shí)際場(chǎng)景擋風(fēng)玻璃的坐標(biāo)范圍作為光流的采集空間區(qū)域，從而避免車(chē)燈亮暗變化的干擾。整體同步采集及坐標(biāo)配準(zhǔn)軟件界面如圖10所示。

圖10 刮動(dòng)同步采集及坐標(biāo)配準(zhǔn)界面

Fig.10 Software interface for video synchronous acquisition and image registration

6.2 測(cè)試結(jié)果比較

綜合上述，為了區(qū)分不同環(huán)境照度導(dǎo)致玻璃反光對(duì)刮刷擺桿光流結(jié)構(gòu)張量的影響，并同時(shí)比較單、雙粒度兩種算法對(duì)于各種光照與車(chē)型的總的準(zhǔn)確率，本研究在客運(yùn)站取4種不同車(chē)型及6種環(huán)境照度共153車(chē)次，分別統(tǒng)計(jì)擬合誤差與擺角誤差，其中環(huán)境照度由距離擋風(fēng)玻璃0.5m處利用照度計(jì)測(cè)量玻璃背景為天空區(qū)域的反光亮度值(如圖9黃色區(qū)域所示)獲得，并在不同天氣條件下(晴天、陰天、多云、雨天與霧天)以185 lux為間隔均分為6個(gè)區(qū)段統(tǒng)計(jì)測(cè)試結(jié)果。單粒度算法測(cè)量結(jié)果取自直接對(duì)軌跡長(zhǎng)度為15的SSC聚類(lèi)擬合結(jié)果，并將SSC聚類(lèi)后再進(jìn)行半監(jiān)督標(biāo)簽擴(kuò)散后的擬合結(jié)果作為雙粒度測(cè)量結(jié)果進(jìn)行比較，基準(zhǔn)值由人工標(biāo)定，可得兩種算法測(cè)量誤差如表1所示。

由表1可知，單粒度聚類(lèi)擬合的誤差均值比雙粒度高出17.8百分點(diǎn)，這是由于單粒度聚類(lèi)擬合時(shí)因樣本點(diǎn)過(guò)于稀疏而使主擺桿與副擺桿擬合時(shí)存在重疊造成的。

另外，在擬合距離閾值取10像素、迭代次數(shù)100的約束情況下兩種算法的RANSAC直線擬合誤差分布如表2所示。

表1 各車(chē)型在不同照度下的擺角檢測(cè)誤差

綜合表1、表2可見(jiàn)，隨著環(huán)境照度的提高，擬合與擺角檢測(cè)精確率均有所提高，這是因?yàn)椴ＡХ垂饬吭黾犹岣吡藬[桿前景對(duì)比度，這樣減少了軌跡中斷現(xiàn)象使得粗粒度種子軌跡數(shù)目增加，同時(shí)因前景特征點(diǎn)結(jié)構(gòu)張量增加也增加了總體軌跡的數(shù)目與稠密度?？傮w上看，雙粒度算法在擬合和擺角檢測(cè)二者的誤差均不超過(guò)15%，工程上可以作為刮水器是否擺動(dòng)滿幅的判斷依據(jù)。另外，小型客車(chē)的擬合誤差與擺角誤差均高于其他車(chē)型，這是前文第2節(jié)分析提到的，因?yàn)橥接旯巫笥覕[桿的軌跡處于同一個(gè)仿射空間造成的混疊以及采樣密度所致。根據(jù)式(24)可知在工程上仍然可以通過(guò)提高軌跡的稠密度一并解決。

7 結(jié)語(yǔ)

針對(duì)擺桿細(xì)長(zhǎng)型單色的機(jī)械構(gòu)件，提出了一種通過(guò)光流軌跡聚類(lèi)的至下而上的運(yùn)動(dòng)分割算法。該算法利用的半監(jiān)督流形學(xué)習(xí)架構(gòu)克服了兩種粒度軌跡聚類(lèi)算法的缺點(diǎn)——利用粗粒度SSC聚類(lèi)種子標(biāo)簽的橋梁作用，很好地克服了細(xì)粒度軌跡譜聚類(lèi)的過(guò)分割的缺陷，利用細(xì)粒度提供的拓?fù)湫畔⒂挚梢钥朔至６鹊南∈枞毕荨Ｔ诎氡O(jiān)督機(jī)器學(xué)習(xí)成為研究熱點(diǎn)的今天，本架構(gòu)提供了一個(gè)很好的研究空間。在實(shí)踐中本算法并不要求在采集的時(shí)間段里光流軌跡都滿幅且等長(zhǎng)，而僅僅需要這些軌跡存在不同粒度的差別及具有一定長(zhǎng)度的種子軌跡即可，因此算法在運(yùn)動(dòng)分割中具有廣泛的應(yīng)用范圍，同時(shí)本算法對(duì)擺幅的檢測(cè)同樣適用于對(duì)各種儀表盤(pán)表針的視覺(jué)監(jiān)控，具有工業(yè)應(yīng)用價(jià)值。在軟件實(shí)現(xiàn)方面，本算法可以封裝成ocx插件供其他前端軟件模塊(如車(chē)輛跟蹤、車(chē)牌識(shí)別、經(jīng)由車(chē)牌SIFT匹配的單應(yīng)矩陣對(duì)車(chē)燈坐標(biāo)的配準(zhǔn)及亮度變化檢測(cè)等)以回調(diào)函數(shù)的形式進(jìn)行同步并構(gòu)成一個(gè)大的信息化軟件系統(tǒng)與客運(yùn)公司本身的調(diào)度系統(tǒng)及運(yùn)管局的公路電子運(yùn)政綜合執(zhí)法系統(tǒng)對(duì)接，因而也具有在交通運(yùn)輸信息系統(tǒng)的推廣價(jià)值。