張嘉超,張 偉

(1. 南京工程學(xué)院人工智能產(chǎn)業(yè)技術(shù)研究院, 江蘇 南京 211167;2. 南京康尼機電股份有限公司, 江蘇 南京 210009)

軌道交通作為公共交通的重要載體,是城市社會經(jīng)濟快速發(fā)展的堅實基礎(chǔ)之一.隨著城市軌道交通線路的快速增長以及軌道行業(yè)的高速發(fā)展,一些問題逐漸顯現(xiàn),其中安全運營問題最受關(guān)注.目前我國城市軌道交通站點安全門與地鐵車門間存在150～340 mm不等的間隙[1-2],當(dāng)乘客在客流量大或者非正常擁擠進入即將關(guān)閉的地鐵車門時,此間隙存在人或物被夾擠/遺留在兩門之間的可能性.為避免上述事故發(fā)生,國內(nèi)軌道交通領(lǐng)域利用在安全門與地鐵車門之間增加防夾裝置進行安全防范[3-4],除投入使用的防夾擋板、防爬架等物理防夾裝置外,還通過一些自動檢測技術(shù)進行障礙物檢測.目前地鐵車門和安全門之間的異物入侵檢測主要采用基于紅外光幕探測儀、激光掃描儀以及計算機視覺的檢測方法等[5-7].

特征提取和匹配廣泛應(yīng)用于計算機視覺領(lǐng)域的目標(biāo)檢測、全景成像等實際應(yīng)用中[8].本文提出一種基于關(guān)鍵特征匹配的地鐵車門與安全門間隙的異物檢測方法,采用加速穩(wěn)健特征(speeded up robust features,SURF)算法對檢測圖像與參考圖像進行特征提取與匹配后,對特征匹配對中的誤匹配點進行有效剔除,提煉出用于后續(xù)異物檢測的關(guān)鍵匹配點;借助關(guān)鍵匹配特征點相對數(shù)量及特征點分布面積等信息對檢測區(qū)域進行異物檢測.

1 SURF算法原理

SURF 算法是一種穩(wěn)健的局部特征點檢測和描述算法,是對尺度不變特征轉(zhuǎn)換(scale-invariant feature transform,SIFT)算法的改進,在特征提取任務(wù)中具有較好性能[9].通過簡化Hessian矩陣行列式中的高斯二階微分模板以降低計算消耗[6],SURF算法在保持尺度和旋轉(zhuǎn)不變性的同時,降低了算法計算成本,為算法在實時計算機視覺系統(tǒng)中的應(yīng)用提供了可能.SURF算法大致分為特征點定位、特征描述子選取以及特征點匹配三部分.本文采用SURF算法對地鐵車門與安全門間隙的異物視頻監(jiān)控圖像進行特征提取,進而實現(xiàn)異物入侵檢測.

1.1 特征點定位

SURF算法采用Hessian矩陣進行特征提取,Hessian矩陣可以生成穩(wěn)定的邊緣點以便于圖像特征提取.在進行Hessian矩陣構(gòu)造前,需要先對圖像進行高斯濾波,通常選用標(biāo)準(zhǔn)的二階高斯函數(shù)作為濾波器.對于圖像I中像素點(x,y),其對應(yīng)的Hessian矩陣為:

(1)

H(x,y,δ)的行列式值為:

(2)

為減小計算量、提高運算速度,SURF算法采用盒式濾波器來近似代替高斯濾波器.盒式濾波器通過將高斯濾波器的濾波權(quán)重系數(shù)簡化,將圖像的卷積運算簡化為計算圖像不同區(qū)域間像素和的加減運算.具體而言,SURF算法只使用{-2,-1,0,1}集合中元素來設(shè)計盒式濾波器,將整體計算過程簡化.經(jīng)盒式濾波器濾波后,式(2)可簡化為:

det(Happrox)=DxxDyy-(wDxy)2

(3)

在獲得Hessian矩陣后,采用不斷增大盒式濾波模板尺寸的方法來獲得不同尺度的圖像,由此構(gòu)建尺度空間.SURF算法尺度空間分為四組,每組包含四層.每組四層的濾波模板尺寸按照給定的步長增加,第一組到第四組層間濾波模板尺寸分別按6、12、24、48的步長增加.具體而言,SURF算法采用9×9的濾波模板作為起始尺寸對圖像進行濾波,其結(jié)果作為初始的尺度空間層,即第一組第一層濾波模板尺寸為9×9,根據(jù)第一組給定步長增量,第一組四層濾波模板尺寸分別為9×9、15×15、21×21、27×27;第二組第一層濾波模尺寸為第一組第二層板濾波模板大小,根據(jù)對應(yīng)的步長增量,第二組的四層濾波模板尺寸分別為15×15、27×27、39×39、51×51;以此類推,第三組和第四組的四層濾波模板尺寸分別為27×27、51×51、75×75、99×99和51×51、99×99、147×147、195×195.在該算法的尺度空間中,每組任意一層包含三種盒式濾波器.

對圖像I進行濾波后,通過Hessian行列式計算式(3)可以得到對應(yīng)尺度坐標(biāo)下的Hessian行列式值,所有的行列式值可以構(gòu)成一幅Hessian行列式圖像.SURF算法在尺度空間中選取一個3×3×3的鄰域空間進行特征點選取,中間層的每個Hessian行列式值作為特征候選點.將每個特征候選點與本層及相鄰兩層點的Hessian行列式值進行比較,若該點的值大于其他26個點,則認為該點是特征點.在實際應(yīng)用中,為保證特征點的數(shù)量及準(zhǔn)確性,一般會選取一個給定閾值,行列式值高于閾值的點被認定為特征點.

1.2 特征描述子選取

每個特征點被分配一個主方向以保證特征向量的旋轉(zhuǎn)不變性,特征點主方向也是該點周圍灰度變化最明顯的方向.以特征點為中心,半徑為6ε(ε為特征點的尺度)的范圍內(nèi)計算水平與垂直方向上的Haar小波響應(yīng),并將水平與垂直方向上的Haar小波響應(yīng)值進行加權(quán)求和.在此基礎(chǔ)上,以特征點為中心設(shè)置一個角度為π/6的扇形滑動窗口,隨著滑動窗口的移動,統(tǒng)計當(dāng)前窗口內(nèi)小波響應(yīng)累加值,構(gòu)成一個小波響應(yīng)矢量.總和最大的小波響應(yīng)矢量方向為該特征點的主方向.

特征點主方向確認后,以特征點為中心選定邊長為20ε的正方形區(qū)域,沿著該特征點主方向?qū)⒄叫螀^(qū)域劃分為4×4的子區(qū)域.在每個子區(qū)域選取5×5個均勻分布的采樣點,計算其沿主方向與垂直于主方向的Haar小波響應(yīng)值(濾波器大小2ε),并對相應(yīng)方向的小波響應(yīng)進行高斯加權(quán)計算,每個子區(qū)域可得到一個4維特征矢量.因此,特征描述子由一個4×4×4維的特征矢量構(gòu)成.SURF特征描述子具備尺度和旋轉(zhuǎn)不變性,且對光照變化具有魯棒性.

1.3 特征點匹配

在進行特征點定位時,將計算得到的Hessian矩陣的跡根據(jù)符號(正負)特征點分為兩組.特征點只在同組內(nèi)進行匹配,若待匹配的兩個特征點在同一組,則計算兩個特征點描述子的歐氏距離:

人民調(diào)解協(xié)議司法確認，是我國《人民調(diào)解法》和《民事訴訟法》共同規(guī)定的一項法律制度，是指人民法院依據(jù)雙方當(dāng)事人的申請，對其在人民調(diào)解委員會主持調(diào)解下達成的調(diào)解協(xié)議進行司法審查，依法賦予該人民調(diào)解協(xié)議司法強制執(zhí)行力的活動。根據(jù)相關(guān)法律和司法解釋的規(guī)定，申請人民調(diào)解協(xié)議司法確認，雙方當(dāng)事人應(yīng)當(dāng)在達成調(diào)解協(xié)議后30天內(nèi)，共同向人民法院提出申請。人民法院受理后，指定一名審判人員進行司法審查。經(jīng)審查，認為符合法律規(guī)定的，予以司法確認；不符合法律規(guī)定的，不予確認。

(4)

式中:Xik為參考圖像第i個特征點描述子的第k個元素;Yjk為目標(biāo)圖像第j個特征描述子的第k個元素;n為描述子的維數(shù).

通常會將歐式距離與選定閾值比較,若小于選定閾值則認為該組特征點為一組匹配點,反之則剔除.但這種方法會導(dǎo)致產(chǎn)生大量誤匹配點,可采取最鄰近距離比值法 (nearest neighbor distance ratio,NNDR)等方法來消除錯誤匹配[10].

2 基于特征的間隙異物檢測方法

本文提出一種基于SURF特征提取與匹配算法的地鐵車門與安全門間隙的異物檢測方法,算法框架如圖1所示.首先將參考圖像及待檢測視頻幀中的待檢測區(qū)域(地鐵車門與安全門間隙)劃分為N個子塊(一般而言,N=4或者N=8),分別對子塊進行特征提取;然后將對應(yīng)子塊進行特征匹配,得到的特征匹配點數(shù)及匹配點所處位置將用于后續(xù)異物檢測.由于直接通過SURF算法進行特征匹配易產(chǎn)生誤匹配點,因此提出一種簡單、有效的誤匹配點剔除方法,以得到較為準(zhǔn)確的特征點匹配對.

圖1 本文提出方法框架圖

2.1 誤匹配點剔除

NNDR算法依據(jù)局部區(qū)域臨近特征點區(qū)分度低理論,通過計算特征描述子之間的最小歐式距離Di,j與次小歐式距離Di,j′比值來篩除誤匹配點,計算式為:

(5)

將得到的比值η與設(shè)定閾值ηε(一般而言,ηε為0.4～0.7)比較,若η>ηε,則該特征對為誤匹配對.在采用NNDR算法剔除誤匹配點后,會存在參考圖像中一個特征點和目標(biāo)圖像的多個特征點相匹配情況,在實際應(yīng)用過程中需進一步對一對多中的誤匹配對進行刪除.

假定參考圖像中的第t個特征點Xt在目標(biāo)圖像中對應(yīng)的匹配點有Ym、Ym+1、Ym+2、…、Ym+n.在NNDR算法中,已求取最小歐式距離匹配點,Ys=argmin{dist(XtYm),dist(XtYm+1),…,dist(XtYm+n)}(s∈(m,m+n);同理,存在次小歐式距離匹配點Ys′(s′≠s∈(m,m+n)).進行如下計算:

(6)

式中:(xs,ys)為Ys像素坐標(biāo);(xs′,ys′)為Ys′像素坐標(biāo);(xi,yi)為Yi像素坐標(biāo);i∈(m,m+n)且i≠s≠s′.

將所得比值θs,i與設(shè)定閾值θε進行比較,若θs,j>θε,則該特征點為誤匹配點;若θs,j≤θε,則該匹配點作為有效匹配點.

2.2 異物檢測

分塊后的異物檢測區(qū)域經(jīng)過對應(yīng)的特征提取與匹配及誤匹配點刪除后進行異物檢測,流程如圖2所示.對于參考圖像中的檢測塊Ao(o∈(1,N))和目標(biāo)圖像中的檢測塊Bo(o∈(1,N)),經(jīng)過特征提取與匹配以及誤匹配點刪除后可得到特征點數(shù)目po(也可稱之為匹配對數(shù)目),將其與標(biāo)準(zhǔn)參考值pκ進行比較,pκ根據(jù)待檢測視頻初始幀(無異物狀態(tài))與參考圖像進行特征匹配以及誤匹配點刪除后得出.若po<αpκ(α為可調(diào)系數(shù)),則認定該匹配塊有異物,反之則進行特征點面積分布檢測.

圖2 異物檢測流程

檢測塊中的特征點分布面積可以通過計算邊緣特征點組成的多邊形面積計算獲取,pk(k=1,2,…,M)為特征點邊界正向排列的頂點,對應(yīng)的坐標(biāo)點為(x1,y1)、(x2,y2)、…、(xM,yM),計算公式為:

(7)

將所得的特征點分布面積PΩ與標(biāo)準(zhǔn)參考值PΩ′進行比較,若PΩ<βPΩ′(其中:PΩ′為待檢測視頻初始無異物圖像與參考圖像進行特征匹配以及誤匹配點刪除后所得到的特征點(特征匹配對)的分布面積;β為可調(diào)系數(shù)),則認定該檢測塊存在異物,反之則表示該檢測塊不存在異物.

3 試驗分析

為了驗證所提出方法的有效性,采用本文方法對真實采集的圖像進行異物檢測試驗.試驗在Windows10系統(tǒng)的Matlab平臺進行.試驗對象地鐵車門和安全門1∶1仿真系統(tǒng)由南京康尼機電股份有限公司提供.捕獲檢測視頻的試驗相機以30 fps拍攝,分辨率為1 920×1 080.為提升檢測效率,從視頻中每10幀均勻采樣1幀進行檢測,即每1目標(biāo)幀的異物存在狀態(tài)代表相鄰10幀的檢測結(jié)果.

圖3為試驗組一的參考圖像與目標(biāo)圖像,方形框內(nèi)為待檢測分塊區(qū)域,劃分為4個檢測子塊(N=4).表1為各檢測區(qū)域中的特征點數(shù)量比值與特征點面積分布比值.由表1可見,檢測塊1與檢測塊2的特征點數(shù)量比值與特征點面積分布比值均大于閾值0.7,因此該部分均判定為無異物入侵;檢測塊3與檢測塊4的特征點數(shù)量比值分別為0.422與0.102,均小于0.7,表明這兩部分的特征點對比初始無異物時匹配對發(fā)生了大幅縮減,存在異物入侵的可能性大,根據(jù)算法判定該目標(biāo)圖像有異物存在,且異物存在于第3和第4檢測塊.

(a) 參考圖像

(b) 目標(biāo)圖像

表1 試驗組一異物檢測結(jié)果( α=0.7,β=0.7)

圖4為試驗組二的參考圖像與目標(biāo)圖像,同樣將待檢測區(qū)域劃分為4個子塊.表2為各檢測區(qū)域中的特征點數(shù)量比值與特征點面積分布比值.由表2可見,檢測塊1和檢測塊4的特征點數(shù)量比值與面積分布比值均大于閾值,判定該區(qū)域無異物存在;檢測塊2特征點數(shù)量比值小于閾值,表示該部分特征點發(fā)生大幅縮減,存在異物入侵的可能;檢測塊3特征點數(shù)量比值大于閾值,但是特征點面積分布小于閾值,表明該部分特征點分布與無異物存在時分布差異較大,該目標(biāo)圖像的檢測結(jié)果為存在異物,且存在于第2和第3檢測塊中.試驗過程中為便于比較,特征點面積分布比值已經(jīng)歸一化處理.

(a) 參考圖像

(b) 目標(biāo)圖像

表2 試驗組二異物檢測結(jié)果(α=0.7,β=0.7)

由試驗可知,本文算法可對地鐵車門與安全門系統(tǒng)間的縫隙進行異物檢測并能夠完成初步定位,滿足實際工程需要.但本文方法也具有一定的局限性,僅對較為明顯的物體能夠進行有效檢測,對于較小的物體無法實現(xiàn)檢測,這是由于算法依賴特征點檢測,當(dāng)異物相對于待檢測區(qū)域所占面積比例很小時,特征點數(shù)量及分布面積幾乎不會發(fā)生變化,因此無法進行有效檢測.

4 結(jié)語

本文提出一種基于關(guān)鍵特征匹配的地鐵車門與安全門間隙的異物檢測方法.首先將待檢測圖像與參考圖像進行特征提取與匹配;然后為提升匹配準(zhǔn)確率,對特征匹配對中的誤匹配點進行有效剔除,從而提煉出關(guān)鍵匹配點;最后借助匹配特征點相對數(shù)量及特征點面積分布對待檢測區(qū)域進行異物檢測.試驗結(jié)果表明,本文方法可有效地對地鐵車門與安全門間隙進行異物入侵檢測,對于軌道交通安全運營具有一定的實際應(yīng)用價值.