陳恒俊,蔡明志,陳 樂(lè),許文杰

1(南方電網(wǎng)調(diào)峰調(diào)頻發(fā)電有限公司,廣州 510630)

2(廣州市奔流電力科技有限公司,廣州 510700)

隨著社會(huì)經(jīng)濟(jì)的快速增長(zhǎng),各領(lǐng)域?qū)τ陔娏δ茉吹男枨笤絹?lái)越大,而發(fā)電廠是電力能源的核心來(lái)源,如何保證電廠正常和高效運(yùn)行是一項(xiàng)重要任務(wù).在電廠的生產(chǎn)過(guò)程中往往需要各種工質(zhì)的流動(dòng)和傳輸,因此電廠內(nèi)管路縱橫交叉,各管路的運(yùn)行狀態(tài)關(guān)系到電廠的安全運(yùn)行.為了保證電廠的穩(wěn)定運(yùn)行,必須要對(duì)電廠的各管路進(jìn)行狀態(tài)監(jiān)測(cè).而通過(guò)振動(dòng)測(cè)量之后得到的目標(biāo)振動(dòng)的頻率和振幅等數(shù)據(jù)能反映出目標(biāo)的當(dāng)前狀態(tài)[1].

目前,振動(dòng)測(cè)量的方法大致分為3 種[2],一是人工巡查測(cè)量,二是基于傳感器的振動(dòng)測(cè)量,三是基于視覺(jué)的振動(dòng)測(cè)量.電廠中的管路交錯(cuò)復(fù)雜,而且其出現(xiàn)振動(dòng)的現(xiàn)象往往具有較大的隨機(jī)性和不可預(yù)見(jiàn)性,而人工巡查測(cè)量無(wú)法覆蓋全天候全范圍,因此不能有效檢測(cè)到管路振動(dòng);基于傳感器的振動(dòng)監(jiān)測(cè)方法[3,4],通過(guò)在需要監(jiān)測(cè)的目標(biāo)上布置傳感器的方式,從而能夠?qū)崟r(shí)掌握到監(jiān)測(cè)目標(biāo)的振動(dòng)狀態(tài),但需要在每個(gè)監(jiān)測(cè)目標(biāo)上安裝振動(dòng)傳感器,需要耗費(fèi)巨大的物力和財(cái)力,并且傳統(tǒng)的振動(dòng)測(cè)量傳感器,在極端條件下的準(zhǔn)確性往往不可靠,會(huì)受到溫度和輻射等環(huán)境條件的影響;而基于視覺(jué)的振動(dòng)監(jiān)測(cè)方法[5,6]只需要通過(guò)監(jiān)控畫(huà)面就能快速的測(cè)量出目標(biāo)的振動(dòng)參數(shù),且具備強(qiáng)抗干擾性.

基于視覺(jué)的振動(dòng)測(cè)量方法分為數(shù)字圖像相關(guān)法、標(biāo)記跟蹤法和光流方法.數(shù)字圖像相關(guān)法[7-10]測(cè)量振動(dòng)需要在被測(cè)量目標(biāo)上預(yù)先設(shè)置散斑圖像,故又稱(chēng)數(shù)字散斑相關(guān)法.數(shù)字相關(guān)圖是基于數(shù)值計(jì)算和圖像處理的變形或振動(dòng)測(cè)量方法,其通過(guò)光路布置(在待測(cè)目標(biāo)上設(shè)置散斑圖像)后,采集待測(cè)目標(biāo)的監(jiān)測(cè)畫(huà)面,最后通過(guò)圖像計(jì)算得到待測(cè)目標(biāo)的振動(dòng)參數(shù).文獻(xiàn)[7]采用數(shù)字圖相關(guān)法非接觸的測(cè)量出了齒輪軸線(xiàn)平行度誤差,并且得到了齒輪副的傳動(dòng)誤差曲線(xiàn).文獻(xiàn)[8]利用三維的數(shù)字圖像相關(guān)法測(cè)量了工程結(jié)構(gòu)試件的固有振動(dòng)頻率及其變化值.

標(biāo)記跟蹤法[11,12]振動(dòng)測(cè)量是通過(guò)在待測(cè)對(duì)象的結(jié)構(gòu)表面粘貼標(biāo)記物的方式,對(duì)圖像中的標(biāo)記物進(jìn)行處理和分析,得到標(biāo)記物的振動(dòng)信息,從而完成待測(cè)對(duì)象的振動(dòng)測(cè)量,其標(biāo)記物通常使用圓形標(biāo)記,且與待測(cè)對(duì)象背景具有一定的差異.文獻(xiàn)[12]通過(guò)標(biāo)記跟蹤法,測(cè)量出了無(wú)人機(jī)機(jī)翼的振動(dòng)數(shù)據(jù),包含了振型和振動(dòng)頻率等,驗(yàn)證了標(biāo)記跟蹤振動(dòng)測(cè)量方法的有效性.

數(shù)字圖像相關(guān)法和標(biāo)記物跟蹤振動(dòng)測(cè)量方法在測(cè)量過(guò)程中都不易受外界環(huán)境的干擾,精度較高,但都需要在待測(cè)目標(biāo)上預(yù)先設(shè)置標(biāo)記物,準(zhǔn)備工作繁瑣,實(shí)用性不佳,不能充分體現(xiàn)計(jì)算機(jī)視覺(jué)技術(shù)的易用性以及非接觸式振動(dòng)測(cè)量的優(yōu)勢(shì).

光流法常用來(lái)檢測(cè)圖像序列中運(yùn)動(dòng)的目標(biāo),通過(guò)圖像序列提取到的光流包含圖像中目標(biāo)的運(yùn)動(dòng)信息,為物體的振動(dòng)測(cè)量提供了數(shù)據(jù)來(lái)源.并且光流法并不需要預(yù)先在待測(cè)目標(biāo)上設(shè)置標(biāo)記物,使得基于光流法的物體振動(dòng)測(cè)量易用性更高[13,14].文獻(xiàn)[13]基于光流法提出了一種斜拉索振動(dòng)測(cè)量方法,僅通過(guò)普通相機(jī)就能測(cè)量出無(wú)標(biāo)記的斜拉索的振動(dòng)特性.文獻(xiàn)[14]提出了一種多線(xiàn)程主動(dòng)視覺(jué)感應(yīng)的概念,通過(guò)測(cè)量高速攝像機(jī)拍攝下的土木工程結(jié)構(gòu)上多個(gè)點(diǎn)的光流,從而得到多個(gè)點(diǎn)的動(dòng)態(tài)變化的位移和振動(dòng).光流法測(cè)量振動(dòng)因?yàn)槠洳恍枰A(yù)先在待測(cè)目標(biāo)上設(shè)置標(biāo)記物,簡(jiǎn)單方便的優(yōu)點(diǎn)使得其應(yīng)用廣泛[15],但光流法對(duì)于圖像的質(zhì)量要求較高,而且現(xiàn)有的光流計(jì)算大部分基于傳統(tǒng)光流法[16,17],其計(jì)算成本過(guò)高,無(wú)法達(dá)到實(shí)時(shí)檢測(cè),并且對(duì)于光照等環(huán)境條件的變化敏感,從而導(dǎo)致一定的噪聲.

為了解決上述方法的局限性,本文提出了一種基于計(jì)算機(jī)視覺(jué)的振動(dòng)感知方法,首先采用卷積神經(jīng)網(wǎng)絡(luò)估計(jì)待測(cè)目標(biāo)的光流信息,然后通過(guò)分析光流信息檢測(cè)出物體的振動(dòng),最后通過(guò)記錄振動(dòng)目標(biāo)中心點(diǎn)的周期信號(hào)測(cè)量出振動(dòng)目標(biāo)的頻率和振幅.

1 方法

1.1 振動(dòng)檢測(cè)

光流(optical flow)[18]是空間運(yùn)動(dòng)物體在成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度.在計(jì)算機(jī)視覺(jué)任務(wù)中,光流代表圖像序列中的像素點(diǎn)隨著時(shí)間變化而發(fā)生位置變化情況,光流具有豐富的運(yùn)動(dòng)信息[19],在目標(biāo)跟蹤、運(yùn)動(dòng)估計(jì)和自動(dòng)駕駛等領(lǐng)域[20-22]應(yīng)用廣泛.但現(xiàn)有光流的計(jì)算方法依賴(lài)于基于變分能量模型的優(yōu)化算法[23]和基于塊匹配[24]的啟發(fā)式算法等,但這些傳統(tǒng)光流計(jì)算方法計(jì)算成本高、計(jì)算時(shí)間長(zhǎng),導(dǎo)致不適用于實(shí)時(shí)性任務(wù),另外對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)如要使用光流所包含的運(yùn)動(dòng)信息,需要預(yù)先提取光流,使得網(wǎng)絡(luò)模型并不能端到端.

隨著卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)領(lǐng)域的大放異彩,研究者們嘗試用卷積神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)光流信息[25-27],文獻(xiàn)[25]將光流問(wèn)題視作圖像的重建問(wèn)題,嘗試?yán)镁矸e神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)特征的優(yōu)勢(shì)去解決光流的問(wèn)題,提出了FlowNet,采用深度網(wǎng)絡(luò)架構(gòu)去預(yù)測(cè)光流,其預(yù)測(cè)的準(zhǔn)確度略低于傳統(tǒng)光流計(jì)算方法,但其預(yù)測(cè)的速度遠(yuǎn)快于傳統(tǒng)的光流計(jì)算速度.

結(jié)合電廠中對(duì)于管路振動(dòng)檢測(cè)的實(shí)時(shí)性要求和管路振動(dòng)本質(zhì)是小位移運(yùn)動(dòng)的特性,本文將光流問(wèn)題建模成一個(gè)有監(jiān)督的深度學(xué)習(xí)問(wèn)題,假定在工業(yè)電視系統(tǒng)中獲取到實(shí)時(shí)圖像序列 [f1,f2,···,fn],fk和fk+1兩幀圖像的光流為Ok,則本文預(yù)測(cè)光流的公式如下:

式中,CNN為深度卷積神經(jīng)網(wǎng)絡(luò),ω為網(wǎng)絡(luò)中待學(xué)習(xí)的參數(shù),通過(guò)調(diào)節(jié)參數(shù)ω的值使得網(wǎng)絡(luò)具備預(yù)測(cè)fk和fk+1兩幀圖像的光流Ok的能力.

本文預(yù)測(cè)光流的網(wǎng)絡(luò)是基于FlowNet-S的網(wǎng)絡(luò)結(jié)構(gòu),針對(duì)管路振動(dòng)實(shí)質(zhì)上的是像素點(diǎn)在畫(huà)面中的小位移特性和FlowNet-S在估計(jì)小位移運(yùn)動(dòng)的可靠性不穩(wěn)定的情況,本文將其第一層的步長(zhǎng)和卷積核的大小進(jìn)行了修改,以便能更好的預(yù)測(cè)出小位移的光流.網(wǎng)絡(luò)的框架圖如圖1所示.

圖1 光流預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)

本文通過(guò)深度網(wǎng)絡(luò)去估計(jì)圖像幀序列光流的方法分為3 個(gè)步驟:第1 步輸入圖像幀序列中連續(xù)兩幀圖像進(jìn)入網(wǎng)絡(luò);第2 步采用網(wǎng)絡(luò)卷積層的卷積操作得到收縮后的特征圖;第3 步是將提取的特征通過(guò)反卷積的方式一步一步去預(yù)測(cè)圖像的光流,最終得到預(yù)測(cè)的光流圖像大小擴(kuò)大到與輸入幀圖像的大小相同.相比于傳統(tǒng)方法計(jì)算光流,本文采用深度網(wǎng)絡(luò)去預(yù)測(cè)光流,其計(jì)算方式為計(jì)算復(fù)雜度不高的卷積操作,使得光流得獲取具有實(shí)時(shí)的可能.

由上述深度網(wǎng)絡(luò)預(yù)測(cè)出光流后,為檢測(cè)出振動(dòng)目標(biāo),本文首先采用局部自適應(yīng)的方法分割單張光流圖,但在分割的過(guò)程中我們發(fā)現(xiàn)單張分割出的前景目標(biāo)輪廓并不明顯,并且還具有一定的噪點(diǎn),考慮到振動(dòng)是連續(xù)的,其表現(xiàn)在連續(xù)幀畫(huà)面中,可以通過(guò)取多幀的結(jié)果進(jìn)行分析,以得到更好的分割結(jié)果,然后通過(guò)中值濾波和形態(tài)學(xué)閉操作去除噪聲,就完成了振動(dòng)目標(biāo)的檢測(cè).

在提取到振動(dòng)目標(biāo)之后,需要提取振動(dòng)目標(biāo)的局部區(qū)域,以降低后續(xù)振動(dòng)測(cè)量的時(shí)間和計(jì)算復(fù)雜度,所以本文對(duì)檢測(cè)出的振動(dòng)目標(biāo)使用邊緣提取算法(Canny)提取振動(dòng)目標(biāo)的邊緣,再進(jìn)行閉操作并臨近邊緣并去掉一些較短邊緣之后,根據(jù)邊緣點(diǎn)所在的范圍提取出原圖片對(duì)應(yīng)振動(dòng)目標(biāo)的位置,再對(duì)上述圖片進(jìn)行網(wǎng)格劃分,從上到下劃分出4 塊區(qū)域,使用霍夫曼直線(xiàn)檢測(cè)進(jìn)行檢測(cè),由于振動(dòng)管路為圓柱體,其在畫(huà)面中的表現(xiàn)形式為長(zhǎng)方形區(qū)域,所以我們根據(jù)兩條直線(xiàn)的距離來(lái)判斷是否是震動(dòng)管路,最后得到了振動(dòng)管路的局部區(qū)域位置信息,即可以得出圖像序列中待測(cè)量振動(dòng)管路區(qū)域,如圖2所示.

圖2 分割出的圖像序列中待測(cè)量振動(dòng)管路區(qū)域示例

1.2 振動(dòng)測(cè)量

由光流估計(jì)和光流分析,確定了需要待測(cè)量管路目標(biāo)的圖像序列,基于此,本文采用以下方法測(cè)得目標(biāo)的振動(dòng)信息:首先將管路目標(biāo)與背景區(qū)域分割出來(lái),然后通過(guò)邊緣查找方法找出管路目標(biāo)的左右邊緣點(diǎn)并得到管路目標(biāo)的中心點(diǎn),再觀察并記錄中心點(diǎn)在圖像序列中位置的周期變化,最后通過(guò)中心點(diǎn)的周期性變化計(jì)算出振動(dòng)的幅值和頻率.

1.2.1 振動(dòng)管路圖像分割

為了方便后續(xù)的計(jì)算,首先對(duì)圖像進(jìn)行灰度化處理,將彩色圖像轉(zhuǎn)換為灰度圖像,如圖3所示.

圖3 待測(cè)量管路目標(biāo)的圖像序列和灰度化后的待測(cè)量管路目標(biāo)的圖像序列

在待測(cè)量管路目標(biāo)的圖像中不僅包含對(duì)測(cè)量任務(wù)有用的管路目標(biāo),還存在冗余的背景.為了去除背景信息的干擾,本文采用最大類(lèi)間方差法(OSTU 算法)對(duì)圖像進(jìn)行前景和背景的自適應(yīng)閾值分割,最后得到測(cè)量任務(wù)感興趣只包含管路目標(biāo)的二值圖像.如圖4所示.

圖4 OSTU 算法分割后的待測(cè)量管路目標(biāo)的圖像序列

1.2.2 中心點(diǎn)距離計(jì)算

在只包含管路目標(biāo)的二值圖像中,本文先通過(guò)邊緣查找出管路目標(biāo)邊緣像素點(diǎn)的坐標(biāo),邊點(diǎn)像素點(diǎn)查找的方式如式(2).

式中,Pk代表圖像序列中第K幀中的邊緣點(diǎn)集合,(x,y)為圖像序列中像素點(diǎn)的坐標(biāo).如上述的示例圖像序列對(duì)應(yīng)的邊緣點(diǎn)坐標(biāo)集合如下:

在求得每幀圖像得邊緣點(diǎn)之后,通過(guò)式(4)計(jì)算出每一幀中振動(dòng)目標(biāo)的中心點(diǎn)Ck.

式中,(xk,yk)為振動(dòng)目標(biāo)中心點(diǎn)的坐標(biāo),(xi,yi)表示邊緣點(diǎn)集合Pk中像素點(diǎn)的坐標(biāo),N表示Pk中像素點(diǎn)的總數(shù)量.然后,由每一幀中振動(dòng)目標(biāo)中心點(diǎn)的坐標(biāo)計(jì)算得到其距離原點(diǎn)的距離Dk,計(jì)算公式如下:

式中,(xk,yk)為第k幀圖像中振動(dòng)目標(biāo)中心點(diǎn)的坐標(biāo),對(duì)于每一幀圖像中的中心點(diǎn)距離原點(diǎn)距離做一個(gè)規(guī)范化處理,其計(jì)算方式如下:

式中,Dk′為規(guī)范化處理后的中心點(diǎn)距離,mean(Dk)表示所有幀序列圖像振動(dòng)目標(biāo)中心點(diǎn)距離原點(diǎn)距離的均值.通過(guò)計(jì)算可以得到上述示例5 幀圖像的規(guī)范化處理候的中心點(diǎn)距離,如式(7).

1.2.3 測(cè)量振動(dòng)的幅值和頻率

通過(guò)記錄連續(xù)幀序列中各幀中心點(diǎn)規(guī)范化處理好的中心點(diǎn)距離Dk′,將其按時(shí)間順序進(jìn)行排列,得到各幀振動(dòng)目標(biāo)中心點(diǎn)坐標(biāo)的周期信號(hào),從而可以畫(huà)出振動(dòng)目標(biāo)中心點(diǎn)的周期信號(hào).如圖5所示.

圖5中橫軸為時(shí)間軸,縱軸代表規(guī)范化處理好的中心點(diǎn)距離Dk′(像素點(diǎn)距離),從而可以得到幀序列中振動(dòng)物體中心點(diǎn)坐標(biāo)的周期性信號(hào)如圖5中曲線(xiàn)所示.對(duì)于得到的振動(dòng)物體中心點(diǎn)的周期圖中的曲線(xiàn),本文首先找到曲線(xiàn)上所有的峰值點(diǎn),其組成的集合記為Q,對(duì)于Q中的元素求平均,從而得到振動(dòng)的幅值A(chǔ).

圖5 振動(dòng)物體中心點(diǎn)響應(yīng)的周期信號(hào)

功率譜的定義是單位頻帶內(nèi)的信號(hào)功率.功率譜曲線(xiàn)的橫軸為頻率,而縱軸為功率的大小.根據(jù)信號(hào)與系統(tǒng)理論,周期信號(hào)的功率譜會(huì)在相應(yīng)的頻率處形成尖峰.通過(guò)功率譜來(lái)計(jì)算,可以省去復(fù)雜的統(tǒng)計(jì)峰值的過(guò)程,而且在頻域上可以忽略掉時(shí)域的一些噪聲,使測(cè)量的結(jié)果更加準(zhǔn)確.對(duì)于振動(dòng)物體的頻率,本文在頻域上進(jìn)行統(tǒng)計(jì),通過(guò)振動(dòng)物體中心的周期信號(hào)圖得到出對(duì)應(yīng)的功率譜,從而得到其頻率值.

如圖6所示,通過(guò)觀察功率譜的最高峰值所對(duì)應(yīng)的橫坐標(biāo)頻率,可以得出振動(dòng)的頻率f.如圖中對(duì)應(yīng)測(cè)量的振動(dòng)物體通過(guò)該方法可以測(cè)得振動(dòng)的頻率約為10 Hz.

圖6 振動(dòng)物體的功率譜

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)

本文的數(shù)據(jù)主要分為兩個(gè)部分,其中一部分是用于振動(dòng)檢測(cè),用作光流預(yù)測(cè)網(wǎng)絡(luò)的訓(xùn)練,其來(lái)源為網(wǎng)絡(luò)的開(kāi)源數(shù)據(jù)集,包括Chairs、Things3D和ChairsSDHom三個(gè)應(yīng)用廣泛的光流預(yù)測(cè)任務(wù)數(shù)據(jù)集,以便光流預(yù)測(cè)模型能夠預(yù)測(cè)出更準(zhǔn)確的光流.另外一部份用作整個(gè)方法的測(cè)試,其來(lái)源于自我模擬和拍攝的視頻,因?yàn)槟壳半姀S的管路振動(dòng)的視頻數(shù)據(jù)匱乏,且電廠正常運(yùn)行不能打斷進(jìn)行模擬,所以本文采用了一些類(lèi)管路的目標(biāo)視頻來(lái)測(cè)試我們方法的有效性,數(shù)據(jù)示例如圖7,其中第1 行為動(dòng)畫(huà)視頻來(lái)源于開(kāi)源數(shù)據(jù)集,第2 行為真實(shí)場(chǎng)景數(shù)據(jù),這兩部分?jǐn)?shù)據(jù)都為視頻,本文做了疊影效果展示.

圖7 數(shù)據(jù)示例

2.2 實(shí)驗(yàn)細(xì)節(jié)

本文的光流預(yù)測(cè)網(wǎng)絡(luò)是在FlowNet-S 網(wǎng)絡(luò)的基礎(chǔ),做了輕微的調(diào)整,將其第一層的步長(zhǎng)由2 調(diào)整到1,將7×7和5×5 大小的濾波器調(diào)整為3×3,并在Chairs 數(shù)據(jù)集預(yù)先訓(xùn)練光流預(yù)測(cè)網(wǎng)絡(luò),然后通過(guò)Things3D和ChairsSDHom 兩個(gè)數(shù)據(jù)集對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)以使得網(wǎng)絡(luò)能夠更好的捕捉小位移運(yùn)動(dòng).

為了得到更好的振動(dòng)目標(biāo)分割結(jié)果,本文對(duì)深度網(wǎng)絡(luò)預(yù)測(cè)得到的連續(xù)100 幀光流圖像分割求平均操作,再進(jìn)行中值濾波和形態(tài)學(xué)閉操作去除噪聲.然后,在頻率值的測(cè)量過(guò)程中,本文嘗試了直接統(tǒng)計(jì)測(cè)量時(shí)間的峰值數(shù),再除以對(duì)應(yīng)時(shí)間的方法得到頻率,但在實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)此方法容易因?yàn)樾盘?hào)的噪聲使得統(tǒng)計(jì)的峰值數(shù)不準(zhǔn)確,嚴(yán)重影響頻率測(cè)量的效果,所以本文采用了功率譜的方法來(lái)計(jì)算頻率值,首先省去了統(tǒng)計(jì)峰值數(shù)的過(guò)程,其次其在頻域上可以忽略掉時(shí)域的一些噪聲,使測(cè)量的結(jié)果更加準(zhǔn).最后,本文在2.40 GHz Intel Xeon E5和Nvidia 1080 Ti的Ubuntu 系統(tǒng)上評(píng)估了所有方法.

2.3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文方法整體上的有效性,本文在振動(dòng)檢測(cè)和振動(dòng)測(cè)量?jī)蓚€(gè)任務(wù)上進(jìn)行了實(shí)驗(yàn)評(píng)估.在振動(dòng)檢測(cè)任務(wù)上,本文分別在虛擬數(shù)據(jù)(動(dòng)畫(huà)視頻)和現(xiàn)實(shí)場(chǎng)景數(shù)據(jù)(真實(shí)場(chǎng)景拍攝)測(cè)試了本文的光流預(yù)測(cè)網(wǎng)絡(luò)模型的效果,其測(cè)試結(jié)果示例如圖8所示.

圖8 在虛擬數(shù)據(jù)和現(xiàn)實(shí)場(chǎng)景數(shù)據(jù)上光流預(yù)測(cè)的測(cè)試結(jié)果

由圖8可以看出,在虛擬數(shù)據(jù)上(1-2 行),本文方法和FlowNet-S的測(cè)試結(jié)果都取得了很好的效果,都具有清晰目標(biāo)輪廓和豐富的平滑的目標(biāo)結(jié)構(gòu).但在真實(shí)場(chǎng)景數(shù)據(jù)上(3-6 行),本文的光流預(yù)測(cè)網(wǎng)絡(luò)模型相對(duì)于FlowNet-S 所獲得光流圖像具有更明顯運(yùn)動(dòng)目標(biāo)邊界、更清晰的運(yùn)動(dòng)目標(biāo)結(jié)構(gòu)和對(duì)小位移運(yùn)動(dòng)的魯棒性,也驗(yàn)證本文的光流預(yù)測(cè)網(wǎng)絡(luò)模型在振動(dòng)目標(biāo)檢測(cè)(小位移運(yùn)動(dòng))任務(wù)上的優(yōu)越性.雖然本文光流預(yù)測(cè)網(wǎng)絡(luò)模型的速度略低于FlowNet-S 網(wǎng)絡(luò),但相對(duì)于傳統(tǒng)的光流計(jì)算方法快了幾個(gè)數(shù)量級(jí).上述實(shí)驗(yàn)說(shuō)明了本文方法在檢測(cè)速度和效果上都滿(mǎn)足了實(shí)際工程中振動(dòng)檢測(cè)的要求.

在振動(dòng)測(cè)量任務(wù)上,目前直接將深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)技術(shù)直接應(yīng)用振動(dòng)測(cè)量的研究相對(duì)較少,暫無(wú)標(biāo)準(zhǔn)數(shù)據(jù)集,為了驗(yàn)證我們的工作在振動(dòng)測(cè)量上的有效性,我們通過(guò)模擬管路振動(dòng),同時(shí)通過(guò)儀器測(cè)量其振動(dòng)幅值和頻率作為真實(shí)值,將記錄下來(lái)的視頻數(shù)據(jù)以用作我們實(shí)驗(yàn)的測(cè)試數(shù)據(jù).

為了更直觀的顯示本文方法的實(shí)際效果,本文在5 個(gè)現(xiàn)實(shí)場(chǎng)景下管路振動(dòng)的視頻數(shù)據(jù)上進(jìn)行了測(cè)試,測(cè)試結(jié)果如表1所示.從測(cè)試結(jié)果中可以看出,本文的測(cè)量方法能夠貼近振動(dòng)物體真實(shí)的頻率值,其平均誤差只有7.918%,單從測(cè)試精度來(lái)講,本文的方法仍然無(wú)法與激光位移計(jì)以及其他傳感器的方法相比,但本文振動(dòng)測(cè)量的方法只需要通過(guò)視覺(jué)的手段并且不需要在測(cè)量過(guò)程中預(yù)先再設(shè)置標(biāo)記物,實(shí)現(xiàn)了非接觸、無(wú)目標(biāo)的測(cè)試方式.且頻率的測(cè)試效果完全能夠滿(mǎn)足工程振動(dòng)測(cè)試的一般要求.

表1 在真實(shí)場(chǎng)景下數(shù)據(jù)上的測(cè)試結(jié)果

本文通過(guò)記錄振動(dòng)物體中心點(diǎn)的周期信號(hào),從而計(jì)算出該振動(dòng)物體在畫(huà)面上的振幅,而畫(huà)面中振動(dòng)物體的振幅大小衡量標(biāo)準(zhǔn)是包含像素點(diǎn)對(duì)的個(gè)數(shù),如要確定振動(dòng)物體的振動(dòng)位移的大小,則必須要通過(guò)復(fù)雜相機(jī)參數(shù)標(biāo)定,確定圖像中像素點(diǎn)和現(xiàn)實(shí)空間物體表面點(diǎn)的對(duì)應(yīng)關(guān)系,以獲得振動(dòng)位移大小和像素的比例換算.但實(shí)際應(yīng)用場(chǎng)景中,我們監(jiān)測(cè)的目標(biāo)和攝像頭的數(shù)量過(guò)多,相機(jī)參數(shù)的標(biāo)定難度過(guò)大,無(wú)法做到通用性,故本文只探索了在圖像畫(huà)面中振動(dòng)物體振動(dòng)的幅度大小.

最后,為了評(píng)估本文方法的速度,128 張圖片輸入到光流預(yù)測(cè)網(wǎng)絡(luò)得到光流圖像的時(shí)間約為26.7 s,可得光流速度約為4.8 f/s;然后以128 張光流圖像作為處理序列,從光流圖分割出待測(cè)量區(qū)域的時(shí)間為3.1 s,測(cè)量出振動(dòng)幅值和頻率的時(shí)間是2.0 s,由此可得到本文方法整體的速度為4 f/s.

從實(shí)驗(yàn)結(jié)果可以看出,本文的基于計(jì)算機(jī)視覺(jué)的管路振動(dòng)感知算法實(shí)現(xiàn)了管路振動(dòng)檢測(cè)和振動(dòng)測(cè)量,且具有較快的檢測(cè)速度和較低的頻率測(cè)量誤差,在實(shí)際應(yīng)用中具有較高的應(yīng)用價(jià)值,驗(yàn)證了計(jì)算機(jī)視覺(jué)在振動(dòng)檢測(cè)和測(cè)量任務(wù)上的有效性.

3 結(jié)論與展望

本文提出了一種基于計(jì)算機(jī)視覺(jué)的電廠生產(chǎn)區(qū)域的振動(dòng)檢測(cè)和測(cè)量方法,本文采用深度網(wǎng)絡(luò)估計(jì)振動(dòng)的光流信息從而達(dá)到了振動(dòng)檢測(cè)的目的,并且不需要預(yù)先在待測(cè)目標(biāo)上設(shè)置標(biāo)記物,僅從原有攝像系統(tǒng)(不需要額外添加硬件)就能直接測(cè)量到振動(dòng)目標(biāo)的頻率和振幅,大大提高了本文方法的實(shí)用性,達(dá)到了4 f/s的速度,同時(shí)頻率測(cè)量誤差僅有7.918%,驗(yàn)證了計(jì)算機(jī)視覺(jué)在振動(dòng)檢測(cè)和測(cè)量任務(wù)上的有效性.后續(xù)的研究工作中,可進(jìn)一步探索通過(guò)相機(jī)標(biāo)定的方式去測(cè)量振幅的具體值,另外可對(duì)一些更加復(fù)雜的目標(biāo)進(jìn)行振動(dòng)檢測(cè)和測(cè)量,從而進(jìn)一步應(yīng)用于工業(yè)設(shè)備的振動(dòng)檢測(cè)和測(cè)量.