楊 濤，李 祎，陳晶華，文 煒，張香怡，顧繼俊

(1.中海石油(中國(guó))有限公司，北京 100010；2.中石化川氣東送天然氣管道有限公司，湖北 武漢 430020；3.中國(guó)石油大學(xué)(北京)機(jī)械與儲(chǔ)運(yùn)工程學(xué)院，北京 102200)

0 引言

隨著科技的進(jìn)步，推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度融合是各行各業(yè)急需面對(duì)的挑戰(zhàn)[1]。海洋石油平臺(tái)的維護(hù)及巡檢工作逐步向少人化甚至無(wú)人化發(fā)展，海洋平臺(tái)設(shè)備的正常運(yùn)轉(zhuǎn)關(guān)系到整個(gè)平臺(tái)的安全生產(chǎn)和可靠運(yùn)行，因此需要工作人員每天定期對(duì)平臺(tái)運(yùn)行設(shè)備進(jìn)行巡檢,采集設(shè)備的運(yùn)行數(shù)據(jù),并對(duì)數(shù)據(jù)分析。由于工作量較大,工作人員的技術(shù)水平良莠不齊,對(duì)工作的認(rèn)真程度也各不相同,海洋石油平臺(tái)的日常巡檢維護(hù)不能得到充分的保障,一旦沒(méi)有及時(shí)發(fā)現(xiàn)設(shè)備的異常狀況并解決掉,就可能造成巨大的損失[2]。為了解決此類(lèi)問(wèn)題,海洋平臺(tái)巡檢機(jī)器人的研究與應(yīng)用應(yīng)運(yùn)而生。

針對(duì)海洋平臺(tái)空間不規(guī)則，設(shè)施結(jié)構(gòu)復(fù)雜，遍布法蘭盤(pán)、各式機(jī)器和樓梯等問(wèn)題，提出了一種沿著固定軌道運(yùn)行的巡檢機(jī)器人方案。為了實(shí)現(xiàn)巡檢效果，機(jī)器人要對(duì)周?chē)h(huán)境進(jìn)行遺棄物體(異常物體)的識(shí)別。如何進(jìn)行異常物體的識(shí)別成為巡檢機(jī)器人發(fā)展的一個(gè)難點(diǎn)，在巡檢機(jī)器人的視覺(jué)方案中，大部分采用固定多個(gè)攝像頭，在監(jiān)控室進(jìn)行人工監(jiān)控的方案[3],但該方案耗費(fèi)人力物力較多，未能把勞動(dòng)力解放出來(lái)；文獻(xiàn)[4]使用機(jī)器學(xué)習(xí)的方法判斷異常物體，但是只能檢測(cè)預(yù)先訓(xùn)練好的物體，未知類(lèi)別的異物不能被檢測(cè)到[5]。為了解決這些問(wèn)題，研究了機(jī)器人系統(tǒng)的控制方案，以及一種新的視覺(jué)處理算法，使機(jī)器人能夠不必再依賴于機(jī)器學(xué)習(xí)，在異物種類(lèi)不確定的情況下，依舊能夠自主地進(jìn)行判斷并識(shí)別出異常物體。

1 控制系統(tǒng)

為了識(shí)別異物，巡檢機(jī)器人需要進(jìn)行頻繁的、高負(fù)擔(dān)的視頻處理及運(yùn)算，并將數(shù)據(jù)及時(shí)返回給總控制臺(tái)。該機(jī)器人由高性能Intel Core i7微處理器和存儲(chǔ)元件組成的中央計(jì)算機(jī)充當(dāng)機(jī)器人的決策中心，主要用來(lái)進(jìn)行繁重的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)管理、數(shù)據(jù)處理和三維圖像深度信息的處理[6]。

為了對(duì)驅(qū)動(dòng)單元做更好的控制，本文將中央計(jì)算機(jī)通過(guò)串口連接STM32F407(下位機(jī))，控制驅(qū)動(dòng)系統(tǒng)以驅(qū)動(dòng)制動(dòng)系統(tǒng)，如圖1所示。同時(shí)采用CAN通信方式進(jìn)行通信，具有實(shí)時(shí)性強(qiáng)、穩(wěn)定、可靠、傳輸速度快等優(yōu)點(diǎn)[7]。

圖1 機(jī)器人控制系統(tǒng)架構(gòu)

在機(jī)器人運(yùn)行過(guò)程中,數(shù)據(jù)采集系統(tǒng)需要從周?chē)沫h(huán)境中提取有用信息上報(bào)給中央計(jì)算機(jī)，使其做出決策。包括采集圖像信息、音頻信息和視頻信息等。該系統(tǒng)由雙目攝像頭、固定攝像機(jī)、熱圖測(cè)溫紅外攝像儀、內(nèi)置麥克風(fēng)的立體攝像頭和陀螺儀(采集位置信息和振動(dòng)信息)組成。采集系統(tǒng)如圖2所示。

圖2 數(shù)據(jù)采集系統(tǒng)

2 基于視頻對(duì)齊的背景差分技術(shù)

在實(shí)際海洋平臺(tái)場(chǎng)景中，平臺(tái)通過(guò)固定的攝像頭進(jìn)行異物識(shí)別具有極大的局限性。為了解決這個(gè)問(wèn)題，使用跟隨巡檢機(jī)器人的移動(dòng)攝像頭來(lái)實(shí)現(xiàn)異物識(shí)別。該方法可以擴(kuò)大監(jiān)控范圍，減少安裝多個(gè)攝像頭的成本，同時(shí)減小計(jì)算量，但移動(dòng)背景大大增加了目標(biāo)檢測(cè)的復(fù)雜度，更加具有挑戰(zhàn)性[8]。同時(shí)，在巡檢環(huán)境中，異物種類(lèi)不確定，若只檢測(cè)固定種類(lèi)的物體，則整個(gè)平臺(tái)的巡檢維護(hù)得不到保障，安全保護(hù)機(jī)制不夠充分。

綜合上述原因，研究一種基于背景差分技術(shù)的異常物體檢測(cè)方法，并將其應(yīng)用在巡檢機(jī)器人的移動(dòng)攝像頭上就顯得極為重要。

核心技術(shù)步驟如圖3所示。在執(zhí)行巡檢任務(wù)之前，機(jī)器人需要沿固定的軌道錄制一段沒(méi)有異常物體的參考視頻序列，取參考幀[9]；在執(zhí)行巡檢任務(wù)時(shí)，錄制的視頻作為當(dāng)前視頻，取當(dāng)前幀。通過(guò)對(duì)比2幀圖像，判別出現(xiàn)場(chǎng)是否存在異常物體。由于拍攝2段視頻過(guò)程中，攝像頭速度和角度可能存在偏差，需要對(duì)視頻進(jìn)行對(duì)齊處理，故如何找到2段視頻的對(duì)應(yīng)幀，并且處理好對(duì)應(yīng)幀角度上的變化成為了研究重點(diǎn)。為了在參考視頻中找到與當(dāng)前幀最相似的位置捕獲的參考幀，并進(jìn)行像素級(jí)別的匹配與調(diào)整，制定了圖3所示的技術(shù)步驟。

圖3 視頻對(duì)齊技術(shù)步驟

2.1 時(shí)間對(duì)齊

針對(duì)對(duì)應(yīng)幀圖像難以對(duì)齊的問(wèn)題，提出了一種基于差分行波的視頻對(duì)準(zhǔn)算法，在動(dòng)態(tài)時(shí)間規(guī)整(DTW)算法的基礎(chǔ)上將視頻背景框架進(jìn)行實(shí)時(shí)對(duì)齊。將2段視頻看作2段時(shí)間序列，由于巡檢機(jī)器人在同一地點(diǎn)的運(yùn)動(dòng)速度無(wú)法保證時(shí)刻相同，所以巡檢同一段區(qū)域提取的2段時(shí)間序列長(zhǎng)度不同，就會(huì)出現(xiàn)表現(xiàn)為圖4的現(xiàn)象。

時(shí)間點(diǎn)

為了找到實(shí)時(shí)對(duì)應(yīng)幀的圖像，DTW算法將圖像特征量化提取出來(lái)。圖4中，實(shí)線和虛線分別代表同一區(qū)域錄制的參考視頻和目標(biāo)視頻量化波形，為了便于觀察，將2段序列在y(時(shí)間)軸上拉開(kāi)距離?？梢钥吹秸w波形很相似，但在時(shí)間軸上卻是不對(duì)齊的。如在第20個(gè)時(shí)間點(diǎn)時(shí)，實(shí)線波形的A點(diǎn)為序列2最高點(diǎn)，其應(yīng)對(duì)應(yīng)于虛線波形的B′點(diǎn)，若將A點(diǎn)圖像與B′對(duì)應(yīng)幀圖像差分，計(jì)算結(jié)果的誤差將會(huì)非常大。顯然，實(shí)線的A點(diǎn)對(duì)應(yīng)虛線的B點(diǎn)才是對(duì)應(yīng)幀圖像。

在巡檢機(jī)器人巡檢過(guò)程中，使用傳統(tǒng)的歐幾里得距離無(wú)法有效地求得2個(gè)時(shí)間序列之間的相似性。因此，本文通過(guò)在線DTW算法找到這2個(gè)波形對(duì)齊的點(diǎn)，如圖5所示。

圖5 2段視頻序列對(duì)應(yīng)點(diǎn)

假設(shè)有2個(gè)時(shí)間序列X和Y，其長(zhǎng)度分別是M和N，即X=[x1,x2,xi,…,xM]和Y=[y1,y2,yj,…,yN]，為了對(duì)齊這2個(gè)序列，構(gòu)造1個(gè)M×N的矩陣，矩陣元素(i,j)表示xi和yj2個(gè)點(diǎn)的距離d(xi,yj)。DTW算法旨在找到最短路徑W=[w1,w2,…,wL],Wk=[ik,jk]∈[1,2,…,M] ×[1,2,…,N]，max(M,N)

a.邊界條件：w1=(1, 1)和wk=(M,N)。

b.連續(xù)性：i1

c.單調(diào)性：Wk+1-Wk∈{(1,0)(0,1)(1,1)}[10]。

結(jié)合連續(xù)性和單調(diào)性約束，每個(gè)格點(diǎn)的路徑就只有3個(gè)方向(圖6)，可在此基礎(chǔ)上選擇1條最短的路徑。

圖6 路徑可選方向

通過(guò)尋找到矩陣所有的最短序列，計(jì)算出最佳路徑，從而匹配到2段時(shí)間序列的對(duì)應(yīng)幀。

(1)

為了求解方程，用以下遞歸公式創(chuàng)建累積成本矩陣d,將具有最小值的值添加到路徑中，直到達(dá)到元素d(M,N)。

(2)

如圖7所示，得到了M×N矩陣的最佳路徑，則稱該函數(shù)為時(shí)間規(guī)整函數(shù)。順利將2段序列進(jìn)行時(shí)間上的匹配。

圖7 M×N矩陣序列最佳路徑

通過(guò)將DTW算法應(yīng)用在視頻領(lǐng)域，匹配到2段視頻的對(duì)應(yīng)幀，獲得時(shí)間量度上的匹配。但對(duì)應(yīng)幀差分后仍存在較大的圖像差，無(wú)法準(zhǔn)確識(shí)別異常物體。

2.2 空間對(duì)齊

分析得到，由于時(shí)間對(duì)齊后攝像頭角度的偏差以及多幀匹配1幀會(huì)存在角度差等問(wèn)題，對(duì)應(yīng)幀差分仍然會(huì)存在較大的間隙和偏差。為了補(bǔ)償這種偏差，要對(duì)圖像進(jìn)行像素級(jí)的匹配。本文首先利用改進(jìn)的加速魯棒特征(SURF)算法提取對(duì)應(yīng)幀上的興趣點(diǎn)[11]，進(jìn)而采用隨機(jī)樣本一致性算法(RANSAC)取一定數(shù)目的特征點(diǎn)。如果將參考幀和當(dāng)前幀圖像看作2個(gè)坐標(biāo)系，那么同一特征點(diǎn)在2個(gè)坐標(biāo)系中有可能坐標(biāo)值不同，坐標(biāo)不同則意味著圖像發(fā)生了旋轉(zhuǎn)或平移。篩選出一定數(shù)目的對(duì)應(yīng)點(diǎn)坐標(biāo)，利用DeepFlow[12]算法分塊求得變換的仿射變換矩陣。將變形場(chǎng)應(yīng)用到圖像處理中，通過(guò)矩陣變換進(jìn)行深度匹配得到完全對(duì)準(zhǔn)的矯正圖像，從而進(jìn)行對(duì)應(yīng)幀差分的算法，此時(shí)背景對(duì)異物識(shí)別的影響被解決掉，就可以很輕松地識(shí)別出巡檢區(qū)域的異物。

3 實(shí)驗(yàn)

為了評(píng)估該方法的有效性，在以遍布管道和機(jī)器為背景的工廠展開(kāi)了實(shí)驗(yàn)，攝像頭被安裝在1.5 m高的固定軌道上，相機(jī)可捕捉到的圖像大小為1 440×1 080，幀速率為15幀/s。本實(shí)驗(yàn)采用手動(dòng)控制攝像頭移動(dòng)的方法，固定了移動(dòng)路線，先預(yù)先錄制無(wú)異常物體的參考視頻上傳至后臺(tái)，再拍攝目標(biāo)視頻，且起點(diǎn)和終點(diǎn)相同。在通過(guò)DTW算法成功提取對(duì)應(yīng)幀畫(huà)面A、B(圖8)之后，利用改進(jìn)的SURF算法進(jìn)行像素點(diǎn)匹配[11]。圖8中的小圓圈為提取的畫(huà)面局部特征點(diǎn)，對(duì)局部特征點(diǎn)進(jìn)行描述與對(duì)比，設(shè)定一定的匹配條件將對(duì)應(yīng)的特征點(diǎn)進(jìn)行匹配。

圖8 利用改進(jìn)的SURF算法匹配對(duì)應(yīng)幀圖像的對(duì)應(yīng)點(diǎn)

根據(jù)得到的匹配點(diǎn)坐標(biāo)，利用DeepFlow[12]算法計(jì)算得到了由圖A到圖B的變形場(chǎng),得到矩陣為

然后將變形場(chǎng)應(yīng)用到圖像處理中，通過(guò)矩陣變換、變形處理將圖A修正為圖B角度，得到了完全對(duì)準(zhǔn)的圖9。

圖9 將圖A修正為圖B角度

圖10顯示了原始對(duì)應(yīng)幀之間的絕對(duì)圖像差，圖11顯示了經(jīng)過(guò)像素級(jí)對(duì)齊算法之后的圖像差。在這些圖像中，較淺的像素表示較大的圖像差異，明顯可以看出，經(jīng)過(guò)算法處理的圖像差異較為集中。但是邊緣由于圖像變換存在不大的間隙，故使用代碼根據(jù)圖像邊界間隙自動(dòng)調(diào)整對(duì)比范圍，使結(jié)果不受間隙影響。

圖10 原始對(duì)應(yīng)幀圖像差 圖11 像素級(jí)算法對(duì)齊后圖像差

接下來(lái)進(jìn)行閾值處理、腐蝕濾波、膨脹連通等常規(guī)算法，就可以識(shí)別出圖像中的異物，如圖12所示。對(duì)比未經(jīng)過(guò)時(shí)間、空間對(duì)齊而直接進(jìn)行背景差分法的圖13，可以看出，圖13識(shí)別準(zhǔn)確率非常低，整張圖像都被認(rèn)為是異常物體。而圖12的圖像經(jīng)過(guò)對(duì)齊后能夠非常準(zhǔn)確地識(shí)別出異常物體的存在，即被遺棄的工具箱被成功地識(shí)別出來(lái)。

圖12 算法對(duì)齊后識(shí)別異常物體 圖13 原始對(duì)應(yīng)幀識(shí)別異常物體

該實(shí)驗(yàn)驗(yàn)證了DTW-SURF-DeepFlow聯(lián)合算法的可靠性與準(zhǔn)確性。該方案可以將視頻進(jìn)行完全的對(duì)齊，對(duì)齊的圖像通過(guò)背景差分即可以檢測(cè)出異常物體，且識(shí)別異物準(zhǔn)確率較高。

4 結(jié)束語(yǔ)

本文提出了一種新的巡檢機(jī)器人視覺(jué)處理方案，解決了傳統(tǒng)監(jiān)控不夠智能、不能夠自主判斷現(xiàn)場(chǎng)的異常情況和危險(xiǎn)情況的問(wèn)題。同時(shí)使機(jī)器人能夠識(shí)別現(xiàn)場(chǎng)的任何異物，而不是只會(huì)識(shí)別單一的、固定的、經(jīng)過(guò)訓(xùn)練的異常物體。

為了提高識(shí)別的準(zhǔn)確性和可靠性，使用了時(shí)間對(duì)齊、空間對(duì)齊等方法解決視頻對(duì)齊難題。

為了驗(yàn)證該方法的有效性，在實(shí)驗(yàn)軌道上對(duì)工廠存在異物和不存在異物的圖像進(jìn)行了捕獲。實(shí)驗(yàn)結(jié)果表明，該方法切實(shí)可行，使得因?yàn)闄C(jī)器人運(yùn)行速度和攝像頭角度偏差造成的識(shí)別準(zhǔn)確率低的問(wèn)題得到了一定程度上的解決。

該技術(shù)對(duì)軌道機(jī)器人視覺(jué)行業(yè)的發(fā)展和進(jìn)步是極為重要的，同時(shí)該視覺(jué)處理方案不僅可以應(yīng)用在海上油田，還可以應(yīng)用在任何有固定軌道的巡檢機(jī)器人上。