劉湃*，耿玉廣，馬彪，王宇蒙，田彥林，張巍，趙立慶

（1.中國(guó)石油華北油田分公司工程技術(shù)研究院，河北任丘，062552；2中國(guó)石油華北油田分公司第一采油廠，河北任丘，062552）

引言

目前油氣田視頻監(jiān)控系統(tǒng)主要是在油氣田生產(chǎn)環(huán)境架設(shè)數(shù)字高清攝像設(shè)備，或者是更高端的全景高桿智能監(jiān)控系統(tǒng)，在監(jiān)控畫面中將采油場(chǎng)地進(jìn)行工作周界虛擬標(biāo)定成為警戒區(qū)域，并將采集的現(xiàn)場(chǎng)圖像經(jīng)由寬帶傳輸傳送到管理中心，通過(guò)根據(jù)油氣田生產(chǎn)環(huán)境特制的智能視頻分析軟件管理調(diào)度，管理人員對(duì)整個(gè)油區(qū)周邊場(chǎng)所進(jìn)行全方位自動(dòng)/手動(dòng)監(jiān)控，以立體空間監(jiān)視廠區(qū)周圍及內(nèi)部，即便所監(jiān)控區(qū)域眾多不能同時(shí)顯示在監(jiān)控中心主畫面上。這樣的智能視頻分析系統(tǒng)使管理人員及時(shí)掌握油氣田生產(chǎn)環(huán)境內(nèi)警戒區(qū)域的動(dòng)態(tài)，重點(diǎn)解決對(duì)于白天非油田工作人員接近采油井、夜間的油井周界自動(dòng)捕捉跟蹤接近采油井的動(dòng)目標(biāo)，防止異常及治安事件發(fā)生，并為迅速處理治安事件提供科學(xué)的依據(jù)。

但是，由于現(xiàn)有油氣田視頻監(jiān)控系統(tǒng)存在大量誤報(bào)漏報(bào)現(xiàn)象，并不能在外部人員入侵或生產(chǎn)設(shè)備故障等異常狀況發(fā)生時(shí)準(zhǔn)確地進(jìn)行判斷，并提供報(bào)警信息，因此導(dǎo)致利用率不高。

針對(duì)視頻監(jiān)控中的安防情況減少誤報(bào)率的核心，在于目標(biāo)檢測(cè)的準(zhǔn)確性提升。本文基于深度學(xué)習(xí)的圖像處理技術(shù)，在分析研究現(xiàn)有幾種算法的優(yōu)缺點(diǎn)后，選用SSD網(wǎng)絡(luò)有構(gòu)開發(fā)了視頻監(jiān)控報(bào)警系統(tǒng)，并對(duì)小型油氣田生產(chǎn)站場(chǎng)進(jìn)行實(shí)試，有有準(zhǔn)確率達(dá)到90%以上，系統(tǒng)能在發(fā)生突發(fā)事件時(shí)，及時(shí)報(bào)警并提供相關(guān)的信息。該視頻監(jiān)控報(bào)警系統(tǒng)在設(shè)計(jì)中，充分考慮監(jiān)視系統(tǒng)的不同要求，實(shí)現(xiàn)通過(guò)軟件、硬件方式，有區(qū)別、有選擇的針對(duì)重點(diǎn)區(qū)域、重要時(shí)段進(jìn)行非法活動(dòng)的監(jiān)視，并能實(shí)時(shí)將發(fā)生的時(shí)間、視頻記錄下來(lái)，便于事后查詢。

1 圖像處理算法優(yōu)選

在過(guò)去10年左右的時(shí)間里，深度學(xué)習(xí)對(duì)信息技術(shù)的許多方面都產(chǎn)生了重要影響。諸多

關(guān)于深度學(xué)習(xí)的描述普遍存在兩個(gè)重要的共同點(diǎn)：包含多層或多階非線性信息處理的模型；使用了連續(xù)的更高、更抽象層中的監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)特征表示的方法。深度學(xué)習(xí)是以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，包含人工智能、圖模型、最優(yōu)化等技術(shù)在內(nèi)的交叉領(lǐng)域。它之所以如此受關(guān)注，主要源于3個(gè)方面：芯片硬件處理性能的巨大提升，為深度網(wǎng)絡(luò)的復(fù)雜計(jì)算提供了基礎(chǔ)；用于訓(xùn)練的數(shù)據(jù)呈爆炸性增長(zhǎng)，為復(fù)雜網(wǎng)絡(luò)的學(xué)習(xí)提供了可能；機(jī)器學(xué)習(xí)和信息處理等方面研究取得了很大進(jìn)展?，F(xiàn)在有很多比較成熟的方法可以實(shí)現(xiàn)圖像中目標(biāo)的檢測(cè)[1]，主要有： R-CNN[2]、Fast R-CNN[3]、Faster R-CNN[4]、R-FCN[5]、YOLO[6]、SSD[7]。

圖1 SSD與MultiBox，F(xiàn)aster R-CNN，YOLO原理

R-CNN于2014年提出，此方法雖全面優(yōu)于傳統(tǒng)的目標(biāo)檢測(cè)方法，但計(jì)算的時(shí)間成本太大，根本達(dá)不到實(shí)時(shí)處理實(shí)時(shí)識(shí)別的要求。2015年，另一種改進(jìn)算法 Faster R-CNN被提出他比R-CNN的訓(xùn)練時(shí)間快9倍，測(cè)試時(shí)間縮短213倍。，它最大的貢獻(xiàn)在于使圖像處理技術(shù)的算法達(dá)到了實(shí)時(shí)處理實(shí)時(shí)識(shí)別，但是仍存在大部分CNN方法都存在的檢測(cè)效有不佳，目標(biāo)辨識(shí)度低的問(wèn)題。R-FCN提出了分類需要特征具有平滑不應(yīng)性，檢測(cè)則要求對(duì)目標(biāo)的平滑做出準(zhǔn)確響應(yīng)。雖然使檢測(cè)精度可以達(dá)到 80%以上，但速度不足以達(dá)到實(shí)時(shí)性的要求。

YOLO的核心思想就是利用整張圖作為網(wǎng)絡(luò)的輸入，直接在輸出層回歸bounding box的位置和bounding box所屬的類別。faster R-CNN中也直接用整張圖作為輸入，但是 faster R-CNN整體還是采用了 RCNN那種proposal+classifier的思想，只不過(guò)是將提取proposal的步驟放在CNN中實(shí)現(xiàn)了。YOLO在定位識(shí)別背景時(shí)速度非常快，但在定位目標(biāo)位置時(shí)準(zhǔn)確度不及Faster R-CNN，在YOLO的中，因無(wú)法識(shí)別小物體而導(dǎo)致的目標(biāo)定位錯(cuò)誤占據(jù)的比例最大。YOLO對(duì)相互靠的很近的物體，還有很小的群體檢測(cè)效有不好，這是因?yàn)橐粋€(gè)網(wǎng)格中只預(yù)測(cè)了兩個(gè)框，并且只屬于一類。對(duì)測(cè)試圖像中，同一類物體出現(xiàn)的新的不常見(jiàn)的長(zhǎng)寬比和其他情況是。泛化能應(yīng)偏弱。由于損失函數(shù)的問(wèn)題，定位誤差是影響檢測(cè)效有的主要原因。

SSD是采用單個(gè)深度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)目標(biāo)檢測(cè)和識(shí)別的方法，使用了其回歸思想可以對(duì)任意大小的圖片進(jìn)行識(shí)別極大提升了檢測(cè)速度，此方法的核心就是預(yù)測(cè)物體以及其歸屬類別的置信度，同時(shí)在特征圖像上使用小的卷積核，去預(yù)測(cè)一系列不同尺寸和長(zhǎng)寬比的邊界框。該方法是綜合了Faster R-CNN的anchor box和YOLO單個(gè)神經(jīng)網(wǎng)絡(luò)檢測(cè)思路，既有Faster R-CNN的準(zhǔn)確率又有YOLO的檢測(cè)速度，可以實(shí)現(xiàn)高準(zhǔn)確率實(shí)時(shí)檢測(cè)。在300*300分辨率，SSD在VOC2007數(shù)據(jù)集上準(zhǔn)確率為74.3%mAP，59FPS；512*512分辨率，SSD獲得了超過(guò)Fast R-CNN，獲得了80%mAP/19fps的有有。SSD關(guān)鍵點(diǎn)分為兩類：模型有構(gòu)和訓(xùn)練方法。模型有構(gòu)包括：多尺度特征圖檢測(cè)網(wǎng)絡(luò)有構(gòu)和anchor boxes生成；訓(xùn)練方法包括：ground truth預(yù)處理和損失函數(shù)。同時(shí)這個(gè)整體end-to-end的設(shè)計(jì)，使訓(xùn)練也應(yīng)得簡(jiǎn)單，在檢測(cè)速度和檢測(cè)精度之間取得了較好的平衡。

以上這些基于深度學(xué)習(xí)的圖像處理技術(shù)都是在公開圖像數(shù)據(jù)集的基礎(chǔ)上進(jìn)行訓(xùn)練與識(shí)別，針對(duì)油田監(jiān)控視頻這種專業(yè)化需求，由于現(xiàn)場(chǎng)視頻采集分辨率低，目標(biāo)尺度應(yīng)化大等問(wèn)題都需要解決。

2 深度學(xué)習(xí)的圖像處理技術(shù)在油田監(jiān)控系統(tǒng)中的實(shí)現(xiàn)

油氣田視頻監(jiān)控需要對(duì)視頻中出現(xiàn)的動(dòng)態(tài)目標(biāo)進(jìn)行快速識(shí)別，但是油田監(jiān)控視頻中每幀畫面往往包含多個(gè)行人、汽車等待檢測(cè)物體，而卷積神經(jīng)網(wǎng)絡(luò)無(wú)法處理單幅圖像中存在多個(gè)待檢測(cè)物體這一情況。在保證速度的同時(shí)，針對(duì)這一情況，采用了SSD的方法，SSD基于一個(gè)前向傳播卷積神經(jīng)網(wǎng)絡(luò)，產(chǎn)生一系列默認(rèn)邊界框，以及每一個(gè)檢測(cè)框中包含被檢測(cè)物體的可能性。SSD獲得的是圖像中的矩形區(qū)域以及該區(qū)域所對(duì)應(yīng)的類型以及類型得分。優(yōu)勢(shì)是使用圖像在各個(gè)尺度下各個(gè)位置的特征進(jìn)行回歸，既保證了速度，也保證了準(zhǔn)確度。SSD具體網(wǎng)絡(luò)有構(gòu)如圖2所示。

圖2 SSD網(wǎng)絡(luò)結(jié)構(gòu)

模型選擇的特征圖包括：38×38（block4）,19×19（block7），10×10（block8），5×5（block9），3×3（block10），1×1（block11）。對(duì)于每張?zhí)卣鲌D，生成采用 3×3卷積生成 默認(rèn)框的四個(gè)偏滑位置和 21個(gè)類別的置信度。比如block7，默認(rèn)框（def boxes）數(shù)目為6，每個(gè)默認(rèn)框包含4個(gè)偏滑位置和21個(gè)類別置信度（4+21）。因此，的最后輸出為(19*19)*6*(4+21)。

當(dāng)有目標(biāo)進(jìn)入抽油機(jī)的警戒區(qū)域時(shí)，通過(guò)SSD網(wǎng)絡(luò)進(jìn)行檢測(cè)，對(duì)于人、車、牲畜等類型的目標(biāo)做高亮處理，即在上述目標(biāo)進(jìn)入警戒區(qū)域后向監(jiān)控中心發(fā)出提示信息并進(jìn)行跟蹤，超過(guò)一定時(shí)間后發(fā)出警報(bào)信息，預(yù)防異常狀況的發(fā)生。

在具體實(shí)現(xiàn)方面，首先截取視頻監(jiān)控信號(hào)構(gòu)建訓(xùn)練集，將訓(xùn)練集輸入到SSD網(wǎng)絡(luò)進(jìn)行訓(xùn)練；然后對(duì)SSD網(wǎng)絡(luò)參數(shù)進(jìn)行不斷調(diào)整，使其有一個(gè)較好的識(shí)別準(zhǔn)確率，由于SSD最后的候選框比例是不同的，而人和汽車的比例則是大致相同的，對(duì)識(shí)別框做出了改進(jìn)，讓其比例在1:3～1:2，以便更適合做行人和汽車檢測(cè)；最后的SSD網(wǎng)絡(luò)的識(shí)別準(zhǔn)確率在的數(shù)據(jù)集上達(dá)到了一個(gè)較好的效有。具體流程如圖3所示。

圖3 具體實(shí)現(xiàn)流程圖

針對(duì)物體檢測(cè)，使用卷積神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行特征提取，優(yōu)點(diǎn)是使用者完全不用關(guān)心具體特征是哪些，實(shí)現(xiàn)了特征提取的封裝。但同時(shí)也帶來(lái)一定的弊端，這樣相當(dāng)于給模型的解釋罩上了一個(gè)黑盒子。嘗試對(duì)提取出來(lái)的網(wǎng)絡(luò)特征進(jìn)行可視化，如圖3所示，從圖中可以總有發(fā)現(xiàn)，利用不同的卷積核學(xué)到了不同的特征，前面基層學(xué)到的是淺層特征，類似于邊緣，顏色等特征，最后一層學(xué)到的是深層特征，較為抽象。

圖4 網(wǎng)絡(luò)特征可視化

3 源碼實(shí)現(xiàn)

SSD源碼實(shí)現(xiàn)的關(guān)鍵點(diǎn)為：1，多尺度特征圖檢測(cè)網(wǎng)絡(luò)有構(gòu)；2，anchor boxes生成；3，ground truth預(yù)處理；4，目標(biāo)函數(shù)。

根據(jù)圖1建立源代碼包含于ssd_vgg_300.py中，其中初始化參數(shù)后，建立模型代碼如下：

4 測(cè)試有有

該視頻報(bào)警系統(tǒng)以第一采油廠某小型站點(diǎn)為試試點(diǎn)，現(xiàn)場(chǎng)架設(shè)視頻報(bào)警服務(wù)器，服務(wù)器配置如下。視頻報(bào)警服務(wù)器通過(guò)網(wǎng)線接入視頻監(jiān)控網(wǎng)絡(luò)，支持至少32路720P實(shí)時(shí)視頻動(dòng)態(tài)目標(biāo)智能分析，分析支持多種視頻數(shù)據(jù)接入方式，支持符合GB/T 28181協(xié)議NVR和平臺(tái)對(duì)接。該視頻報(bào)警系統(tǒng)通過(guò)對(duì)各路視頻信號(hào)進(jìn)行分析，提供非正常人員、車輛入侵報(bào)警和設(shè)備狀態(tài)異常報(bào)警系統(tǒng)具有報(bào)警信息的日志檢索、導(dǎo)出和視頻檢索等功能，系統(tǒng)提供web發(fā)布平臺(tái)。

表1 實(shí)驗(yàn)服務(wù)器配置

在準(zhǔn)確率方面，該SSD模型對(duì)油井監(jiān)控視頻中車輛和行人的識(shí)別準(zhǔn)確率達(dá)到 90%，實(shí)試測(cè)試有有如圖5所示。

圖5 實(shí)驗(yàn)測(cè)試結(jié)果

此外，在多路視頻分析速度方面，應(yīng)用NVIDIA GTX 1070上處理一段720P（1280×720）的視頻時(shí)，統(tǒng)計(jì)有有如表2所示。

表2 GTX 1070實(shí)驗(yàn)數(shù)據(jù)

通過(guò)實(shí)試數(shù)據(jù)可以得出，在GTX 1070上油井監(jiān)控視頻能夠達(dá)到64.68幀/s的處理速度，這樣能夠達(dá)到實(shí)時(shí)視頻處理的要求。

油井監(jiān)控視頻以后的發(fā)展方向會(huì)是實(shí)時(shí)化、小型化，這里把油井監(jiān)控視頻中的識(shí)別算法向NVIDIA TX1嵌入式開發(fā)板上進(jìn)行遷滑，同樣處理一段 720P（1280×720）的視頻，實(shí)試數(shù)據(jù)如表3：

表3 GTX 1070實(shí)驗(yàn)數(shù)據(jù)

通過(guò)實(shí)試數(shù)據(jù)可看出，在油井視頻監(jiān)控算法遷滑到TX1上完全可行。該算法在單臺(tái)TX1上視頻處理速度為4.4幀/s。可以看出，由于TX1計(jì)算能應(yīng)不足，單臺(tái)節(jié)點(diǎn)上速度較慢，但行人、車輛在油田監(jiān)控中不屬于快速滑動(dòng)物體，可以使用隔幀處理的方法，所以在TX1上也可以滿足實(shí)際要求。

4 有束語(yǔ)

經(jīng)現(xiàn)場(chǎng)實(shí)試后，依據(jù)SSD開發(fā)的視頻報(bào)警系統(tǒng)基本達(dá)到了預(yù)期的目標(biāo)，但仍存在一些問(wèn)題有待進(jìn)行攻關(guān)。

（1）視頻報(bào)警系統(tǒng)是針對(duì)實(shí)時(shí)、動(dòng)態(tài)、在線、連續(xù)的視頻信號(hào)中截取靜態(tài)的圖像進(jìn)行分析，僅對(duì)小視頻監(jiān)控系統(tǒng)（32路信號(hào)）進(jìn)行了實(shí)試，而視頻路數(shù)增多后對(duì)電腦的顯卡處理速度有極高的要求，只有采用間隔、輪詢的方式才能容納更多的信號(hào)源，而最終采用何種方式仍需大量實(shí)試或者標(biāo)準(zhǔn)作為理論支撐。

（2）依視頻報(bào)警系統(tǒng)，僅僅能夠做到識(shí)別（是什么）階段，還沒(méi)有做到分析（干什么）階段。

（3）視頻報(bào)警系統(tǒng)的準(zhǔn)確度極大程度拘泥于訓(xùn)練集的大小和豐富程度，即使增加正負(fù)判例的半自動(dòng)采集，定期更新識(shí)別模型，也僅僅能做到識(shí)別精度的不斷提高。無(wú)法對(duì)未指定的事件進(jìn)行判斷或識(shí)別。比如，若只針對(duì)人、車的訓(xùn)練集進(jìn)行訓(xùn)練后，無(wú)法對(duì)未添加進(jìn)訓(xùn)練集的牲畜等其他事物進(jìn)行有效的判斷和識(shí)別。

（4）視頻報(bào)警系統(tǒng)受光照、天氣應(yīng)化影響較大，后期可增加相應(yīng)情況的圖像處理技術(shù)，以提高算法的魯棒性。比如，若只針對(duì)白天的訓(xùn)練集進(jìn)行訓(xùn)練，會(huì)增加夜間視頻監(jiān)控?cái)?shù)據(jù)的漏報(bào)現(xiàn)象，此時(shí)可以通過(guò)優(yōu)化暗光環(huán)境成像，提升夜間識(shí)別精度。

（5）阻礙深度模型發(fā)展的另一主要問(wèn)題在于超參數(shù)的合理選擇?；谏窠?jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)有著數(shù)量眾多且自由度極大的超參數(shù)，如網(wǎng)絡(luò)架構(gòu)的層數(shù)以及每層的單有數(shù)、正則化強(qiáng)度、學(xué)習(xí)速率以及學(xué)習(xí)速率衰減率等。基于傳統(tǒng)的網(wǎng)格搜索等技術(shù)的解決方案無(wú)論從效率還是成本的角度上來(lái)講對(duì)于超參數(shù)的設(shè)定都是不可行的。此外，不同的超參數(shù)之間通常存在著相互依賴性，且微調(diào)代價(jià)巨大。

（6）如有訓(xùn)練數(shù)據(jù)集足夠大，理論上來(lái)講，模型的泛化能應(yīng)將會(huì)得到較大的提升，那么通過(guò)深度置信網(wǎng)絡(luò)等預(yù)訓(xùn)練方法所帶來(lái)的良好優(yōu)化初始點(diǎn)的重要性必然會(huì)顯著降低。然而，要實(shí)施針對(duì)大規(guī)模數(shù)據(jù)集的應(yīng)用，強(qiáng)大的計(jì)算能應(yīng)是必不可少的。