孟征

[摘? ? 要]多倉油罐車的裝油口都集中在一起，在將鶴管對接到裝油口上時，一旦疏忽接錯了裝油口，不但會造成配送數(shù)量錯誤，也極易發(fā)生混油、冒頂?shù)仁鹿?，甚至引發(fā)火災(zāi)、爆炸。為了防范上述風(fēng)險，利用視頻圖像識別技術(shù)，通過對車輛裝車作業(yè)的視頻圖像進(jìn)行深度學(xué)習(xí)，自動識別鶴管與裝油口的實際對接情況，并在此基礎(chǔ)上進(jìn)行裝車倉位的核對驗證，避免裝錯倉位或接錯鶴管，從而保障裝車安全。

[關(guān)鍵詞]油罐車;裝油口;圖像識別;倉位驗證

[中圖分類號]TP391.41;G647 [文獻(xiàn)標(biāo)志碼]A [文章編號]2095–6487（2022）02–0–03

Application of Image Recognition Technology in Loading Operation of Oil Depot

Meng Zheng

[Abstract]The oil loading ports of multi bin oil tanker are concentrated together. When the operator connects the crane pipe to the oil loading port， once the oil loading port is inadvertently connected， it will not only cause the wrong distribution quantity， but also easily lead to oil mixing， roof falling and other accidents， and even fire and explosion. In order to prevent the above risks， the video image recognition technology is used to automatically identify the actual connection between the crane tube and the oil loading port through in-depth learning of the video image of vehicle loading operation， and on this basis， the loading bin is checked and verified to avoid loading the wrong bin or connecting the wrong crane tube， so as to ensure the loading safety.

[Keywords]oil tank truck; oil loading port; image recognition; bin verification

1 現(xiàn)狀

在油庫的公路裝車作業(yè)中，現(xiàn)在都是采用底部罐裝方式，這種方式安全環(huán)保，且能實現(xiàn)多倉同時裝車。但是，由于多倉油罐車的裝油口都集中在一起，在將鶴管對接到裝油口上時，一旦疏忽接錯了裝油口，不但會造成配送數(shù)量錯誤，也極易發(fā)生混油、冒頂?shù)仁鹿?，甚至引發(fā)火災(zāi)、爆炸。用戶迫切需要能自動判斷鶴管與裝油口對接的正確性，以防范上述風(fēng)險。

市場上的現(xiàn)有產(chǎn)品，是采用傳感器之間的信號比對方式。這種方式需要在裝油口和鶴管上安裝電子傳感設(shè)備，當(dāng)兩者接近時傳感器之間產(chǎn)生感應(yīng)信號，信號通過無線方式傳輸?shù)桨l(fā)油控制系統(tǒng)，從而判斷正確性。這種方式要求司機(jī)操作時需要將鶴管上的傳感器對準(zhǔn)裝油口上的傳感器，否則就會出現(xiàn)感應(yīng)不到、感應(yīng)錯位等現(xiàn)象。此種方式的缺陷是：依賴于對接時傳感器之間的距離，可靠性不易保證;提高了裝油作業(yè)的操作難度;需改造車輛，實施工作量大;車輛上的傳感器易遺失損壞;傳感器電池需要定期更換，維護(hù)繁瑣。

2 解決思路

采用視頻圖像識別技術(shù)，通過對車輛裝車作業(yè)的視頻圖像進(jìn)行深度學(xué)習(xí)，最終使得機(jī)器可以對鶴管與裝油口的實際對接情況進(jìn)行自動識別，在此基礎(chǔ)上就可以進(jìn)行業(yè)務(wù)信息的核對驗證，判斷對接的正確性，對于錯誤的對接情況進(jìn)行報警，禁止裝車，保障裝車安全。

這種方法只需要在發(fā)油島上的合適位置安裝攝像機(jī)，無需在車輛和鶴管上加裝設(shè)備，對原有裝車作業(yè)流程沒有任何影響，平時只要注意保持鏡頭表面干凈就行，系統(tǒng)實施和維護(hù)較簡單。

3 具體方法

建立訓(xùn)練系統(tǒng)、識別系統(tǒng)、分析系統(tǒng)，采用機(jī)器學(xué)習(xí)技術(shù)實現(xiàn)裝油口和鶴管的智能識別，與發(fā)油系統(tǒng)進(jìn)行數(shù)據(jù)交互，最終實現(xiàn)驗證結(jié)果對發(fā)油啟動的連鎖控制。

整個系統(tǒng)的工作過程為：從視頻系統(tǒng)中獲取大量現(xiàn)場的油罐車裝油口、鶴管、編號等視頻圖像，對圖像進(jìn)行篩選、增廣后形成訓(xùn)練樣本庫和驗證樣本庫;然后對訓(xùn)練樣本進(jìn)行標(biāo)記，利用樣本庫對網(wǎng)絡(luò)識別模型進(jìn)行訓(xùn)練，最終形成可用的網(wǎng)絡(luò)識別模型。

當(dāng)需要進(jìn)行識別時，分析系統(tǒng)從發(fā)油控制系統(tǒng)獲取裝車啟動信號，根據(jù)配置信息生成對應(yīng)裝車位的識別命令發(fā)送給識別系統(tǒng)。識別系統(tǒng)一旦接收到識別命令，立刻截取指定裝車位的視頻圖像，然后利用網(wǎng)絡(luò)識別模型對圖像進(jìn)行識別，最后將識別結(jié)果返回給分析系統(tǒng)。分析系統(tǒng)將識別結(jié)果與裝車單據(jù)信息進(jìn)行比對驗證，得出是否可以裝車的結(jié)論，并將此結(jié)論發(fā)送給發(fā)油控制系統(tǒng)，發(fā)油控制系統(tǒng)據(jù)此啟動裝車泵開始裝車，或拒絕裝車并報警。系統(tǒng)數(shù)據(jù)流如圖1所示。

3.1 建立訓(xùn)練和驗證的樣本庫

樣本的生成流程如圖2所示。

（1）原始圖像的獲?。簩ΡO(jiān)控錄像視頻按指定幀數(shù)截取視頻圖像并保存。設(shè)置指定幀數(shù)為16，讀取目標(biāo)視頻文件，讀取視頻幀數(shù)，將幀數(shù)變量與指定幀數(shù)相除判斷是否達(dá)到指定幀倍數(shù)，若達(dá)到則保存一張此時幀的圖片，循環(huán)進(jìn)行直到將視頻讀取完畢。

（2）數(shù)據(jù)增廣：①剔除無效圖片，將數(shù)據(jù)清洗過的文件按數(shù)字編號“1，2，3…”重新命名;②進(jìn)行一次增廣，采用水平翻轉(zhuǎn)與鏡像翻轉(zhuǎn)擴(kuò)充數(shù)據(jù);③在一次增廣的基礎(chǔ)上進(jìn)行二次增廣，采用均值擾動、卷積、銳化、特定方向上邊緣檢測、添加高斯噪聲、高斯擾動、改變對比度、放射變換、按像素加等方法再次擴(kuò)充數(shù)據(jù)。

（3）數(shù)據(jù)標(biāo)記：使用labelImg對接口及鶴管進(jìn)行標(biāo)記。檢測目標(biāo)分類如下：鶴管（0、1、2）、裝油接口（oil port）、油氣回收口（recovery port）。

（4）數(shù)據(jù)集劃分：訓(xùn)練集、驗證集按照0.91∶1的比例進(jìn)行劃分，然后轉(zhuǎn)化標(biāo)注數(shù)據(jù)文件為yolo格式。

（5）訓(xùn)練參數(shù)修改：對數(shù)據(jù)集使用K-means方法更新anchors，然后轉(zhuǎn)換yolo權(quán)重文件為適合keras庫的模型文件。修改batchsize的大小，避免顯存不足報錯，直至程序能順利運(yùn)行。

算法訓(xùn)練的總樣本量為38 551張圖像，涵蓋裝油口保護(hù)罩、裝油口、油氣回收接口及編號為0、1、2的鶴管，保證了樣本的多樣化，樣本數(shù)量、種類均覆蓋充足。

3.2 建立基礎(chǔ)算法

由于在司機(jī)按下啟動按鈕后需要系統(tǒng)很快反饋識別結(jié)果，通常不超過1 s，另外，還經(jīng)常會出現(xiàn)多個裝車位同時啟動裝車的情況，這意味著系統(tǒng)需要具備同時對多個圖像進(jìn)行識別處理的能力，而且系統(tǒng)在對圖像進(jìn)行識別時，不僅需要同時檢測出圖像中有哪些類型的物體，如裝油口、鶴管等，還要識別出它們在圖像中的具體位置。因此，系統(tǒng)采用的圖像識別算法必須在保證準(zhǔn)確率的情況下速度也要快，經(jīng)過比較分析，選擇了YOLOv3算法。YOLO以速度見長，處理速度可以達(dá)到45 f/s，這得益于其識別和定位合二為一的網(wǎng)絡(luò)設(shè)計，而且這種統(tǒng)一的設(shè)計也使得訓(xùn)練和預(yù)測可以端到端的進(jìn)行，即可以將檢測樣本整體輸入，經(jīng)中間層的特征提取，就可以在輸出層回歸出所有類型物體的預(yù)測框的坐標(biāo)信息與類別信息。YOLOv3相比于前代的算法，既平衡了檢測速度與準(zhǔn)確率，又增大了神經(jīng)網(wǎng)絡(luò)的層數(shù)，從而更深地提取對象特征，讓準(zhǔn)確率更進(jìn)一步得到提升。

具體識別將神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元接收到的輸入作為輸入信號，經(jīng)過激活函數(shù)的激活值作為輸出信號，同時設(shè)置一個恒定虛警率，滿足輸入數(shù)據(jù)和輸出結(jié)果分布不均勻時，可以自適應(yīng)地調(diào)整閾值，提升分類效果。其中，當(dāng)relu函數(shù)定義為y=f（x）、輸入為X=[X1，X2，X3，…，Xm]、權(quán)重為ω=[ω1，ω2，ω3，…，ωm]時，輸出值為：

Y=f（ωTX+b）

式中，f（*）表示激活函數(shù);ωT表示權(quán)重ω的共軛轉(zhuǎn)置;X表示輸入數(shù)據(jù);b表示修正項。因此，節(jié)點的激活值為：

Rn=M·f（ωTX+b）

式中，M表示二值掩模矩陣，且服從伯努利分布取值，并根據(jù)激活值進(jìn)行設(shè)定。具體的，根據(jù)設(shè)定的閾值，當(dāng)節(jié)點的激活值大于閾值時，M二值掩模矩陣中的元素取值為1，小于閾值時取值為0。根據(jù)節(jié)點激活值構(gòu)成的集合，從中選取一個數(shù)值作為興趣程度判定的閾值，通過判斷將低于閾值的節(jié)點刪除，從而實現(xiàn)優(yōu)化。其中，刪除的節(jié)點集合為所有節(jié)點集合減去保留節(jié)點的集合，即：

R-=R-[（1-γ）Rh+γR1]S

式中，R-表示刪除的節(jié)點;R表示所有的節(jié)點;γ表示保留比例;Rh表示高于閾值的節(jié)點;R1表示低于閾值的節(jié)點;S表示保留節(jié)點的比率。

在樣本數(shù)據(jù)不足的情況下，為提高卷積神經(jīng)網(wǎng)絡(luò)提取特征的表達(dá)性能，在保留特征的原始數(shù)據(jù)不破壞情況下，對特征尺度轉(zhuǎn)換遷移融合，從而進(jìn)行特征重用。

為解決樣本圖像單一問題，在針對網(wǎng)絡(luò)攝像頭視頻流的處理上，結(jié)合樣本分類擴(kuò)充圖像，同時分析樣本的不平衡度。具體的，擴(kuò)充過程中，在變換圖像大小，旋轉(zhuǎn)角度時，對應(yīng)的旋轉(zhuǎn)角度、縮放比例系數(shù)和對比系數(shù)分別在區(qū)間（0°，90°]、[0.5，1.5]和[0.2，1.8]隨機(jī)生成。

3.3 算法改進(jìn)

由于油罐車?？课恢眉皵z像機(jī)角度等客觀因素，檢測目標(biāo)常常相近并互相遮擋，而YOLOv3網(wǎng)絡(luò)的細(xì)節(jié)區(qū)分度較差，會導(dǎo)致漏檢、誤檢等錯誤，因此需要針對這些情況對算法進(jìn)行改進(jìn)。主要采用以下方法：

（1）增加多尺度預(yù)測，提供尺寸不一的邊界框，參考YOLOv2將多尺度放到訓(xùn)練數(shù)據(jù)采樣上所采用的feature map，設(shè)置邊界框。

（2）分析YOLOv3在不同激活函數(shù)上的訓(xùn)練時間以及分類錯誤率，結(jié)合其他網(wǎng)絡(luò)的相應(yīng)表現(xiàn)，選擇使用relu函數(shù)作為激活函數(shù)。

（3）dropout優(yōu)化，改善在模型參數(shù)過多、訓(xùn)練樣本過少的情況下導(dǎo)致的訓(xùn)練模型過擬合現(xiàn)象，通過忽略一半特征檢測器，降低過擬合及錯誤率，提高分類的精度。

（4）增加正則化約束，提升網(wǎng)絡(luò)性能。

（5）特征尺度轉(zhuǎn)換遷移融合，在保留特征的原始數(shù)據(jù)不破壞情況下變換特征圖的尺度大小。通過在主干網(wǎng)絡(luò)中將特征圖縮小遷移融合，進(jìn)行特征重用，以提高卷積神經(jīng)網(wǎng)絡(luò)提取特征的表達(dá)性能。

（6）為解決樣本圖像單一問題，在針對網(wǎng)絡(luò)攝像頭視頻流的處理上，結(jié)合樣本分類擴(kuò)充圖像，同時分析樣本的不平衡度。

（7）針對YOLOv3模型IOU值不理想問題，對anchor值進(jìn)行聚類優(yōu)化。①利用DBSCAN聚類算法在忽略中心點的情況下獲得若干數(shù)量的類;②為了獲得檢測目標(biāo)的局部和整體信息，通過增加多尺度進(jìn)行聚類，進(jìn)一步為對檢測目標(biāo)的輪廓信息進(jìn)行多尺度聚類;③經(jīng)過多尺度聚類和卷積操作，可以獲得初代特征圖;④將這些類作為輸入數(shù)據(jù)，通過K-means算法進(jìn)行劃分聚類，這樣便可以獲得準(zhǔn)確的中心點位置。DBSCAN聚類算法，可以在忽略中心點的情況下，得到首次較好聚類效果，通過結(jié)合K-means算法可以有效加速數(shù)據(jù)集收斂，提升小目標(biāo)分類精確度。

3.4 優(yōu)化識別過程

將訓(xùn)練成功后生成的參數(shù)文件從訓(xùn)練服務(wù)器復(fù)制到識別服務(wù)器中，同時更新anchors，完成網(wǎng)絡(luò)模型（圖結(jié)構(gòu)、張量、值）的遷移。識別時自動將需要識別的實際圖像導(dǎo)入網(wǎng)絡(luò)模型中，網(wǎng)絡(luò)會預(yù)測出一系列的候選對象，再用NMS（非極大值抑制算法，閾值為0.5）來移除一些多余的候選對象，防止出現(xiàn)一個目標(biāo)被多次檢測的問題。剩余的候選對象就是識別結(jié)果，將它們的類別和坐標(biāo)在圖像中標(biāo)出后輸出，即完成識別優(yōu)化過程。

3.5 系統(tǒng)集成

在發(fā)油系統(tǒng)、識別系統(tǒng)和分析系統(tǒng)之間建議采用網(wǎng)絡(luò)UDP傳輸協(xié)議實現(xiàn)系統(tǒng)間的數(shù)據(jù)交換，保證數(shù)據(jù)交換的實時性。

為保證系統(tǒng)的持續(xù)運(yùn)行，三個系統(tǒng)之間定時發(fā)送心跳信息，當(dāng)超過一定時間沒有收到心跳信息時表明對方系統(tǒng)出現(xiàn)異常，立刻進(jìn)行報警提示，方便及時進(jìn)行維護(hù)。

為便于事后查詢數(shù)據(jù)和問題追溯，系統(tǒng)應(yīng)記錄識別過程中的每個步驟產(chǎn)生的數(shù)據(jù)信息，通過分析這些數(shù)據(jù)，也有利于系統(tǒng)的不斷優(yōu)化。

攝像頭必須是網(wǎng)絡(luò)攝像頭，其數(shù)量可以根據(jù)油庫具體情況進(jìn)行配置。

4 結(jié)論

在油庫現(xiàn)場按照上述方法對實際裝車情況進(jìn)行了驗證。系統(tǒng)能夠在1 s內(nèi)反饋單個攝像頭的識別結(jié)果，對于被遮擋部分小于1/5的裝油口，識別率可達(dá)到95%，在攝像機(jī)擺放位置良好，圖像清晰無遮擋時的識別率可達(dá)100%，實用效果良好。

通過圖像識別的方式實現(xiàn)了油庫裝車過程中的裝油口對接正確性驗證，防止了油罐車的混油和冒頂，消除了由此引發(fā)的火災(zāi)、爆炸等危險事故隱患，是一個值得推廣的方法。

由于各個油庫的環(huán)境有差異，油罐車裝油口的形式也存在不一致的情況，因此，還需要針對這些特殊情況進(jìn)一步訓(xùn)練網(wǎng)絡(luò)識別模型，進(jìn)一步提高識別率，達(dá)到更好的實用效果。

參考文獻(xiàn)

[1] 張琦，張榮梅，陳彬.基于深度學(xué)習(xí)的圖像識別技術(shù)研究綜述[J].河北省科學(xué)院學(xué)報，2019，36（3）：9.

[2] 鞠默然，羅海波，王仲博，等.改進(jìn)的YOLO V3算法及其在小目標(biāo)檢測中的應(yīng)用[J].光學(xué)學(xué)報，2019，39（7）：245-252.

[3] 酈濤.基于人工智能的圖像識別技術(shù)的研究[J].通訊世界，2019（8）：69-70.