石孟曦,張文紅,張 磊,郭佑民

(1. 蘭州交通大學(xué)機電技術(shù)研究所,甘肅 蘭州 730070;2. 中國鐵路蘭州局集團有限公司科研技術(shù)監(jiān)督所,甘肅 蘭州 730000;3. 甘肅省物流及運輸裝備信息化工程技術(shù)研究中心,甘肅 蘭州 730070)

1 引言

隨著計算機技術(shù)與機器視覺的迅速興盛,與此同時,與之相關(guān)的各類檢測技術(shù)被廣泛用于識別各種精密儀器,同時由于工業(yè)生產(chǎn)的規(guī)模的迅速擴大,各類儀表的數(shù)量也顯著上升,因此如何快速、準確地獲取儀器儀表的測量值已經(jīng)成為了亟待解決的問題。目前雖然關(guān)于儀表讀數(shù)識別技術(shù)的相關(guān)研究已取得一定的成果,但是在具體的應(yīng)用場景中仍舊存在著亟待解決的問題[1]。

近些年以來,有關(guān)目標回歸檢測分析方法的網(wǎng)絡(luò)模型基本都是以深度學(xué)習為基礎(chǔ),其中可以大致分為兩種:其中第一種是以侯選框為基礎(chǔ)的Faster R-CNN算法,第二種則是以深度學(xué)習為基礎(chǔ)的SSD和YOLO算法[2],后者的目標檢測結(jié)果速度更快并且對于大物件的目標檢測結(jié)果準確率更高[3]。

Faster R-CNN系列算法根據(jù)先獲取侯選框之后再實施分類的方法,得以確定多目標。它為了提高檢測的準確性,巧妙地把檢測問題用分類的方法完成,其優(yōu)點主要是精度高,但同時也存在著速度慢的缺點[4]。

針對上述存在的問題,本文提出了一種結(jié)合YOLOv2與LSD的算法,在目標檢測方面,選用精度優(yōu)于Faster R-CNN,且速率優(yōu)于傳統(tǒng)ORB與SSD[5]的YOLOv2算法,采用殘差網(wǎng)絡(luò)ResNet50作為基礎(chǔ)網(wǎng)絡(luò)構(gòu)架。同時,去除其最末尾的池化層與全連接層,并添加一個轉(zhuǎn)移層。從而能夠獲得更完善的細粒度特征,提高識別同一目標的準確度和魯棒性。在識別指針方面,本文使用了實時性與精度更優(yōu)的LSD算法。

2 基于YOLOv2目標檢測算法和LSD直線檢測的壓力表讀數(shù)識別模型

本文采用機器視覺中YOLOv2檢測方法首先分割出待測圖像,準確提取儀表表盤區(qū)域。其次根據(jù)LSD檢測算法,得到指針的精確快速的定位。最終,經(jīng)過計算得出的指針傾角同時與待測壓力表的刻度信息進行對比推算,獲得待測壓力表的示數(shù)值。本文主要引入了YOLOv2進行目標的檢測以及LSD進行指針位置信息的提取。本文的具體工作流程如圖1所示。

圖1 基于YOLOv2 和LSD的儀表識讀流程

3 YOLO網(wǎng)絡(luò)模型的改進

3.1 單一檢測目標

YOLOv2在通常情況下可以實現(xiàn)多類型目標的檢測,由于只需要檢測輸入圖像中的儀表,無需執(zhí)行多類型目標檢測。為了減少多目標網(wǎng)絡(luò)檢測和分類所帶來的額外計算量,因而簡化YOLOv2 的網(wǎng)絡(luò)結(jié)構(gòu),并減少卷積核的樣本規(guī)模到選擇更具表現(xiàn)力的儀表特征,能夠顯著提高檢測的精度與效率。

YOLOv2算法中,預(yù)訓(xùn)練圖像的分辨率為448×448, Darknet-19的基本架構(gòu)由19個卷積層、5個最大池化層組成。作為一種基本架構(gòu),Darknet-19 網(wǎng)絡(luò)主要是通過使用全局平均池化層來實現(xiàn)準確預(yù)測[6]。此外,在每一個卷積層之后都會添加一個 BN (Batch Normalization)層,這種結(jié)構(gòu)可以使模型達到更高的速度并降低模型過擬合概率。

Darknet-19網(wǎng)絡(luò)能夠表現(xiàn)出很強的目標檢測效果,但在小范圍內(nèi)沒有優(yōu)勢。在實際場景下,儀表在整幅圖中占據(jù)較小的尺寸,而淺層特征是小尺寸儀表的關(guān)鍵依賴層。然而,在Darknet-19基礎(chǔ)構(gòu)成中,19個卷積層和4個池化層先提取特征,這阻止了高分辨率中的淺層特征的使用,會造成淺層訓(xùn)練不足特征。這會阻止使用高分辨率淺層特征,并會造成淺層訓(xùn)練特征不足。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)搭建

ResNet50不僅可以有效解決殘差網(wǎng)絡(luò)數(shù)據(jù)深度過深可能引起的梯度爆炸問題,并且還可以有效緩解深度學(xué)習網(wǎng)絡(luò)退化問題,而且基于該網(wǎng)絡(luò)的數(shù)據(jù)訓(xùn)練處理過程要明顯優(yōu)于其它網(wǎng)絡(luò)。

因此,本文充分考慮了ResNet50的優(yōu)點,將其深層神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)網(wǎng)絡(luò)構(gòu)架。通過選用殘差神經(jīng)網(wǎng)絡(luò)ResNet50獲取到待測壓力表的特征,替換了原本YOLOv2 中的基礎(chǔ)網(wǎng)絡(luò)構(gòu)架Darknet-19。同時,進一步對該深層神經(jīng)網(wǎng)絡(luò)做出相應(yīng)的改進與完善,去除其最末尾的池化層與全連接層,并添加一個轉(zhuǎn)移層。這樣有效的融合了深淺特征,可以提取豐富的內(nèi)容,獲得更完善的細粒度特征。采用聚類算法K-means作為侯選框的選擇策略,相比于傳統(tǒng)策略,此算法能更為準確的識別同一類目標,并且摒棄無關(guān)侯選框。如圖2顯示了部分目標檢測結(jié)果:

圖2 不同位置中的儀表檢測結(jié)果

3.3 訓(xùn)練結(jié)果評價

Loss值表明了在該訓(xùn)練中的預(yù)測結(jié)果與標定結(jié)果之間的偏差值,其中,Loss值和訓(xùn)練網(wǎng)絡(luò)檢測目標的精度呈現(xiàn)負相關(guān)的態(tài)勢。圖3為YOLOv2 與改進后的YOLOv2 的Loss值變化曲線圖。

圖3 Loss值變化曲線圖

如圖所示,Loss值在經(jīng)歷了較大程度的降低之后,逐漸呈現(xiàn)穩(wěn)定的狀態(tài)。就整體的變化過程而言,經(jīng)過相應(yīng)的改進后的YOLOv2的Loss值顯然低于YOLOv2原模型,由此可以得知,本文做出的改進后的模型在目標準確度方面的確優(yōu)于原模型。

通常根據(jù)精度(Preision,P)、召回率(Recall,R)與平均準確率(Average-Precision,AP)相關(guān)指標對搭建的網(wǎng)絡(luò)結(jié)構(gòu)進行綜合評估。

(1)

在上式中,TP(TRUE P)包含的意義為預(yù)測為正例,同時真實結(jié)果也為正例的特征數(shù),而FP(False P)包含的意義為預(yù)測為正例,而真實結(jié)果為負例的特征數(shù)。

召回率包含的意義為最終得到的正確的數(shù)值與所有正確的數(shù)值的比率,TN包含的意義為預(yù)測為負例,同時真實結(jié)果也為負例的特征數(shù),FN包含的意義為預(yù)測為負例,而真實結(jié)果為正例的特征數(shù)。

(2)

精度是針對預(yù)測結(jié)果而言,表示的是真實的正例在預(yù)測為正的例子中所占的比率。

(3)

上式中,P代表Precision,r代表Recall,平均準確率即為P-R曲線下的包絡(luò)區(qū)域的面積。通常情況下AP值與分類器的性能,兩者會呈現(xiàn)正相關(guān)的態(tài)勢。

本文提出的改進YOLOv2網(wǎng)絡(luò)模型在檢測精度上有一定的優(yōu)勢,通過多例測試結(jié)果可以得到兩種算法的召回率和精度曲線如圖4所示。

圖4 召回率與精度曲線

如圖4所示,最后壓力表的分類結(jié)果可達到83%的召回率,之后,隨著召回率的提高,精度逐漸下降,最后精度降低到94%左右,經(jīng)過計算后得到的召回率從0到1之間的平均精度為96%,精度滿足對待測壓力表實現(xiàn)目標檢測的要求。

4 儀表讀數(shù)識別

4.1 圖像預(yù)處理

在圖像預(yù)處理階段,在圖像經(jīng)過檢測與校正之后即可得到用于待檢的高質(zhì)量目標圖像,為了剔除外部無關(guān)的噪聲與影響,進行均值濾波。采用sobel算子進行邊緣檢測。如圖5為采用sobel算子。

圖5 sobel算子進行邊緣檢測

圖6為采用非極大值抑制的結(jié)果。

圖6 非極大值抑制

4.2 指針直線檢測

通常而言,Hough 變換是較為經(jīng)典的檢測方法,雖然它可以穩(wěn)定地實現(xiàn)某些功能,但實際上存在的一些缺點不能忽視。例如,檢測過程中需要手動設(shè)置參數(shù)以限制線段的數(shù)量,這樣人為信息將降低算法的魯棒性。因此針對Hough 法運算量大、缺乏實時性等不足,本文所采用的指針直線的提取方法,是由Gioi等人首次提出的LSD算法,以改善傳統(tǒng)算法的計算實時性與精度[7]。

LSD直線提取算法的步驟[8]如下:

1)高斯降采樣。即將圖像長、寬進行縮放,再進行高斯濾波。

2)梯度的計算。像素點(x,y)處的灰度值為i(x,y)。梯度由以下公式來計算。

gx(x,y)=

(4)

gy(x,y)=

(5)

3)區(qū)域的增長。將采用過的鄰域像素進行檢測并標記。

4)更新區(qū)域的傾斜度。每次向該區(qū)域中增加新的像素時,則會更新其傾斜度為

(6)

種子點處的level-line角度即為初始角度,下標j是用來遍歷該區(qū)域中的所有像素。

5)直線段的確定。

4.3 指針檢測結(jié)果分析

為了測試文中改進方法的性能,從訓(xùn)練樣本中選取圖像來評估算法的實際效果,同時與傳統(tǒng)方法進行了比較。圖7是使用Hough變換法之后得到的結(jié)果,由此可知,傳統(tǒng)的Hough變換存在著精度不足和易被誤檢的問題。圖8是采用改進后的Hough變換的結(jié)果,相對于未進行改進的原方法而言,改進之后的效果較好,但準確性和精度仍舊不足。圖9顯示了LSD對指針直線的識別結(jié)果,由此可以表明此方法克服了傳統(tǒng)方法的精度不足和容易誤檢的缺陷,提高了精度和準確度。

圖7 Hough變換的結(jié)果

圖8 改進Hough變換的結(jié)果

圖9 LSD指針識別結(jié)果

在誤檢和漏檢兩個方面,根據(jù)圖7和圖8能夠清楚地看出,傳統(tǒng)的直線檢測方法在自然場景圖中會存在較多誤檢,并且在兩組圖像中也存在像著一定的漏檢。因此,通過與原有的方法進行對比后,可以得知LSD可以達到更大程度上的準確度和更穩(wěn)定的性能。

由表1能夠清楚地看出,改進Hough變換法較Hough變換法耗時提升了24.5%,而LSD算法較Hough變換法耗時提升了71.9%,較改進Hough變換法耗時提升了62.8%。因此,LSD算法在提高計算效率這部分較其余兩種算法更為顯著。

表1 直線檢測各算法耗時對比

4.4 角度法讀數(shù)

壓力表讀數(shù)識別的角度法是利用待測壓設(shè)待測表的指針與其右刻度線的夾角為α,指向該刻度線的值為L,待測表的指針與其左刻度線的夾角為β,指向該刻度線的值為H,被測儀表的最終讀數(shù)由以下公式計算[9]:

(7)

在現(xiàn)實場景下,綜合考慮外界因素的影響,在分析了50張樣本圖片之后,提取其中的10張,分別采用Hough算法、改進Hough算法、LSD算法并與人工識讀進行比較,得到的結(jié)果如表2所示。由式(7)可算出LSD算法的識讀率可達96%。

表2 直線檢測各算法與人工識讀對比

5 結(jié)論

本文完成的主要工作如下:

1)在傳統(tǒng)指針式壓力表讀取方法中摒棄了缺乏穩(wěn)定性的 ORB等算法[10],利用機器視覺中的 YOLOv2模型,提出了一種改進的YOLOv2算法,通過檢測變電站場景中的壓力表圖片,能夠準確提取壓力表圖像。由實驗可以得出,改進后YOLOv2的Loss值明顯低于傳統(tǒng)的YOLOv2,同時改進后YOLOv2的平均精度為96%,優(yōu)于傳統(tǒng)的YOLOv2。

2)運用圖像處理的方法與技術(shù),對待測儀表圖進行濾波降噪、邊緣檢測等去除干擾的一系列預(yù)處理,為下一步的示值識讀打好基礎(chǔ)。

3)結(jié)合LSD方法得到待測表的指針直線的精準位置信息,通過計算傾角來得到待測壓力表的示值,由實驗可以得出,LSD算法較Hough變換法耗時提升了71.9%,較改進Hough變換法耗時提升了62.8%。在現(xiàn)實場景下進行識讀,LSD方法的準確率可達到96%。

從本文的實驗中能夠清楚地看出:由于壓力表的外觀和表盤之間的相似性差別,而且YOLOv2 算法在小型樣本上的表現(xiàn)力也很高,所以在實驗中進行檢測時所獲得的儀表位置信息也都是較為準確的,這也給接下來進行指針的提取和讀數(shù)工作提供了良好的基礎(chǔ)。在對壓力表進行讀數(shù)的時候,通過對圖像進行預(yù)處理以及采用LSD 直線檢測法,同時由于實驗是在現(xiàn)實環(huán)境中進行的,因此在拍攝過程中,相機的傾斜和光線的反射等問題難以完全得到消除,這些影響因素都對壓力表的讀數(shù)造成了一些影響,但是總體來說,基于YOLOv2 算法和 LSD 直線檢測算法的讀數(shù)識別方法具有較高的準確度與較強的魯棒性。