摘 要：在工業(yè)現(xiàn)場自主巡檢中，由于定位誤差和光線角度等因素的影響，使得四足機(jī)器人僅依靠機(jī)器視覺難以實現(xiàn)高精度的儀表數(shù)字識別。針對上述問題，提出一種結(jié)合移動機(jī)器人運(yùn)動的工業(yè)儀表數(shù)字識別方法。該方法首先基于圖像感知的四足機(jī)器人控制策略實現(xiàn)儀表對準(zhǔn)，來獲取大小適中的儀表圖片，進(jìn)而使用改進(jìn)自動色彩均衡（ACE）算法提高圖片清晰度，并使用改進(jìn)高效準(zhǔn)確的場景文本（EAST）檢測器來優(yōu)化儀表數(shù)字漏檢情況，最后獲得儀表數(shù)字識別結(jié)果。在基于四足機(jī)器人的工業(yè)巡檢實驗平臺中驗證了該識別方法，實驗結(jié)果表明上述方法對工業(yè)儀表數(shù)字識別準(zhǔn)確率達(dá)97.75%。

關(guān)鍵詞：四足機(jī)器人；巡檢；感知與控制；工業(yè)儀表；文本檢測；數(shù)字識別

中圖分類號：TP242 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2024）03-000-05

0 引 言

近年來，移動機(jī)器人與人工智能技術(shù)結(jié)合越來越緊密。四足機(jī)器人作為移動機(jī)器人技術(shù)應(yīng)用落地的一個重要分支，有著優(yōu)秀的越障能力，可以在地形復(fù)雜的工業(yè)現(xiàn)場對儀表、指示燈、貨物等進(jìn)行巡檢[1-4]。儀表是工業(yè)生產(chǎn)的重要數(shù)據(jù)來源，數(shù)顯式儀表因具有顯示簡單、精確度高等優(yōu)點(diǎn)而獲得廣泛應(yīng)用。目前數(shù)顯式儀表的讀數(shù)方法有三種：人工讀表、自動抄表[5]和圖像識別。人工讀表成本高昂，而自動抄表的改造成本高、周期長。通過圖像處理技術(shù)能很好地對數(shù)顯式儀表進(jìn)行數(shù)字識別[6]。四足機(jī)器人搭載攝像頭能夠做到對工業(yè)儀表24 h不間斷巡檢，降低人工成本[7]。

徐明輝[8]研究并設(shè)計了一種搭載攝像頭的自主導(dǎo)航機(jī)器人，進(jìn)行儀表位置的巡航工作，使其能夠?qū)?zhǔn)不同高度的儀表表盤；施會斌[9]設(shè)計實現(xiàn)了變電站巡檢機(jī)器人自動抄表系統(tǒng)，通過RFID技術(shù)完成對目標(biāo)儀表區(qū)域的搜尋，基于輕量級YOLOv4數(shù)字式儀表讀數(shù)識別算法對變電站數(shù)字儀表進(jìn)行讀數(shù)識別；何配林[10]針對工業(yè)儀表圖像在自然場景中可能存在光照不均勻、圖像模糊等問題，基于Mask-RCNN實例分割網(wǎng)絡(luò)、全卷積網(wǎng)絡(luò)和K-Means聚類等算法，提出了一種指針和數(shù)字式的多塊、多種、多類型儀表同時讀數(shù)識別算法。

1 四足機(jī)器人工業(yè)儀表數(shù)字識別系統(tǒng)構(gòu)成

四足機(jī)器人的工業(yè)儀表數(shù)字自主識別方法是以廣角攝像頭實時獲取外界信息為主的系統(tǒng)，系統(tǒng)的組成包括：四足機(jī)器人本體、激光雷達(dá)、廣角攝像頭、工業(yè)儀表等。四足機(jī)器人工業(yè)儀表實驗場景如圖1所示，四足機(jī)器人工業(yè)儀表數(shù)字識別流程如圖2所示。

2 面向工業(yè)儀表數(shù)字識別的四足機(jī)器人控制策略

與輪式機(jī)器人平移穩(wěn)定不同，四足機(jī)器人每條腿都擁有著3個自由度，步態(tài)控制較為復(fù)雜，在工業(yè)現(xiàn)場根據(jù)傳感器獲取地面狀況產(chǎn)生實時步態(tài)，此時搭載的攝像頭晃動劇烈，加之位姿偏移、激光定位誤差等問題，使得獲得圖像的清晰度不夠，因此有必要設(shè)計一個控制策略來調(diào)整四足機(jī)器人的位姿。

如圖3所示，圖中畫出了儀表的檢測框，（xtl， ytl）和（xbr， ybr）是檢測框的左上角坐標(biāo)和右下角坐標(biāo)，由此可以計算出檢測框中心點(diǎn)的坐標(biāo)（xc， yc）；l1和l2是兩條豎直方向上的三等分線，將圖片分成左側(cè)區(qū)域、中間區(qū)域和右側(cè)區(qū)域。

在本文設(shè)計的控制策略中，當(dāng)滿足檢測框中心點(diǎn)處在l1和l2之間即xl1≤xc≤xl2，且檢測框面積detect_area≥S時，認(rèn)為此時得到的是形狀規(guī)則、大小適中的高清儀表圖片。

在控制邏輯上區(qū)域條件的優(yōu)先級大于面積條件的優(yōu)先級，所以當(dāng)不能滿足上述兩個條件時，有3種情況需要進(jìn)行調(diào)整，當(dāng)xc≤xl1即中心點(diǎn)落在左側(cè)區(qū)域時，四足機(jī)器人處于圖4（a）的情況1；當(dāng)xl1lt;xc≤xl2即中心點(diǎn)落在中間區(qū)域但是面積條件不滿足時，四足機(jī)器人處在圖4（b）的情況2；當(dāng)xcgt;xl2即中心點(diǎn)落在右側(cè)區(qū)域，四足機(jī)器人處在圖4（c）的情況3?？紤]到由于誤差會出現(xiàn)四足機(jī)器人在任務(wù)點(diǎn)檢測不到儀表的情況，四足機(jī)器人會重新規(guī)劃路徑導(dǎo)航至任務(wù)點(diǎn)進(jìn)行第二次儀表檢測，直到檢測到儀表。

如圖5所示，對四足機(jī)器人的控制策略進(jìn)行描述：感知主機(jī)截取攝像頭傳輸?shù)囊曨l幀，計算儀表檢測框的面積和其中心點(diǎn)位置，首先判斷中心點(diǎn)坐標(biāo)是否落在l1和l2之間，若是，則判斷是否滿足面積條件，對應(yīng)圖4（b）情況2；如不是，則需要判斷中心點(diǎn)處于左側(cè)區(qū)域還是右側(cè)區(qū)域，此時對應(yīng)于圖4（a）的情況1和圖4（c）的情況3；當(dāng)中心點(diǎn)處于左側(cè)區(qū)域時，感知主機(jī)與運(yùn)動主機(jī)進(jìn)行通信，運(yùn)動主機(jī)會發(fā)布腿部移動指令，四足機(jī)器人以線速度ν（單位為m/s）右移；判斷位移距離d是否大于α（單位為cm），若不是則繼續(xù)移動，若是則停止移動，當(dāng)中心點(diǎn)處于右側(cè)區(qū)域時同理。接著返回區(qū)域條件判斷進(jìn)行循環(huán)判斷、移動，直到滿足區(qū)域條件，當(dāng)區(qū)域條件滿足后判斷面積條件detect_area是否大于等于S，若不是，則以線速度ν前進(jìn)；判斷位移距離d是否大于α，循環(huán)判斷、移動，直至detect_area大于等于S，此時控制策略結(jié)束。

3 面向工業(yè)儀表數(shù)字識別的圖片色彩增強(qiáng)方法

由于光源和相機(jī)角度的問題，四足機(jī)器人獲取的圖像經(jīng)常出現(xiàn)模糊和明暗不一的情況。如圖6所示，工業(yè)功率數(shù)顯表從上到下分別是電壓、電流、功率和電阻，且圖中4個參數(shù)明暗不一和數(shù)字模糊。因此，本文使用改進(jìn)ACE算法[11]對圖片進(jìn)行色彩增強(qiáng)。

圖6 光線明暗不一的儀表圖像

一張圖片可分為低頻分量和高頻分量，其中高頻分量出現(xiàn)在圖片的細(xì)節(jié)部分，ACE算法經(jīng)過低通濾波獲得低頻分量，將原始圖片減去低頻分量得到高頻分量，用增益系數(shù)乘以高頻分量，重組得到增強(qiáng)后的圖片。ACE算法的基本公式如下所示：

（1）

式中：R（x）代表彩色空間調(diào)整結(jié)果，它是一個中間處理值；Subset是圖像像素集；x是固定像素值；y是可變化像素值；I（x）-I（y）代表兩個像素之間強(qiáng)度差；d（x， y）是距離度量函數(shù)（一般為歐拉距離）。Sα的表達(dá)式如下：

（2）

式中：α是斜率；Sα為斜率函數(shù)，Sα在三個范圍下進(jìn)行取值，r=I（x）-I（y）。然后對調(diào)整后的圖像進(jìn)行擴(kuò)展。一張彩色圖像具有R、G、B三個通道，對每個通道進(jìn)行線性擴(kuò)展，表達(dá)式如下所示：

（3）

式中，斜率Sc為[（mc， 0）， （Mc， 255）]，且mc是R（x）的最小值，Mc是R（x）的最大值。最后，將上式映射到[0， 255]的空間中。

（4）

本文針對數(shù)字識別需求對y的范圍進(jìn)行改進(jìn)，使用YOLOv5[12]檢測儀表框?qū)x表進(jìn)行圖像分割，盡可能地去除儀表外的其余像素，減少了ACE算法的運(yùn)算量，節(jié)省了運(yùn)行時間。此外為了更好地增強(qiáng)圖像的高頻部分，本文使用Huber函數(shù)[13]對式（4）的權(quán)重進(jìn)行改進(jìn)，結(jié)合歐氏距離函數(shù)，計算得Huber權(quán)重函數(shù)如下所示：

（5）

式中：可變像素值y與固定像素x之間的歐氏距離dy=1/||x-y||；d是所有dy的均值。若dy小于均值d則權(quán)重wy為1；若dy大于均值d則權(quán)重wy小于1；歐氏距離越大，即距離固定點(diǎn)越遠(yuǎn)，權(quán)重系數(shù)越小，其色彩增強(qiáng)效果也越小。

4 工業(yè)儀表數(shù)字漏檢算法改進(jìn)

在對圖片進(jìn)行色彩增強(qiáng)并提高圖片清晰度后，將傳統(tǒng)的EAST算法[14]應(yīng)用到四足機(jī)器人的儀表數(shù)字檢測中能夠減少計算量。與自然場景廣闊視野中會出現(xiàn)檢測框不完整的情況不同，四足機(jī)器人在通過控制策略調(diào)整完自身位姿后，獲得的圖片視野范圍較小，進(jìn)行儀表數(shù)字識別會出現(xiàn)儀表某一行數(shù)字漏檢的情況。

EAST文本檢測算法結(jié)構(gòu)由特征提取層、特征合并層、輸出層組成，形成特征金字塔網(wǎng)絡(luò)（FPN）結(jié)構(gòu)，如圖7所示。

如圖8所示，EAST算法采用了4層FPN結(jié)構(gòu)，在特征合并層進(jìn)行融合，將小尺寸特征圖進(jìn)行卷積，形成與大尺寸特征圖一樣的尺寸，再將其連接起來。通過結(jié)構(gòu)圖可知，小區(qū)域感受野特征圖位于FPN結(jié)構(gòu)的最底層，小區(qū)域感受野特征圖在最后進(jìn)行融合后輸出。這種處理方法會使得小區(qū)域感受野特征圖處理過少，且當(dāng)通道數(shù)較少時融合后相應(yīng)特征信息所占比例較少，就造成了EAST算法對某些區(qū)域關(guān)注度不夠，不利于后續(xù)的圖片識別。

本文改進(jìn)了FPN結(jié)構(gòu)，在合并方向相反的路徑上只對特征金字塔的前兩層進(jìn)行合并（是原EAST算法中關(guān)注度不夠的部分），然后再與另一方向路徑進(jìn)行融合，具體結(jié)構(gòu)如圖9所示。將卷積stage1得到的特征圖送入pooling層，尺寸縮小1倍后，與卷積stage2得到的α特征圖經(jīng)Concat融合；然后依次送入1×1、3×3的卷積核，得到F（2）2和F（2）3。將抽取的特征圖按照U-net的思想進(jìn)行合并，卷積核的個數(shù)逐層遞減，依次為128、64、32；最后經(jīng)過32核3×3卷積后將結(jié)果輸出到“輸出層”，最終輸出工業(yè)儀表數(shù)字檢測框的置信度score map和檢測框的位置（x，y，w，h）。

5 實驗驗證

5.1 四足機(jī)器人的控制策略實驗驗證

為了驗證本文中四足機(jī)器人的控制策略可以有效獲取形狀規(guī)則、大小適中的儀表高清圖片，四足機(jī)器人進(jìn)行50次SLAM導(dǎo)航，統(tǒng)計有無控制策略前后檢測框面積大小在整個圖片中的面積占比和運(yùn)動控制調(diào)節(jié)次數(shù)。本文中，d是平移后的位置坐標(biāo)與上一個位置坐標(biāo)之間的歐氏距離；最終經(jīng)過大量實驗，閾值α取4.4 cm，平移速度ν取0.1 m/s，該速度是四足機(jī)器人移動的最低線速度。

圖10表明，在無控制策略時，四足機(jī)器人獲得的儀表檢測框面積占比基本都小于有控制策略情況下的面積占比，且完全取決于SLAM定位誤差。圖11展示了S=18 000像素單位和S=19 000像素單位時四足機(jī)器人儀表數(shù)字識別時調(diào)節(jié)的次數(shù)，平均調(diào)節(jié)次數(shù)分別為7.36和9.6。

接下來采用ACE算法和EAST算法進(jìn)行100次實驗，收集100張圖片，共400個數(shù)據(jù)，統(tǒng)計并對比四足機(jī)器人有無控制策略前后識別儀表數(shù)字的效果，結(jié)果見表1所列。四足機(jī)器人在無控制策略情況下，通過SLAM控制到達(dá)目標(biāo)儀表前面進(jìn)行數(shù)字識別，此時獲得圖片的清晰度是隨機(jī)的，取決于剛開始記錄的任務(wù)點(diǎn)位置和導(dǎo)航定位誤差，其中96%為無效識別；在有識別結(jié)果的圖片中，其結(jié)果個數(shù)最多為1，正確率僅為1.75%。

在有控制策略情況下，無效識別的情況得到了極大改善。表1的結(jié)果表明，S=18 000像素單位時的情況相比無控制策略的無效識別率降低了91%，數(shù)字識別正確率提高到了89%；進(jìn)一步提高S到19 000像素單位，數(shù)字識別正確率提高到93%。結(jié)合圖11可知，后者通過犧牲少許的調(diào)節(jié)次數(shù)來換取高水平的數(shù)字識別準(zhǔn)確率，前者卻無法保證較高的數(shù)字識別水平。如果繼續(xù)提高S的閾值，會使得調(diào)節(jié)次數(shù)陡增，detect_area的閾值S取19 000像素單位是由大量實驗測試獲得的最佳取值。實驗結(jié)果驗證了本文控制策略的有效性，表明四足機(jī)器人在該控制策略下使得無效識別率大幅度降低，提高了識別正確率。

5.2 四足機(jī)器人的圖像色彩增強(qiáng)算法驗證

該部分實驗分別使用ACE算法和改進(jìn)ACE算法計算一張1 152 648的原圖經(jīng)過圖像切割后的運(yùn)行時間，進(jìn)行100次計算。

見表2所列，改進(jìn)的ACE算法比ACE算法的運(yùn)行時間要短，最大運(yùn)行時間節(jié)省2.401 s，最小運(yùn)行時間節(jié)省2.274 s，平均運(yùn)行時間節(jié)省2.259 s，運(yùn)行效率平均提高了89.71%。

采用ACE算法和改進(jìn)的ACE算法對切割后的儀表表盤進(jìn)行圖像增強(qiáng)，結(jié)果如圖12所示，可以明顯看出改進(jìn)ACE算法使得數(shù)字圖像色彩變得更均衡，圖像更清晰。

接下來采用EAST算法在S=19 000像素單位下進(jìn)行100次實驗，共收集400個數(shù)據(jù)，統(tǒng)計并對比四足機(jī)器人在改進(jìn)ACE算法前后識別儀表數(shù)字的效果，結(jié)果見表3所列。改進(jìn)ACE算法能夠提高收集到圖片的清晰度，降低錯誤識別數(shù)和無效識別數(shù)，錯誤識別率從3.75%降低到2.25%，無效識別率從3.25%降到2%?？梢钥闯?，改進(jìn)ACE算法有效地改善了四足機(jī)器人在儀表數(shù)字識別過程中出現(xiàn)的數(shù)字區(qū)域明暗不一的問題。

5.3 改善四足機(jī)器人數(shù)字漏檢實驗驗證

針對儀表數(shù)字識別存在儀表數(shù)字漏檢情況，本文對EAST算法的檢測網(wǎng)絡(luò)進(jìn)行改進(jìn)，提高對小感受野的關(guān)注度，優(yōu)化檢測效果。改進(jìn)EAST算法對儀表數(shù)字識別的效果如圖13所示。

該部分在S=19 000像素單位和改進(jìn)EAST算法下進(jìn)行了100次實驗，共收集400個數(shù)據(jù)，統(tǒng)計并對比四足機(jī)器人在改進(jìn)文本檢測算法前后識別儀表數(shù)字的效果，結(jié)果見表4所列。四足機(jī)器人在進(jìn)行儀表四個參數(shù)識別時，由于紅色功率數(shù)字的明度與黑色儀表表盤的明度最為接近，導(dǎo)致紅色的功率數(shù)字漏檢的次數(shù)最多。在改進(jìn)EAST算法下，四足機(jī)器人儀表數(shù)字識別正確率提高到97.75%，無效識別率從2%降低到0.25%。

6 結(jié) 語

目前，有關(guān)數(shù)字識別的工作主要集中在圖像采集、圖像處理以及識別算法上，而對于四足機(jī)器人在工業(yè)現(xiàn)場實時控制的應(yīng)用則甚少涉及。本文提出一種結(jié)合移動機(jī)器人運(yùn)動的工業(yè)儀表數(shù)字識別方法，并在基于四足機(jī)器人的工業(yè)巡檢實驗平臺中進(jìn)行了驗證。實驗結(jié)果表明，上述方法能夠有效提升工業(yè)儀表數(shù)字識別的正確率，為四足機(jī)器人在工業(yè)儀表巡檢中的應(yīng)用提供重要的參考。

參考文獻(xiàn)

[1]孟健，劉進(jìn)長，榮學(xué)文，等.四足機(jī)器人發(fā)展現(xiàn)狀與展望[J].科技導(dǎo)報，2015，33（21）：59-63.

[2]張偉，譚文浩，李貽斌.基于深度強(qiáng)化學(xué)習(xí)的四足機(jī)器人運(yùn)動控制發(fā)展現(xiàn)狀與展望[J].山東大學(xué)學(xué)報（醫(yī)學(xué)版），2020，58（8）：61-66.

[3]朱秋國.淺談四足機(jī)器人的發(fā)展歷史、現(xiàn)狀與未來[J].杭州科技，2017，47（2）：47-50.

[4]張帥帥.復(fù)雜地形環(huán)境中四足機(jī)器人行走方法研究[D].濟(jì)南：山東大學(xué)，2016.

[5]唐賢敏，石云輝.電能計量自動抄表技術(shù)的現(xiàn)狀與展望[J].中國新通信，2018，20（20）：224.

[6]封磊.基于機(jī)器視覺的工業(yè)儀表自動讀數(shù)方法研究[D].太原：太原科技大學(xué)，2021.

[7] YANG X D，HUANG Y Z，LI J G，et al. Research status review of robots applied in substations for equipment inspection [J]. Shandong electric power，2015，42（1）：30-33.

[8]徐明輝.用于儀表位置尋找的自主導(dǎo)航機(jī)器人研究[D].西安：西安理工大學(xué)，2021.

[9]施會斌.變電站巡檢機(jī)器人自動抄表研究[D].成都：西南交通大學(xué)，2021.

[10]何配林.基于深度學(xué)習(xí)的工業(yè)儀表識別讀數(shù)算法研究及應(yīng)用[D].成都：電子科技大學(xué)，2020.

[11]肖志云，李新科，軒波，等.對數(shù)域中自動色彩均衡化快速算法

[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2013，25（3）：390-396.

[12] SHI B，BAI X，YAO C. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition [J]. IEEE transactions on pattern analysis and machine intelligence，2017，39（11）：2298-2304.

[13]趙開開，劉兆祥，廉士國.基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的指針式儀表遠(yuǎn)程讀數(shù)方法和系統(tǒng)[J].電力大數(shù)據(jù)，2021，24（8）：25-32.

[14] ZHOU X，YAO C，WEN H，et al. EAST：an efficient and accurate scene text detector [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA：IEEE，2017：5551-5560.

作者簡介：簡榮貴（1997—），男，碩士研究生，研究方向為四足機(jī)器人。

陳 康（1974—），男，副教授，研究方向為電機(jī)與IC設(shè)計。

徐哲壯（1984—），男，教授，研究方向為工業(yè)物聯(lián)網(wǎng)與大數(shù)據(jù)。