李聰利，徐善軍，任書楠*，李 崧，劉勝軍

（1.國網(wǎng)天津市電力公司，天津 300010；2.北京國電富通科技發(fā)展有限責任公司，北京 100070；3.國網(wǎng)電力科學研究院有限公司，南京 211106）

0 引言

電力機器人技術對于提升電力系統(tǒng)自動化運維水平具有重要意義，目前已在輸電、變電、配電、用電等領域取得積極進展。為實現(xiàn)電力機器人自主化作業(yè)，其對作業(yè)目標位姿的精準定位則顯得尤為重要?？紤]到電力作業(yè)場景對感知定位系統(tǒng)要求的相似性，即具有全天候、室外工作、精準感知定位能力的特點，本文以用電環(huán)節(jié)中的自動充電機器人為例開展論述，相關結論亦可推廣至其他領域。自動充電是電動汽車未來大面積推廣應用的關鍵技術。為適應的電動汽車的自動化、智能化、無人化的發(fā)展趨勢，電動汽車配套相關的基礎設施的智能化也受到電動汽車研究機構廣泛關注，而作為電動汽車的能源補給的充電裝置，發(fā)揮著至關重要的作用。為了能夠更加快速、便捷的給電動汽車充電，智能化的全自主充電技術是大勢所趨，全自主充電要求充電機器人能夠跟車輛配合，在不需要人工干預下，自主完成充電作業(yè)，其中對充電口所在位置和空間姿態(tài)的檢測則是整個自動充電技術中的核心步驟。

當前普遍研究的電動汽車充電口的定位技術，大都是以充電口的結構特點為基礎，通過直流充電口或者交流充電口進行橢圓檢測，來實現(xiàn)充電口的精準定位[1～14]。但由于橢圓檢測方法語義模糊的特點，在針對具有同心圓特征的充電孔檢測時，容易出現(xiàn)內(nèi)外圓混淆問題。同時，基于單目攝像機的充電口檢測方法，往往由于尺度問題，當檢出橢圓存在誤差時，往往無法確定檢出該橢圓是內(nèi)圓還是外圓，導致在實際應用中，算法的魯棒性較差。部分檢測算法不對充電孔進行細粒度區(qū)分，忽略了充電孔之間的形狀約束，造成精度降級。

本文將雙目相機引入到充電口檢測應用中，提出基于雙目視覺的電動汽車充電口三維定位方法，使用雙目視覺的對極幾何約束，提取雙目圖像中語義唯一的充電孔中心點作為特征，對充電孔之間的三維形狀先驗進行精確建模，顯著的提高了算法的定位精度和魯棒性。

本文的創(chuàng)新貢獻包括：1）提出了一種基于雙目視覺的電動汽車充電口三維定位方法，通過在雙目圖像中充電口特征點的檢測，實現(xiàn)對充電口三維位置的感知；2）利用直流快充型充電口三維結構先驗進行建模，并利用ICP算法，將感知到的充電口關鍵點與先驗結構關鍵點進行配準，實現(xiàn)對充電口三維姿態(tài)的精確估計；3）通過采集雙目充電口數(shù)據(jù)進行檢測精度實驗，驗證本文方法的精確性和魯棒性。

1 相關研究

1.1 充電口檢測方法

充電口檢測是一種典型的視覺目標檢測問題，當前有兩類較為典型的求解方法，分別是基于圖像灰度值的方法、基于特征點的方法等?；趫D像灰度值的檢測方法[1]，以滑窗在待檢圖像上與模板圖像進行匹配，進而輸出檢測結果，該類方法對光照很敏感，且在處理目標部分遮擋問題上存在不足。而基于特征點的充電口檢測方法[2]，首先根據(jù)目標的表觀特點提取圖像特征，包括利用SIFT特征[5]，以及利用SURF特征[6]等，并用算法迭代對特征點進行匹配，進而優(yōu)化求解這些匹配特征點之間的最優(yōu)匹配關系，這類方法對光照和部分遮擋不敏感，但在充電口實際檢測處理過程中，特征點的定義與描述依據(jù)人工經(jīng)驗，往往存在主觀感受的偏差，因而檢測失敗率依然較高，且特征點計算量過大，影響算法實時性?；谏疃葘W習的檢測方法[3,4]，魯棒性較好，但是需要采集大量的實物圖片并進行標注，前期準備工作量大，同時對于沒有針對性設計的檢測網(wǎng)絡，算法穩(wěn)定性不好保證。

1.2 基于橢圓檢測的充電口定位方法

基于橢圓檢測的充電口定位方法，是屬于基于人工設計特征點的視覺檢測方法，該類方法依據(jù)設計人員對充電口的感受，將橢圓作為檢測的表觀特征，進而利用算法對充電口進行自動檢測。文獻[7]使用Halcon中的模板匹配方法直接匹配圖像中的充電孔橢圓形位置，當充電口姿態(tài)存在較大偏移時，會因為各種圖像形變導致檢測困難，進而造成匹配誤差較大?；舴蜃儞Q是一種形狀檢測的常用方法，文獻[8～10]中，基于霍夫變換的橢圓檢測利用霍夫變換將圖像空間向參數(shù)空間映射完成橢圓檢測，但是這種方法參數(shù)高達5維，計算量大的原因導致不適合實時在線的充電口檢測。文獻[11]提出一種定位精度達到亞像素級的改進方法，降低了隨機霍夫變換的無效采樣。文獻[12]對霍夫變換參數(shù)空間的計算進行了優(yōu)化，但是這一類算法無法避免計算量大，耗時長的先天缺陷。進一步，研究者們將用點來擬合橢圓，提升為從曲線弧的角度擬合橢圓。文獻[13]先檢測目標輪廓，再利用輪廓尋找連續(xù)區(qū)域的方法去檢測橢圓弧，文獻[14]提出基于不變特征數(shù)的橢圓弧段檢測，進而選擇合適橢圓弧段來擬合橢圓。文獻[15]更加詳細地提出了一種基于分割曲線弧段的方法，通過判斷邊緣是否相鄰，連接相鄰邊緣組成有效弧段，進而產(chǎn)生橢圓檢測結果。文獻[16]提出結合差分函數(shù)與因子矩陣的橢圓檢測方法，該方法加強邊緣的信息檢測精度，但會擬合出大量的假橢圓，造成性能降級。文獻[17]提出基于快速聚類有效弧段的橢圓檢測方法，通過有效弧段參數(shù)擬合獲得橢圓，但該類方法在低光照或不理想位置條件下，檢測性能較差。

1.3 基于關鍵點的檢測方法

本文提出了基于2D-3D關鍵點的充電口檢測方法。關鍵點檢測是計算機視覺中的經(jīng)典問題，已經(jīng)在人臉識別系統(tǒng)中被廣泛應用。當前關鍵點檢測方法大致分為兩類，分別是基于形狀、外觀模型的傳統(tǒng)方法[18～20]和基于深度學習的方法[21～23]。ASM(Active Shape Model)[18]是由Cootes于1995年提出的經(jīng)典的人臉關鍵點檢測算法，主動形狀模型即通過形狀模型對目標物體進行抽象，ASM是一種基于點分布模型（PDM）的算法。在PDM中，外形相似的物體，例如人臉、人手、心臟、肺部等的幾何形狀可以通過若干關鍵點的坐標依次串聯(lián)形成一個形狀向量來表示。ASM算法需要通過人工標定的方法先標定訓練集，經(jīng)過訓練獲得形狀模型，再通過關鍵點的匹配實現(xiàn)特定物體的匹配。AAM[19,20]在ASM進行改進，不僅采用形狀約束，而且又加入整個臉部區(qū)域的紋理特征。Zhang等人提出一種多任務級聯(lián)卷積神經(jīng)網(wǎng)絡[21]用以同時處理人臉檢測和人臉關鍵點定位問題，但是此類基于深度學習的方法[22,23]不僅計算復雜，而且需要標注大量的訓練數(shù)據(jù)。

2 本文方法

針對當前充電口檢測與定位方法的局限性，本文提出了基于雙目視覺的電動汽車充電口三維定位方法。方法的整體流程如下：

第一步，對輸入的雙目圖像進行預處理和雙目校正，使得校正后雙目圖像垂直方向視差為零，水平方向視差完全由目標的深度決定。

第二步，對輸入雙目圖像分別提取充電口在圖像坐標系下的2D位置信息，提取方法為，先提取圖像中的邊緣輪廓，在物體邊緣輪廓圖上識別充電口的初始位置；而后提取邊緣梯度特征，利用該特征進行充電口模板匹配，并將充電口圖像塊裁剪出來；最后基于充電口圖像塊進行定位，定位算法初始化各充電孔中心點位置，然后利用充電孔中心約束求解2D中心點精確位置。

第三步，根據(jù)立體匹配原理計算出雙目圖像中對應點的3D空間位置，同時，利用ICP算法將其與充電口3D先驗模型進行匹配，獲得高精度的充電口位姿。整體流程圖如圖1所示。

圖1 充電口檢測與定位流程

2.1 雙目圖像預處理

本文提出使用雙目圖像檢測充電口的精確位姿，因而應首先對雙目圖像依據(jù)標定參數(shù)進行矯正、去畸變和降噪等預處理操作。通過上述操作，得到標準的雙目視覺圖像。本文標準雙目圖像中，垂直方向視差為零，水平方向視差完全由目標的深度決定，可根據(jù)水平方向視差，精確計算得到目標像素的精確三維位置。

2.1.1 雙目圖像矯正

通過雙目相機標定的程序，可以獲取了雙目相機系統(tǒng)中，兩個攝像機各自的內(nèi)參矩陣和畸變系數(shù)，以及兩個相機旋轉到平行時各自的旋轉矩陣。實際操作中，Opencv和MATLAB都提供了雙目標定工具箱，利用標定數(shù)據(jù)，可進行去畸變或者雙目平行校正。本文采用的去畸變的程序和雙目平行校正方法如下：

去畸變的過程就是針對單目相機進行的變換，主要用來去除相機因光學參數(shù)不精確造成圖像存在的徑向和切向畸變，而平行校正就是針對雙目相機系統(tǒng)的操作，使得校正后圖像只存在水平方向視差。單目相機內(nèi)參標定可參閱相關文獻。在雙目標定中，需要構建一個兩個相機共同的理想內(nèi)參矩陣。

雙目攝像機通過各自的旋轉投影矩陣，將其二者產(chǎn)生的圖像變換到理想內(nèi)參矩陣建模的圖像中，即得到水平校正后的雙目圖像，校正方法為：1）分別將兩個圖像的像素坐標系通過共同的內(nèi)參矩陣轉換到相機坐標系；2）分別對兩個相機坐標系進行旋轉得到新的相機坐標系，通過左乘旋轉矩陣R1和R2，其中R1，R2為雙目攝像機各自的旋轉投影矩陣；3）針對新的相機坐標分別進行左、右相機的去畸變操作；4）去畸變操作結束后，分別用左、右相機的內(nèi)參矩陣將左、右兩個相機坐標系重新轉換到左、右圖像像素坐標系；5）并分別用左、右源圖像的像素值對新左、右圖像的像素點進行插值。

2.1.2 圖像預處理與邊緣提取

實際環(huán)境中，由于光照變換、背景復雜，拍攝的充電口雙目圖像有大量的噪聲，顯著降低檢測算法性能。因而需要對輸入圖像進行去噪處理，并提取圖像封閉輪廓，本節(jié)主要包括圖像濾波和Sobel邊緣提取。

濾波操作去除圖像中的噪聲，減少環(huán)境噪聲對后續(xù)圖像數(shù)據(jù)處理的影響，由于灰度圖像有利于提取圖像梯度，本文首先將輸入圖像灰度化，再使用高斯濾波來去除圖像噪聲。具體操作是：用一個高斯卷積核與圖像中的每一個像素做卷積，以卷積核覆蓋的鄰域內(nèi)像素的加權平均灰度值取代中心像素點的值，過濾后的圖像為I(x，y)。

為提取出圖像中包含充電口區(qū)域的輪廓，首先對圖像進行邊緣提取。圖像邊緣指圖像像素值突變的地方，通常是通過該像素鄰域的梯度信息進行判斷，其目標是能夠完整地提取圖像中的所有目標輪廓的邊緣位置。由于獲取的邊緣在圖像可作為顯著性特征，因而邊緣提取后，圖像背景將變得單一，有利于后續(xù)目標檢測。本文使用Sobel算子提取雙目圖像的一階梯度信息，進而對雙目圖像分別分割出圖像邊緣。

Sobel邊緣提取算法通過2個卷積核與輸入圖像不斷進行卷積運算，獲得像素i在x方向和y方向上的梯度值和，從而計算出像素梯度值Gi及梯度方向ai，計算方法見式(1)～式(4)。

2.2 基于形狀結構特征的充電口檢測方法

2.2.1 梯度一致性的充電口視覺檢測方法

在獲取目標物體的邊緣輪廓雙目圖像后，本文提出基于梯度一致性的充電口視覺檢測方法，該方法使用對物體邊緣的梯度及梯度方向進行特征匹配，構建基于圓弧特征的目標檢測器。檢測器的構建過程分為訓練和驗證兩個階段。

訓練階段：輸入模板圖像如圖2所示，為適應不同距離和角度情況下對充電口的檢測要求，本文對模板圖像進行多尺度旋轉和縮放，從而建立以圖像旋轉角度、縮放尺度和模板特圖像梯度信息為變量的充電口模板特征庫。

圖2 充電口模板

驗證階段：輸入為經(jīng)過邊緣輪廓提取的充電口雙目圖像。驗證過程中，通過檢測器分別提取雙目圖像的全局梯度信息，然后使用特征庫中的模板特征在輸入圖像上進行滑窗搜索，計算模板特征與對應位置的梯度特征之間的余弦相似度矩陣，得到相似度矩陣中最大值對應的模板信息，并輸出充電口位置。

2.2.2 基于橢圓中心點的二維充電孔中心定位方法

當前基于橢圓檢測的充電口定位方法，因考慮透視成像問題，將充電孔建模成橢圓形狀，利用檢測橢圓技術確定橢圓的邊緣，然后利用橢圓邊緣的2D精確坐標和各種3D-2D投影約束，來解算充電孔的三維位置。該類方法有兩個問題，首先，充電孔的物理結構導致其有兩個同心圓結構，當檢測算法不能魯棒檢測出兩個圓時（或多或少），就無法判斷檢測出的是內(nèi)圓或者外圓，導致利用橢圓邊緣的算法不穩(wěn)定；同時，這些方法只利用了充電孔自身的幾何特性，并沒有對充電孔位之間的幾何關系進行顯示建模。

本文提出基于橢圓中心點及其幾何關聯(lián)的充電孔定位方法，直接預測每個充電孔橢圓的圓心，雖然橢圓圓心本質(zhì)上并不存在，沒有物理實體，但因為其是多個同心圓共同的圓心，當檢測算法檢出多個圓形時，可以很方便的進行融合，提升系統(tǒng)的魯棒性。同時，本文使用預建充電口模型描述充電孔各特征之間的幾何約束，確保了檢測算法的魯棒性。本文方法主要包括2個步驟：1）構建基于橢圓圓心的充電口形狀模型，然后對充電口形狀模型中每個充電孔中心鄰域位置上進行搜索匹配，得到概率響應圖；2）以概率響應圖中極值點作為候選點，并根據(jù)充電孔幾何關聯(lián)，計算各中心點的位置。

2.3 基于形狀先驗的充電口三維位姿估計

2.3.1 三維充電口形狀模型構建

本文提出向量化的三維充電口幾何表征，將充電口關鍵特征點的坐標依次串聯(lián)形成一個形狀向量來表示。向量化的三維幾何表征能夠適應于高效矩陣運算，方便后續(xù)充電口的檢測和配準操作。具體表征如下：

圖3 直流快充充電口特征點分布

本文采集了M個三維直流快充充電口圖像，充電口包含9個特征孔，如圖3所示，將9個充電孔同心圓的圓心作為特征點，每個特征點的坐標為，(xk,yk,zk)，k∈[1,9]因此充電口三維形狀特征向量表示為：

為去除M個三維直流快充口的個體偏差，本文將M個充電口求平均得到充電口的標準三維形狀，計算方法為：

其中，表示第i個充電口對應的充電口形狀向量。

考慮圖像中充電口形狀受到旋轉、縮放和平移的影響，本文提出充電口形狀模型變形函數(shù)，如式(7)所示。

θ={s,R,t,q}為表示縮放、旋轉、平移和主成分權重的參數(shù)向量；

x-表示充電口形狀的平均特征向量，由式(6)在少量標注的數(shù)據(jù)集中統(tǒng)計獲得；

φ表示形變主成分矩陣，計算方法為：對于數(shù)據(jù)集中每個充電口形狀特征向量減去平均特征向量得到形狀變換矩陣X，均值為0。

對形狀變換矩陣X 進行主成分分析（Principal Component Analysis，PCA），即特征向量P和對應的特征值λ，選擇前K個特征值的特征向量，按列排布組成形變主成分矩陣φ，本文中K選取為動態(tài)閾值，選取為特征值從大到小排列后，總能量超過90%的特征值對應的特征向量。

2.3.2 基于概率圖模型的充電孔三維中心點定位方法

基于雙目圖像的視差信息，可以得到充電孔中心點的三維位置，方法如下，設左目圖像的充電孔中心為，右目圖像的充電孔中心，根據(jù)雙目立體幾何原理，可計算出中心點i的三維坐標：

其中，fx,fy,cx,cy為左目相機的內(nèi)參，di為中心點i的視差。

接下來，本文提出基于概率圖模型的充電孔中心點三維位置回歸方法，該方法分為訓練和驗證兩個階段：

訓練階段，求解所有中心點都匹配最優(yōu)時模型參數(shù)的最大似然估計問題。首先，考慮到充電孔中心點空間位置概率分布是相互獨立的，列出似然函數(shù)如式(11)所示：

式(11)中，左邊為已知匹配點和充電孔三維位置描述時，模型參數(shù)的似然函數(shù)，右邊是對該似然函數(shù)進行條件獨立分解。其中θ為需要求解的參數(shù)，li∈{1,-1}表示特征點i是否為有效匹配點。通過求解上述似然函數(shù)的最大似然估計，從而得到參數(shù)θ，即得到充電孔的最優(yōu)位置估計。

測試階段，以充電口形狀模型為基準建立每個充電孔中心點的初始特征，通過式(12)對特征點三維鄰域進行評分，得到三維評分響應，響應分數(shù)最大值所對應的位置即為充電孔中心空間位置。

2.3.3 基于雙目相機三維信息的充電口位姿估計

本文使用基于隨機采樣一致方法（RANSAC）改進ICP算法，將上式求出的充電孔三維坐標與充電口3D模型進行對應點匹配，計算單應性矩陣，得到充電口在相機坐標系下的位姿。具體如下：

首先，通過反復選擇檢測到的充電口三維位置中的一組隨機子集來與充電口三維先驗進行ICP匹配。被選取的子集被假設為局內(nèi)點，并用下述方法進行驗證：

1）有一個子集適應于預設的充電口三維先驗，即所有的未知位姿參數(shù)都能從該子集計算得出。

2）用1）中得到的位姿模型去測試所有的其它檢測到充電口位置的子集，如果某個點適用于估計的位姿模型，認為它也是局內(nèi)點。

3）如果有足夠多的點被歸類為假設的局內(nèi)點，那么估計的模型就足夠合理。

4）然后，用所有假設的局內(nèi)點去重新估計模型，因為它僅僅被初始的假設局內(nèi)點估計過。

5）最后，通過估計局內(nèi)點與位姿模型的錯誤率來評估模型。

上述過程被重復執(zhí)行多次，本文為50次，根據(jù)錯誤率最小值來得到最終的充電口三維位姿。

3 實驗結果與分析

3.1 充電口檢測實驗結果與分析

為測試基于雙目視覺的電動汽車充電口三維定位方法的準確性和魯棒性，本文收集了300張包含充電口不同位姿不同光照背景的雙目圖像作為測試集，并對比了基于單目檢測方法與本文提出的基于雙目方法在驗證集上的準確率，準確率定義為檢測出的充電口位置包含完整的充電口圖像塊。實驗結果如表1所示。

表1 充電口檢測準確率、誤檢率對比

由表1可知，本文提出的方法檢測準確率在驗證集上，以較大差距超過基于單目的充電口檢測方法，在誤檢率指標上也顯示出較好的性能。

3.2 充電口定位實驗結果與分析

3.2.1 數(shù)據(jù)集構建

為了訓練充電口形狀模型及中心點回歸模型，本文收集并標注了600張包含充電口不同位姿、不同光照背景的圖片作為實驗數(shù)據(jù)集，其中訓練集300張，測試集300張。數(shù)據(jù)集標簽中涵蓋充電孔編號和中心點位置，中心點的位置采用標注圓的圓心位置，減小標注誤差。標注樣例如圖4所示。

圖3 數(shù)據(jù)集標注樣例

3.2.2 評估方法

為了評估提出方法的有效性，本文提出平均絕對距離誤差（MADE）指標對方法的性能進行評估。MADE的計算方法如下：

其中x的量綱為毫米。

3.2.3 實驗結果與分析

本文測試了提出方法在測試集上的平均絕對距離誤差，本文首先對所提方法在預測每個中心點位置的誤差水平進行驗證，測試結果如表2所示。

表2 提出方法對每個充電孔中心的預測誤差

由表2可知，本文提出的方法在預測目標位置時位置誤差MADE均小于1個像素，根據(jù)像素與實際距離的對應關系計算，可以滿足充電口位姿定位精度要求。進一步地，相較于基于橢圓邊緣檢測的方法，本文所提方法性能也有較大提升，對比結果如表3所示。

表3 與基于橢圓檢測的方法對比

由表3可以看出，本文所提方法在定位中心點位置時的誤差顯著低于基于橢圓邊緣檢測的方法，也低于本文方法的單目視覺檢測版本，說明了本文方法的二維定位算法精度更高，同時雙目結構的冗余性帶來進一步的精度提升。

4 結語

充電口檢測定位是電動汽車自動充電中的關鍵性使能技術，充電口檢測定位需要確定充電口高精度的三維位置，來指導充電機器人進行作業(yè)。本文提出了基于雙目視覺的電動汽車充電口三維定位方法，通過使用充電口三維模型建立訓練數(shù)據(jù)并初始化充電孔中心位置，然后通過雙目視覺對極幾何約束得到充電孔中心點的三維位置坐標，并利用ICP方法對中心點位置進一步優(yōu)化，獲得精確的充電口三維位姿信息。實驗結果表明，本文提出的方法提高了充電口定位的準確率和魯棒性，且可應用于電力領域其他作業(yè)目標的檢測定位，具有較強的通用性。