趙科毅,張黎明,任書楠,徐善軍,杜婧
(1.北京國電富通科技發(fā)展有限責(zé)任公司,北京 100070;2.國網(wǎng)電力科學(xué)研究院有限公司,南京 211106;3.國網(wǎng)天津市電力公司,天津 300010)
近年來,為了提升作業(yè)效率降低作業(yè)風(fēng)險(xiǎn),電力作業(yè)機(jī)器人逐漸替代電力工人,完成各種電力作業(yè)任務(wù)[1~5]。在作業(yè)過程中,機(jī)器人需要準(zhǔn)確檢測環(huán)境中的作業(yè)目標(biāo)。為此,機(jī)器人需要配備相應(yīng)的傳感器用于感知作業(yè)環(huán)境,例如單目相機(jī)[6],RGB-D相機(jī)[7]以及三維激光雷達(dá)[8,9]等。相較于視覺傳感器,三維激光雷達(dá)能夠大范圍、高精度地獲取周圍環(huán)境的深度信息,且對光照變化較為魯棒,在黑暗環(huán)境以及強(qiáng)日照下也能夠完成正常作業(yè),因此成為電力作業(yè)機(jī)器人的主要傳感器。相較單線與多線機(jī)械旋轉(zhuǎn)式激光雷達(dá),固態(tài)激光雷達(dá)具有更高的點(diǎn)云密度與視場覆蓋率,更適合電力作業(yè)機(jī)器人對作業(yè)環(huán)境以及作業(yè)目標(biāo)的檢測。
在電力系統(tǒng)的作業(yè)環(huán)境中,電力設(shè)備種類豐富,其中絕緣子是一項(xiàng)重要的檢測目標(biāo),在配電、變電、輸電場景中均有涉及。針對絕緣子的檢測,已有多位國內(nèi)外的學(xué)者進(jìn)行了研究。文獻(xiàn)[10]使用點(diǎn)云分割方法分割變電站3D點(diǎn)云,并利用點(diǎn)云主成分分析(PCA)與目標(biāo)電力設(shè)備特征比對,成功從3D點(diǎn)云中提取出電線桿,變壓器,絕緣子等物體。文獻(xiàn)[11]首先利用點(diǎn)云的主方向分割環(huán)境點(diǎn)云,而后通過先驗(yàn)的絕緣子幾何特征匹配點(diǎn)云片段,完成變電站內(nèi)的絕緣子檢測。此兩項(xiàng)研究中的3D點(diǎn)云數(shù)據(jù)為使用激光雷達(dá)在不同位置對環(huán)境進(jìn)行多次掃描后的合成點(diǎn)云,其中絕緣子以及其他電力設(shè)備的點(diǎn)云較為完整,可以直觀地反映出其結(jié)構(gòu)特征。文獻(xiàn)[12]和文獻(xiàn)[13]提出了利用深度學(xué)習(xí)的方法,通過RCNN神經(jīng)網(wǎng)絡(luò)識(shí)別巡檢圖像中的絕緣子?;趫D像的絕緣子識(shí)別方法常應(yīng)用于電力巡檢任務(wù),無法有效的提取處絕緣子在空間中的位姿信息。
在電力作業(yè)機(jī)器人對絕緣子目標(biāo)進(jìn)行作業(yè)的過程中,機(jī)器人的移動(dòng)受到作業(yè)環(huán)境的限制,只能從單一的視角獲取點(diǎn)云,只可以采集到絕緣子的部分邊緣,且受位置與光照條件的影響,每個(gè)絕緣子被掃描到的表面點(diǎn)云都有所不同。針對此種點(diǎn)云數(shù)據(jù)的特點(diǎn),基于完整形狀特征提取的3D點(diǎn)云匹配方法并不適用。因此本文在點(diǎn)云中僅包含部分絕緣子特征的條件上,提出了一種基于特征提取在點(diǎn)云中檢測定位絕緣子的方法。首先使用聚類方法提取出每一片絕緣子的表面點(diǎn)云,再通過計(jì)算其幾何特征值并與待檢測絕緣子參數(shù)進(jìn)行比對篩選出有效結(jié)果。經(jīng)過實(shí)驗(yàn)驗(yàn)證,該方法可以準(zhǔn)確的從激光雷達(dá)點(diǎn)云中定位待作業(yè)絕緣子位姿。
經(jīng)過對點(diǎn)云數(shù)據(jù)的觀察分析,提出一系列處理方法在激光雷達(dá)點(diǎn)云中進(jìn)行絕緣子檢測定位,如圖1所示,主要分為以下四個(gè)步驟:點(diǎn)云預(yù)處理、絕緣子片聚類、絕緣子片特征計(jì)算、絕緣子片篩選。點(diǎn)云預(yù)處理步驟主要作用為提取興趣區(qū)(ROI)并去除掃描過程中產(chǎn)生的噪點(diǎn),絕緣子片聚類步驟的主要作用為在絕緣子串點(diǎn)云中分離出各個(gè)絕緣子片的點(diǎn)云,絕緣子片特征計(jì)算步驟計(jì)算出每一組絕緣子片點(diǎn)云的幾何特征,最后依據(jù)絕緣子的結(jié)構(gòu)特點(diǎn)篩選出符合條件的絕緣子點(diǎn)云并得到其在激光雷達(dá)坐標(biāo)系下的位姿。
圖1 絕緣子檢測定位步驟
依據(jù)機(jī)器人的工作區(qū)域進(jìn)行ROI提取可以裁剪掉大量遠(yuǎn)距離無效點(diǎn)云,大大減少后續(xù)的點(diǎn)云處理計(jì)算量。由于固態(tài)激光雷達(dá)的工作原理,為了達(dá)到理想的掃描覆蓋率,需要對掃描幀進(jìn)行長時(shí)間的積分,因此最終的點(diǎn)云中尤其是掃描中心區(qū)域會(huì)有大量的重復(fù)點(diǎn)。使用PCL庫中的體素過濾的方法處理點(diǎn)云,去除實(shí)體物體上的重復(fù)點(diǎn)。再通過歐式聚類以及外點(diǎn)去除的方法,去除絕緣子串邊緣的噪點(diǎn)。如圖2(a)所示,展示了固態(tài)激光雷達(dá)掃描積分后得到的原始點(diǎn)云,圖2(b)為經(jīng)過點(diǎn)云預(yù)處理后的點(diǎn)云可視化結(jié)果,可見點(diǎn)云預(yù)處理步驟可以將絕大部分掃描噪點(diǎn)去除,僅保留待檢測的絕緣子串部分點(diǎn)云。
圖2 點(diǎn)云預(yù)處理
由于在電力作業(yè)過程中,激光雷達(dá)僅能從單一視角掃描絕緣子串,因此點(diǎn)云中無法包含絕緣子片的完整形狀。且絕緣子邊緣部分由于反射原因會(huì)有部分噪點(diǎn)影響從點(diǎn)云中分離出各個(gè)絕緣子片點(diǎn)云。使用法向量過濾的方法,保留面向激光雷達(dá)的絕緣子片平面點(diǎn)云,并在此點(diǎn)云的基礎(chǔ)上使用歐式聚類的方法提取出絕緣子片表面點(diǎn)云聚類。具體步驟為,計(jì)算預(yù)處理后點(diǎn)云P1的所有點(diǎn)的法向量N1=i=1,2...s},由于絕緣子串位于激光雷達(dá)前方,所以面向雷達(dá)的表面點(diǎn)云法向量的x分量小于0,篩選后得到點(diǎn)云P1x。通過歐式聚類分離出絕緣子片點(diǎn)云聚類Q1。
絕緣子片點(diǎn)云特征不僅可以用來判斷該點(diǎn)云是否為絕緣子片,也可以得出其在激光雷達(dá)坐標(biāo)系下的位姿。根據(jù)串式絕緣子單片為盤型的結(jié)構(gòu)特點(diǎn),選取點(diǎn)云特征值為邊界擬合圓半徑qr、圓心qc、邊界所在平面法向量→qn,其中擬合圓半徑與平面法向量的計(jì)算需要提取出絕緣子的邊緣點(diǎn)云。
1.3.1 絕緣子邊緣點(diǎn)云提取
由于激光雷達(dá)位于絕緣子串上方,且受到掃描角度的限制,僅能掃描到部分絕緣子片邊緣表面點(diǎn)云,因此僅有點(diǎn)云的上邊界屬于真實(shí)絕緣子的邊緣。因此幾何特征的計(jì)算依賴于提取出絕緣子的邊緣,具體提取步驟為:提取絕緣子點(diǎn)云qi的邊界點(diǎn)云Pqb并投影至YZ平面,以最高點(diǎn)pzmax為種子分別沿Y+和Y-方向生長得到Y(jié)Z平面上的上邊界點(diǎn)云P'qbu,再從原點(diǎn)云Pqb中提取對應(yīng)的點(diǎn)得到上邊界點(diǎn)云Pqbu,如圖3所示。
圖3 絕緣子表面點(diǎn)云與上邊界點(diǎn)云
1.3.2 絕緣子點(diǎn)云特征計(jì)算
使用隨機(jī)采樣一致性(Random Sample Consensus,RANSAC)算法擬合絕緣子邊緣點(diǎn)云Pqbu所在平面,空間平面方程可表示為:
其中(a,b,c)即為該平面的法向量→qn,滿足關(guān)系式:
將Pqbu變換至YZ平面,再以最小二乘法擬合絕緣子邊緣的半徑qr以及圓心qc',最后將qc'變換回邊緣點(diǎn)云所在平面得到絕緣子片點(diǎn)云圓心位置qc。
絕緣子片點(diǎn)云篩選一方面要依據(jù)計(jì)算出的特征參數(shù)篩選出有效的絕緣子片點(diǎn)云,另一方面,根據(jù)絕緣子串兩片為一組的結(jié)構(gòu)特點(diǎn),如圖4所示,提取出距離合適的兩片絕緣子片合并為一組絕緣子。
圖4 目標(biāo)絕緣子
依據(jù)單片絕緣子為盤型的結(jié)構(gòu)特點(diǎn),以及點(diǎn)云為正面表面的數(shù)據(jù)特征,擬定具體的絕緣子片點(diǎn)云篩選條件為:
1)絕緣子點(diǎn)云邊緣半徑qr∈[0.8R,R],R為絕緣子片實(shí)際半徑,
2)以絕緣子圓心qc為中心原點(diǎn),絕緣子直徑2R為長和寬,絕緣子厚度D為深,絕緣子平面法向量為方向建立范圍框,絕緣子點(diǎn)云qi中的點(diǎn)應(yīng)有90%在該范圍框內(nèi),如圖5a所示。
完成篩選后,按照絕緣子圓心qc的X由近及遠(yuǎn)的順序進(jìn)行排序,得到絕緣子片點(diǎn)云簇Q2,并計(jì)算所有絕緣子片的中心位姿Hi,該位姿以從激光雷達(dá)坐標(biāo)系到絕緣子中心坐標(biāo)系變換的齊次矩陣表示,位姿變換的齊次矩陣表示為:
其中位移部分為絕緣子的圓心坐標(biāo)qc,旋轉(zhuǎn)矩陣Ri可以表示為:
遍歷經(jīng)過篩選的絕緣子片點(diǎn)云簇Q2,若相鄰的兩個(gè)絕緣子片點(diǎn)云圓心歐式距離小于閾值,則認(rèn)定該兩片絕緣子為一組絕緣子,并將較近的絕緣子片圓心位姿記為該組絕緣子的位姿,絕緣子片點(diǎn)云合并效果如圖5b所示。
圖5 絕緣子片點(diǎn)云篩選
固態(tài)激光雷達(dá)為機(jī)器人配備的LivoxMid-70,圓形視 場(FOV)為70.4°。實(shí)驗(yàn)環(huán)境包含室內(nèi)場景與室外場景,兩種場景環(huán)境結(jié)構(gòu)大致相同,待檢測絕緣子位于機(jī)器人前方,如圖6所示,但光照條件差異較大。所有實(shí)驗(yàn)均在統(tǒng)一的計(jì)算平臺(tái)下進(jìn)行,CPU型號為i5-8250U,主頻為1.6GHz,內(nèi)存8GB,操作系統(tǒng)為Ubuntu16.04。為了達(dá)到最理想的點(diǎn)云密度與視場覆蓋率,掃描積分時(shí)間為3s。室內(nèi)與室外環(huán)境下分別采集測試點(diǎn)云20幀。
圖6 作業(yè)場景示意圖
2.2.1 算法對比
為了驗(yàn)證本文檢測方法的有效性,將其與兩種傳統(tǒng)的在3D點(diǎn)云中進(jìn)行物體檢測的算法進(jìn)行對比。其中,對比算法包括基于對應(yīng)分組的絕緣子檢測ID-CG(Insulator Detection based on Correspondence Grouping)[14]和基于正態(tài)分布配準(zhǔn)的絕緣子檢測ID-NDT(Insulator Detection based on Normal-Distributions Transform Registration)[15]。兩種檢測算法均以模板匹配為基礎(chǔ),ID-CG使用3D描述符進(jìn)行點(diǎn)對點(diǎn)匹配得到當(dāng)前場景中存在的模型實(shí)例及其6D位姿,ID-NDT則基于模板點(diǎn)云與目標(biāo)點(diǎn)云整體正態(tài)分布優(yōu)化匹配結(jié)果。由于實(shí)際掃描點(diǎn)云中得到的絕緣子局部點(diǎn)云形態(tài)各異,無法使用絕緣子模型作為模板,因此兩種物體檢測算法所參考的模板為從測試點(diǎn)云中人工選取的絕緣子外形較為完整的點(diǎn)云。同時(shí)掃描點(diǎn)云中存在多個(gè)絕緣子且距離較近,為了達(dá)到最優(yōu)的模板匹配效果,目標(biāo)點(diǎn)云為步驟2.2聚類后的各個(gè)絕緣子片點(diǎn)云。
對比結(jié)果如表1所示,基于模板匹配的物體檢測算法的表現(xiàn)均不夠理想。ID-CG算法在匹配時(shí)依賴模板與目標(biāo)點(diǎn)云的3D描述因子,當(dāng)目標(biāo)點(diǎn)云與模板點(diǎn)云形狀、密度差異較大時(shí),無法完成匹配,因此召回率較低(圖7a)。而IDNDT算法同樣也存在模板點(diǎn)云與目標(biāo)點(diǎn)云形態(tài)差異過大時(shí)會(huì)導(dǎo)致的匹配誤差較大(圖7b),同時(shí)由于目標(biāo)點(diǎn)云的尺寸較小,所以在誤差較大的情況下依然達(dá)到了NDT的收斂條件,并且該算法在此次實(shí)驗(yàn)的計(jì)算平臺(tái)運(yùn)行十分緩慢。本文提出的絕緣子特征計(jì)算方法則在準(zhǔn)確率(圖7c)與運(yùn)行速度上更加適宜應(yīng)用環(huán)境,可以滿足機(jī)器人作業(yè)所需的實(shí)時(shí)性需求。
表1 絕緣子檢測算法比對
圖7 算法比對結(jié)果
2.2.2 室內(nèi)外檢測實(shí)驗(yàn)
在室內(nèi)與室外的實(shí)驗(yàn)結(jié)果如表2所示,絕緣子檢測的算法運(yùn)行較為穩(wěn)定(圖8)。受室內(nèi)外光照條件以及絕緣子與機(jī)器人相對位置關(guān)系的影響,隨著距離的增加,絕緣子點(diǎn)云的密度越來越低,且會(huì)有更多的絕緣子表面收到遮擋,因此距離稍遠(yuǎn)處的絕緣子點(diǎn)云召回率較低。在實(shí)際應(yīng)用中,由于遠(yuǎn)處絕緣子距離超出機(jī)器人作業(yè)范圍,因此影響不大。對機(jī)器人作業(yè)更為關(guān)鍵的距離較近的絕緣子,檢測比較穩(wěn)定。由于在實(shí)際作業(yè)中,準(zhǔn)確率會(huì)比召回率的優(yōu)先級更高,因此在進(jìn)行算法實(shí)踐的時(shí)候犧牲了一部分召回率以保證高準(zhǔn)確率。
圖8 絕緣子檢測實(shí)驗(yàn)
表2 絕緣子檢測實(shí)驗(yàn)結(jié)果
針對電力機(jī)器人作業(yè)中面臨的在單一視角激光雷達(dá)點(diǎn)云中檢測定位絕緣子的問題,本文提出了一種基于特征提取在點(diǎn)云中檢測定位絕緣子的方法。首先使用聚類的方法提取出每一片絕緣子的表面點(diǎn)云,再通過計(jì)算其幾何特征值并與待檢測絕緣子參數(shù)進(jìn)行比對篩選出有效結(jié)果。經(jīng)過室內(nèi)與室外環(huán)境的實(shí)驗(yàn)驗(yàn)證,本文提出的方法可在算力相對較低的平臺(tái)上完成檢測,并滿足電力作業(yè)需求的有效性與實(shí)時(shí)性,相較于傳統(tǒng)的模板匹配算法更具有實(shí)用性。在未來的研究中,隨著作業(yè)數(shù)據(jù)的不斷積累,可考慮在電力機(jī)器人算力前提下,融入機(jī)器學(xué)習(xí)的手段來增強(qiáng)識(shí)別算法的魯棒性。