潘高峰，樊淵，汝玉，郭予超

基于點線特征融合的低紋理單目視覺同時定位與地圖構建算法

潘高峰，樊淵，汝玉，郭予超

（安徽大學 電氣工程與自動化學院，合肥 230601）（ ? 通信作者電子郵箱yuanf@ahu.edu.cn）

當圖像因相機快速運動造成模糊或者處在低紋理場景時，僅使用點特征的同步定位與地圖構建（SLAM）算法難以跟蹤提取足夠多的特征點，導致定位精度和匹配魯棒性較差。而如果造成誤匹配，甚至系統(tǒng)都無法工作。針對上述問題，提出了一種基于點線特征融合的低紋理單目SLAM算法。首先，加入了線特征來加強系統(tǒng)穩(wěn)定性，并解決了點特征算法在低紋理場景中提取不足的問題；然后，對點、線特征提取數(shù)量的選擇引入了加權的思想，根據(jù)場景的豐富程度，對點線特征的權重進行了合理分配。所提算法是在低紋理場景下運行的，因而設置以線特征為主、點特征為輔。在TUM室內(nèi)數(shù)據(jù)集上的實驗結果表明，與現(xiàn)有的點線特征算法相比，所提算法有效地提高了線特征的匹配精度，使得軌跡誤差減小了大約9個百分點，也使得特征提取時間減少了30個百分點，使加入的線特征在低紋理場景中發(fā)揮出積極有效的作用，提高了數(shù)據(jù)整體的準確度和可信度。

單目視覺；點線融合；線匹配；低紋理場景；特征加權

0 引言

同時定位與地圖構建（Simultaneous Localization And Mapping， SLAM）是指機器人等主體上搭載特定傳感器，在沒有環(huán)境先驗信息的情況下，在運動整體過程中建立環(huán)境信息的模型，同時估計自己的各種姿態(tài)運動［1］。SLAM主要分為幾個部分：前端-視覺里程計、后端-非線性優(yōu)化、回環(huán)檢測以及地圖構建。視覺里程計用于計算連續(xù)兩幀圖像的位姿變換。由于位姿變換存在誤差，在運動軌跡較長的情況下，具有顯著的累積誤差，因此需要閉環(huán)檢測，又稱回環(huán)檢測（指機器人識別曾到達場景的能力），如果檢測成功，可以顯著地減小累積誤差，那么地圖構建就會更加準確。

隨著SLAM技術的發(fā)展，基于視覺的SLAM算法逐漸成為當今研究的熱點。牛津大學學者采用里程計［2］獲取機器人位姿的先驗信息，從雙目視覺拍攝圖像中提取KLT（Kanade-Lucas-Tomasi）特征點用作地圖特征路標，用卡爾曼濾波算法進行地圖和機器人車輛位姿的同步更新，成功進行了一次小范圍的視覺SLAM實驗。2010年，微軟公司［2］推出了3D傳感器Kinect，憑借其良好的性能和低廉的價格，Kinect在機器人領域得到了廣泛的應用，使用Kinect獲取的圖像、深度作為感知信息的SLAM算法成為主流。其中，德國Freiburg大學［2］提出的基于圖像、深度數(shù)據(jù)流的深度相機（RGB-D）SLAM算法，采用SURF（Speeded-Up Robust Features）特征點進行匹配，發(fā)現(xiàn)存在閉環(huán)時采用Hog-Man算法進行全局優(yōu)化，達到較好的效果。近年來，激光雷達SLAM逐漸發(fā)展起來成為了新興的主流方法。

單目SLAM以單目圖像作為輸入，具有價格低廉、結構緊湊等優(yōu)點，廣泛應用于增強現(xiàn)實、自主車輛導航等多個領域。現(xiàn)有的單目SLAM根據(jù)所使用的信息可分為兩大類：基于特征的方法［3-6］和直接的方法［7-9］?；谔卣鼽c的方法使用提取的特征點來估計相機位姿和3D地圖。在這些方法中，特征點是普遍應用的特征類型。著名的PTAM（Parallel Tracking And Mapping）［3］和ORB-SLAM2（Simultaneous Localization And Mapping based on Oriented FAST and Rotated BRIEF）［4］系統(tǒng)都是基于點特征進行的，并且有較好的表現(xiàn)。ORB-SLAM2是目前開源SLAM算法中最先進的方法之一，相較直接法有更高的精度。然而，ORB-SLAM2在較好的紋理情境下是令人滿意的，如果在低紋理或由于運動模糊等原因導致特征點暫時消失時，算法就容易失敗，而這種情況經(jīng)常在人為的場景中遇到。直接的方法使用所有圖像的光度值而不是特征點，這種方法能夠利用圖像中的所有信息來構建密集或半密集的地圖。但是這種方法犧牲了特征提供的魯棒性和對光度不變性的優(yōu)點，并且直接法的相機定位精度通常低于基于特征點的方法。為了保證精度采用特征點方法，但是特征點在低紋理環(huán)境下難以實現(xiàn)。雖然在低紋理環(huán)境中缺乏可靠的特征點，這些環(huán)境仍然可以使用線特征來代替。

然而，利用線特征并不是一個簡單的任務。首先，現(xiàn)有的線檢測器和參數(shù)化在研究中沒有像點特征那樣有成熟的算法支持。其次，基于直線對應的位姿計算算法比基于點的位姿計算算法可靠性低，且對直線可能出現(xiàn)的局部遮擋非常敏感。這些原因使目前只使用線特征進行SLAM規(guī)劃很難獲得滿意的效果。

為了解決單獨使用點線特征遇到的問題，SLAM系統(tǒng)采用點與線結合的方法［10-12］。與點相比，線段可以提供更多的幾何結構信息，它在低紋理場景中通常是豐富的［13-14］，因此，線特征可以很好地彌補點特征不足的情況，能夠提高基于特征點的SLAM系統(tǒng)的魯棒性和準確性。Pumarola等［10］提出了PL-SLAM（Simultaneous Localization And Mapping based on Points and Lines）系統(tǒng)，這是一種基于點線的單目SLAM系統(tǒng)。PL-SLAM算法提高了基于特征點的SLAM系統(tǒng)的軌跡精度，可以只用直線估計初始地圖。Zuo等［11］使用雙目相機捕捉點和線特征，得到了不錯的效果，并且基于線段檢測器（Line Segment Detector，LSD）［15］和線二進制描述符（Line Binary Descriptor， LBD）［16］方法，提出了一種改進的線段提取和匹配方法。

設計一種基于點線的單目SLAM系統(tǒng)并非易事。首先，加入線特征會給計算機增加較大的計算量；其次，相較于點特征，由于線段端點的不可靠，線特征的匹配存在著難題。因此，本文提出了一種點線特征融合的單目SLAM系統(tǒng)，主要工作如下：

1）本文研究是在低紋理的場景下進行的，如圖1所示，圖1（a）為TUM數(shù)據(jù)集紋理場景，圖1（b）為TUM數(shù)據(jù)集中的低紋理場景。

2）設計了一種基于點線特征融合的SLAM系統(tǒng)。在點的基礎上加入線特征，在低紋理場景中，線段可以彌補點特征提取的不足，進而增加系統(tǒng)的精度和魯棒性。

3）在特征提取過程中加入了加權的思想，即對提取的點線特征進行加權，在固定的低紋理背景下，設計了一種以線特征為主、點特征為輔的點線融合方式。

4）如果在提取過程中連續(xù)幾幀只能檢測到線特征的情況下，就只使用線特征估計出一個近似的初始化地圖。

圖1　TUM數(shù)據(jù)集里的紋理場景和低紋理場景

1 算法中的數(shù)學描述

1.1　空間中點的幾何表示

1.2　空間中線的幾何表示

2 系統(tǒng)框架

本文提出的基于點線融合的單目SLAM系統(tǒng)是在ORB-SLAM2的基礎上加入線特征信息，使線特征在特征提取、跟蹤和局部構圖上發(fā)揮著重要作用。

如圖3所示，系統(tǒng)由四個線程完成，分別為追蹤線程、局部地圖線程、閉環(huán)檢測線程和初始化構圖線程。在追蹤線程中，分別提取點線特征作為先驗信息，根據(jù)這些信息再進行點線特征匹配，由于使用的傳感器是單目相機，則用三角化測量計算圖像的深度信息，篩選出系統(tǒng)需要的關鍵幀；然后，通過關鍵幀決策判斷出當前幀是否為關鍵幀。

局部地圖是由關鍵幀決策模塊得出的新關鍵幀中的局部地圖點和局部地圖線構成，根據(jù)篩選出的當前局部地圖點和局部地圖線創(chuàng)建出新的地圖點和線，局部光束法平差（Bundle Adjustment， BA）后，再進行局部關鍵幀的篩選，進入回環(huán)檢測環(huán)節(jié)。初始化后，系統(tǒng)就會不斷進入全局的閉環(huán)檢測。閉環(huán)檢測對特征的稠密程度、光照不變性、尺度不變性具有較高的要求。閉環(huán)檢測線程分為循環(huán)檢測和循環(huán)修正，循環(huán)檢測主要是在關鍵幀數(shù)據(jù)庫中查找與當前檢測的關鍵幀是否為相似的關鍵幀，如果是就當作閉環(huán)候選幀，完成此階段后，再進行必要的循環(huán)修正，此階段可以有效地減小整個系統(tǒng)中的累積誤差和。最終根據(jù)閉環(huán)檢測后提取的點線特征完成周圍環(huán)境的稀疏圖。

圖3　基于點線特征融合的單目SLAM算法流程

3 點線特征的提取與應用

圖像中具有代表性的顯著特征有點特征和線特征，點特征主要是圖像中的FAST（Features from Accelerated Segment Test）角點［19］，能夠有效地體現(xiàn)圖像特征明顯的區(qū)域，但是對于那些低紋理等環(huán)境，則無法描述環(huán)境的幾何信息。而線特征可以描述圖像的邊緣信息，更側重圖像的幾何關系。分別選取紋理和低紋理數(shù)據(jù)集中的一張圖像，如圖1所示，對此兩張圖像分別進行點特征提取（如圖4）和線特征提?。ㄈ鐖D5）。從提取圖中可以看出，點特征對環(huán)境紋理信息比較依賴，提取的點特征比較密集，而在低紋理的圖像中，提取的角點比較少，少到只有兩個角點，在這種情況下基本無法實現(xiàn)基本的SLAM實現(xiàn)；線特征在這種梯度更明顯環(huán)境中提取就比點特征要多，明顯可以從提取的線特征中看到低紋理場景的幾何信息。由此可見，在本文系統(tǒng)中加入線特征可以在這種環(huán)境中對點特征起到互補作用，提高數(shù)據(jù)的關聯(lián)性，增加環(huán)境中的幾何信息，有利于提高系統(tǒng)的準確性和魯棒性。

3.1　點線特征提取

特征點是圖像里一些特別的地方，圖像中的角點、邊緣和區(qū)塊都可以當作是具有代表性的地方。如果某兩幀圖像上出現(xiàn)同一個角點時，就容易被人發(fā)現(xiàn)。目前，角點的提取算法有很多，例如Harris角點、FAST角點、GFTT（Good Feature To Track）角點等。Harris角點和GFTT角點大部分都是早期提出的，在提取的角點時間上，算法的實時性不強；FAST角點提取的算法運行速度快，提取的角點質量好，因此，本文采取FAST角點來提取點特征，但是由于提取角點是在低紋理場景下進行的，所以提取的點特征非常少，如圖4所示，圖4（a）描述的是TUM數(shù)據(jù)集里提取的一幅紋理圖片，對此圖進行了點提取，可以看到在紋理圖像中提取的點特征比較稠密；而圖4（b）描述的是TUM數(shù)據(jù)集里提取的低紋理圖片并進行了點提取，可以看出在低紋理場景中只提取出了兩個點特征，點特征SLAM算法在這種低紋理環(huán)境中難以實現(xiàn)。

3.2　線特征提取

傳統(tǒng)的線段檢測算法是采用Canny等邊緣檢測算子計算圖像的邊緣信息，可以很好地提取圖像線特征，是一種多級檢測算法，但是此算法較為耗時，在長時間的運算中，在邊緣密集處會產(chǎn)生誤檢。LSD是一種直線檢測分割算法，它能夠在線性的時間內(nèi)得出亞像素級的檢測結果。該算法被設計成可以在任何數(shù)字圖像上都無需參數(shù)調節(jié)。本文采用LSD算法來提取線特征如圖5所示，在低紋理場景下，線特征提取數(shù)量比點特征更豐富，并且還提供了明顯的幾何信息，在此低紋理環(huán)境中的線特征SLAM系統(tǒng)比點特征更具有可實施性。

圖4　FAST角點提取

圖5　低紋理場景下的LSD線特征提取

3.3　點線特征結合決策

在3.1節(jié)中進行了點特征提取，低紋理下點特征提取效果不好，而在3.2節(jié)中低紋理下線特征提取效果良好，但是現(xiàn)有的線檢測器和參數(shù)化在研究中沒有像點特征那樣有成熟的算法支持；其次，基于直線對應的位姿計算算法比基于點的位姿計算算法可靠性低，對直線可能出現(xiàn)的局部遮擋非常敏感并且會給計算機增加巨大的計算量。這些原因使目前只使用線特征進行SLAM規(guī)劃不太現(xiàn)實，因此，本文提出了一種點線融合的單目SLAM系統(tǒng)。在此系統(tǒng)中，線段可以提供更多的幾何結構信息，在低紋理場景中通常是豐富的，線特征可以很好地彌補點特征不足的情況，提高基于特征點的SLAM系統(tǒng)的魯棒性和準確性。

3.4　點、線特征加權

3.5　點線特征校正

3.6　三角化矛盾

由于本文系統(tǒng)是用單目相機進行的，因此點線特征的深度需要通過三角化計算獲得。三角測量是指通過不同位置對同一個路標點進行觀察，從觀察到的位置推斷路標點的距離，這種方法最早由高斯提出并應用于測量學中，并且它在天文學、地理學的測量中都有應用。在進行深度估計時，相機必須進行平移才能得到對極幾何約束的三角形，如圖6所示，此圖可以在幾何的方面通過三角測量的方法獲得地圖點的深度。但是在三角化測量過程中對相機的平移要求很嚴格，當平移量很小時，圖像上微小的不確定性將導致較大的深度不確定性；平移較大時，深度測量更準確，但如果平移太大，拍攝視角的變化將會導致匹配失效［17］，這就是三角化矛盾。

圖6　三角化獲得地圖點深度

3.7　初始化

4 實驗與結果分析

本章主要展示點線特征在低紋理環(huán)境的優(yōu)勢。實驗在TUM數(shù)據(jù)集上進行，取5次實驗數(shù)據(jù)的平均值來確保實驗的可靠性。所有的實驗在64位ubuntu1604系統(tǒng)中運行，運行平臺的CPU為十代core i3處理器，8 GB內(nèi)存。

4.1　點特征匹配

點特征匹配算法在已有的研究中已有了成熟的算法，如圖7所示，圖7（a）和（b）分別是TUM數(shù)據(jù)集中的紋理點特征匹配圖和低紋理點特征匹配圖，由兩圖對比可知，在紋理環(huán)境中點特征的匹配具有良好的效果，而在低紋理場景中點特征的匹配就會失效。

圖7　點匹配的效果

4.2　ICL-NUIM數(shù)據(jù)集的低紋理場景

點、線特征的提取匹配算法在已有的研究中比較成熟，在低紋理場景中點匹配會由于角點提取不足導致算法誤差較大，甚至會導致失敗。如圖8（a）是低紋理特征點提取，可以看出特征點的獲取比較少，墻面和沙發(fā)面上沒有提取到角點；而圖8（b）是低紋理特征線提取，從中可以看出線特征提取得比較多，墻面和沙發(fā)面邊緣提取到了線段。從兩幅圖片對比可以看出，加入線特征可以豐富環(huán)境的幾何信息。

低紋理環(huán)境中的點特征匹配與線特征匹配如圖9（a）和（b）所示。從兩幅圖片對比可知，在低紋理環(huán)境中，點匹配對太少，影響系統(tǒng)的正常運行；而線特征匹配對就比較多，利于系統(tǒng)的正常運行?？傊?，在低紋理環(huán)境中，點線結合的算法利于系統(tǒng)的正常運行，在此系統(tǒng)中點特征提高運算速度，線特征豐富環(huán)境中的幾何信息，加權思想均衡了點線特征提取。

圖8　低紋理場景中的點和線提取

圖9　點匹配和線匹配的效果

TUM數(shù)據(jù)集下的點線稀疏地圖如圖10所示，此圖展示出在相機運動軌跡過程中采集到的點線特征，繪制出一幅此過程中的簡易環(huán)境地圖。

圖10　TUM數(shù)據(jù)集下的點線稀疏地圖

4.3　在TUM低紋理數(shù)據(jù)集中的運動軌跡以及軌跡誤差分析

本文選取公開TUM數(shù)據(jù)集，由于點特征在低紋理下具有較差的表現(xiàn)，所以引入線特征來增進系統(tǒng)的穩(wěn)定性?；诖藛栴}，選取低紋理帶回環(huán)的數(shù)據(jù)集進行誤差分析。

絕對軌跡誤差（Absolute Trajectory Error， ATE）［17］直接計算相機位姿的真實值與SLAM系統(tǒng)的估計值之間的差，代表軌跡的全局一致性，此標準非常適合評估SLAM系統(tǒng)的性能，如式（11）：

對于絕對軌跡誤差進行分析，首先要得到相機傳感器在數(shù)據(jù)集中的運動軌跡。圖11（a）是相機在fr3-nostructure-notexture-near-withloop序列上的運動軌跡；圖11（b）是相機在fr3-structure-notexture-near序列上的運動軌跡；圖11（c）是相機在fr3-structure-notexture-far序列上的運動軌跡；圖11（d）是相機在fr3-structure-notexture-far-validation序列上的運動軌跡。

圖11　相機在TUM低紋理序列中的運動軌跡

如表1所示，把本文算法和 PL-SLAM［10］、LSD- SLAM、ORB-SLAM2［4］的絕對軌跡誤差進行對比。在fr3-nostructure-notexture-near-withloop、fr3-structure-notexture-near-withloop、fr3-structure-notexture-far和fr3-structure-notexture-far-validation四組數(shù)據(jù)集中進行了五組實驗取平均值，并且本文算法的絕對軌跡誤差與PL-SLAM、LSD-SLAM、ORB-SLAM2的絕對軌跡誤差進行了對比，表明在TUM低紋理場景中，本文算法的誤差保持在較小的水平。表2對本文算法和PL-SLAM［10］的運行時間進行了對比，本文算法的運行時間少于PL-SALM，表明也相對地節(jié)約了計算機的計算成本。

由表1和表2表明，本文提出的算法在低紋理的場景中在誤差和計算上能夠保持一個較好的結果。該算法引入線特征來彌補點特征在低紋理場景中的不足，以及對點、線特征進行加權處理，能夠保證系統(tǒng)的快速性、準確性和魯棒性，增加了算法的可行性。

表1　本文算法與其他算法的絕對軌跡誤差對比 單位：cm

注：—表示在此數(shù)據(jù)集下點特征無法獲得。

表2　各個操作的運行時間 單位：ms

5 結語

本文算法以ORB-SLAM2系統(tǒng)為基礎、以線特征為主加入點特征，由于在低紋理場景中線段可以提供更多的幾何結構信息，并且提取的線段通常是豐富的，因此，線特征可以很好地彌補點特征在低紋理場景中提取數(shù)量不足的情況，提高僅使用點特征的SLAM系統(tǒng)的魯棒性和準確性。在此場景下，本文算法加入了點線特征加權思想，以線特征為主、點特征為輔，有效地保證了系統(tǒng)的穩(wěn)定性和可靠性，相較在低紋理下單獨使用點特征的系統(tǒng)更具有魯棒性和準確性。實驗結果表明，在TUM數(shù)據(jù)集中的低紋理場景進行了點、線特征的提取與匹配，本文算法取得了較好的結果；并且在ICL-NUIM低紋理數(shù)據(jù)集中也進行了點、線特征的提取與匹配，本文算法依舊取得了較好的結果。最后，進行了誤差分析，本文系統(tǒng)的誤差都保持在較小的水平，驗證了本文系統(tǒng)的可靠性與穩(wěn)定性。在未來的研究中，考慮使用IMU慣性測量單元與單目相機結合在一起并行處理，進一步提升系統(tǒng)的軌跡精度。

[1] DAVISON A J， REID I D， MOLTON N D. MonoSLAM： real-time single camera SLAM［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2007， 29（6）： 1052-1067.

[2] 張國良，姚二亮. 移動機器人的SLAM與VSLAM方法［M］. 西安：西安交通大學出版社， 2018： 10-15.（ZHANG G L， YAO E L. SLAM and VSLAM Methods for Mobile Robots ［M］. Xi’an： Xi’an Jiaotong University Press， 2018： 10-15.）

[3] KLEIN G， MURRAY D. Parallel tracking and mapping for small AR workspaces［C］// Proceedings of the 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. Piscataway： IEEE， 2007： 225-234.

[4] MUR-ARTAL R， TARDóS J D. ORB-SLAM2： an open-source SLAM system for monocular， stereo， and RGB-D cameras［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.

[5] ZHANG L L， KOCH R. Hand-held monocular SLAM based on line segments［C］// Proceedings of the 2011 Irish Machine Vision and Image Processing Conference. Piscataway： IEEE， 2011： 7-14.

[6] ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625.

[7] ENGEL J， SCH?PS T， CREMERS D. LSD-SLAM： large-scale direct monocular SLAM［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8690. Cham： Springer， 2014： 834-849.

[8] NEWCOMBE R A， LOVEGROVE S J， DAVISON A J. DTAM： dense tracking and mapping in real-time［C］// Proceedings of the 2011 International Conference on Computer Vision. Piscataway： IEEE， 2011： 2320-2327.

[9] PIZZOLI M， FORSTER C， SCARAMUZZA D. REMODE： probabilistic， monocular dense reconstruction in real time［C］// Proceedings of the 2014 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2014： 2609-2616.

[10] PUMAROLA A， VAKHITOV A， AGUDO A， et al. PL-SLAM： real-time monocular visual SLAM with points and lines［C］// Proceedings of the 2017 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2017： 4503-4508.

[11] ZUO X X， XIE X J， LIU Y， et al. Robust visual SLAM with point and line features［C］// Proceedings of the 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2017： 1775-1782.

[12] GOMEZ-OJEDA R， GONZALEZ-JIMENEZ J. Robust stereo visual odometry through a probabilistic combination of points and line segments［C］// Proceedings of the 2016 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2016： 2521-2526.

[13] ZHANG G X， SUH I H. SoF-SLAM： segments-on-floor-based monocular SLAM［C］// Proceedings of the 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2010： 2083-2088.

[14] ZHANG G X， SUH I H. Building a partial 3D line-based map using a monocular SLAM［C］// Proceedings of the 2011 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2011：1497-1502.

[15] GIOI R G von， JAKUBOWICZ J， MOREL J M， et al. LSD： a fast line segment detector with a false detection control［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（4）： 722-732.

[16] ZHANG L L， KOCH R. An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency［J］. Journal of Visual Communication and Image Representation， 2013， 24（7）：794-805.

[17] 高翔，張濤，劉毅，等. 視覺SLAM十四講：從理論到實踐［M］. 北京：電子工業(yè)出版社， 2017： 155-157.（GAO X， ZHANG T， LIU Y， et al. Vision SLAM 14 Lectures： From Theory to Practice［M］. Beijing： Publishing House of Electronics Industry， 2017： 155-157.）

[18] BARTOLI A， STURM P. The 3D line motion matrix and alignment of line reconstructions［J］. International Journal of Computer Vision， 2004， 57（3）：159-178.

[19] ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection［C］// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 430-443.

[20] HARTLEY R， ZISSERMAN A. Multiple View Geometry in Computer Vision［M］. 2nd ed. Cambridge： Cambridge University Press， 2003：33-36.

[21] 席志紅，王洪旭，韓雙全. 基于ORB-SLAM2系統(tǒng)的快速誤匹配剔除算法與地圖構建［J］. 計算機應用， 2020， 40（11）： 3289-3294.（XI Z H， WANG H X， HAN S Q. Fast mismatch elimination algorithm and map-building based on ORB-SLAM2 system［J］. Journal of Computer Applications， 2020， 40（11）： 3289-3294.）

PAN Gaofeng， born in 1995， M. S. candidate. His research interests include visual simultaneous localization and mapping.

FAN Yuan， born in 1983， Ph. D.， professor. His research interests include robot control， distributed cooperative control and optimization， microgrid cooperative control.

RU Yu， born in 1999. Her research interests include robot navigation and control.

GUO Yuchao， born in 1997， Ph. D. candidate. His research interests include visual simultaneous localization and mapping， robot control.

Low-texture monocular visual simultaneous localization and mapping algorithm based on point-line feature fusion

PAN Gaofeng， FAN Yuan， RU Yu， GUO Yuchao

（，，230601，）

When the image is blurred due to rapid camera movement or in low-texture scenes， the Simultaneous Localization And Mapping （SLAM） algorithm using only point features is difficult to track and extract enough feature points， resulting in poor positioning accuracy and matching robustness. If it causes false matching， even the system cannot work. To solve the problem， a low-texture monocular SLAM algorithm based on point-line feature fusion was proposed. Firstly， the line features were added to enhance the system stability， and the problem of insufficient extraction of point feature algorithm in low texture scenes was solved. Then， the idea of weighting was introduced for the extraction number selection of point and line features， and the weight of point and line features were allocated reasonably according to the richness of the scene. The proposed algorithm ran in low-texture scenes， so the line features were set as the main features and the point features were set as the auxiliary features. Experimental results on the TUM indoor dataset show that compared with the existing point-line feature algorithms， the proposed algorithm can effectively improve the matching precision of the line features， has the trajectory error reduced by about 9 percentage points， and has the feature extraction time reduced by 30 percentage points. As the result， the added line features play a positive and effective role in low-texture scenes， and improve the overall accuracy and reliability of the data.

monocular vision; point-line fusion; line matching; low-texture scene; feature weighting

This work is partially supported by National Key Research and Development Program of China （2018YFB1305804）， National Natural Science Foundation of China （61973002）， Natural Science Foundation of Anhui Province （2008085J32）， University-Industry Collaborative Education Program of Ministry of Education （201802259001， 201802137016）.

TP242.6

A

1001-9081（2022）07-2170-07

10.11772/j.issn.1001-9081.2021050749

2021?05?11；

2022?01?10；

2022?02?18。

國家重點研發(fā)計劃項目（2018YFB1305804）；國家自然科學基金資助項目（61973002）；安徽省自然科學基金資助項目（2008085J32）；教育部產(chǎn)學合作協(xié)同育人項目（201802259001， 201802137016）。

潘高峰（1995—），男，河南許昌人，碩士研究生，主要研究方向：視覺同時定位與地圖構建； 樊淵（1983—），男，安徽合肥人，教授，博士，主要研究方向：機器人控制、分布式協(xié)同控制與優(yōu)化、微電網(wǎng)協(xié)同控制； 汝玉（1999—），女，安徽合肥人，主要研究方向：機器人導航與控制； 郭予超（1997—），男，河南新鄭人，博士研究生，主要研究方向：視覺同時定位與地圖構建、機器人控制。