摘要：局部圖像特征直線的描述現(xiàn)如今不僅是圖像特征直線匹配過(guò)程的關(guān)鍵和基礎(chǔ)，還已成為人工智能和計(jì)算機(jī)視覺(jué)領(lǐng)域中的研究難點(diǎn)和熱點(diǎn)問(wèn)題之一。它不僅被廣泛應(yīng)用到寬基線匹配、圖像檢索、圖像拼接、3D重建等計(jì)算機(jī)視覺(jué)任務(wù)中，還被應(yīng)用到產(chǎn)品質(zhì)量檢測(cè)、指紋解鎖、自動(dòng)工件檢測(cè)等實(shí)際工程應(yīng)用中。近年來(lái)，隨著人工智能的發(fā)展和深度學(xué)習(xí)在許多領(lǐng)域的成功應(yīng)用，文獻(xiàn)中出現(xiàn)了諸多相關(guān)學(xué)者針對(duì)局部圖像特征直線描述問(wèn)題而提出的不同算法。本文對(duì)經(jīng)典且具有代表性的局部圖像特征直線描述算法進(jìn)行闡述、分析總結(jié)以及全面客觀評(píng)價(jià)，最后總結(jié)歸納了局部圖像特征直線描述的現(xiàn)狀、所面臨的困難與挑戰(zhàn)以及未來(lái)可能的研究走向，為相關(guān)學(xué)者未來(lái)的研究工作提供一定的參考。

關(guān)鍵詞：局部圖像特征直線描述；深度學(xué)習(xí)；圖像特征直線匹配

中圖分類號(hào)：TP18? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）06-0103-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

0 引言

局部圖像特征直線描述是將經(jīng)過(guò)預(yù)處理之后的待匹配圖像中提取的邊緣線特征描述成具有代表性和唯一性的描述向量。一個(gè)魯棒的描述向量應(yīng)該對(duì)于匹配塊不會(huì)因?yàn)橐暯?、光照、旋轉(zhuǎn)、模糊和噪聲等的變化而變化，同時(shí)對(duì)于非匹配塊要保持不同圖像塊之間的區(qū)分性。其可以被廣泛應(yīng)用于圖像分類、場(chǎng)景識(shí)別、人造場(chǎng)景、3D重建、圖像配準(zhǔn)、圖像拼接和圖像分割等各個(gè)場(chǎng)景中。局部圖像特征直線的描述算法不僅是特征匹配領(lǐng)域中一個(gè)重要且具有研究意義的子課題，也是計(jì)算機(jī)視覺(jué)任務(wù)中的研究難題和研究熱點(diǎn)問(wèn)題之一。其一般分為兩個(gè)步驟，如圖1所示，步驟1：對(duì)采集的原圖像和經(jīng)過(guò)各種變換的圖像進(jìn)行預(yù)處理并提取圖像中的特征直線；步驟2：將步驟一獲得的特征直線進(jìn)行描述以生成特征直線描述子。

相對(duì)于點(diǎn)，直線在一些特定場(chǎng)景中可以提供更多的紋理內(nèi)容和幾何信息，從而為了實(shí)現(xiàn)圖像的精確匹配。與特征點(diǎn)描述相比，特征直線描述子一直發(fā)展緩慢。其主要理由：1）圖像的各種幾何光學(xué)變化會(huì)造成圖像遮擋問(wèn)題，導(dǎo)致邊緣直線的長(zhǎng)度、方向以及紋理發(fā)生變化；2）利用邊緣檢測(cè)算子進(jìn)行提取特征直線時(shí)，容易造成直線斷裂，進(jìn)而會(huì)使直線出現(xiàn)端點(diǎn)定位不準(zhǔn)以及不連續(xù)的問(wèn)題。直線端點(diǎn)的不精確定位將會(huì)導(dǎo)致匹配的兩條直線的描述向量存在較大的差異，進(jìn)而會(huì)容易造成錯(cuò)誤的匹配結(jié)果，直接影響匹配性能；3）相對(duì)于點(diǎn)，因直線長(zhǎng)短不一，在構(gòu)造特征直線描述向量時(shí)會(huì)更難以統(tǒng)一表達(dá)；4）缺少用于訓(xùn)練的大規(guī)模且多樣的標(biāo)注特征直線數(shù)據(jù)集，然而構(gòu)造這樣的數(shù)據(jù)集又需要大量的人力和財(cái)力。因此，局部圖像特征直線描述算法的研究不僅在理論和應(yīng)用上具有研究?jī)r(jià)值，同時(shí)也具有一定難度和挑戰(zhàn)。

近年來(lái)，深度學(xué)習(xí)在諸多視覺(jué)任務(wù)中成功地展現(xiàn)出了其具有強(qiáng)大的函數(shù)擬合能力。而局部圖像特征直線描述算法的本質(zhì)任務(wù)也是設(shè)計(jì)一個(gè)復(fù)雜的函數(shù)映射，使得相同物理線的局部圖像輸出距離相近的特征向量，同時(shí)保證不同物理線的局部圖像輸出距離較大的特征向量。因此，將其應(yīng)用到局部圖像特征直線描述算法中，以提升現(xiàn)有算法的性能不僅值得研究，也是局部圖像特征直線匹配任務(wù)中研究的熱點(diǎn)和難點(diǎn)問(wèn)題。本文將當(dāng)今比較經(jīng)典且主流的由傳統(tǒng)經(jīng)驗(yàn)或研究人員的專業(yè)知識(shí)驅(qū)動(dòng)的基于手工設(shè)計(jì)的局部圖像特征直線描述算法和由數(shù)據(jù)驅(qū)動(dòng)基于深度學(xué)習(xí)的局部圖像特征直線描述算法分別進(jìn)行了全面客觀的比較與分析，總結(jié)了局部圖像特征直線描述的現(xiàn)狀、所面臨的困難與挑戰(zhàn)以及未來(lái)可能的發(fā)展走向，為未來(lái)該領(lǐng)域研究者進(jìn)一步研究提供一定的參考。

1 基于手工設(shè)計(jì)的局部圖像特征直線描述算法

局部圖像特征直線描述不僅在圖像特征匹配算法中占領(lǐng)著至關(guān)重要的位置，還引起了許多該領(lǐng)域研究人員的關(guān)注。與特征點(diǎn)描述算法一樣，也是從基于手工設(shè)計(jì)的算法開始的?；谑止ぴO(shè)計(jì)的局部圖像特征直線描述算法的基本思想大都來(lái)自于傳統(tǒng)經(jīng)驗(yàn)或研究者的專業(yè)知識(shí)。其大概分為兩類：基于紋理特征直線描述算法和基于幾何特征的直線描述算法。

基于紋理特征直線描述算法為了獲取具有區(qū)分性的描述向量，將鄰域進(jìn)行劃分作為特征直線的支撐區(qū)域。該類算法中最具有代表性的是Wang等人為了解決直線難以統(tǒng)一描述而提出的直線描述子MSLD[1]（如圖2所示）。該算法首先將像素支撐區(qū)域中各個(gè)子區(qū)域的四個(gè)方向上的梯度向量描述成一個(gè)梯度描述矩陣，最后通過(guò)計(jì)算該矩陣列向量的均值和標(biāo)準(zhǔn)差來(lái)構(gòu)造MSLD，從而提高了直線描述子的區(qū)分性和魯棒性。該算法對(duì)于紋理場(chǎng)景中適當(dāng)?shù)膱D像變化具有良好的匹配結(jié)果，但在低紋理圖像中的匹配結(jié)果不佳。此外，它還表明均值和標(biāo)準(zhǔn)差可以有效地描述直線，同時(shí)因?qū)⑵鋺?yīng)用到曲線特征描述上而獲得了MSCD描述子。李等人[2]以圖像的灰度值為基礎(chǔ)，計(jì)算直線支撐區(qū)域內(nèi)灰度值編碼實(shí)現(xiàn)直線的匹配，但是該算法原理復(fù)雜，匹配性能低。López等人[3]提出的一種基于紋理和外觀的描述子LMCA，實(shí)驗(yàn)結(jié)果表明，LMCA在低紋理場(chǎng)景和各種圖像變換下仍能具有良好的魯棒性。但是該算法太過(guò)于依賴直線的外觀信息，所以其仍需面臨直線端點(diǎn)不能準(zhǔn)確檢測(cè)的問(wèn)題。

基于幾何特征的直線描述算法其實(shí)是依據(jù)特征直線的幾何屬性來(lái)實(shí)現(xiàn)的。該類算法中最具有代表性的是Zhang等人[4]結(jié)合直線描述子LBD和幾何約束，以實(shí)現(xiàn)線的匹配。該算法具有對(duì)尺度變化、低紋理圖像等具有較好的魯棒性，且該算法設(shè)計(jì)的LBD描述子計(jì)算速度較快。但當(dāng)圖像中含有旋轉(zhuǎn)變化時(shí)，LBD存在不能解決圖像遮擋的問(wèn)題。Fan等人[5]從兩點(diǎn)和一線出發(fā)來(lái)探索了一個(gè)仿射不變量。他們利用這種仿射不變量來(lái)匹配具有已知點(diǎn)對(duì)應(yīng)關(guān)系的線。該算法的主要缺點(diǎn)是需要已知的極線幾何或點(diǎn)對(duì)應(yīng)關(guān)系。此外，由于缺乏良好的點(diǎn)對(duì)應(yīng)關(guān)系，所以在低紋理場(chǎng)景中的性能受到限制。

總之，以上這些基于手工設(shè)計(jì)的局部圖像特征直線描述算法各有各的優(yōu)勢(shì)與缺陷。上述文獻(xiàn)中該類算法的文獻(xiàn)不僅年份相對(duì)較早，而且在復(fù)雜條件下的圖像特征直線匹配問(wèn)題時(shí)，其已經(jīng)無(wú)法獲得令人滿意的結(jié)果，進(jìn)而限制了直線特征匹配在其他應(yīng)用中的運(yùn)用。進(jìn)而證明由研究人員的專業(yè)知識(shí)驅(qū)動(dòng)的手工設(shè)計(jì)算法不僅逐漸淡出了歷史的舞臺(tái)，而且性能也已經(jīng)走入了瓶頸期。

2 基于深度學(xué)習(xí)的局部圖像特征直線描述算法

2012年以來(lái)，隨著深度學(xué)習(xí)在圖像分類、局部圖像特征點(diǎn)描述、行人在識(shí)別、目標(biāo)檢測(cè)與識(shí)別等諸多計(jì)算機(jī)視覺(jué)任務(wù)中的成功應(yīng)用，相關(guān)研究者也已經(jīng)提出了一些優(yōu)良且由數(shù)據(jù)驅(qū)動(dòng)的基于深度學(xué)習(xí)的局部圖像特征直線描述算法，它們表現(xiàn)出比基于手工設(shè)計(jì)的特征直線描述子更好的匹配性能。Liu等人[6]首先構(gòu)造了一個(gè)名為HLines的大規(guī)模線數(shù)據(jù)集，然后在基于學(xué)習(xí)的特征點(diǎn)描述算法HardNet和L2-Net啟發(fā)下，提出了基于學(xué)習(xí)的特征線描述符LPDNet（如圖3所示），實(shí)驗(yàn)結(jié)果表明，描述符LPDNet優(yōu)于手工設(shè)計(jì)的特征線描述符，特別是在視角、尺度和模糊變化圖像上表現(xiàn)出更大的優(yōu)勢(shì)。此外，又將其應(yīng)用到特征曲線匹配當(dāng)中，實(shí)驗(yàn)結(jié)果證明，與現(xiàn)有的特征線描述符相比，LPDNet具有更廣泛的適用性。霍等人[7]通過(guò)直接從原始局部圖像塊中進(jìn)行訓(xùn)練學(xué)習(xí)而獲得直線特征描述子LP-HardNet，并在相關(guān)實(shí)驗(yàn)中取得了良好的性能，但由于構(gòu)造的訓(xùn)練樣本缺乏多樣性，該方法對(duì)遮擋和低紋理變化較為敏感。Huo等人[8]首先構(gòu)造了一個(gè)線數(shù)據(jù)集GDLFpatches，接著探索了基于FCNNS和遷移學(xué)習(xí)的三種神經(jīng)網(wǎng)絡(luò)架構(gòu)：CS S-Net（如圖4所示）、CS PS-Net（如圖4所示）、CS 2-Channel-Net（如圖5所示），經(jīng)過(guò)實(shí)驗(yàn)表明，提出的三種描述子優(yōu)于現(xiàn)有的手工設(shè)計(jì)描述子，特別是在模糊變化、視角變化、旋轉(zhuǎn)變化和尺度變化上取得了顯著的成功。

3 結(jié)束語(yǔ)

直線作為圖像的三大主要局部特征之一，其被廣泛應(yīng)用于3D重建、圖像檢索、圖像拼接、目標(biāo)檢測(cè)和識(shí)別、指紋解鎖等計(jì)算機(jī)視覺(jué)任務(wù)和實(shí)際工程應(yīng)用當(dāng)中。局部圖像特征直線描述作為圖像直線匹配技術(shù)中的關(guān)鍵技術(shù)不僅是計(jì)算機(jī)視覺(jué)的一項(xiàng)重大研究意義的課題，也是該領(lǐng)域的一個(gè)研究難點(diǎn)和熱點(diǎn)。它是將局部圖像特征直線塊編碼成代表性向量，所期望的直線特征描述向量對(duì)于匹配塊而言應(yīng)該是不變的，對(duì)于非匹配塊是具有區(qū)分性的。

在過(guò)去的幾十年里，相關(guān)研究人員在這一領(lǐng)域也取得了長(zhǎng)足的發(fā)展。因此本文對(duì)現(xiàn)有的局部圖像特征直線描述算法（從手工設(shè)計(jì)的到基于學(xué)習(xí)的）進(jìn)行了全面回顧，以便為相關(guān)研究學(xué)者提供更好的參考和理解，本文做了以下總結(jié)與展望：

（1）與特征點(diǎn)相比，直線特征可以提供更多的紋理內(nèi)容和幾何信息、直線特征穩(wěn)定性較高、不易受到環(huán)境噪聲的干擾；但是，由于局部直線特征描述存在的上述引言中所述的困難，使得直線特征描述的研究進(jìn)展一直相對(duì)緩慢。

（2）從上述的研究現(xiàn)狀可知，現(xiàn)如今局部圖像特征直線描述算法的研究已經(jīng)進(jìn)入基于數(shù)據(jù)驅(qū)動(dòng)的時(shí)代。傳統(tǒng)經(jīng)驗(yàn)或研究學(xué)者的專業(yè)知識(shí)驅(qū)動(dòng)的手工設(shè)計(jì)算法不僅由于參數(shù)確定困難、設(shè)計(jì)思路受研究人員對(duì)事物的認(rèn)知限制等原因，其性能已經(jīng)幾乎接近瓶頸期，而且這類算法在面對(duì)復(fù)雜場(chǎng)景和多樣圖像變化時(shí)，現(xiàn)如今已經(jīng)無(wú)法獲得令人滿意的結(jié)果。因此，限制了局部圖像特征直線在其他領(lǐng)域的實(shí)際應(yīng)用。

（3）基于深度學(xué)習(xí)的算法由于具有數(shù)據(jù)驅(qū)動(dòng)的優(yōu)勢(shì)特點(diǎn)，通過(guò)設(shè)計(jì)一定的學(xué)習(xí)目標(biāo)便可獲得相應(yīng)的局部圖像特征直線描述子，現(xiàn)如今其已經(jīng)成為局部圖像特征直線的主流算法。另一方面，深度學(xué)習(xí)在諸多研究任務(wù)和問(wèn)題上展現(xiàn)出優(yōu)秀的性能，而且相對(duì)于特征點(diǎn)描述算法，利用深度學(xué)習(xí)和遷移學(xué)習(xí)進(jìn)行特征直線描述還處于初步嘗試階段，但同時(shí)也表現(xiàn)出強(qiáng)大的前景和潛力。因此，基于深度學(xué)習(xí)設(shè)計(jì)局部圖像特征直線描述算法以獲得更加強(qiáng)區(qū)分性的直線特征描述子也是研究發(fā)展的必然趨勢(shì)。

（4）特征直線匹配能力的提高并沒(méi)有上限，雖然已有特征直線描述子以滿足一定的實(shí)際需求，但是在學(xué)術(shù)界和實(shí)際工程應(yīng)用中一直需要更高性能的特征直線描述子。因此，未來(lái)可以根據(jù)需求而設(shè)計(jì)新的損失函數(shù)，并進(jìn)一步學(xué)習(xí)與挖掘現(xiàn)有數(shù)據(jù)集的特征，或者構(gòu)造更豐富多樣且規(guī)模更大的數(shù)據(jù)集。

（5）特征直線的提取與描述需要一個(gè)統(tǒng)一的框架?，F(xiàn)如今，已有研究人員在特征點(diǎn)匹配任務(wù)上提出端到端的基于學(xué)習(xí)的特征點(diǎn)匹配算法，因此，未來(lái)研究人員和工程技術(shù)人員也可以將其作為一個(gè)主要研究方向。

參考文獻(xiàn)：

[1] 王志衡.圖像特征檢測(cè)與匹配研究[D].北京：中國(guó)科學(xué)院自動(dòng)化研究所，2008.

[2] 李強(qiáng)，張鈸.一種基于圖像灰度的快速匹配算法[J].軟件學(xué)報(bào)，2006，17（2）：216-222.

[3] López J，Santos R，F(xiàn)dez-Vidal X R，et al.Two-view line matching algorithm based on context and appearance in low-textured images[J].Pattern Recognition，2015，48（7）：2164-2184.

[4] Zhang L， Koch R.An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J].Journal of Visual Communication and Image Representation，2013，24（7）：794-805.

[5] Fan B，Wu F C，Hu Z Y.Line matching leveraged by point correspondences[C]//2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.June 13-18，2010，San Francisco，CA，USA.IEEE，2010：390-397.

[6] Liu H M，Liu Y J，F(xiàn)u M M，et al.Towards learning line descriptors from patches：a new paradigm and large-scale dataset[J].International Journal of Machine Learning and Cybernetics，2021，12（3）：877-890.

[7] 霍占強(qiáng)，劉玉潔，付苗苗，等.基于卷積神經(jīng)網(wǎng)絡(luò)的直線描述方法研究[J].計(jì)算機(jī)工程，2021，47（5）：251-259.

[8] 付苗苗. 基于深度遷移學(xué)習(xí)的直線特征描述算法研究[D].焦作：河南理工大學(xué)， 2020.

【通聯(lián)編輯：唐一東】