摘要：針對(duì)傳統(tǒng)溝渠監(jiān)控與跟蹤精度低，導(dǎo)致溝渠監(jiān)控實(shí)時(shí)性不佳的問(wèn)題，提出一種基于深度霍夫優(yōu)化投票的三維單目標(biāo)跟蹤算法。首先，采用面向目標(biāo)特征提取方法對(duì)目標(biāo)信息進(jìn)行編碼處理；通過(guò)投票和篩選方式生成高置信度的潛在目標(biāo)中心；基于聯(lián)合提議和驗(yàn)證生成最終預(yù)測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明，提出的算法能夠有效避免耗時(shí)的三維全局搜索，具備較強(qiáng)的魯棒性。相較于傳統(tǒng)SC3D三維點(diǎn)云目標(biāo)跟蹤算法，本算法的準(zhǔn)確率和精準(zhǔn)率分別提升了24.6%和26.7%，且在相同的測(cè)試集中可取得更低的計(jì)算復(fù)雜度。由此得出，提出的算法可實(shí)現(xiàn)溝渠的實(shí)時(shí)監(jiān)控和準(zhǔn)確跟蹤。

關(guān)鍵詞：深度學(xué)習(xí)；溝渠；實(shí)時(shí)監(jiān)控；目標(biāo)跟蹤；霍夫優(yōu)化投票

中圖分類(lèi)號(hào)：TP277.2文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1001-5922（2024）10-0117-04

Research on real-time monitoring and tracking technologyfor ditches based on deep learning

LI Kun1，BIAN Junwei2，HAN Peng1，SUN Xueqi2

（1. Shandong Water Diversion Project Operation and Maintenance Center，Jinan 250000，China；2. Water Resources Research Instltute ofShandong Province，Jinan，250000，China）

Abstract：In order to solve the problem of poor real-time performance of traditional ditch monitoring and trackingaccuracy，a three-dimensional single-target tracking algorithm based on deep hough optimization voting was pro?posed. The target oriented feature extraction method was used to encode the target information. The high confidencepotential target centers were generated through voting and screening methods. The final prediction result was gener?ated based on joint proposal and validation. The experimental results showed that the proposed algorithm effectivelyavoided time-consuming 3D global search and had strong robustness. Compared to the traditional SC3D 3D pointcloud target tracking algorithm，the success rate and accuracy of this algorithm had been improved by 24.6% and26.7%，respectively，and lower computational complexity could be achieved in the same test set. This indicates thatthe proposed algorithm can achieve real-time monitoring and accurate tracking of ditches.

Key words：deep learning；trenches；real time monitoring；target tracking；hoff optimization voting

通過(guò)智能設(shè)備實(shí)現(xiàn)溝渠目標(biāo)跟蹤和定位，幫助農(nóng)業(yè)管理人員進(jìn)行溝渠狀態(tài)管理和農(nóng)產(chǎn)品調(diào)整。針對(duì)目標(biāo)跟蹤和實(shí)時(shí)監(jiān)控問(wèn)題，已有學(xué)者進(jìn)行了大量研究，并取得了一定的應(yīng)用成果。為實(shí)現(xiàn)水稻生長(zhǎng)的自動(dòng)化監(jiān)控和實(shí)時(shí)跟蹤，提出了一種基于互相關(guān)與Transformer雙層特征融合的目標(biāo)跟蹤算法，通過(guò)此算法提升了水稻監(jiān)控的實(shí)時(shí)性[1]；以工業(yè)制造領(lǐng)域的焊接工具為研究對(duì)象，提出了將激光技術(shù)與UWB序列匹配算法相結(jié)合，通過(guò)其完成焊接工程的目標(biāo)準(zhǔn)確跟蹤[2]；針對(duì)農(nóng)業(yè)巡檢機(jī)器人的單目標(biāo)跟蹤問(wèn)題，提出了以深度霍夫優(yōu)化投票算法作為基本算法，通過(guò)其實(shí)現(xiàn)了三維時(shí)敏單目標(biāo)跟蹤[3]。以上研究雖然取得了一定的應(yīng)用效果，但溝渠實(shí)時(shí)監(jiān)控和準(zhǔn)確跟蹤的準(zhǔn)確率還有待提高。針對(duì)此問(wèn)題，提出一種基于深度學(xué)習(xí)的溝渠實(shí)時(shí)跟蹤算法，并進(jìn)行實(shí)驗(yàn)驗(yàn)證。

1目標(biāo)跟蹤算法框架

為實(shí)現(xiàn)溝渠實(shí)時(shí)監(jiān)控與準(zhǔn)確跟蹤，本研究以PointNet++網(wǎng)絡(luò)和深度霍夫優(yōu)化投票算法作為基礎(chǔ)框架，得到一種三維目標(biāo)跟蹤算法進(jìn)行溝渠監(jiān)測(cè)與跟蹤。該算法的輸入為模板點(diǎn)云與搜索點(diǎn)云，輸出為目標(biāo)預(yù)測(cè)位置。算法整體結(jié)構(gòu)如圖1所示。

由圖1可知，該算法主要由面向目標(biāo)的特征提取、潛在目標(biāo)中心的生成、聯(lián)合提議與驗(yàn)證、模板點(diǎn)云更新4個(gè)模塊組成[4-6]。進(jìn)行種子點(diǎn)特征提取后，即可對(duì)目標(biāo)信息進(jìn)行編碼處理，并通過(guò)投票篩選方式獲得置信度較高的潛在目標(biāo)中心，最終生成預(yù)測(cè)結(jié)果。

2目標(biāo)跟蹤具體實(shí)現(xiàn)

2. 1面向目標(biāo)的特征提取

為實(shí)現(xiàn)跟蹤目標(biāo)的特征提取，首先對(duì)模板中的目標(biāo)信息進(jìn)行編碼處理，并置于搜索空間內(nèi)；然后深入挖掘2個(gè)空間內(nèi)的相似性，從而獲取準(zhǔn)確特征。原始點(diǎn)云的采樣過(guò)程如圖2所示。

上述采樣過(guò)程中，以目標(biāo)模板Ptemp={p=（xyiiizi）}i=1和搜索空間點(diǎn)云Psea={si=（xiyizi）}i=1為目標(biāo)，通過(guò)PointNet++網(wǎng)絡(luò)獲取模板種子點(diǎn)集Q={qi}i=1和搜索種子點(diǎn)集R={rj}i=1。其中，M1和M2分別表示模板種子點(diǎn)集和搜索種子點(diǎn)集中種子的數(shù)量，qi和rj分別表示模板種子點(diǎn)和搜索種子點(diǎn)；獲取目標(biāo)信息后，將提取的搜索種子特征與目標(biāo)特征相結(jié)合。

對(duì)模板種子點(diǎn)集Q中的目標(biāo)信息進(jìn)行編碼，并置于搜索種子點(diǎn)集R中，采用余弦相似度計(jì)算方法求出2個(gè)點(diǎn)集間的相似度，可得到相似度矩陣T=（MM）[8]。21

2. 2潛在目標(biāo)中心生成和篩選

通過(guò)單個(gè)搜索種子點(diǎn)能夠獲取目標(biāo)的局部信息，但無(wú)法實(shí)現(xiàn)目標(biāo)位置的準(zhǔn)確預(yù)測(cè)。針對(duì)此問(wèn)題，提出引入霍夫投票原理。在投票時(shí)將搜索種子點(diǎn)dj回歸到潛在目標(biāo)中心，然后通過(guò)聯(lián)合提議和驗(yàn)證得到最終結(jié)果。同時(shí)，為提升目標(biāo)跟蹤精確度，將對(duì)每個(gè)搜索種子點(diǎn)d進(jìn)行置信度得分設(shè)置，并基于得分j排名選擇其中一半的搜索種子點(diǎn)，以實(shí)現(xiàn)聯(lián)合提議和驗(yàn)證[9]。由此得到生成高置信度的潛在目標(biāo)中心過(guò)程如圖3所示。

每個(gè)搜索種子點(diǎn)d采用多層感知機(jī)預(yù)測(cè)出Djxdj和Dfd，以生成cj=xc;fc?R3+dj?jj?。為篩選出置信度最高的潛在目標(biāo)中心，提出的對(duì)每個(gè)搜索種子進(jìn)行置信度得分設(shè)置，并采用交叉熵函數(shù)對(duì)置信度得分進(jìn)行訓(xùn)練，并基于置信度得分從潛在目標(biāo)中心中選出置信度最高的潛在目標(biāo)中心[11]。

2. 3聯(lián)合的提議和驗(yàn)證

完成潛在目標(biāo)中心生成和篩選后，即可進(jìn)行聯(lián)合的提議和驗(yàn)證。聯(lián)合提議和驗(yàn)證的原理為從置信度較高的潛在目標(biāo)中心中進(jìn)行采樣點(diǎn)提取，并基于此采樣點(diǎn)進(jìn)行簇分類(lèi)；然后基于各個(gè)簇進(jìn)行提取結(jié)果和得分生成，最終從生成結(jié)果中篩選出得分最高的提議，將其作為最終預(yù)測(cè)結(jié)果。

2. 4模板點(diǎn)云的更新

目標(biāo)跟蹤過(guò)程中，目標(biāo)物體的外形可能會(huì)出現(xiàn)細(xì)微變化。為更好對(duì)變化的目標(biāo)物體進(jìn)行實(shí)時(shí)跟蹤，提出采用第一幀中指定的模板點(diǎn)云和前一幀預(yù)測(cè)的目標(biāo)點(diǎn)云進(jìn)行融合，以生成下一幀中的模板點(diǎn)云。完成當(dāng)前幀預(yù)測(cè)后，即可基于點(diǎn)云更新策略進(jìn)行下一幀點(diǎn)云預(yù)測(cè)[12]?；诖瞬呗钥蓪?shí)現(xiàn)磨板點(diǎn)云有效更新和準(zhǔn)確預(yù)測(cè)。且更新結(jié)果中包含目標(biāo)點(diǎn)云的真實(shí)值和預(yù)測(cè)值，從而使得目標(biāo)物體外觀出現(xiàn)變化時(shí)，依舊可實(shí)時(shí)進(jìn)行每一幀目標(biāo)點(diǎn)云預(yù)測(cè)。

3實(shí)驗(yàn)結(jié)果與分析

3. 1實(shí)驗(yàn)環(huán)境

為取得更好的試驗(yàn)效果，實(shí)驗(yàn)將以大小為8GB×2，3200 MHZ內(nèi)存的Inter Core i7-9700K型號(hào)CPU@3.6 GHz作為硬件設(shè)備，選用Nvidia RTX2080s作為圖形處理器，通過(guò)其實(shí)現(xiàn)溝渠圖像處理。軟件設(shè)備選用Ubuntu10.04，分別在Pytuon3.7和Pytorch1.6.0平臺(tái)上進(jìn)行算法訓(xùn)練和測(cè)試。

3. 2數(shù)據(jù)來(lái)源

實(shí)驗(yàn)數(shù)據(jù)來(lái)源于KITTI Visio Benchmark Suite數(shù)據(jù)集，該數(shù)據(jù)包含了某地區(qū)的溝渠場(chǎng)景共計(jì)400張圖像。該數(shù)據(jù)集主要包括20種室外場(chǎng)景和9種類(lèi)型的目標(biāo)。為更好的對(duì)提出的算法進(jìn)行訓(xùn)練和測(cè)試，以8∶2的分配比例進(jìn)行數(shù)據(jù)劃分。

3. 3實(shí)驗(yàn)配置

深度學(xué)習(xí)的PointNet++網(wǎng)絡(luò)中，主要通過(guò)回歸損失函數(shù)Lreg、Lbox和分類(lèi)損失函數(shù)Lcla、Lpro進(jìn)行多參數(shù)優(yōu)化。其中，Lcla和Lpro均采用交叉熵?fù)p失函數(shù)；Lbox采用Smooth-L1損失函數(shù)[13-14]。

將以上4個(gè)損失函數(shù)進(jìn)行合并后，可得到總的損失函數(shù)Ltotal，具體表達(dá)式為[15]：

其中，當(dāng)γ、γ和γ分別取值為0.18、1.47123和0.18時(shí)[16]。

網(wǎng)絡(luò)訓(xùn)練中，通過(guò)Adam優(yōu)化器對(duì)模型參數(shù)進(jìn)行優(yōu)化，batchsize大小設(shè)置為12；初始學(xué)習(xí)率設(shè)置為0.001。

通過(guò)訓(xùn)練發(fā)現(xiàn)，在經(jīng)過(guò)120次迭代后，因此，將最佳迭代次數(shù)設(shè)置為120。

3. 4評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用精準(zhǔn)率和準(zhǔn)確率作為評(píng)價(jià)指標(biāo)。準(zhǔn)確率即算法預(yù)測(cè)的三維目標(biāo)框a與真實(shí)三維目標(biāo)框b的重合率得分（OS）。OS的具體表達(dá)式[17]為：式中：|×|為區(qū)域的體積。

3. 5實(shí)驗(yàn)結(jié)果與分析

3. 5. 1消融實(shí)驗(yàn)結(jié)果

（1）不同特征提取方式：為驗(yàn)證本算法的特征提取效果，實(shí)驗(yàn)將增加不使用相似度矩陣、不使用模板特征和添加搜索種子點(diǎn)的目標(biāo)特征提取算法3種作為對(duì)比算法，將其與本算法進(jìn)行對(duì)比分析[18-19]。

由此，得到不同特征提取方法的結(jié)果如表1所示。

由表1可知，所提算法特征提取方法的準(zhǔn)確率和精準(zhǔn)率分別為61.3%和69.8%，本方法的準(zhǔn)確率和精準(zhǔn)率明顯更高。

（2）對(duì)潛在目標(biāo)進(jìn)行篩選和置信度得分的有效性：為驗(yàn)證所提方法對(duì)潛在目標(biāo)進(jìn)行篩選和置信度得分的有效性，實(shí)驗(yàn)將對(duì)潛在目標(biāo)進(jìn)行篩選和刪除潛在目標(biāo)中心的置信度得分，以驗(yàn)證本方法的有效性。由此得到對(duì)比結(jié)果如表2所示。

由表2可知，沒(méi)有置信度得分的準(zhǔn)確率和精準(zhǔn)率分別取值為46.1%和53.2%；不進(jìn)行篩選的準(zhǔn)確率和精準(zhǔn)率分別為49.4%和58.9%，進(jìn)行潛在目標(biāo)篩選和置信度刪除的準(zhǔn)確率和精準(zhǔn)率分別為61.7%和69.8%。對(duì)潛在目標(biāo)進(jìn)行篩選后，模型準(zhǔn)確率和精準(zhǔn)率分別提升了12.3%和10.9%；對(duì)潛在目標(biāo)置信度得分將模型的準(zhǔn)確率和精準(zhǔn)率分別提升了15.6%和16.6%。說(shuō)明采用本算法后可顯著提升提議質(zhì)量，目標(biāo)跟蹤精度也明顯提升。

（3）對(duì)不同提議數(shù)量的魯棒性：為驗(yàn)證提出的聯(lián)合提議和驗(yàn)證方法的魯棒性，實(shí)驗(yàn)在不同數(shù)量的提議下，將本方法與傳統(tǒng)的SC3D方法進(jìn)行對(duì)比分析，對(duì)比結(jié)果如圖4所示。

由圖4可知，在不同的提議數(shù)量下，本方法的成功率與準(zhǔn)確率始終高于SC3D算法，且在僅有10個(gè)提議的情況下，本算法的工成功率和準(zhǔn)確率依舊高于SC3D算法。由此說(shuō)明，本算法可高效生成高質(zhì)量的提議，在提議數(shù)量較少時(shí)，依舊可取得較高的穩(wěn)定性和魯棒性。

（4）不同模板點(diǎn)云更新方式：為驗(yàn)證提出的模板點(diǎn)云更新方法的性能是否有效，實(shí)驗(yàn)將提出的融合第一幀與前一幀的預(yù)測(cè)結(jié)果與第一幀的真實(shí)值、前一幀的預(yù)測(cè)結(jié)果和融合前所有幀的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析，得到對(duì)比結(jié)果如表3所示。

由表3可知，提出的模板點(diǎn)云更新方法的成功率和精準(zhǔn)率分別為62.1%和82.2%，相較于其他模板更新方法的準(zhǔn)確率和精準(zhǔn)率更高。

3. 5. 2定量實(shí)驗(yàn)

為驗(yàn)證提出的基于深度學(xué)習(xí)的溝渠監(jiān)控與跟蹤算法的性能，實(shí)驗(yàn)依舊將本算法與SC3D算法進(jìn)行對(duì)比分析，得到2種算法的溝渠跟蹤結(jié)果如表4所示。

由表4可知，在相同幀數(shù)下，本方法的準(zhǔn)確率和精確率分別為63.3%和86.9%，SC3D算法的準(zhǔn)確率和精確率分別為38.7%和60.2%，相較于本方法低24.6個(gè)百分點(diǎn)和26.7個(gè)百分點(diǎn)。由此可知，本方法對(duì)溝渠的實(shí)時(shí)監(jiān)控和跟蹤效果更好。

4結(jié)語(yǔ)

通過(guò)消融實(shí)驗(yàn)、定量實(shí)驗(yàn)和定性實(shí)驗(yàn)分析可知，提出的面向目標(biāo)特征提取方法可實(shí)現(xiàn)目標(biāo)信息的有效編碼處理；進(jìn)行目標(biāo)中心投票和篩選后，獲取了有效的特征參數(shù)，也進(jìn)一步驗(yàn)證了提出的方法的有效性。實(shí)驗(yàn)驗(yàn)證可知，在相同的試驗(yàn)場(chǎng)景下，本方法進(jìn)行溝渠跟蹤的準(zhǔn)確率和精準(zhǔn)度均高于傳統(tǒng)的SC3D算法，本算法在點(diǎn)云密集和點(diǎn)云稀疏的情況下，依舊可取得較好的預(yù)測(cè)效果，其可視化分析結(jié)果與目標(biāo)框十分接近。綜合分析可知，本算法可實(shí)現(xiàn)溝渠的實(shí)時(shí)監(jiān)控和準(zhǔn)確跟蹤，時(shí)間復(fù)雜度明顯低于其他算法。具有實(shí)際參考價(jià)值和應(yīng)用意義。

【參考文獻(xiàn)】

[1]李子萬(wàn)，范慧杰，王強(qiáng)，等.基于互相關(guān)-Transformer雙層特征融合的目標(biāo)跟蹤算法[J].機(jī)器人，2024，46（1）：16-26.

[2]郭林，劉冉，藍(lán)發(fā)籍，等.基于激光與UWB序列匹配的目標(biāo)跟蹤[J].控制與決策，2024，39（8）：2613-2621.

[3]楊璽，雷航，錢(qián)偉中，等.基于深度霍夫優(yōu)化投票的三維時(shí)敏單目標(biāo)跟蹤[J].航空兵器，2022，29（2）：45-51.

[4]李海鵬，聶朝陽(yáng).基于不確定區(qū)域的水下純方位目標(biāo)跟蹤方案[J].電子與信息學(xué)報(bào)， 2024， 46 （1）： 109-117.

[5]毛煥，陳宇麟，嚴(yán)舒婷，等.結(jié)合重識(shí)別特征和運(yùn)動(dòng)預(yù)測(cè)的多目標(biāo)跟蹤方法[J].無(wú)線電通信技術(shù)，2023，49（4）：740-745.

[6]葉文韜，劉鈞，李登峰.改進(jìn)YOLOX-Tiny與DeepSort相結(jié)合的多目標(biāo)跟蹤算法[J].西安工業(yè)大學(xué)學(xué)報(bào)，2023，43（3）248-259.

[7]陳汶銘，洪濡，蓋紹彥，等.基于特征融合和相似度估計(jì)網(wǎng)絡(luò)的三維多目標(biāo)跟蹤[J].光學(xué)學(xué)報(bào)，2022，42（16）：175-184.

[8]楊佳峰，江瀟瀟，馬天鳴，等.基于粒子群算法的WSN多目標(biāo)跟蹤能量均衡算法[J].火力與指揮控制，2023，48（3）：43-48.

[9]石健彤，王瑜，畢玉，等.基于注意力機(jī)制的特征融合孿生網(wǎng)絡(luò)目標(biāo)跟蹤算法[J].傳感器與微系統(tǒng)，2024，43（8）：145-149.

[10]李曉艷，王鵬，郭嘉，等.基于雙注意力機(jī)制的多分支孿生網(wǎng)絡(luò)目標(biāo)跟蹤[J].浙江大學(xué)學(xué)報(bào)（工學(xué)版），2023，57（7）：1307-1316.

[11]都立立，邢傳璽，萬(wàn)志良，等.基于CKF-SLAM改進(jìn)的無(wú)人水下航行器動(dòng)態(tài)目標(biāo)跟蹤算法研究[J].云南民族大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，33（1）：102-110.

[12]魏冬梅.基于卷積神經(jīng)網(wǎng)絡(luò)的移動(dòng)網(wǎng)絡(luò)目標(biāo)跟蹤與控制[J].沈陽(yáng)工業(yè)大學(xué)學(xué)報(bào)，2023，45（3）：342-347.

[13]尹丹丹，劉強(qiáng)，侯曉凌.三維空間VR成像的小區(qū)域目標(biāo)跟蹤仿真[J].計(jì)算機(jī)仿真，2023，40（5）：248-251.

[14]陳李田，張?jiān)疲詈瓴?，?基于隨機(jī)有限集的視頻SAR多目標(biāo)跟蹤方法[J].空軍工程大學(xué)學(xué)報(bào)，2023，24（2）：77-82.

[15]楊柳，劉啟亮，袁浩濤.城市激光點(diǎn)云語(yǔ)義分割典型方法對(duì)比研究[J].地理與地理信息科學(xué)，2021，37（1）：17-25.

[16]王浩云，肖海鴻，馬仕航，等.基于MRE-PointNet+AE的綠蘿葉片外形參數(shù)估測(cè)算法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（1）：146-153.

[17]李偉強(qiáng)，雷航，張靜玉，等.基于標(biāo)簽分布學(xué)習(xí)的三維手部姿態(tài)估計(jì)[J].計(jì)算機(jī)應(yīng)用，2021，41（2）：550-555.

[18]范德和，李新海，周恒，等.基于卷積神經(jīng)網(wǎng)絡(luò)的設(shè)備運(yùn)行狀態(tài)智能控制優(yōu)化模型分析[J].粘接，2023，50（6）：179-182.

[19]朱譽(yù)，劉洋，于珍，等.多級(jí)智能技術(shù)安全校核母線負(fù)荷預(yù)測(cè)系統(tǒng)優(yōu)化設(shè)計(jì)[J].粘接，2023，50（2）：176-179.