輸電線路無(wú)人機(jī)巡檢會(huì)產(chǎn)生海量可見光、紅外、聲紋等多模態(tài)數(shù)據(jù)，現(xiàn)有單模態(tài)數(shù)據(jù)分析模式難以滿足融合分析需求，存在模型耦合性低、知識(shí)獨(dú)立性過(guò)強(qiáng)等問(wèn)題。因此，亟需研究基于人工智能的多模態(tài)大模型技術(shù)，融合機(jī)理分析、數(shù)據(jù)增強(qiáng)等手段，提升缺陷識(shí)別與推演能力，實(shí)現(xiàn)巡檢效率與電網(wǎng)安全水平的躍升。

在電力行業(yè)加速向數(shù)字化、智能化轉(zhuǎn)型的大背景下，讓輸電線路巡檢變得更“聰明”，是保障電網(wǎng)安全高效運(yùn)行的關(guān)鍵一環(huán)。作為公司第一批新型電力系統(tǒng)技術(shù)攻關(guān)團(tuán)隊(duì)之一，勇?lián)厝危槍?duì)上述難題開展了系統(tǒng)性技術(shù)研究。

在大小模型協(xié)同提升缺陷識(shí)別效果方面，智能巡檢技術(shù)攻關(guān)團(tuán)隊(duì)系統(tǒng)性地開展了多模態(tài)樣本標(biāo)注與數(shù)據(jù)增強(qiáng)工作。針對(duì)螺母安裝不規(guī)范等形態(tài)復(fù)雜的稀缺缺陷樣本，創(chuàng)新性地采用多模態(tài)AIGC大模型進(jìn)行樣本增廣。采用了Copy-paste訓(xùn)練策略以及多尺度切片訓(xùn)練方法進(jìn)行模型訓(xùn)練。檢測(cè)流程中，首先利用先進(jìn)的YOLOv10檢測(cè)算法，在電力圖片上檢測(cè)桿塔和連接件區(qū)域，隨后應(yīng)用多模態(tài)大模型GLIP在該區(qū)域內(nèi)精準(zhǔn)檢測(cè)螺母不規(guī)范等缺陷，有效保障了檢測(cè)精度。團(tuán)隊(duì)探索的大小模型并行融合策略，提升了復(fù)雜場(chǎng)景和非標(biāo)準(zhǔn)形狀目標(biāo)的檢測(cè)能力。

團(tuán)隊(duì)突破單一模態(tài)檢測(cè)局限，研發(fā)了輸電線路無(wú)人機(jī)光熱聲一體化智巡平臺(tái)，通過(guò)融合可見光、紅外與聲紋的多模態(tài)數(shù)據(jù)，擴(kuò)展了可識(shí)別缺陷種類并提升了診斷準(zhǔn)確率。

在無(wú)人機(jī)巡檢圖像智能處理領(lǐng)域，團(tuán)隊(duì)研發(fā)了資源受限環(huán)境下的非對(duì)稱編解碼壓縮關(guān)鍵技術(shù)，創(chuàng)新性地提出了基于深度學(xué)習(xí)的自適應(yīng)高倍率壓縮算法，實(shí)現(xiàn)了桿塔關(guān)鍵設(shè)備的智能識(shí)別與超低損壓縮。同時(shí)，研發(fā)了結(jié)合深度學(xué)習(xí)圖像增強(qiáng)的高質(zhì)量解碼技術(shù)，構(gòu)建了與壓縮模型匹配的高保真解碼恢復(fù)模型，提升了圖像重建質(zhì)量。為提升壓縮算法模型運(yùn)行效率，團(tuán)隊(duì)還研發(fā)了基于壓縮模型輕量化的低算力設(shè)備復(fù)用技術(shù)，有效保障了算法在邊端設(shè)備上的運(yùn)行效率。團(tuán)隊(duì)基于冀北公司現(xiàn)有業(yè)務(wù)流程及應(yīng)用現(xiàn)狀，圍繞邊緣端壓縮功能、平臺(tái)端恢復(fù)功能開展封裝集成研究，實(shí)現(xiàn)了技術(shù)路徑最優(yōu)化。

在此期間，我們智能巡檢技術(shù)攻關(guān)團(tuán)隊(duì)取得了一系列技術(shù)攻關(guān)成果成效。首創(chuàng)“大小模型協(xié)同檢測(cè)法”，綜合性能更優(yōu)。團(tuán)隊(duì)通過(guò)對(duì)比大小模型對(duì)瓷質(zhì)絕緣子破損、銷釘不規(guī)范檢測(cè)的性能，驗(yàn)證了大模型雖在精確率上略低于專用模型，但缺陷召回率更高，整體性能更優(yōu)。完成了大小模型融合方案的設(shè)計(jì)和測(cè)試驗(yàn)證，融合模型結(jié)合了小模型的高效與大模型的強(qiáng)能力，綜合性能獲得較大提升，提升了缺陷發(fā)現(xiàn)率、檢測(cè)效率及模型魯棒性。

構(gòu)建“光熱聲一體化診斷平臺(tái)”，識(shí)別能力躍升。在輸電線路無(wú)人機(jī)光熱聲一體化智巡平臺(tái)研究工作中，實(shí)現(xiàn)了可見光、紅外和聲紋的多模態(tài)一體化采集、診斷與分析方案，將可識(shí)別的缺陷從9大類拓展到16大類；實(shí)現(xiàn)了光熱聲融合診斷，識(shí)別準(zhǔn)確率提高了 15% ，實(shí)現(xiàn)全方位、高精度的線路狀態(tài)診斷。青創(chuàng)賽項(xiàng)目《逐影尋聲對(duì)癥問(wèn)診輸電線路無(wú)人機(jī)“光熱聲”一體化智巡平臺(tái)》在國(guó)網(wǎng)總決賽中榮獲銀獎(jiǎng)。該項(xiàng)自構(gòu)建了業(yè)界首個(gè)融合多物理場(chǎng)特征的輸電設(shè)備缺陷診斷體系，其創(chuàng)新性特征融合架構(gòu)為行業(yè)提供了可復(fù)用的技術(shù)范式。

研發(fā)“高效圖像壓縮一恢復(fù)方案”，破解傳輸瓶頸。在無(wú)人機(jī)巡檢圖像非對(duì)稱編解碼壓縮技術(shù)研究中，團(tuán)隊(duì)完成了相關(guān)模型和算法研究，終端壓縮功能、平臺(tái)端恢復(fù)功能已成功集成至現(xiàn)有公司無(wú)人機(jī)巡檢系統(tǒng)。在保障關(guān)鍵特征完整性的前提下，實(shí)現(xiàn)平均壓縮比10：1（動(dòng)態(tài)范圍5：1至15：1），恢復(fù)模型解碼圖像PSNRgt;35。針對(duì)正常巡檢產(chǎn)生的高質(zhì)量圖像前端壓縮效率平均小于2s/張，后端解碼恢復(fù)平均小于1s/張，缺陷智能識(shí)別結(jié)果與原圖誤差約 12%_lt; 研究已受理核心發(fā)明專利3項(xiàng)、發(fā)表相關(guān)論文4篇，科技項(xiàng)自順利通過(guò)冀北公司驗(yàn)收。

未來(lái)，智能巡檢技術(shù)攻關(guān)團(tuán)隊(duì)將在攻克輸電巡檢多模態(tài)數(shù)據(jù)融合分析難題的道路上，繼續(xù)砥礪前行，突破技術(shù)瓶頸，助力公司科技工作邁上新臺(tái)階?！?/p>