魏昊坤 劉敬一 陳金勇 楚博策 孫裕鑫 朱進(jìn)

摘 要：????? 由于遙感圖像拍攝的高度和設(shè)備不同導(dǎo)致每張圖像的地面采樣間隔（GSD）也不同， 許多小目標(biāo)往往易被忽略， 遙感圖像中旋轉(zhuǎn)框目標(biāo)檢測(cè)成為當(dāng)下研究熱點(diǎn)。 現(xiàn)有的旋轉(zhuǎn)框檢測(cè)算法主要面向通用場(chǎng)景下的多尺度目標(biāo)檢測(cè)， 特征金字塔中特征融合計(jì)算操作復(fù)雜且耗時(shí)， 部署到無(wú)人機(jī)上的邊緣端設(shè)備時(shí)面臨很大的挑戰(zhàn)。 因此本文針對(duì)該場(chǎng)景下的小目標(biāo)檢測(cè)提出基于L-FPN的無(wú)人機(jī)上小目標(biāo)識(shí)別模型輕量化方法， 首先依據(jù)圖像的GSD信息進(jìn)行尺度歸一化， 然后去除特征金字塔中冗余的高層特征圖， 最后針對(duì)小目標(biāo)檢測(cè)調(diào)整錨框的尺寸。 本方法在DOTA數(shù)據(jù)集上進(jìn)行訓(xùn)練驗(yàn)證， 結(jié)果表明本文提出的基于L-FPN的無(wú)人機(jī)上小目標(biāo)識(shí)別模型輕量化方法在識(shí)別精度與傳統(tǒng)模型一致的情況下， 模型參數(shù)量較原模型減少2.7%， 模型大小減少28%， 推理速度提升13.24%。

關(guān)鍵詞：???? 目標(biāo)檢測(cè)； 特征金字塔； 模型輕量化； 遙感圖像； 無(wú)人機(jī)

中圖分類號(hào)：??? ?TJ760

文獻(xiàn)標(biāo)識(shí)碼：??? A

文章編號(hào)：??? ?1673-5048（2024）01-0097-06

DOI： 10.12132/ISSN.1673-5048.2023.0127

0 引? 言

針對(duì)無(wú)人機(jī)對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)場(chǎng)景中， 模型尺寸太大， 難以在無(wú)人機(jī)上高效運(yùn)行進(jìn)行研究。 現(xiàn)有的目標(biāo)識(shí)別算法模型較大、 功耗較高， 經(jīng)常會(huì)在高性能計(jì)算機(jī)上運(yùn)行， 但受限于無(wú)人機(jī)上邊緣端設(shè)備的計(jì)算能力以及存儲(chǔ)空間， 算法直接移植到邊緣端設(shè)備上， 太大的模型會(huì)導(dǎo)致運(yùn)行效果變差， 甚至無(wú)法運(yùn)行。 邊緣端設(shè)備無(wú)法提供足夠的功率來(lái)支持模型的運(yùn)行。 為了保證一些前沿的目標(biāo)檢測(cè)算法在邊緣端設(shè)備上的運(yùn)行效果， 且能夠應(yīng)用到無(wú)人機(jī)對(duì)地目標(biāo)檢測(cè)場(chǎng)景中， 本文從結(jié)構(gòu)上對(duì)模型進(jìn)行改進(jìn)， 但直接改動(dòng)模型結(jié)構(gòu)， 會(huì)導(dǎo)致模型檢測(cè)精度降低， 因此還要對(duì)此場(chǎng)景中的檢測(cè)進(jìn)行其他針對(duì)性的改進(jìn)， 改進(jìn)后可以維持原有模型的檢測(cè)精度， 同時(shí)能夠降低模型參數(shù)量和模型大小。

現(xiàn)有降低模型大小的方法有模型剪枝、 模型量化和知識(shí)蒸餾， 主要針對(duì)多數(shù)通用場(chǎng)景， 側(cè)重于模型計(jì)算上的優(yōu)化， 而模型結(jié)構(gòu)優(yōu)化則在特定應(yīng)用場(chǎng)景下有很好的應(yīng)用表現(xiàn)。

減少模型尺寸和提高模型推理速度一直是人工智能領(lǐng)域優(yōu)化模型研究的重要目標(biāo)。 從計(jì)算資源的節(jié)向和應(yīng)用實(shí)時(shí)性的方面來(lái)看，? 這都是必須滿足的要求。 在減少計(jì)算復(fù)雜度方面， 模型剪枝［1］是目前效果明顯的技術(shù)之一。 其通過(guò)去除神經(jīng)網(wǎng)絡(luò)中權(quán)重較小的參數(shù)網(wǎng)絡(luò)結(jié)構(gòu)， 同時(shí)保持或提升模型精度。 具體來(lái)說(shuō)， 可以將原本設(shè)計(jì)為密集連接結(jié)構(gòu)的模型轉(zhuǎn)變?yōu)橄∈杞Y(jié)構(gòu)， 只保留對(duì)模型影響最大的節(jié)點(diǎn)連接。? 另一些方法是通過(guò)對(duì)模型結(jié)構(gòu)的優(yōu)化， 來(lái)降低模型尺寸大小， 這些方法僅在卷積方式上做出創(chuàng)新， 設(shè)計(jì)出通用的輕量化網(wǎng)絡(luò)模型［2-3］， 提高網(wǎng)絡(luò)計(jì)算效率， 并沒(méi)有針對(duì)相應(yīng)的應(yīng)用場(chǎng)景， 對(duì)模型其他冗余部分進(jìn)行改進(jìn)， 在模型的Neck部分還有很大的改進(jìn)空間。 或者是利用模型量化的方法， 將網(wǎng)絡(luò)中參數(shù)的表示從高精度轉(zhuǎn)化為低精度， 來(lái)減少模型體積大小， 在邊緣端平臺(tái)上能夠提高運(yùn)算速度。 這種壓縮參數(shù)的方法雖然能夠達(dá)到減小模型大小的目的， 但會(huì)改動(dòng)模型中的參數(shù)， 導(dǎo)致模型精度的下降。

在無(wú)人機(jī)對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)場(chǎng)景中，? 由于目標(biāo)的尺度較小， 現(xiàn)有的遙感圖像DOTA［4］數(shù)據(jù)集標(biāo)注時(shí)， 往往會(huì)忽略掉其中小目標(biāo)的標(biāo)注， 錯(cuò)過(guò)一些重要的信息。 圖1為DOTA數(shù)據(jù)集的標(biāo)注信息， 圖2為DOTA數(shù)據(jù)集中被忽略掉的小目標(biāo)。

在圖像特征融合方面， 還需要再利用特定的方法對(duì)其進(jìn)行改進(jìn)。 在目標(biāo)識(shí)別模型中對(duì)于特征金字塔部分所做的工作主要是在不斷地改變各個(gè)特征層之間的融合方式來(lái)提高模型整體的預(yù)測(cè)精度， 這些方法不僅利用了多尺度上的特征圖， 而且還使這些特征圖之間的融合方式變得復(fù)雜， 導(dǎo)致模型參數(shù)量增多， 不利于在邊緣端設(shè)備上運(yùn)行。

在面向無(wú)人機(jī)對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)場(chǎng)景時(shí)， 本文從模型結(jié)構(gòu)入手， 提出了輕量化FPN的方法來(lái)減少模型參數(shù)量。 首先， 輕量化FPN方法針對(duì)傳統(tǒng)的目標(biāo)檢測(cè)模型中， 特征融合模塊中冗余的過(guò)程進(jìn)行簡(jiǎn)化， 針對(duì)運(yùn)動(dòng)目標(biāo)尺度較小的問(wèn)題， 從各個(gè)特征層的感受野入手， 由于高層次的特征感受野太大， 不利于檢測(cè)小尺度的物體，? 因此在特征金字塔部分進(jìn)行特征融合時(shí)， 采用一些低層次的特征來(lái)對(duì)小目標(biāo)進(jìn)行檢測(cè)識(shí)別， 降低特征整層融合的代價(jià)， 并且為了讓模型檢測(cè)到圖像中更多的小目標(biāo)， 本文將圖像根據(jù)其GSD進(jìn)行了像素級(jí)的調(diào)整， 讓圖像都處在同一GSD下， 充分地將更多的小目標(biāo)的大小放縮到同一尺度上來(lái)解決相關(guān)的問(wèn)題。

1 相關(guān)工作

現(xiàn)在模型輕量化工作主要是從模型的整體出發(fā)， 通過(guò)對(duì)整體進(jìn)行壓縮去降低模型參數(shù)量， 使模型大小降低， 來(lái)減少模型運(yùn)行所消耗的資源。 另外一種方法是從模型的整體結(jié)構(gòu)入手， 更改網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)， 設(shè)計(jì)出符合需求的輕量化模型。

知識(shí)蒸餾［5］將大模型壓縮成小模型， 利用大模型中學(xué)到的知識(shí)來(lái)指導(dǎo)小模型的訓(xùn)練學(xué)習(xí)， 使得小模型具有大模型的泛化能力， 模型參數(shù)量大大減少， 提高了模型計(jì)算性能。 利用小模型替代大模型實(shí)現(xiàn)推理階段的加速。

在訓(xùn)練好的模型中， 卷積層和全連接層含有大量參數(shù)， 并且大量神經(jīng)元的激活值趨近于零。 模型剪枝將這些激活值接近零的神經(jīng)元去除后， 仍可保持同樣的模型檢測(cè)性能。 根據(jù)模型剪枝的粒度不同可以分為細(xì)粒度剪枝和粗粒度剪枝。 細(xì)粒度剪枝主要是針對(duì)神經(jīng)元之間的連接權(quán)重進(jìn)行剪枝， 對(duì)權(quán)重值進(jìn)行排序， 去掉低于預(yù)設(shè)閾值的連接， 并且對(duì)剪枝后的網(wǎng)絡(luò)進(jìn)行恢復(fù)性調(diào)整， 與原模型水平保持一致， 繼續(xù)去掉低于預(yù)設(shè)閾值的連接， 直到剪枝的結(jié)果滿足預(yù)設(shè)目標(biāo)， 終止剪枝操作。

粗粒度剪枝主要是對(duì)模型進(jìn)行通道剪枝， 如基于重要性因子的剪枝法， 該方法通過(guò)評(píng)估每個(gè)通道的有效性， 再配合約束通道數(shù)使模型結(jié)構(gòu)本身具有稀疏性。 依據(jù)這種方法對(duì)模型進(jìn)行剪枝， 可以獲得無(wú)需特定算法支持的精簡(jiǎn)模型。

通道剪枝算法是通過(guò)判斷通道激活的稀疏性來(lái)評(píng)估其重要性， 通道稀疏性越高， 越應(yīng)該被刪除， 利用Batch Norm中的縮放因子， 以重建誤差來(lái)指導(dǎo)剪枝。 該算法根據(jù)輸入特征圖各通道對(duì)輸出特征圖貢獻(xiàn)大小， 對(duì)模型進(jìn)行剪枝。 這種方法可以直接反映進(jìn)行稀疏通道剪枝后對(duì)特征的損失情況。

這些方法在特定場(chǎng)景下的小目標(biāo)檢測(cè)計(jì)算中仍有冗余， 增加了不必要的計(jì)算過(guò)程， 識(shí)別精度較低。

2 模型輕量化方法

本文中進(jìn)行驗(yàn)證的算法是兩階段的旋轉(zhuǎn)框檢測(cè)算法， 整體的架構(gòu)如圖3所示。 首先， 針對(duì)于原始圖像， 本文利用尺度歸一化的方法將其縮放到統(tǒng)一尺度， 減少了模型訓(xùn)練的時(shí)間， 學(xué)習(xí)的目標(biāo)都是統(tǒng)一尺度， 在預(yù)測(cè)上的壓力也會(huì)減少。 在模型特征提取模塊（Backbone）， 本文選取了最經(jīng)典且精度較高的Resnet50來(lái)提取圖像特征， 在Resnet50中會(huì)得到多個(gè)不同尺度上的特征圖， 并且送入到圖像融合模塊（Neck）中進(jìn)行融合。 本文針對(duì)遙感圖像精簡(jiǎn)了特征圖融合的計(jì)算過(guò)程， 將融合好的特征圖送入到預(yù)測(cè)模塊（Head）中進(jìn)行圖像的預(yù)測(cè)。

2.1 圖像尺度歸一化

圖像的預(yù)處理是根據(jù)遙感圖像的地面采樣間隔（GSD）來(lái)進(jìn)行的。 現(xiàn)有的用來(lái)做目標(biāo)檢測(cè)的遙感圖像都是由不同的衛(wèi)星或者航空飛機(jī)所采集， 其地面采樣間隔是不同的， 這就直接導(dǎo)致圖像中同類物體的大小尺度不同， 在進(jìn)行模型訓(xùn)練時(shí)， 要學(xué)習(xí)同類物體不同尺度上的特征信息， 增加了訓(xùn)練負(fù)擔(dān)， 因此在進(jìn)行圖像訓(xùn)練之前要進(jìn)行尺度歸一化。 尺度歸一化能夠?qū)⑦^(guò)大的目標(biāo)縮小，

將過(guò)小的目標(biāo)放大到較大尺度， 模型不必去學(xué)習(xí)過(guò)多的特征知識(shí)導(dǎo)致過(guò)擬合， 且能夠獲得更多的目標(biāo)細(xì)節(jié)。 首先， 在GSD的選擇上， 本文選擇一個(gè)目標(biāo)檢測(cè)數(shù)據(jù)集中在特定尺度下圖像最多的尺度。 根據(jù)選擇出來(lái)的GSD信息， 依據(jù)每張圖像各自的GSD來(lái)進(jìn)行縮放， 計(jì)算出每張圖片需要進(jìn)行縮放的倍數(shù)scale：

式中： standard為選定的GSD標(biāo)準(zhǔn)。

獲得每個(gè)圖像的縮放尺度之后， 利用最近鄰差值的方法對(duì)圖像進(jìn)行縮放：

W=w×scale（2）

H=h×scale（3）

式中： w，h分別為原始圖像的尺寸大小； W，H分別為縮放后的圖像尺寸。

當(dāng)圖像進(jìn)行縮放時(shí)， 新產(chǎn)生的像素點(diǎn)的值會(huì)與周邊的像素值保持一致：

式中： M×N為原始圖像的大小， （x， y）為每個(gè)像素的坐標(biāo)； P×Q為目標(biāo)圖像的大小， （i， j）為每個(gè)像素的坐標(biāo)。

本研究首先對(duì)數(shù)據(jù)集所有圖像進(jìn)行解析， 提取其GSD信息， 并進(jìn)行統(tǒng)計(jì)分析， 得出圖像數(shù)量最多的GSD值主流范圍。 隨后， 進(jìn)一步比對(duì)該范圍內(nèi)各GSD值對(duì)應(yīng)的樣本量， 選擇樣本規(guī)模最大的某個(gè)GSD值作為數(shù)據(jù)集圖像特征的代表性指標(biāo)。 此代表性GSD值被指定為圖像統(tǒng)一縮放的標(biāo)準(zhǔn)， 目的是使模型學(xué)習(xí)能更好匹配數(shù)據(jù)集整體分布特點(diǎn)， 從而提升目標(biāo)檢測(cè)任務(wù)效果。 由于這一GSD尺度下采集的圖像樣本規(guī)模最大， 代表的是數(shù)據(jù)集主流場(chǎng)景， 所以采用這一標(biāo)準(zhǔn)進(jìn)行模型訓(xùn)練， 可以使訓(xùn)練出的模型更好地適應(yīng)數(shù)據(jù)集的整體特征和檢測(cè)任務(wù)需求， 充分挖掘數(shù)據(jù)集主要場(chǎng)景信息。

2.2 輕量化FPN設(shè)計(jì)

特征金字塔（FPN）［6］是目標(biāo)檢測(cè)任務(wù)中建立金字塔結(jié)構(gòu)網(wǎng)絡(luò)的經(jīng)典網(wǎng)絡(luò)解決方案之一， FPN能夠在復(fù)雜的自然場(chǎng)景圖像中， 有效提升模型針對(duì)各尺度目標(biāo)的檢測(cè)性能。 由于特征提取網(wǎng)絡(luò)輸出的特征圖是分層的， 高層次的特征圖具有更低的分辨率， 包含更多大尺度目標(biāo)的信息， 更適合檢測(cè)大尺度目標(biāo)， 低層次的特征圖具有更高的分辨率， 更適合檢測(cè)更多小尺度的目標(biāo)。 在遙感圖像中移動(dòng)目標(biāo)的尺度相對(duì)較小， 高層次的特征圖做出的貢獻(xiàn)較少。 YOLOF［7］這項(xiàng)研究指出FPN的成功在于其分而治之的策略去優(yōu)化目標(biāo)檢測(cè)任務(wù)， 而不是多尺度上的特征融合。 然而在標(biāo)準(zhǔn)的模型上， FPN應(yīng)用所有層次上的特征圖去檢測(cè)是非常冗余且低效的。

為解決這個(gè)問(wèn)題， 本文對(duì)于FPN的結(jié)構(gòu)進(jìn)行調(diào)整， 針對(duì)遙感圖像中小目標(biāo)檢測(cè)的任務(wù)場(chǎng)景去除了Resnet50輸出的上邊C4和C5兩個(gè)高層次的特征層， 這兩個(gè)特征層包含著更多大尺度目標(biāo)的特征信息。 利用剩下的兩個(gè)低層次的特征圖C2和C3， 并且讓其繼續(xù)進(jìn)行特征融合， 將融合后的特征圖P2， P3和P4送入旋轉(zhuǎn)框檢測(cè)部分用于小目標(biāo)的檢測(cè)。 圖4是輕量化FPN的詳細(xì)結(jié)構(gòu)。

2.3 低層次特征圖錨框設(shè)計(jì)

在去除冗余的特征圖和融合操作之后， 整個(gè)訓(xùn)練完成的模型的參數(shù)量和大小會(huì)減少。 特征金字塔輸出的特征圖相較于原始模型會(huì)減少兩個(gè)特征層， 并且存在與預(yù)測(cè)模塊（Head）耦合不完整導(dǎo)致預(yù)測(cè)精度下降的問(wèn)題， 這是由于圖像經(jīng)過(guò)尺度歸一化處理后， 圖像中的目標(biāo)大小也會(huì)進(jìn)行相應(yīng)的變動(dòng)， 預(yù)測(cè)框難以準(zhǔn)確地回歸預(yù)測(cè)到物體的位置信息。

本文所用算法是基于錨框模型的， 利用錨框來(lái)進(jìn)行目標(biāo)的定位和分類， 物體大小會(huì)隨之變化， 因此針對(duì)于無(wú)人機(jī)所拍攝的航空?qǐng)D像以及遙感圖像中錨框的大小也要做出適當(dāng)?shù)恼{(diào)整。 以前錨框的設(shè)計(jì)是針對(duì)于多尺度目標(biāo)的檢測(cè)， 現(xiàn)在移除C4和C5兩個(gè)上層特征層之后， 針對(duì)剩下的C2和C3進(jìn)行回歸預(yù)測(cè)。 錨框大小設(shè)計(jì)的合理性能夠直接影響模型的檢測(cè)精度， 合理的錨框大小能夠很好的對(duì)目標(biāo)進(jìn)行包圍。 在錨框生成的階段錨框的大小受兩個(gè)因素的影響， 分別是錨框的基本大小和錨框的移動(dòng)步長(zhǎng)：

area=s×stride（6）

式中： area為錨框的大?。?s為錨框的基本大小； stride為錨框移動(dòng)的步長(zhǎng)。

3 實(shí)? 驗(yàn)

本文在DOTA數(shù)據(jù)集上開(kāi)展相關(guān)實(shí)驗(yàn)評(píng)估本文所提出的方法， 選取的算法是目前遙感圖像識(shí)別中精度排名前三的旋轉(zhuǎn)框檢測(cè)算法： Rotated FaterR-CNN［8］， RoI Transformer［9］和Oriented R-CNN［10］。

3.1 數(shù) 據(jù) 集

DOTA是一個(gè)公開(kāi)的， 專門用于尺度變化較大的遙感圖像檢測(cè)數(shù)據(jù)集， 由于遙感圖像中物體排列方向的任意性以及拍攝角度額不同， 此數(shù)據(jù)集中圖像標(biāo)注信息全部采用旋轉(zhuǎn)框標(biāo)注， 主要面向于旋轉(zhuǎn)框目標(biāo)檢測(cè)。 DOTA數(shù)據(jù)集包含2 806張遙感圖片和188 282個(gè)標(biāo)注信息。 其標(biāo)注的目標(biāo)當(dāng)中有15個(gè)類別， 包含遙感圖像中常見(jiàn)的大型車輛、 游泳池、 飛機(jī)場(chǎng)、 小型車輛等。

由于本文主要針對(duì)于遙感圖像中的小目標(biāo)檢測(cè)， 因此， 本文將只關(guān)注DOTA數(shù)據(jù)集中大型車輛和小型車輛兩個(gè)類別， 并將這兩個(gè)類別的注釋都提取出來(lái)， 訓(xùn)練集和驗(yàn)證集都采用進(jìn)行縮放過(guò)后的圖像。

3.2 實(shí)驗(yàn)設(shè)計(jì)

3.2.1 尺度歸一化設(shè)計(jì)細(xì)節(jié)

首先將DOTA數(shù)據(jù)集中每張圖像的GSD信息進(jìn)行統(tǒng)計(jì)， 從GSD的分布中， 選擇該GSD中位數(shù)值作了代表， 是因?yàn)槠淠芎芎玫胤从吵鲈摂?shù)據(jù)集在該應(yīng)用場(chǎng)景下的典型和最為廣泛的GSD水平。 0.72這個(gè)中位數(shù)從統(tǒng)計(jì)學(xué)的角度來(lái)看， 能夠有效代表DOTA數(shù)據(jù)集整體的GSD的值分布情況。 用選取的0.72作為縮放標(biāo)準(zhǔn)， 圖 5是圖像進(jìn)行尺度歸一化之后的結(jié)果， 小尺度目標(biāo)的大小都被調(diào)整到了合適的尺寸。 那些容易被忽略的小目標(biāo)就會(huì)有更多的細(xì)節(jié)特征被學(xué)習(xí)到， 更多被忽略不易被識(shí)別的小目標(biāo)被識(shí)別， 提高模型的識(shí)別能力。

3.2.2 訓(xùn)練參數(shù)設(shè)置

在此次訓(xùn)練中， 采用單卡RTX3090進(jìn)行圖像訓(xùn)練， batchsize=2， 在mmrotate［11］平臺(tái)上進(jìn)行訓(xùn)練。 整個(gè)網(wǎng)絡(luò)用GSD算法進(jìn)行優(yōu)化， 學(xué)習(xí)率設(shè)置為0.005。 針對(duì)于原始的圖像大小， 為了便于模型進(jìn)行讀取訓(xùn)練， 本文將圖像進(jìn)行了切割， 切割成1 024×1 024大小的小圖像， 每張圖像切割時(shí)小圖像之間的重疊間距是200像素， 每個(gè)模型訓(xùn)練都是12個(gè)epoch， 設(shè)置式（6）中錨框的基本大小s=10。

3.2.3 實(shí)驗(yàn)結(jié)果

在原始的DOTA數(shù)據(jù)集上， 本文將小型車輛和大型車輛的注釋信息提取出來(lái)， 將其標(biāo)注信息也根據(jù)圖像的尺度變化進(jìn)行處理， 讓點(diǎn)能夠包圍住車輛， 對(duì)3個(gè)模型中的FPN部分進(jìn)行了更改， 并且對(duì)其精度推理速度等參數(shù)進(jìn)行了測(cè)試， 還將原始的模型訓(xùn)練原始的DOTA數(shù)據(jù)作為baseline。

表1是3個(gè)模型經(jīng)過(guò)本文所提出的方法改進(jìn)之后的與原始的模型進(jìn)行的對(duì)比， 所用的數(shù)據(jù)集是沒(méi)有經(jīng)過(guò)縮放的圖像， 能夠看出， 經(jīng)過(guò)本文的尺度歸一化以及輕量化處理， 模型針對(duì)于小目標(biāo)的識(shí)別精度較原始模型有所提高。 實(shí)驗(yàn)結(jié)果也表明本文的輕量化方法是有效的， 特征金字塔中， 高層次的特征圖對(duì)于小目標(biāo)的檢測(cè)所起到的作用是很低的。

本文不僅從模型預(yù)測(cè)精度也從推理速度、 模型大小方面進(jìn)行了對(duì)比， 所有的模型訓(xùn)練集和驗(yàn)證集是經(jīng)過(guò)尺度歸一化處理后的圖像， 實(shí)驗(yàn)結(jié)果如表2所示， 本文所改進(jìn)的模型在檢測(cè)精度（mAP）上與原模型在同一水平， 在模型大小和模型尺寸比原模型精簡(jiǎn)下降， 在參數(shù)方面， RoI Transformer模型下降了1.11 M， Oriented R-CNN模型下降了1.12 M， 模型大小都減少了68.8 MB， 模型推理速度都分別增加了2.9 FPS和1.8 FPS。

本文改進(jìn)后的模型比原始的模型能夠識(shí)別更多的小尺度目標(biāo)， 還能檢測(cè)到更多被忽略沒(méi)有被注釋的目標(biāo)信息。 在實(shí)驗(yàn)結(jié)果的對(duì)比中本文選取了4個(gè)不同的場(chǎng)景驗(yàn)證改進(jìn)模型的識(shí)別能力， 如圖6～9所示。 圖中左側(cè)為DOTA未縮放原始數(shù)據(jù)集的檢測(cè)效果， 右側(cè)為縮放后的數(shù)據(jù)集在進(jìn)行改進(jìn)后的模型上的檢測(cè)效果。

圖6展示了建筑密集的場(chǎng)景下小尺度目標(biāo)的檢測(cè)結(jié)果， 小型車輛等小目標(biāo)與較大的房屋建筑相比極易被忽略， 這些小型車輛在DOTA數(shù)據(jù)集中尺度更小， 在原始的檢測(cè)模型中有許多小型車輛未被檢測(cè)到， 而利用本文改進(jìn)的模型能夠檢測(cè)更多的小型車輛目標(biāo)。 圖7展示了在野外無(wú)過(guò)多建筑物， 車輛較為稀疏空曠場(chǎng)景的結(jié)果對(duì)比， 與周邊的道路和平原相比車輛目標(biāo)屬于小尺度目標(biāo)改進(jìn)后的模型檢測(cè)到的目標(biāo)更多。 圖8～9分別展示了車輛稀疏與車輛密集的場(chǎng)景下的檢測(cè)結(jié)果對(duì)比。 多場(chǎng)景實(shí)驗(yàn)結(jié)果對(duì)比表明本文改進(jìn)的模型的檢測(cè)效果不受稀疏或密集場(chǎng)景的干擾， 在大尺度目標(biāo)周邊的小尺度目標(biāo)同樣能檢測(cè)到， 且相較于原模型檢測(cè)能力更高。

4 結(jié)? 論

本文主要解決遙感圖像中小目標(biāo)不易被檢測(cè)到， 并且解決訓(xùn)練好的通用模型過(guò)大， 難以在嵌入式平臺(tái)上部署的問(wèn)題。 針對(duì)遙感圖像中主流的旋轉(zhuǎn)框檢測(cè)算法進(jìn)行改進(jìn)， 模型整體性能取得了很大的提升。 將遙感圖像先進(jìn)行尺度歸一化處理， 能夠解決小目標(biāo)在這類檢測(cè)任務(wù)中被忽略的問(wèn)題， 能夠選出最適合當(dāng)前檢測(cè)場(chǎng)景的地面采樣間隔。 將模型進(jìn)行輕量化處理之后模型的檢測(cè)精度相較與原來(lái)的模型相同， 并且模型大小， 參數(shù)量和推理速度有很大的提升。

在后續(xù)的工作中， 將會(huì)在錨框大小的選擇上將利用機(jī)器學(xué)習(xí)算法對(duì)其進(jìn)行改進(jìn)， 選擇出更合適的錨框大小。 同時(shí)會(huì)將訓(xùn)練好的模型部署在無(wú)人機(jī)上， 去進(jìn)行模型的實(shí)施推理。

參考文獻(xiàn)：

［1］ Liu Z， Li J G， Shen Z Q， et al. Learning Efficient Convolutional Networks through Network Slimming［C］∥IEEE International Conference on Computer Vision （ICCV）， 2017.

［2］ 俞偉聰， 郭顯久， 劉鈺發(fā)， 等. 基于輕量化深度學(xué)習(xí)Mobilenet-SSD網(wǎng)絡(luò)模型的海珍品檢測(cè)方法［J］. 大連海洋大學(xué)學(xué)報(bào)， 2021， 36（2）： 340-346.

Yu Weicong， Guo Xianjiu， Liu Yufa， et al. Detection Method of High Value Marine Food Organisms Based on Lightweight Deep Learning Mobilenet-SSD Network［J］. Journal of Dalian Ocean University， 2021， 36（2）： 340-346.（in Chinese）

［3］ Qin Z， Zhang Z N， Zhang S Q， et al. Merging-and-Evolution Networks for Mobile Vision Applications［J］. IEEE Access， 2018， 6： 31294-31306.

［4］ Xia G S， Bai X， Ding J， et al. DOTA： A Large-Scale Dataset for Object Detection in Aerial Images［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 3974-3983.

［5］ 邵仁榮， 劉宇昂， 張偉， 等. 深度學(xué)習(xí)中知識(shí)蒸餾研究綜述［J］. 計(jì)算機(jī)學(xué)報(bào)， 2022， 45（8）： 1638-1673.

Shao Renrong， Liu Yuang， Zhang Wei， et al. A Survey of Know-ledge Distillation in Deep Learning［J］. Chinese Journal of Compu-ters， 2022， 45（8）： 1638-1673.（in Chinese）

［6］ Lin T Y， Dollar P， Girshick R， et al. Feature Pyramid Networks for Object Detection［C］∥IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 936-944.

［7］ Chen Q， Wang Y M， Yang T， et al. You only Look One-Level Feature［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2021： 13034-13043.

［8］ Yang X， Yan J C， Feng Z M， et al. R3Det： Refined Single-Stage Detector with Feature Refinement for Rotating Object［C］∥ AAAI Conference on Artificial Intelligence， 2021， 35（4）： 3163-3171.

［9］ Ding J， Xue N， Long Y， et al. Learning RoI Transformer for Oriented Object Detection in Aerial Images［C］∥ IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019.

［10］ Xie X X， Cheng G， Wang J B， et al. Oriented R-CNN for Object Detection［C］∥IEEE/CVF International Conference on Computer Vision， 2021.

［11］ Zhou Y， Yang X， Zhang G F， et al. MMRotate： A Rotated Object Detection Benchmark Using PyTorch［C］∥30th ACM International Conference on Multimedia， 2022.

A Lightweight Method for Small Object Detection Models on

Unmanned Aerial Vehicles Based on L-FPN

Abstract：Oriented object detection in remote sensing images is a current research hotspot. Due to the varying heights and equipment used in capturing remote sensing images， the ground sampling distance （GSD） of each image also varies， causing many small objects to be easily overlooked. Existing rotated object detection algorithms are mainly aimed at multi-scale object detection in general scenarios. The feature pyramid network （FPN） has complex and time-consuming fusion computations， which still faces great challenges when deployed on edge devices like UAVs. Therefore， this paper proposes a lightweight method for small object detection in UAVs based on L-FPN. First， normalize the scale according to the GSD information of the image. Second， remove redundant high-level feature maps in the FPN. Finally， adjust the anchor box sizes for small object detection. The method is trained and validated on the DOTA dataset.Results show that compared to the traditional models， the proposed L-FPN-based lightweight method for small object detection in UAVs achieves consistent recognition accuracy， with 2.7% fewer model parameters， 28% smaller model size， and 13.24% faster inference speed.

Key words： object detection； feature pyramid； model lightweight； remote sensing images； UAV