符長(zhǎng)虹，陳錕輝，魯昆瀚，鄭光澤，趙吉林

（同濟(jì)大學(xué) 機(jī)械與能源工程學(xué)院，上海 201804）

引言

《中華人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十四個(gè)五年規(guī)劃和2035年遠(yuǎn)景目標(biāo)綱要》中提出“瞄準(zhǔn)空天科技等前沿領(lǐng)域，實(shí)施一批具有前瞻性、戰(zhàn)略性的國(guó)家重大科技項(xiàng)目；集中優(yōu)勢(shì)資源攻關(guān)關(guān)鍵元器件零部件和基礎(chǔ)材料等領(lǐng)域關(guān)鍵核心技術(shù)”[1]。航空緊固件等關(guān)鍵基礎(chǔ)零部件被廣泛應(yīng)用于以無(wú)人機(jī)為代表的航空系統(tǒng)平臺(tái)，加之國(guó)家政策的鼓勵(lì)，越來(lái)越受到航空航天領(lǐng)域上下游企業(yè)的重視。但其具有種類繁多、加工工藝復(fù)雜、生產(chǎn)質(zhì)量管控困難等特點(diǎn)，導(dǎo)致航空緊固件成品分揀難度高、工作量巨大。在傳統(tǒng)企業(yè)生產(chǎn)中，往往需要人工對(duì)航空緊固件成品進(jìn)行分揀，但是這種方式存在效率低、成本高等缺點(diǎn)。目前主流研究方向是通過(guò)視覺(jué)檢測(cè)方法對(duì)航空緊固件進(jìn)行檢測(cè)，實(shí)現(xiàn)自動(dòng)分揀，從而提高檢驗(yàn)效率、降低成本。然而，傳統(tǒng)視覺(jué)檢測(cè)方法基于手工特征和分類器[2]，受限于設(shè)計(jì)者的經(jīng)驗(yàn)，開(kāi)發(fā)周期長(zhǎng)且精度低[3]。隨著深度學(xué)習(xí)理論的不斷發(fā)展以及GPU性能的提升，基于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）的視覺(jué)目標(biāo)檢測(cè)方法逐漸成為視覺(jué)檢測(cè)領(lǐng)域的主流，并被廣泛應(yīng)用到工業(yè)生產(chǎn)場(chǎng)景中[4]。

在基于CNN的視覺(jué)目標(biāo)檢測(cè)方法中，淺層特征分辨率高，具有更多空間位置細(xì)節(jié)信息，例如點(diǎn)、線、邊緣等；深層特征分辨率低，但包含更強(qiáng)的語(yǔ)義信息，融合深淺層特征是提高模型檢測(cè)性能的一個(gè)重要手段。然而，因深淺層特征之間存在信息差異，深淺層特征直接融合收效甚微[5]。因此，探索更有效的特征融合方式將能進(jìn)一步提升模型的檢測(cè)性能，特別是對(duì)檢測(cè)精度、魯棒性等要求嚴(yán)格的航空緊固件檢測(cè)。

邊緣部署具有成本低廉、相對(duì)獨(dú)立以及安全性、可靠性、可擴(kuò)展性、可維護(hù)性高等顯著優(yōu)勢(shì)，因此當(dāng)前航空緊固件檢測(cè)場(chǎng)景傾向于進(jìn)行邊緣部署。盡管CNN推動(dòng)了視覺(jué)目標(biāo)檢測(cè)研究的進(jìn)步，但是隨著目標(biāo)檢測(cè)模型網(wǎng)絡(luò)層數(shù)的不斷加深，現(xiàn)有目標(biāo)檢測(cè)模型參數(shù)量激增，計(jì)算量越來(lái)越大，導(dǎo)致模型難以實(shí)現(xiàn)嵌入式邊緣智能設(shè)備的邊緣部署。因此，亟需提出一種輕量化的、適宜部署到邊緣設(shè)備的航空緊固件檢測(cè)方法，來(lái)滿足工業(yè)化應(yīng)用的需求。

目前主流的目標(biāo)檢測(cè)方法往往基于水平框檢測(cè)，然而在緊固件檢測(cè)分揀中存在很大局限性。首先，在待分揀場(chǎng)景中，緊固件的擺放角度是任意的，此時(shí)水平檢測(cè)框?qū)?huì)引入大量背景信息，增大檢測(cè)難度；其次，當(dāng)緊固件擺放密集時(shí)，水平檢測(cè)框會(huì)出現(xiàn)大量重疊，導(dǎo)致漏檢問(wèn)題[6]；最后，水平檢測(cè)框因?yàn)槿狈δ繕?biāo)角度信息，不利于工業(yè)機(jī)器人等自動(dòng)化設(shè)備根據(jù)檢測(cè)結(jié)果直接對(duì)緊固件進(jìn)行快速自動(dòng)抓取分揀。因此，需要對(duì)水平檢測(cè)方法進(jìn)行任務(wù)導(dǎo)向的改進(jìn)，使之更適宜于航空緊固件的檢測(cè)。

針對(duì)以上問(wèn)題，本文提出一種面向邊緣智能光學(xué)感知的航空緊固件檢測(cè)方法，將輕量化的旋轉(zhuǎn)檢測(cè)方法應(yīng)用到航空緊固件的檢測(cè)任務(wù)中。首先，設(shè)計(jì)基于強(qiáng)化語(yǔ)義和優(yōu)化空間的特征融合機(jī)制，提升深淺層特征融合的有效性；其次，提出空洞幻影模塊，減少特征融合網(wǎng)絡(luò)的參數(shù)量，有利于邊緣部署；最后，采用高斯類環(huán)形平滑標(biāo)簽方法將目標(biāo)角度回歸問(wèn)題轉(zhuǎn)化為分類問(wèn)題，對(duì)水平預(yù)測(cè)分支增加180個(gè)角度類別預(yù)測(cè)，以實(shí)現(xiàn)航空緊固件的旋轉(zhuǎn)檢測(cè)。

1 相關(guān)工作

在特征融合的相關(guān)研究中，Tsung-Yi Lin等人提出一種利用深度卷積網(wǎng)絡(luò)固有的多尺度、金字塔層次結(jié)構(gòu)所構(gòu)建的特征金字塔網(wǎng)絡(luò)（feature pyramid network, FPN）[7]。該網(wǎng)絡(luò)通過(guò)構(gòu)建一條自頂向下單向特征融合路徑，對(duì)深層特征逐層上采樣，并分別與下一淺層特征進(jìn)行橫向連接融合，從而向淺層特征嵌入深層特征豐富的語(yǔ)義信息。此外，對(duì)融合后的每個(gè)特征層分別進(jìn)行目標(biāo)類別預(yù)測(cè)和邊框信息回歸。Shu Liu等人提出特征雙向融合的路徑聚合網(wǎng)絡(luò)（path aggregation network, PANet）[8]。該網(wǎng)絡(luò)在FPN基礎(chǔ)上，增加了一條自底向上的特征融合路徑，對(duì)淺層特征逐層下采樣，并分別與上一深層特征進(jìn)行橫向連接融合，通過(guò)利用淺層特征精確的空間信息來(lái)增強(qiáng)深層特征的層次結(jié)構(gòu)。然而，在特征融合前，直接對(duì)深淺層特征進(jìn)行逐層采樣統(tǒng)一分辨率，并不能避免信息差異問(wèn)題。

目前絕大多數(shù)基于CNN的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)內(nèi)存和計(jì)算資源有較高的要求，難以在邊緣設(shè)備上進(jìn)行部署，不能滿足工業(yè)場(chǎng)景的實(shí)際需要[9]。為解決上述問(wèn)題，劉寬等人通過(guò)采用輕量化網(wǎng)絡(luò)ESPNet[10]作為骨干網(wǎng)絡(luò)，實(shí)現(xiàn)目標(biāo)檢測(cè)模型的輕量化[11]；曹富強(qiáng)等人提出鑄件缺陷檢測(cè)方法，通過(guò)使用Efficient-Net[12]中的 MBConv 來(lái)進(jìn)行特征提取，降低了模型骨干網(wǎng)絡(luò)的參數(shù)量[13]；劉懷廣等人基于YOLOv3-tiny提出了一種特征增強(qiáng)型輕量化卷積神經(jīng)網(wǎng)絡(luò)[14]。然而，此類工作主要針對(duì)骨干網(wǎng)絡(luò)進(jìn)行優(yōu)化，通常忽略特征融合網(wǎng)絡(luò)的輕量化處理。此外，在參數(shù)量、特征圖生成、感受野大小等方面有待進(jìn)一步改進(jìn)。

在工業(yè)場(chǎng)景中，基于CNN的緊固件檢測(cè)方法已被廣泛提出。例如，盧艷東等人提出一種基于YOLOv3-tiny軌道緊固件檢測(cè)方法，采用深度可分離卷積降低模型計(jì)算復(fù)雜度，增加預(yù)測(cè)尺度提升檢測(cè)性能[15]；王一等人通過(guò)更換骨干網(wǎng)絡(luò)、重新設(shè)置候選框橫縱比以及優(yōu)化傳統(tǒng)非極大值抑制方法提升了緊固件的識(shí)別準(zhǔn)確率[4]。然而，以上均為水平檢測(cè)方法，會(huì)引入大量背景區(qū)域的干擾信息，導(dǎo)致密集場(chǎng)景下容易漏檢，且無(wú)法預(yù)測(cè)出目標(biāo)的角度信息。此外，YOLOv3方法的性能有待進(jìn)一步提升。因此，以上方法難以應(yīng)用到對(duì)準(zhǔn)確性、魯棒性等要求嚴(yán)格的航空緊固件檢測(cè)工業(yè)場(chǎng)景中。

2 本文方法

本文以YOLOv5為例，在PANet特征融合網(wǎng)絡(luò)基礎(chǔ)上，構(gòu)建基于強(qiáng)化語(yǔ)義和優(yōu)化空間的特征融合機(jī)制，緩解深淺層特征融合時(shí)的信息差異問(wèn)題；為了減少特征融合網(wǎng)絡(luò)的參數(shù)量，設(shè)計(jì)以更少量卷積運(yùn)算獲得更大感受野特征圖的空洞幻影模塊；針對(duì)水平檢測(cè)方法具有檢測(cè)框存在大量背景區(qū)域、密集場(chǎng)景下容易漏檢以及缺乏目標(biāo)角度信息等局限性，采用高斯類環(huán)形平滑標(biāo)簽方法將檢測(cè)框角度的回歸問(wèn)題轉(zhuǎn)化為分類問(wèn)題，對(duì)原有預(yù)測(cè)分支進(jìn)行改進(jìn)，增加180個(gè)角度類別預(yù)測(cè)以實(shí)現(xiàn)航空緊固件的旋轉(zhuǎn)檢測(cè)。本文提出的輕量級(jí)航空緊固件旋轉(zhuǎn)檢測(cè)方法（orientation-aware lightweight aviation fastener detection method, OLAFDet）如 圖1所示。

圖1 輕量級(jí)航空緊固件旋轉(zhuǎn)檢測(cè)方法Fig.1 Lightweight aviation fastener rotation detection method

2.1 基于強(qiáng)化語(yǔ)義和優(yōu)化空間的特征融合機(jī)制

針對(duì)簡(jiǎn)單特征融合方式忽略深淺層特征信息差異問(wèn)題，本文提出一種基于強(qiáng)化語(yǔ)義和優(yōu)化空間的特征融合機(jī)制，其包含強(qiáng)化語(yǔ)義信息嵌入模塊和優(yōu)化空間信息傳遞模塊，分別減少深淺層特征之間語(yǔ)義信息差異和空間信息差異，提高特征融合性能，從而提升模型檢測(cè)精度。

首先，在自頂向下特征融合路徑中的上采樣操作前，增加一個(gè)殘差模塊[16]，其跳躍連接疊加經(jīng)過(guò)不同卷積操作的深層特征，可以減少深淺層特征之間語(yǔ)義信息差異，使得在特征融合過(guò)程中，深層特征的語(yǔ)義信息能夠更有效地利用逐元素相乘的方式將其嵌入到下一橫向連接的淺層特征中，強(qiáng)化了語(yǔ)義信息嵌入的有效性。強(qiáng)化語(yǔ)義信息嵌入模塊由3部分組成，分別是殘差模塊、上采樣操作、逐元素相乘融合，公式如下：

式中：Fi表示經(jīng)過(guò)強(qiáng)化語(yǔ)義信息嵌入模塊后輸出第i層特征； U psample(·)代 表上采樣操作； R(·)表示特征經(jīng)過(guò)殘差模塊的輸出； ?表示逐元素相乘；P表示經(jīng)骨干網(wǎng)絡(luò)輸出的特征。

同樣地，在自底向上特征融合路徑中的下采樣操作后，增加一個(gè)殘差模塊，其跳躍連接疊加經(jīng)過(guò)不同卷積操作的淺層特征，可以減少深淺層特征之間空間信息差異，使得在特征融合過(guò)程中，淺層特征的空間信息能夠更有效地利用逐元素相乘的方式將其傳遞到上一橫向連接的深層特征中，優(yōu)化了空間信息傳遞的準(zhǔn)確性。優(yōu)化空間信息傳遞模塊由3部分組成，分別是下采樣操作、殘差模塊、逐元素相乘融合，公式如下：

式中：N表示經(jīng)過(guò)優(yōu)化空間信息傳遞模塊后輸出的特征； Downsample(·)代表下采樣操作。

強(qiáng)化語(yǔ)義信息嵌入模塊和優(yōu)化空間信息傳遞模塊詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 強(qiáng)化語(yǔ)義與優(yōu)化空間特征融合機(jī)制Fig.2 Enhanced semantics and optimized space feature fusion mechanism

相比PANet網(wǎng)絡(luò)結(jié)構(gòu)，本文的特征融合機(jī)制主要?jiǎng)?chuàng)新點(diǎn)有以下2點(diǎn)：第一，在深淺層特征融合前，增加了殘差模塊，通過(guò)殘差“去掉相同主體部分，突出微小變化”的思想，有助于減少深淺層特征信息差異。第二，采用逐元素相乘的方式融合深淺層特征，有助于豐富深層特征的空間信息以及增強(qiáng)淺層特征的語(yǔ)義性，提升模型檢測(cè)性能。

2.2 更少卷積運(yùn)算更大感受野的空洞幻影模塊

針對(duì)CNN目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)內(nèi)存和計(jì)算資源要求高的問(wèn)題，韓凱等人指出在深度神經(jīng)網(wǎng)絡(luò)中，通常會(huì)包含豐富甚至冗余的特征圖，以保證對(duì)輸入數(shù)據(jù)有全面的理解，因而通過(guò)更廉價(jià)的操作生成部分冗余特征圖，即可在不損失精度的同時(shí)，減少模型的運(yùn)算量[17]。本文提出一種通過(guò)更少卷積運(yùn)算獲得更大感受野特征圖的空洞幻影模塊，其核心思想是深度可分離空洞卷積可以在降低特征圖生成的運(yùn)算量的同時(shí)擴(kuò)大特征圖感受野。具體操作如下：設(shè)輸入特征圖尺寸為W×H×m，輸出特征圖尺寸為W′×H′×n，首先通過(guò)卷積模塊得到通道數(shù)為n/2的本征特征圖。將本征特征圖作為深度可分離空洞卷積的輸入，生成新的具有更大感受野的相似特征圖。最后將本征特征圖和相似特征圖進(jìn)行拼接，得到最終輸出，如圖3所示。

圖3 空洞幻影模塊Fig.3 Dilated ghost module

對(duì)于3通道5×5特征圖，經(jīng)過(guò)4個(gè)3×3卷積核的普通卷積運(yùn)算量為4×3×3×3=108；深度可分離卷積將一個(gè)普通卷積分割成了逐深度卷積和逐點(diǎn)卷積。對(duì)于上述特征圖卷積操作，逐深度卷積運(yùn)算量為3×3×3=27，逐點(diǎn)卷積運(yùn)算量為1×1×3×4=12。因此生成相同尺寸特征圖，深度可分離卷積的運(yùn)算量?jī)H是普通卷積的（27+12）/108≈0.36倍。深度可分離空洞卷積是在深度可分離卷積采樣中插入0值，用以擴(kuò)張采樣分辨率，其優(yōu)點(diǎn)在于無(wú)需池化即可增大感受野。因此本文提出的空洞幻影模塊利用深度可分離空洞卷積生成相似特征圖，實(shí)現(xiàn)通過(guò)更少量卷積運(yùn)算獲得更大感受野的特征圖，從而在基本不損失模型精度的情況下，有效降低生成特征圖的運(yùn)算量。

利用空洞幻影模塊優(yōu)勢(shì)，基于跨階段局部網(wǎng)絡(luò)（cross stage partial network, CSPNet）[18]“豐富梯度組合并減少計(jì)算量”思想設(shè)計(jì)瓶頸層，將輸入特征圖劃分為2個(gè)部分，使得梯度流通過(guò)不同的網(wǎng)絡(luò)路徑傳播，最后通過(guò)跨階段層次結(jié)構(gòu)進(jìn)行合并，其原理如圖4所示。瓶頸層可有效加強(qiáng)網(wǎng)絡(luò)特征融合能力，并降低特征融合網(wǎng)絡(luò)的參數(shù)量。

圖4 瓶頸層Fig.4 Bottleneck layer

2.3 基于高斯類環(huán)形平滑標(biāo)簽的旋轉(zhuǎn)檢測(cè)方法

基于水平框的檢測(cè)方法難以滿足工業(yè)場(chǎng)景下航空緊固件的檢測(cè)需求。本文通過(guò)采用高斯類環(huán)形平滑標(biāo)簽方法在原有水平預(yù)測(cè)分支上增加目標(biāo)角度信息的預(yù)測(cè)?；诨貧w的旋轉(zhuǎn)框角度預(yù)測(cè)存在邊界問(wèn)題，即理想的預(yù)測(cè)結(jié)果可能出現(xiàn)定義范圍以外的情況。本文采用長(zhǎng)邊定義法[19]來(lái)定義旋轉(zhuǎn)框角度，該角度是指旋轉(zhuǎn)框長(zhǎng)邊與X軸之間的夾角，角度表示范圍是（-90° , 90° )，如圖5所示。假設(shè)候選框此時(shí)為-90° ，而真實(shí)框是60° ，此時(shí)候選框最理想的回歸路線是逆時(shí)針旋轉(zhuǎn)30°（因?yàn)榻嵌染哂兄芷谛裕?0° 候選框也可以表示為-120° ），但這樣就超出了（-90° , 90° )的范圍。所以候選框只能順時(shí)針旋轉(zhuǎn)150° 回歸，導(dǎo)致誤差變大，增加回歸難度。

圖5 旋轉(zhuǎn)框角度定義[19]Fig.5 Angle definition of rotation bounding box[19]

為避免以上所提的邊界問(wèn)題，本文通過(guò)采用楊學(xué)等人解決遙感圖像旋轉(zhuǎn)檢測(cè)問(wèn)題提出的高斯類環(huán)形平滑標(biāo)簽[19]，將角度回歸問(wèn)題離散為分類問(wèn)題，即在原有水平預(yù)測(cè)分支上增加180個(gè)目標(biāo)角度類別的預(yù)測(cè)，從而實(shí)現(xiàn)航空緊固件的旋轉(zhuǎn)檢測(cè)，其提出高斯類環(huán)形平滑標(biāo)簽（gaussian-like circular smooth label, GCSL）的具體表達(dá)式如下：

式中：x為預(yù)測(cè)角度值；θ為真實(shí)角度值； μ和 σ均為常數(shù)項(xiàng)。

通過(guò)設(shè)置高斯窗口函數(shù)，使得模型可以衡量預(yù)測(cè)角度值和真實(shí)角度值之間的角度距離，即在(θ-σ,θ+σ)范圍內(nèi)，越接近真實(shí)角度值的預(yù)測(cè)值的損失值越小。同時(shí)，利用窗口函數(shù)的周期性，巧妙地解決了角度周期性的問(wèn)題。例如在角度值范圍屬于（-90° , 90° )的長(zhǎng)邊表示法中，GCSL使得89° 和-90° 兩個(gè)角度值關(guān)系變成近鄰。

綜上所述，本文提出的新的輕量級(jí)航空緊固件旋轉(zhuǎn)檢測(cè)方法，由上述設(shè)計(jì)模塊所組成。在進(jìn)行強(qiáng)化語(yǔ)義和優(yōu)化空間的特征融合的同時(shí)，以更少量卷積運(yùn)算獲得更大感受野特征圖，并具有180個(gè)角度預(yù)測(cè)的旋轉(zhuǎn)檢測(cè)，可應(yīng)用到對(duì)準(zhǔn)確性、魯棒性等要求嚴(yán)格的航空緊固件檢測(cè)工業(yè)場(chǎng)景中。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 評(píng)估指標(biāo)

在目標(biāo)檢測(cè)領(lǐng)域，常采用mAP（mean average precision）對(duì)算法性能進(jìn)行定量評(píng)估，其定義如下：

式中：AP（average precision）為單一類別的平均準(zhǔn)確率；C為檢測(cè)類別總數(shù)；mAP是多個(gè)類別AP的平均值，而 AP 就是精度（precision, P）和召回率（recall,R）組成曲線下面的面積，公式如下：

式中：TP表示預(yù)測(cè)為正樣本，模型真實(shí)標(biāo)簽也是正樣本；FP表示預(yù)測(cè)為正樣本，模型真實(shí)標(biāo)簽為負(fù)樣本； FN為表示預(yù)測(cè)為負(fù)樣本，模型真實(shí)標(biāo)簽為正樣本。

3.2 實(shí)驗(yàn)與評(píng)估

為驗(yàn)證本文方法的有效性，在權(quán)威公開(kāi)旋轉(zhuǎn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)評(píng)估。DOTA是旋轉(zhuǎn)檢測(cè)領(lǐng)域中最為知名、權(quán)威的數(shù)據(jù)集之一，包含2 806張圖像（訓(xùn)練集1 411張、驗(yàn)證集458張、測(cè)試集937張），其中包含15個(gè)類別，共188 282個(gè)不同尺度、形狀方向各異的實(shí)例對(duì)象[20]。

本文方法采用SGD作為優(yōu)化器進(jìn)行訓(xùn)練，初始學(xué)習(xí)率learning_rate=0.01，權(quán)重衰減weight_decay=0.000 5，高斯窗口函數(shù)常數(shù)項(xiàng) μ =0，σ=2，動(dòng)量momentum=0.937，訓(xùn)練輪次epoch=300。完成訓(xùn)練后，對(duì)測(cè)試集進(jìn)行檢測(cè)，并將檢測(cè)結(jié)果提交到DOTA官方服務(wù)器進(jìn)行評(píng)測(cè)，最后得到本文方法的實(shí)驗(yàn)結(jié)果。采用mAP作為評(píng)估模型檢測(cè)精度的性能指標(biāo)，權(quán)重文件大小作為評(píng)估模型參數(shù)量的指標(biāo)，與近年來(lái)前沿旋轉(zhuǎn)框檢測(cè)方法對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。

表1 與前沿旋轉(zhuǎn)框檢測(cè)方法的對(duì)比Table 1 Comparison with cutting-edge rotation bounding box detection methods

表中“-”表示該方法未公開(kāi)對(duì)應(yīng)參數(shù)。在檢測(cè)精度上，本文方法優(yōu)于近年來(lái)主流旋轉(zhuǎn)檢測(cè)方法，并且權(quán)重文件大小只有18 MB，僅為R3Det方法權(quán)重文件大小的2.28%，在工業(yè)場(chǎng)景中進(jìn)行邊緣部署具有極大的輕量化優(yōu)勢(shì)。為進(jìn)一步驗(yàn)證本文方法中所提及的各個(gè)模塊對(duì)提升模型整體性能的有效性，在DOTA數(shù)據(jù)集上進(jìn)行消融分析實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。

表2 消融分析實(shí)驗(yàn)結(jié)果Table 2 Experimental results of ablation analyses

表中“√”表示采用對(duì)應(yīng)模塊，基準(zhǔn)模型是水平檢測(cè)方法，因此使用數(shù)據(jù)集水平框標(biāo)簽進(jìn)行訓(xùn)練。因?yàn)樗綑z測(cè)方法會(huì)引入大量背景區(qū)域的干擾信息以及密集場(chǎng)景下容易漏檢，導(dǎo)致基準(zhǔn)模型的mAP僅有42.32%，引入高斯類環(huán)形平滑標(biāo)簽后，mAP提升到76.86%；使用強(qiáng)化語(yǔ)義和優(yōu)化空間特征融合模塊后mAP進(jìn)一步提升，達(dá)到77.17%，空洞幻影模塊在基本不損失模型精度的情況下，降低模型15.49%的參數(shù)量。綜上所述，本文所提出方法及各模塊的有效性得到驗(yàn)證。

3.3 航空緊固件旋轉(zhuǎn)檢測(cè)性能評(píng)估及其分析

為進(jìn)一步驗(yàn)證本文所提方法，需要對(duì)航空緊固件旋轉(zhuǎn)檢測(cè)性能進(jìn)行評(píng)估。本文以6款典型航空緊固件為例，即螺栓、墊片、螺帽、圓柱銷、鉚釘以及螺釘，如圖6所示，在生產(chǎn)環(huán)境中采集共計(jì)1 000張不同尺度、背景各異、包含不同目標(biāo)數(shù)量的航空緊固件圖片。通過(guò)對(duì)航空緊固件圖片增加隨機(jī)噪點(diǎn)、模糊處理、虛化處理等方法擴(kuò)展到6 000張。最后，使用rolabelimg軟件對(duì)航空緊固件圖片進(jìn)行人工標(biāo)注旋轉(zhuǎn)框標(biāo)簽，并按4∶1的比例劃分訓(xùn)練集和測(cè)試集。

圖6 典型航空緊固件Fig.6 Typical aviation fasteners

針對(duì)模型訓(xùn)練，本文方法采用SGD作為優(yōu)化器，初始學(xué)習(xí)率learning_rate=0.01，權(quán)重衰減weight_decay=0.000 5，高斯窗口函數(shù)常數(shù)項(xiàng) μ =0，σ=2，動(dòng)量momentum=0.937。訓(xùn)練300輪次后得到航空緊固件旋轉(zhuǎn)檢測(cè)模型，在測(cè)試集上進(jìn)行性能評(píng)估，表3為航空緊固件檢測(cè)的測(cè)試結(jié)果。

表中：APs為單目標(biāo)場(chǎng)景下的平均準(zhǔn)確率；APm為隨機(jī)混合散落場(chǎng)景下的平均準(zhǔn)確率。從表3可以看到，單目標(biāo)場(chǎng)景下航空緊固件旋轉(zhuǎn)檢測(cè)mAP均達(dá)到100%，且隨機(jī)混合散落場(chǎng)景下航空緊固件旋轉(zhuǎn)檢測(cè)mAP均在98%以上，部分可視化檢測(cè)結(jié)果如圖7所示。

表3 航空緊固件檢測(cè)的測(cè)試結(jié)果Table 3 Test results of aviation fastener detection %

圖7中，螺帽、圓柱銷以及鉚釘3種小型緊固件在隨機(jī)混合散落的場(chǎng)景下，因存在多個(gè)緊固件堆疊等現(xiàn)象，從而導(dǎo)致少量漏檢，故其mAP未達(dá)到100%。但值得一提的是，在航空緊固件實(shí)際分揀過(guò)程中，隨著堆疊上方的緊固件被分揀，下方緊固件將能夠被正確檢測(cè)，從而確保航空緊固件分揀任務(wù)的完成。

圖7 OLAFDet檢測(cè)結(jié)果示例Fig.7 Result examples of OLAFDet detection

將上述高精度檢測(cè)方法部署在NVIDIA Jetson AGX Xavier上，其檢測(cè)速度超過(guò)20 FPS，可滿足工業(yè)場(chǎng)景下航空緊固件旋轉(zhuǎn)檢測(cè)邊緣部署的需求。

本文方法開(kāi)源地址：https://github.com/vision4ro botics/OLAFDet

4 結(jié)論

本文提出一種面向邊緣智能光學(xué)感知的旋轉(zhuǎn)檢測(cè)方法，可應(yīng)用于工業(yè)場(chǎng)景下航空緊固件檢測(cè)任務(wù)?；趶?qiáng)化語(yǔ)義和優(yōu)化空間的特征融合機(jī)制提升模型的檢測(cè)性能，空洞幻影模塊有利于本文方法的邊緣部署，將水平檢測(cè)改進(jìn)為旋轉(zhuǎn)檢測(cè)，顯著提升了檢測(cè)精度，并且便于緊固件的自動(dòng)抓取分揀工作。本文所提方法及其各模塊的有效性在權(quán)威公開(kāi)旋轉(zhuǎn)數(shù)據(jù)集上得到驗(yàn)證。將本文方法部署在嵌入式邊緣智能設(shè)備NVIDIA Jetson Xavier AGX上，對(duì)航空緊固件檢測(cè)mAP達(dá)到99.76%，檢測(cè)速度超過(guò)20 FPS，滿足工業(yè)應(yīng)用要求。在未來(lái)工作中，我們擬增加模型的目標(biāo)檢測(cè)類別，并考慮將本文方法進(jìn)一步推廣應(yīng)用到其他工業(yè)場(chǎng)景中去。