周 濤， 杜玉虎， 石道宗， 彭彩月， 陸惠玲

（1. 北方民族大學(xué) 計算機科學(xué)與工程學(xué)院，寧夏 銀川 750021；2. 北方民族大學(xué) 圖像圖形智能處理國家民委重點實驗室，寧夏 銀川 750021；3. 寧夏醫(yī)科大學(xué) 醫(yī)學(xué)信息與工程學(xué)院，寧夏 銀川 750004）

1 引 言

下頜骨由于特殊的生理結(jié)構(gòu)，位于頜面部較為突出的位置，存在明顯的解剖結(jié)構(gòu)薄弱區(qū)域，在受到外力撞擊時極易骨折。準(zhǔn)確及時地確定下頜骨的骨折部位能夠給予醫(yī)生充足的參考信息，根據(jù)不同的骨折部位采取合適的治療手段，避免術(shù)后下頜功能障礙、咬合關(guān)系錯亂等問題，影響患者的生活質(zhì)量［1］。當(dāng)骨折程度較為嚴(yán)重時，骨折區(qū)域會出現(xiàn)骨頭嵌插、壓縮等情況，造成局部的密度增高，下頜中容易發(fā)生骨折的部位是正中聯(lián)合部、頦孔區(qū)、下頜角部位以及髁突頸部，不同的骨折部位表現(xiàn)出來的癥狀不相同，在CT影像中的表現(xiàn)也不盡相同。在下頜骨骨折CT 影像中，骨折部位的影像容易受到其余部位例如牙齒等部位的干擾，因為在CT 影像中牙齒部位與骨骼部位均為白影，表示它們對X 射線的吸收程度較高，而黑影表示對于X 射線吸收程度較低的肌肉部位［2］。通常情況下，下頜骨的骨折伴隨著或多或少的出血，出血部位對于X 射線的吸收程度也較高。因此，由于出血情況以及其余部位的干擾，下頜骨骨折CT 影像的人工閱片難度較大，通過人工智能的方法來輔助醫(yī)生進行下頜骨骨折部位的診斷具有重要的意義。

目前，人們開展了大量針對人體骨折部位檢測的研究。Meng 等［3］提出了一種用于肋骨骨折檢測和分類的異構(gòu)神經(jīng)網(wǎng)絡(luò)，由級聯(lián)特征金字塔網(wǎng)絡(luò)和分類網(wǎng)絡(luò)組成，用來輔助放射科醫(yī)生在CT 圖像上診斷和分類肋骨骨折。Zhou 等［4］基于跨模態(tài)數(shù)據(jù)（臨床信息和CT 圖像）進行肋骨骨折的自動檢測和分類。應(yīng)用基于快速區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Fast Region Convolutional Neural Network， Faster R-CNN）整合CT 圖像和臨床信息并使用結(jié)果合并技術(shù)將2D 推斷轉(zhuǎn)換為3D 損傷結(jié)果。Xue 等［5］采用GA_Faster R-CNN 進行手部骨折的檢測與定位，提出新的引導(dǎo)錨定方法使錨框生成更加準(zhǔn)確和高效，大大提高了網(wǎng)絡(luò)性能，并節(jié)約了計算量，同時采用平衡L1 損失來適應(yīng)學(xué)習(xí)任務(wù)的不平衡。Kitamura 等［6］通過小樣本、從頭訓(xùn)練和多視圖合并集成的卷積神經(jīng)網(wǎng)絡(luò)來檢測踝關(guān)節(jié)骨折。Gao 等［7］提出一種使用對側(cè)、上下文和邊緣增強模塊的肋骨骨折診斷深度學(xué)習(xí)方法CCE-Net，使用多徑融合機制作為主要架構(gòu)來集成對側(cè)、上下文和邊緣增強模塊所獲得的特征信息。Liu 等［8］采用Faster-RCNN 輔助診斷股骨轉(zhuǎn)子間骨折，同時對比了骨科主治醫(yī)師與人工智能的相關(guān)檢測準(zhǔn)確率、召回率等，指出人工智能診斷算法是一種有效的臨床診斷方法，可作為骨科醫(yī)師滿意的臨床助手。武等［9］基于胸部X 光影像采用YOLOv3 網(wǎng)絡(luò)進行肋骨骨折的檢測，證明了CNN 可以提高肋骨骨折的檢出率，有助于減少漏診，避免醫(yī)療事故，減輕放射科醫(yī)生的工作量。Warin 等［10］采用Faster RCNN 和YOLOv5 來檢測下頜骨骨折的X 光影像，同時對比了這兩種網(wǎng)絡(luò)與口腔頜面外科醫(yī)生在下頜骨骨折判斷方面的準(zhǔn)確率，檢測網(wǎng)絡(luò)實現(xiàn)了較好的下頜骨骨折分類性能。Wang 等采用U-Net 和ResNet 進行骨折CT 影像的分類，首先利用U-Net 對CT 影像中的具體下頜骨部位進行分割，然后采用ResNet 對分割后的部位進行具體分類，利用分類后的結(jié)果輔助醫(yī)生對下頜骨骨折的診斷［11］。Vinayahalingam 等利用Faster R-CNN 和Swin-Transformer 網(wǎng)絡(luò)對下頜骨部位口腔全景X 光進行骨折部位的檢測，利用Swin-Transformer 作為主干特征提取網(wǎng)絡(luò)，檢測頭部分仍采用Faster R-CNN 的檢測頭，利用Transformer 的自注意力機制進行較好的特征提取［12］。Son 等在口腔全景X 光上利用YOLOv4 網(wǎng)絡(luò)進行下頜骨骨折的檢測，對輸入到網(wǎng)絡(luò)中的CT 影像進行單尺度亮度自適應(yīng)變換和多尺度亮度自適應(yīng)變換以增強圖像的對比度［13］。

上述研究表明，采用人工智能的方法輔助骨折部位的檢測具有較好的應(yīng)用前景，能夠給予醫(yī)生充分的治療參考信息?，F(xiàn)有研究采用的檢測網(wǎng)絡(luò)多為通用網(wǎng)絡(luò)結(jié)構(gòu)，未針對于具體數(shù)據(jù)集進行特征提取網(wǎng)絡(luò)的設(shè)計，對于骨折部位的關(guān)注程度不夠充分。由于骨折部位大小不一、形狀各異，同時受到出血以及其他未骨折部位的影響，當(dāng)前相關(guān)骨折檢測方法在進行影像特征提取時未考慮影像的全局特征表示，未提取相應(yīng)的多尺度信息，不同尺度的特征圖在進行特征融合時無法權(quán)衡其重要程度，特征圖的通道維度、高度和寬度這三者之間未進行交互，缺乏必要信息的融合，存在檢測精度不高的問題。

本文提出了一種下頜骨骨折檢測網(wǎng)絡(luò)3MYOLOv5，特征提取網(wǎng)絡(luò)中采用密集模塊進行改進，引入密集連接思想，利用密集連接神經(jīng)網(wǎng)絡(luò)的特性增強網(wǎng)絡(luò)的特征提取能力；在特征提取網(wǎng)絡(luò)的開始階段采用局部全局注意力模塊（local and global attention Module， lgaM）來提取下頜骨CT 影像的局部全局特征；在密集塊結(jié)構(gòu)中引入輕量化多尺度的思想，更好地提取CT 影像的多尺度特征，關(guān)注到不同大小的骨折區(qū)域；設(shè)計了跨維度雙向融合模塊（cross dimension bidirectional fusion Module， cdbfM），利用跨維度注意力使得網(wǎng)絡(luò)能夠關(guān)注特征圖的高、寬以及通道之間的相互關(guān)系，使得不同體位的CT 影像特征互補，提升網(wǎng)絡(luò)性能。

2 原 理

在提取CT 影像特征時，通常利用卷積操作捕獲局部信息，但是隨著網(wǎng)絡(luò)層數(shù)的加深，淺層網(wǎng)絡(luò)的特征無法傳遞到深層網(wǎng)絡(luò)中，導(dǎo)致深層網(wǎng)絡(luò)無法獲得邊緣、形狀和紋理等信息。密集連接神經(jīng)網(wǎng)絡(luò)通過構(gòu)建當(dāng)前層和后續(xù)其他層的密集連接，將淺層網(wǎng)絡(luò)所提取的特征傳遞到深層網(wǎng)絡(luò)中，能夠?qū)崿F(xiàn)信息的跨層傳遞［14］。因此，本文采用密集連接神經(jīng)網(wǎng)絡(luò)作為主要的特征提取網(wǎng)絡(luò)，基于YOLOv5_s 網(wǎng)絡(luò)提出了一種下頜骨骨折檢測網(wǎng)絡(luò)3M-YOLOv5，其詳細(xì)結(jié)構(gòu)如圖1 所示。3M-YOLOv5 網(wǎng)絡(luò)主要包括特征提取網(wǎng)絡(luò)、cdbfM 模塊以及YOLO 檢測頭部分。特征提取網(wǎng)絡(luò)主要包括Stage 0 到Stage 3 等4 個階段，其中Stage 0 為預(yù)處理階段，提取CT 影像的局部全局特征，Stage 1 到Stage 3 為重復(fù)堆疊的密集模塊，分別重復(fù)堆疊6，12，24 次。每個Stage 的密集模塊之后通過池化操作對特征圖進行下采樣，3 種不同尺度的特征圖由此引出到cdbfM 中進行特征增強。cdbfM 包括跨維度注意力模塊（Cross Dimension Attention Module，CDA）以及雙向特征融合模塊（Bidirectional Feature Fusion Module， BFF）。特征增強后的特征圖輸入到Y(jié)OLO 檢測頭部分進行骨折部位的檢測，3 個檢測頭從上至下分別負(fù)責(zé)檢測較大的骨折區(qū)域、中等大小的骨折區(qū)域以及較小的骨折區(qū)域。

圖1 3M-YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Structure of 3M-YOLOv5 network

2.1 特征提取網(wǎng)絡(luò)

特征提取網(wǎng)絡(luò)在Densenet121 網(wǎng)絡(luò)的基礎(chǔ)上進行改進。Densenet121 網(wǎng)絡(luò)中有4 個重復(fù)堆疊的密集塊結(jié)構(gòu)以及3 個過渡層結(jié)構(gòu)，原始網(wǎng)絡(luò)中密集塊的堆疊次數(shù)分別為6，12，24 和16 次，考慮到Y(jié)OLOv5 網(wǎng)絡(luò)在3 個不同尺度的特征圖上進行目標(biāo)檢測，在網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計時保留了Densenet121 網(wǎng)絡(luò)的前3 個密集塊以及過渡層結(jié)構(gòu)作為特征提取網(wǎng)絡(luò)。過渡層通過池化操作對特征圖進行下采樣，分別在3 個過渡層結(jié)構(gòu)中引出不同尺度的特征圖進行特征增強。輸入的CT影像首先經(jīng)過lgaM 獲得全局信息，然后輸入到重復(fù)堆疊的密集塊結(jié)構(gòu)中進行特征提取，最后在3 個過渡層結(jié)構(gòu)中分別輸出尺寸為80×80，40×40 和20×20 的特征圖，并輸入到特征增強網(wǎng)絡(luò)中進行特征增強。

2.1.1 局部全局注意力模塊

在進行骨折部位檢測時，全局信息很重要。骨折部位約占整個CT 影像的三分之一，下頜骨的骨折部位在CT 影像中的位置信息可以通過提取全局特征來獲得，通過局部全局信息的相結(jié)合提高網(wǎng)絡(luò)的表征能力。利用Transformer 結(jié)構(gòu)可以獲得影像的全局特征，在先前的Transformer應(yīng)用中，采用Self-Attention 來計算當(dāng)前像素值與其他所有像素值的相關(guān)性，這種操作的計算量以及參數(shù)量較大，而在圖像特征提取時，相鄰像素間的差距并不是很大，像素所代表的信息相似［15］。因此，本文在特征提取網(wǎng)絡(luò)的第一個階段引入lgaM，其結(jié)構(gòu)如圖1 所示，通過在每一個patch 內(nèi)計算Self-Attention 來減少參數(shù)量，通過卷積操作和Transformer 結(jié)構(gòu)增強網(wǎng)絡(luò)的特征提取能力，獲得骨折部位的全局信息。lgaM 主要包括局部表示模塊、全局表示模塊以及融合模塊3部分。首先，使用一個卷積核尺寸為3×3 的卷積層來提取CT 影像的局部特征，然后通過一個卷積核尺寸為1×1 的卷積層調(diào)整通道數(shù)。接著，通過全局表示模塊來提取全局特征，全局表示模塊包括Unfold，Transformer 和Fold 3 部分，然后再通過一個卷積核尺寸為1×1 的卷積層調(diào)整通道數(shù)。最后，通過殘差連接將全局建模后的特征圖與最初輸入的特征圖在通道方向上進行拼接操作，拼接后的特征圖通過一個卷積核尺寸為3×3的卷積層做特征融合得到輸出。Unfold，Transformer 和Fold 這3 部分是lgaM 的關(guān)鍵部分。假設(shè)輸入全局表示模塊的特征圖尺寸為H×W×d，首先將特征圖進行patch 劃分，每個patch 的H和W都為2。

如圖2 所示，Unfold 操作按照每個patch 中相對位置相同的像素進行展開，展開后的特征圖通過Transformer 部分進行自注意力計算，在每一個片狀特征圖內(nèi)分別計算自注意力，這種操作能夠極大地減少參數(shù)量。Fold 操作在自注意力計算完成之后將特征圖按照相對位置“折疊”回原來的形狀。自注意力的計算公式為：

圖2 Unfold 以及Fold 操作Fig.2 Unfold and Fold operations

假設(shè)有輸入特征圖矩陣a，將節(jié)點分別經(jīng)過可訓(xùn)練的共享矩陣Wq，Wk，Wv變換后得到對應(yīng)的Q，K，V。Q，K，V矩陣為：

將矩陣Q，K中的值進行點乘操作獲得兩者的相關(guān)性，點乘結(jié)果越大，矩陣V的值越大。點乘后的結(jié)果除以后經(jīng)過Softmax 函數(shù)處理，其中dk為向量k的維度，處理后的結(jié)果與V進行矩陣相乘即得到自注意力機制的計算值。

2.1.2 輕量化多尺度密集模塊

在基本的密集塊結(jié)構(gòu)中，網(wǎng)絡(luò)的淺層特征通過跳躍連接向深層網(wǎng)絡(luò)傳遞特征，這種特征傳遞的機制能夠?qū)\層的特征圖信息傳遞到深層網(wǎng)絡(luò)中，有效地防止梯度消失，使得深層網(wǎng)絡(luò)也能夠獲得較強的紋理、邊緣等信息。密集塊結(jié)構(gòu)中通過堆疊多個卷積層來進行特征提取，在多次重復(fù)堆疊密集塊結(jié)構(gòu)后，網(wǎng)絡(luò)的參數(shù)量大增，導(dǎo)致整體網(wǎng)絡(luò)的參數(shù)量以及訓(xùn)練時間增大。在進行特征提取時，普通卷積操作獲得的特征圖信息存在較多的冗余，所包含的信息差別較小，對于骨折部位的檢測貢獻(xiàn)較小，這些差異較小的特征圖并不需要通過卷積操作來獲取，可以通過簡單的線性操作來代替，從而減小網(wǎng)絡(luò)的計算量［16］。因此，考慮采用Ghost 卷積模塊來替換原始密集塊結(jié)構(gòu)中的1×1 普通卷積，該模塊在減少網(wǎng)絡(luò)參數(shù)量的同時能夠獲得相同數(shù)量的特征圖，降低了網(wǎng)絡(luò)的復(fù)雜度。

Ghost 卷積模塊是一種輕量化的卷積操作，是GhostNet 的主要部分，它可以以較少的參數(shù)量來生成同樣通道數(shù)量的特征圖。如圖3 所示，Ghost 卷積模塊的操作主要分為兩步：第一步使用普通的卷積操作壓縮特征圖的通道數(shù)，通過普通卷積調(diào)整輸入特征圖的通道數(shù)，這里設(shè)置該操作的卷積核個數(shù)為輸入通道數(shù)的一半，此時由于通道數(shù)的減少，模塊的計算量也隨之減少，將輸入特征圖進行信息整合；第二步，對通道數(shù)壓縮后的特征圖進行逐通道方向的卷積操作，該操作與深度可分離卷積中的第一步操作相同，通過f1～fn操作分別對第一步所得到的特征圖做逐通道卷積；最后，將第一步與第二步操作得到的特征圖在通道方向進行拼接，得到最終處理的特征圖。

圖3 Ghost 卷積模塊Fig.3 Ghost convolution module

同樣生成N個特征圖，假設(shè)輸入特征圖通道數(shù)為C，普通卷積的卷積核尺寸為K，Ghost 卷積中第一次卷積生成的特征圖個數(shù)為M，第二次逐通道卷積生成S個特征圖，D為逐通道卷積的卷積核尺寸，最終輸出N=M×S個特征圖。則普通卷積的參數(shù)量為：

Ghost 卷積第一次卷積的參數(shù)量為：

第二次逐通道卷積的參數(shù)量為：

兩者的參數(shù)比為：

由此可見，使用Ghost 卷積的參數(shù)量約為普通卷積的1/S。在密集塊結(jié)構(gòu)中引入Ghost 卷積來替換原始的1×1 普通卷積，能夠在減少參數(shù)量的同時獲得數(shù)量不變的特征圖。為了便于將模塊引入到密集塊結(jié)構(gòu)中，第一步普通卷積操作中卷積核的個數(shù)以及第二步逐通道卷積操作中卷積核的個數(shù)均設(shè)為輸入特征圖通道數(shù)的一半。通過控制卷積核的個數(shù)確保輸入輸出特征圖的尺寸不變，可以將Ghost 模塊直接引入到密集塊結(jié)構(gòu)中。

本文采用的數(shù)據(jù)集中有3 種不同體位的下頜骨CT 影像，分別是冠狀位、矢狀位和軸狀位。不同體位甚至是同一體位的骨折部位影像尺寸不同，采用同樣尺寸的卷積核進行特征提取時獲得的局部特征感受野有限，而在進行特征提取時關(guān)注多尺度特征有助于網(wǎng)絡(luò)性能的提升。故考慮在密集塊中利用結(jié)構(gòu)重參數(shù)化模塊（Structure Reparameterization Module， SRP）進行改進，如圖4 所示。該模塊在訓(xùn)練時使用3 條不同的分支對圖像進行特征提取，在推理時通過結(jié)構(gòu)重參數(shù)化操作將3 條分支合并為一條分支。訓(xùn)練時，第一條分支為卷積核尺寸為1×1 的卷積操作以及批量歸一化（Batch Normalization，BN），第二條分支為卷積核尺寸為3×3 的卷積操作以及BN，第三條分支的特征圖不經(jīng)過卷積只有BN 操作，將三條分支所獲得的特征圖進行相加，相加后的特征圖再經(jīng)過擠壓激勵模塊（Squeeze and Excitation Module，SE Module）進行進一步精煉。SE模塊首先通過自適應(yīng)池化操作將特征圖壓縮成高寬為1 的長條狀，再通過兩個全連接層獲得注意力信息，將注意力信息與原始特征圖相乘使網(wǎng)絡(luò)關(guān)注更有意義的特征，最后將特征圖經(jīng)過Si-LU 激活函數(shù)的處理，得到最終的特征圖。SiLU激活函數(shù)在數(shù)值為負(fù)值時并不是直接將數(shù)值置零，而是采用極小值來代替，這種操作避免了網(wǎng)絡(luò)中的神經(jīng)元為負(fù)值時無法收斂的情況。1×1和3×3 的卷積操作分別提取不同尺度的特征，關(guān)注不同尺寸局部區(qū)域的下頜骨影像特征。兩條分支通過采用不同尺寸的卷積核來提取不同尺度的特征，將不同尺度的特征圖進行相加操作，能夠融合具有不同尺寸感受野的卷積層所提取的下頜骨CT 影像特征。

圖4 結(jié)構(gòu)重參數(shù)化模塊Fig.4 Structure reparameterization module

2.2 跨維度雙向融合模塊

2.2.1 跨維度注意力模塊

在特征提取完成后，會輸出3 種不同尺度的特征圖，尺寸分別為20×20×1 024，40×40×512，80×80×256，將這3 種不同尺度的特征圖輸入到特征增強網(wǎng)絡(luò)中進行處理。此時獲得的特征圖高度、寬度以及通道之間沒有信息的交互，而不同通道提取的信息有著位置、形狀等的相關(guān)性，特征圖的通道和高度以及通道和寬度之間也有著相應(yīng)的聯(lián)系，對于下頜骨骨折部位的判斷至關(guān)重要。本文數(shù)據(jù)集中包含冠狀位、軸狀位和矢狀位3 個體位的CT 影像，不同體位所蘊含的信息也不相同，通過跨維度的特征融合使得3 個體位的信息有所交互。因此，在輸入到特征增強網(wǎng)絡(luò)中之前，采用跨維度注意力模塊，使得特征圖的高度和通道之間、寬度和通道之間的信息有所交互，如圖5 所示。同時，本文數(shù)據(jù)集中采用的3 個體位的影像也能夠補充信息，利用三分支結(jié)構(gòu)捕獲跨維度交互來計算注意力權(quán)重，通過旋轉(zhuǎn)操作和殘差變換建立維度、影像間的依存關(guān)系［17］。

圖5 跨維度注意力模塊Fig.5 Cross dimension attention module

跨維度注意力模塊共有3 個相互平行的分支，第一條分支負(fù)責(zé)關(guān)注特征圖的通道維度C和空間維度W的相互關(guān)系，第二條分支負(fù)責(zé)關(guān)注特征圖的通道維度C和空間維度H的相互關(guān)系，第三條分支負(fù)責(zé)捕獲特征圖的高度H和寬度W之間的依賴關(guān)系。具體實現(xiàn)過程如下：

第一條分支首先將輸入的特征圖沿著高度方向逆時針旋轉(zhuǎn)90°得到形狀為W×H×C的特征圖，然后通過Z-POOL，Conv 以及Sigmoid 激活函數(shù)得到注意力權(quán)重值，Z-POOL 操作對輸入的特征圖進行平均池化和最大池化，減小特征圖的尺寸，同時提取有意義的特征。最后，將注意力權(quán)重值與原始特征圖相乘，此時得到的特征圖再沿著高度方向順時針旋轉(zhuǎn)90°恢復(fù)到和輸入特征圖一致的形狀；第二條分支與第一條分支的操作類似，負(fù)責(zé)計算通道維度C和空間維度W的注意力權(quán)重，特征圖的旋轉(zhuǎn)方式是沿著寬度方向W逆時針旋轉(zhuǎn)90°，此時特征圖形狀變?yōu)镠×C×W，在高度方向進行Z-POOL 操作，將特征圖的高度縮減為2，再經(jīng)過Conv 以及Sigmoid 激活函數(shù)得到注意力權(quán)重值，將權(quán)重值與原始特征圖相乘，最后再順時針旋轉(zhuǎn)90°恢復(fù)到原來的形狀；第三條分支不經(jīng)過旋轉(zhuǎn)操作，只通過Z-POOL，Conv 以及Sigmoid 激活函數(shù)得到注意力權(quán)重值，再將注意力權(quán)重值與原始特征圖相乘得到處理后的特征圖。最后，對3 個分支獲得的特征圖進行相加操作以及取平均值操作。

2.2.2 雙向特征融合模塊

在網(wǎng)絡(luò)訓(xùn)練過程中，輸入到其中的骨折CT影像中骨折部位的尺寸不一，在進行卷積以及下采樣操作時，隨著網(wǎng)絡(luò)的加深，較大的骨折區(qū)域得以保留，而較小的骨折區(qū)域可能丟失，因此需要進行特征增強，將不同分辨率的特征圖進行融合。深層網(wǎng)絡(luò)的特征包含抽象的語義信息，但是缺乏空間信息；淺層網(wǎng)絡(luò)的特征包括邊緣、輪廓及形狀等影像的原始信息，但是缺乏語義信息，通過將深層特征與淺層特征進行融合，將紋理信息與語義信息融合在一塊，能夠獲得更具表征性的特征圖信息［18］。

在原始YOLOv5 網(wǎng)絡(luò)的特征增強網(wǎng)絡(luò)中，采用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）上下采樣拼接的形式來進行特征融合，將小尺寸的特征圖進行上采樣與大尺寸的特征圖相加，將大尺寸的特征圖進行下采樣與小尺寸的特征圖相加，通過上下采樣以及相加操作使得不同分辨率、不同尺寸的特征圖有所交互，將網(wǎng)絡(luò)深層的語義信息傳遞到淺層特征圖中，同時將淺層網(wǎng)絡(luò)所提取的紋理、邊緣和位置等信息傳遞到深層網(wǎng)絡(luò)，從而融合不同分辨率的特征圖，但是融合時每個特征圖的重要程度無法確定。對不同分辨率的特征圖進行簡單的相加融合操作會導(dǎo)致不同尺寸、不同分辨率的特征圖對于融合后特征增強的特征圖貢獻(xiàn)相同，尺寸較大的特征圖所占比重較大，而網(wǎng)絡(luò)深層語義信息豐富的小尺寸特征圖所占的比重較小。

如圖1 所示，跨維度雙向融合模塊在每個上采樣以及下采樣的分支中引入可訓(xùn)練的權(quán)重值來平衡不同尺度特征圖融合時的重要程度，同時增加了跨尺度的特征拼接操作，將原始的特征圖與特征增強處理后的特征圖進行相加操作，類似于殘差網(wǎng)絡(luò)的結(jié)構(gòu)，這種結(jié)構(gòu)能夠增強網(wǎng)絡(luò)的表征能力，對不同尺度的特征圖進行區(qū)分。

如圖6 所示，原始融合模塊中有5 個輸出，其中尺寸較大的P6，P7特征圖是由特征圖P5進行上采樣得到的，P6，P7特征圖結(jié)合了尺寸較小的特征圖作為輸出。YOLOv5 網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)輸出3 種類型的特征圖，3 種不同尺寸的特征圖已經(jīng)能夠較好地滿足下頜骨骨折檢測的需求，因此，本文只采用尺寸較小的3 個特征圖作為檢測特征圖。特征圖P3未進行下采樣操作，僅通過橫向連接與特征圖P4下采樣后的特征圖進行拼接，只有單個輸出邊，故省略橫向的殘差連接以減少參數(shù)量。輸出特征圖的計算公式為：

圖6 雙向特征融合模塊Fig.6 Bidirectional feature fusion module

其中：Wi為可訓(xùn)練的權(quán)重值，Ii為輸入特征圖，ε為一個極小值，防止分母為0。圖6 中，P3_out 為：

由于P4_medium 特征圖與P3特征圖的尺寸不同，因此需要對它進行下采樣操作，Resize 代表對特征圖進行上采樣或者下采樣操作。式（7）中分子為將所有要進行特征融合操作的輸入特征圖與可訓(xùn)練權(quán)重逐個相乘，分母為所有的權(quán)重值與極小值ε相加。通過引入可訓(xùn)練權(quán)重來控制不同尺度特征圖融合時的比重，從而控制不同分辨率的特征圖對最終骨折部位檢測的貢獻(xiàn)值。

3 實驗與結(jié)果分析

3.1 下頜骨骨折數(shù)據(jù)集

實驗采用的數(shù)據(jù)集為下頜骨骨折CT 影像數(shù)據(jù)集。從寧夏某三甲醫(yī)院頜面外科處獲得下頜骨部位影像的原始圖像5 861 張，由專業(yè)醫(yī)師對下頜骨骨折部位進行標(biāo)注，使用開源Labelimg 軟件標(biāo)出下頜骨的骨折部位。標(biāo)簽文件為.xml 格式，在本數(shù)據(jù)集中只有骨折這一種類型，其標(biāo)注名稱為fractured。標(biāo)簽文件中還包括真實框的高度、寬度、圖像的原始尺寸，以及真實框的坐標(biāo)等信息。訓(xùn)練集以及驗證集按照9∶1 的比例進行劃分，得到訓(xùn)練集影像4 746 張，驗證集影像528 張。如圖7 所示，數(shù)據(jù)集包含3 個體位的CT 影像，分別為冠狀位、矢狀位和軸狀位影像。每個體位的CT 影像選取3 張，3 個體位共計9 張CT 影像。冠狀位CT 是指從患者的正前方面向患者進行CT 影像的拍攝，此時獲得的CT 影像成為冠狀位CT 影像；矢狀位CT 是指從患者身體的右側(cè)對患者進行CT 影像的拍攝，此時獲得的CT 影像成為矢狀位CT 影像；軸狀位CT 是指從患者頭頂正上方對患者進行CT 影像的拍攝，此時獲得的CT 影像成為軸狀位CT 影像。通過在不同的體位拍攝CT 影像，結(jié)合不同角度的影像來判斷骨折部位，能夠獲得更充分的信息。

圖7 下頜骨CT 影像數(shù)據(jù)集Fig.7 Mandibular CT image dataset

3.2 實驗環(huán)境與評價指標(biāo)

3.2.1 實驗環(huán)境

實驗中，服務(wù)器操作系統(tǒng)為Windows 10 專業(yè)版64 位系統(tǒng)，計算機內(nèi)存為64 GB，搭載Intel Gold 5218 2.3GHz 處理器，顯卡為Titan RTX 24GB，cuda 版本為11.4。優(yōu)化器采用Adam 優(yōu)化器，動量設(shè)置為0.9，學(xué)習(xí)率設(shè)置為0.001，權(quán)重衰退值為0.000 1。對每一個網(wǎng)絡(luò)進行epoch=100 的迭代，最終選擇準(zhǔn)確率最高的網(wǎng)絡(luò)權(quán)重進行比較。

3.2.2 評價指標(biāo)

為了驗證網(wǎng)絡(luò)的有效性，在實驗中對比了置信度閾值為0.5 時網(wǎng)絡(luò)的F1 值、召回率、精確率、mAP 值等指標(biāo)。精確率（P）、召回率（R）和F1 值的計算公式分別為：

其中：TP 表示在真實正樣本中被預(yù)測為正樣本的樣本數(shù)量，F(xiàn)P 表示在真實負(fù)樣本中被預(yù)測為正樣本的樣本數(shù)量，F(xiàn)N 表示在真實正樣本中被預(yù)測為負(fù)樣本的樣本數(shù)量。在置信閾值為0.5時，對評價指標(biāo)進行了比較。當(dāng)預(yù)測框與真實框的交并比（Intersection over Union，IoU）大于0.5時，該部分為骨折部分，計算該樣本為TP 真陽性樣本。當(dāng)0

mAP 表示所有類別AP 值的平均值，一般情況下，評價時置信度閾值取0.5 時所有類別的平均AP 值來計算mAP。本文數(shù)據(jù)集中只有下頜骨骨折一種類型，因此mAP 等于AP，其計算公式為：

為了直觀地考察不同網(wǎng)絡(luò)的性能，本文還根據(jù)相關(guān)實驗數(shù)據(jù)繪制了雷達(dá)圖，對不同網(wǎng)絡(luò)的F1值、召回率、精確率和mAP 值進行了可視化。雷達(dá)圖中，中心區(qū)域的數(shù)值為零，從中心向四周輻射，數(shù)值逐漸增大，數(shù)值越大代表網(wǎng)絡(luò)的各項評價指標(biāo)越高，網(wǎng)絡(luò)性能越好，不同顏色的折線分別代表了不同網(wǎng)絡(luò)。在對比實驗部分，給出了不同網(wǎng)絡(luò)的FPS（Frame Per Second），即每秒所處理的幀數(shù)。FPS 是目標(biāo)檢測算法中另一個重要評估指標(biāo)，數(shù)值越大，表明網(wǎng)絡(luò)的檢測速度越快。在評估網(wǎng)絡(luò)的整體性能時，要綜合考慮網(wǎng)絡(luò)的F1值、召回率、精確率、mAP 值以及FPS 做出全面的評估。

3.3 實驗結(jié)果

圖8 是下頜骨骨折CT 影像，分別為冠狀位影像、矢狀位影像和軸狀位影像的檢測結(jié)果。在影像中使用矩形框?qū)⒐钦鄄课豢虺?，并且在矩形框的上方給出了“fractured”字樣，同時給出了該矩形框部位為骨折的置信度值。

圖8 下頜骨骨折CT 影像檢測結(jié)果Fig.8 Detection results of mandibular fracture CT images

3.3.1 消融實驗

3M-YOLOv5 結(jié)構(gòu)基于YOLOv5 網(wǎng)絡(luò)進行改進，設(shè)計了3 個模塊改進網(wǎng)絡(luò)性能，分別是lga模塊、lmd 模塊以及cdbf 模塊。lmd 模塊包括Ghost 卷積模塊以及SRP 模塊，cdbf 模塊包括CDA 模塊以及BFF 模塊。在消融實驗中，通過分別引入不同的模塊來驗證其有效性。實驗一采用lgaM 模塊、SRP 模塊、CDA 模塊和BFF 模塊對網(wǎng)絡(luò)進行改進，去掉lmdM 模塊中的Ghost卷積模塊，使用基本的1×1 卷積操作進行特征提??；實驗二采用lgaM 模塊、Ghost 卷積模塊、CDA模塊和BFF 模塊對網(wǎng)絡(luò)進行改進，去掉lmdM 模塊中的SRP 模塊，使用基本的3×3 卷積操作進行特征提??；實驗三采用lgaM 模塊、Ghost 卷積模塊、SRP 模塊和CDA 模塊對網(wǎng)絡(luò)進行改進，去掉BFF 模塊，使用原始網(wǎng)絡(luò)中的FPN 網(wǎng)絡(luò)進行特征增強；實驗四使用lgaM 模塊、Ghost 卷積模塊、SRP 模塊和BFF 模塊進行網(wǎng)絡(luò)改進，去掉CDA 模塊；實驗五使用Ghost 卷積模塊、SRP 模塊、CDA 模塊和BFF 模塊對網(wǎng)絡(luò)進行改進，去掉網(wǎng)絡(luò)開始階段的lgaM 模塊；實驗六去掉網(wǎng)絡(luò)開始階段的lgaM 模塊和BFF 模塊，只保留Ghost 卷積模塊、SRP 模塊和CDA 模塊；實驗七只保留lgaM 模塊、CDA 模塊和BFF 模塊，去掉密集塊結(jié)構(gòu)中的Ghost 卷積模塊和SRP 模塊，采用基本的1×1 和3×3 卷積進行特征提??；實驗八利用特征提取網(wǎng)絡(luò)引入的lgaM 模塊、Ghost卷積模塊和SRP 模塊對網(wǎng)絡(luò)進行改進，去掉CDA 模塊和BFF 模塊；實驗九只保留CDA 模塊和BFF 模塊，在骨干網(wǎng)絡(luò)中使用原始的密集塊結(jié)構(gòu)進行特征提取；實驗十引入所有模塊來改進網(wǎng)絡(luò)。

消融實驗結(jié)果如表1 所示。實驗一網(wǎng)絡(luò)的mAP 值較引入所有模塊時下降了0.08%，參數(shù)量較最終網(wǎng)絡(luò)結(jié)構(gòu)上升了1.969 MB，證明Ghost卷積模塊相較于1×1 卷積能夠減少參數(shù)量。各項評價指標(biāo)也有所下降，證明在密集塊結(jié)構(gòu)中引入Ghost 卷積模塊所帶來的性能提升有限。Ghost 卷積模塊雖然能夠以較少的參數(shù)量來獲得同樣數(shù)量的特征圖，但是由于其最終特征圖中有一半的特征圖沒有經(jīng)過處理，而是類似于殘差結(jié)構(gòu)直接與另一半特征圖進行通道拼接，因此它所帶來的性能提升有限。實驗二網(wǎng)絡(luò)的mAP 值較引入所有模塊時下降了0.95%，置信度閾值取0.5 時，網(wǎng)絡(luò)的F1 值、召回率、精確率分別下降1.97，2.05 以及1.89，證明了SRP 模塊中的1×1以及3×3 卷積能夠關(guān)注到不同尺寸的局部區(qū)域，同時在模塊中引入的SiLU 激活函數(shù)能夠較好地防止神經(jīng)元在負(fù)值時的死亡，有利于網(wǎng)絡(luò)的收斂。實驗三網(wǎng)絡(luò)的mAP 值較引入所有模塊時下降了0.76%，證明了采用BFF 模塊能夠提升網(wǎng)絡(luò)的性能，在進行不同分辨率特征圖的融合拼接時能夠較好地平衡不同特征圖的融合權(quán)重，同時在特征提取網(wǎng)絡(luò)中同時引入（1）、（2）、（3）、（4）這4 個模塊能夠增強網(wǎng)絡(luò)的特征提取能力，較好地獲取到不同大小骨折區(qū)域的特征以及骨折部位在整個下頜骨CT 影像中的全局信息。實驗四網(wǎng)絡(luò)的mAP 值下降了0.27%，證明引入CDA 模塊能夠關(guān)注特征圖的高度、寬度和通道之間的關(guān)系，進一步提升網(wǎng)絡(luò)性能，但是性能提升有限；實驗五中去掉lgaM 模塊后，置信度閾值取0.5 時網(wǎng)絡(luò)的mAP 值、F1 值、召回率、精確率分別下降0.39%，1.37%，1.71%，1.04%，同時參數(shù)量與計算量也有所下降，lgaM 模塊以較小的代價來提取全局特征信息，證明lgaM 模塊能夠在特征提取網(wǎng)絡(luò)的開始階段獲得全局表征信息，同時Unfold 以及 Fold 操作能夠減少計算注意力時的參數(shù)量。實驗六網(wǎng)絡(luò)的mAP 值下降較多，與原始YOLOv5 網(wǎng)絡(luò)相比僅提升了2.12%，證明了在網(wǎng)絡(luò)的最初始階段引入lgaM 模塊能夠使網(wǎng)絡(luò)更好地捕獲全局特征信息，從而提升網(wǎng)絡(luò)的特征提取能力，同時BFF 模塊在進行特征增強時能夠通過可訓(xùn)練的權(quán)重來決定不同分辨率的特征圖融合的權(quán)重。實驗七網(wǎng)絡(luò)mAP 值僅提升了2.31%，同時網(wǎng)絡(luò)的參數(shù)量也有所提升，證明了原始密集塊結(jié)構(gòu)中的卷積操作參數(shù)量較大，特征提取能力較好，但是將原始卷積操作分別替換為Ghost 卷積模塊以及SRP 模塊后，網(wǎng)絡(luò)的特征提取能力能夠進一步的提升。實驗八網(wǎng)絡(luò)的mAP 值提升了2.3%，證明采用BFF 模塊能夠平衡不同分辨率特征圖融合時的權(quán)重，同時CDA 模塊能夠關(guān)注特征圖的高度、寬度和通道之間的關(guān)系，進一步提升網(wǎng)絡(luò)性能。實驗九網(wǎng)絡(luò)性能下降得最多，甚至遠(yuǎn)不如原始YOLOv5 網(wǎng)絡(luò)，F(xiàn)1 值等各項評價指標(biāo)也大幅下降，證明了僅采用兩個模塊來改進網(wǎng)絡(luò)無法很好地進行下頜骨骨折部位的檢測。實驗十同時引入5 個模塊，網(wǎng)絡(luò)的各項指標(biāo)最大，證明本文所提出的3M-YOLOv5 網(wǎng)絡(luò)能夠較好地進行下頜骨骨折部位的檢測。圖9 給出了消融實驗的雷達(dá)圖，通過該圖可以看出，實驗十的折線位于最外側(cè)，各項性能最優(yōu)。

表1 消融實驗結(jié)果Tab.1 Result of ablation experiment

圖9 消融實驗雷達(dá)圖Fig.9 Radar map of ablation experiment

3.3.2 對比實驗

本文通過對比不同目標(biāo)檢測網(wǎng)絡(luò)在下頜骨骨折檢測方面的各項評價指標(biāo)，驗證了所提出的3M-YOLOv5 下頜骨骨折檢測網(wǎng)絡(luò)的有效性。在提出的下頜骨骨折CT 影像數(shù)據(jù)集上，采用3M-YOLOv5 網(wǎng)絡(luò)與YOLOv3 網(wǎng)絡(luò)、YOLOv4 網(wǎng)絡(luò)、FasterRCNN、CenterNet、YOLOX網(wǎng)絡(luò)以及YOLOv7 網(wǎng)絡(luò)進行了檢測。其中，YOLOX 選用YOLOX_s 版本進行對比；YOLOv7 網(wǎng)絡(luò)有針對于邊緣GPU、普通GPU 和云GPU 的3 種基本網(wǎng)絡(luò)，分別命名為YOLOv7tiny、YOLOv7 和YOLOv7-W6，本文選取適用于普通GPU 版本的YOLOv7 網(wǎng)絡(luò)。實驗結(jié)果如表2 所示。

表2 不同實驗結(jié)果對比Tab.2 Comparison of experiment results with different networks

YOLOv3 網(wǎng)絡(luò)采用Darknet-53 作為主干特征提取網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)中采用了卷積層進行特征的提取，通過采用步長為2 的卷積層來進行下采樣操作，沒有使用池化層，避免了池化操作所帶來的特征信息丟失等問題［25］。但是由于其特征提取不夠充分，僅通過兩次上采樣進行特征圖拼接，未進行特征增強，高分辨率特征圖與低分辨率特征圖之間沒有交互，缺少信息互補，因此整體效果并不理想。YOLOv4 網(wǎng)絡(luò)是YOLO 系列網(wǎng)絡(luò)中第一次采用小尺寸特征圖上采樣與大尺寸特征圖下采樣進行特征網(wǎng)絡(luò)的增強，在特征提取網(wǎng)絡(luò)中還引入了空間金字塔池化（Spatial Pyramid Pool，SPP）結(jié)構(gòu)來提取不同尺度的特征，但是網(wǎng)絡(luò)性能的提升效果有限。Faster RCNN 網(wǎng)絡(luò)是常用的兩階段檢測網(wǎng)絡(luò)，它首先生成區(qū)域建議候選框，再對候選框進行分類。網(wǎng)絡(luò)的檢測效果較好，但是網(wǎng)絡(luò)的參數(shù)量以及計算量數(shù)倍于其他YOLO 系列網(wǎng)絡(luò)，極大增加了訓(xùn)練以及部署時的成本。CenterNet 是一種無錨框的檢測網(wǎng)絡(luò)，不依賴大量的錨框，其參數(shù)量以及計算量較少，但是由于它只在高語義信息的特征圖上進行特征檢測，未結(jié)合大尺寸、大分辨率的特征圖，丟失了較多的細(xì)節(jié)信息，因此其檢測效果較差。YOLOX 網(wǎng)絡(luò)的參數(shù)量和YOLOv5 相差無幾，計算量提升較多，模型結(jié)構(gòu)更加復(fù)雜，同時圖片每秒的檢測速度也有所提升，但是對于骨折部位的特征提取不夠充分，因此整體性能提升較少。YOLOv7 網(wǎng)絡(luò)的性能與YOLOX 網(wǎng)絡(luò)接近，但是由于二者都是通用檢測網(wǎng)絡(luò)，對于下頜骨骨折部位的特征提取不夠充分，其性能甚至弱于YOLOv5網(wǎng)絡(luò)。本文提出的3M-YOLOv5 在置信度閾值取0.5 時的mAP 值、F1 值、召回率和精確率分別為0.991 7，0.990 6，0.988 1，0.993 2，與其他網(wǎng)絡(luò)相比，整體性能提升最多。3M-YOLOv5 網(wǎng)絡(luò)的FPS 值在所有網(wǎng)絡(luò)中最低，其檢測速度最慢。但是考慮到在醫(yī)學(xué)圖像輔助診斷中，漏診、誤診等現(xiàn)象是不被允許的，精度要求是第一位的，其次才會考慮檢測速度。因此，綜合考慮網(wǎng)絡(luò)的整體性能，以犧牲速度來換取準(zhǔn)確率，網(wǎng)絡(luò)的整體表現(xiàn)還是可以接受的。圖10 給出了對比實驗的雷達(dá)圖，通過該圖可以看出，3M-YOLOv5 網(wǎng)絡(luò)的mAP 值、F1 值、召回率和精確率折線均位于最外側(cè)，各項性能最優(yōu)。

圖10 對比實驗雷達(dá)圖Fig.10 Radar map of comparison experiment

4 結(jié) 論

下頜骨骨折時需要根據(jù)不同的骨折部位采取不同的治療手段，準(zhǔn)確及時地定位骨折部位能夠給予醫(yī)生充足的治療參考信息，當(dāng)前相關(guān)檢測網(wǎng)絡(luò)存在特征提取不充分、檢測精度不高等問題。本文提出了一種用于下頜骨骨折檢測的3M-YOLOv5 網(wǎng)絡(luò)，它基于YOLOv5 網(wǎng)絡(luò)進行改進。首先，引入密集連接思想來改進特征提取網(wǎng)絡(luò)，在3 個過渡層中分別引出3 種不同尺度的特征圖輸入到特征增強網(wǎng)絡(luò)中；其次，在重復(fù)堆疊的密集塊中引入Ghost 卷積模塊以及結(jié)構(gòu)重參數(shù)化模塊，使得特征提取網(wǎng)絡(luò)能夠提取多尺度信息，從而增強網(wǎng)絡(luò)的特征提取能力；然后，在跨維度雙向融合模塊中采用跨維度注意力來融合特征圖的高度、寬度以及通道之間的信息；最后采用雙向特征融合模塊，在特征圖進行上下采樣的過程中加入可訓(xùn)練的權(quán)重，更好地平衡了不同尺度特征圖融合時的重要程度。實驗結(jié)果表明，改進后的3M-YOLOv5 網(wǎng)絡(luò)的F1 值、召回率、精確率以及 mAP 值分別為 99.06%，98.81%，99.32%和99.17%。

針對單一類別即下頜骨骨折類型，改進后網(wǎng)絡(luò)的mAP 值能夠達(dá)到99%以上，表明YOLOv5網(wǎng)絡(luò)在單一目標(biāo)檢測領(lǐng)域也能取得很好的效果。但是，本文未對下頜骨的骨折部位給出明確的分類，只檢測出骨折部位。未來工作要對具體的下頜骨骨折部位給出明確的分類，例如具體到髁突、下頜體、下頜角等具體部位的骨折信息，同時可以進行下頜骨骨折CT 影像的實時分析，幫助醫(yī)師在進行CT 影像拍攝時能夠更快更好地找到下頜骨的骨折部位，從而選取更加有代表性的CT 影像供給主治醫(yī)師進行治療的參考。