王超奇，宮法明

(中國石油大學(xué)(華東)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,山東 青島 266580)

0 引 言

自從ImageNet[1]競賽中引入卷積神經(jīng)網(wǎng)絡(luò)以后，各種使用卷積神經(jīng)網(wǎng)絡(luò)的方法就一直占據(jù)著目標(biāo)檢測準(zhǔn)確率的榜首。其中影響最大且效果好的3種算法分別是：Faster R-CNN[2]、SSD(Single Shot MultiBox Detector)[3]和YOLO[4-5]。R-CNN系列使用RPN(Region Proposal)和ROI(Region of Interest)技術(shù)來提高準(zhǔn)確率和實(shí)時(shí)性，而SSD在RPN的基礎(chǔ)上提出了多尺度檢測框架，提高了小目標(biāo)的檢測率。YOLO系列則實(shí)現(xiàn)了端到端(end-to-end)的目標(biāo)檢測，在大幅度提升檢測效率的同時(shí)也利于網(wǎng)絡(luò)優(yōu)化。但在目標(biāo)檢測領(lǐng)域快速發(fā)展的同時(shí)，還有一些問題仍有待解決，例如特征的有效學(xué)習(xí)。

對于深度學(xué)習(xí)而言，學(xué)習(xí)到高魯棒性的特征是高準(zhǔn)確率的基礎(chǔ)。目前，在機(jī)器學(xué)習(xí)應(yīng)用中，能夠?qū)W習(xí)到有效特征的計(jì)算開銷是極大的，而且在復(fù)雜情況下是非常困難的。一個(gè)典型的例子就是單樣本學(xué)習(xí)(one-shot learning)[6]，其中必須在只給出每個(gè)類的一個(gè)樣本的情況下，對剩余樣本做出正確的預(yù)測。施工圖圖例檢測就是一種單樣本學(xué)習(xí)問題，施工圖樣例如圖1所示。

圖1 施工圖樣例

施工圖中間部分是圖紙區(qū)域，右上角是圖例區(qū)域(不同施工圖可能不一樣)，其他部分包含了無用信息。施工圖一般為A3紙大小，分辨率一般為3508×4961或更高。圖紙和圖例部分分別如圖2和圖3所示，圖例像素一般為25×25左右，在圖紙中往往與背景重合較多。圖例檢測即需要在圖紙區(qū)域中檢測出不同圖例的種類和位置。這項(xiàng)工作可以大幅提升相關(guān)工作人員的看圖速度，同時(shí)能夠降低漏看、誤看的概率，提高工作效率，具有重要的理論研究和應(yīng)用價(jià)值。

圖2 部分圖紙區(qū)域

圖3 圖例區(qū)域

圖例檢測具有其特殊性，包括施工圖(輸入圖像)分辨率較大、圖例(檢測目標(biāo))較小、圖例的尺度不變性和個(gè)體獨(dú)立性(不同類別圖例間差距巨大)等特點(diǎn)。結(jié)合單樣本學(xué)習(xí)的特性，本文使用結(jié)構(gòu)簡單且易于優(yōu)化的SSD目標(biāo)檢測框架，在此基礎(chǔ)上進(jìn)行按需調(diào)整，提出一種新的SiameseSSD檢測框架以解決訓(xùn)練集過少、小目標(biāo)難以檢測以及大圖像輸入等問題。

本文的主要貢獻(xiàn)是通過微調(diào)SSD框架，在此基礎(chǔ)上加入孿生網(wǎng)絡(luò)結(jié)構(gòu)，提出SiameseSSD檢測框架，利用大圖像裁剪與單樣本數(shù)據(jù)增強(qiáng)等方法解決以上幾個(gè)問題。在圖例檢測任務(wù)上達(dá)到了91.3%(IOU=0.5，CONF=0.8)的準(zhǔn)確率，較其他目標(biāo)檢測算法有一定優(yōu)勢，基本可以滿足實(shí)際工作的需求。

1 相關(guān)工作

1.1 單樣本學(xué)習(xí)

深度學(xué)習(xí)方法已經(jīng)被證明是高效的機(jī)器學(xué)習(xí)方法，但是，深度學(xué)習(xí)往往都需要大量的標(biāo)注數(shù)據(jù)集來訓(xùn)練模型，當(dāng)樣本每個(gè)類都只包含少量樣本的情況下，深度學(xué)習(xí)方法就難以發(fā)揮作用。針對單樣本學(xué)習(xí)問題，Chopra等人[7]提出了將輸入映射成特征向量，使用2個(gè)特征向量來表達(dá)不同圖像間的相似度。Koch等人[8]通過學(xué)習(xí)圖像對之間的相似性，把單樣本分類任務(wù)轉(zhuǎn)化為圖像驗(yàn)證任務(wù)，同時(shí)也證明了成對訓(xùn)練的有效數(shù)據(jù)集的大小足以用于訓(xùn)練模型。Vinyals[6]等人通過訓(xùn)練一個(gè)完整的近鄰分類器，而不是學(xué)習(xí)相似度函數(shù)，來解決單樣本學(xué)習(xí)任務(wù)，提供了一種單樣本學(xué)習(xí)任務(wù)的新思路。

Santoro等人[9]解釋了單樣本學(xué)習(xí)和元學(xué)習(xí)的關(guān)系，揭示了單樣本學(xué)習(xí)的實(shí)質(zhì)。Bertinetto等人[10]和Li等人[11]通過孿生網(wǎng)絡(luò)結(jié)構(gòu)提取一對圖像的特征，并使用互相關(guān)(cross-correlation)操作輸出響應(yīng)圖，描述圖像對之間的相似性，在目標(biāo)跟蹤任務(wù)上達(dá)到非常高的實(shí)時(shí)性。最近Zhang等人[12]引入貝葉斯條件概率理論，并使用孿生網(wǎng)絡(luò)結(jié)構(gòu)有效地解決了單樣本目標(biāo)檢測問題，驗(yàn)證了孿生網(wǎng)絡(luò)結(jié)構(gòu)對單樣本目標(biāo)檢測的有效性。鑒于以上研究，筆者認(rèn)為把圖像對進(jìn)行互相關(guān)操作得到的響應(yīng)圖，作為一種特征圖直接進(jìn)行分類和邊框回歸是高效且可行的。同時(shí)，圖像配對訓(xùn)練也可以有效地解決每一類樣本過少的問題。

1.2 小目標(biāo)檢測

圖例相對于圖像來說顯得過小，主流的目標(biāo)檢測方法幾乎都通過不斷的下采樣來進(jìn)行多尺度檢測。相對地，在高層特征圖上，感興趣的目標(biāo)可能就只有幾像素。以YOLO為例，最終的預(yù)測網(wǎng)格只有13×13大小，相對于原圖像(416×416)縮小了32倍，這意味著，如果對象很小，那么對于一個(gè)檢測網(wǎng)格的影響可能非常小，難以檢測。對于這個(gè)問題，Redmon等人[5]使用聚類調(diào)整了錨點(diǎn)框的位置，使目標(biāo)定位更準(zhǔn)確。Zhang等人[13]使用更低的特征圖做檢測，效果顯著。Lin等人[14]提出的特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks, FPN)通過上采樣融合高層和低層特征圖的信息，達(dá)到了目標(biāo)檢測的先進(jìn)水平。但由于圖例的結(jié)構(gòu)簡單(語義信息不足)、個(gè)體獨(dú)立性(不同類圖例差異巨大)和圖像配對算法的限制，使得其難以訓(xùn)練。而SSD由于其結(jié)構(gòu)簡單，具有很大的改進(jìn)空間，故本文嘗試改進(jìn)SSD并增大響應(yīng)圖來增強(qiáng)對小目標(biāo)的檢測效果。

1.3 大分辨率圖像

由于大部分卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有固定性，在圖片不符合其輸入圖像大小時(shí)，往往需要進(jìn)行大小調(diào)整(resize)來適應(yīng)網(wǎng)絡(luò)結(jié)構(gòu)，這種情況在LeNet[15]網(wǎng)絡(luò)上就是如此。在Darknet[16]中，訓(xùn)練時(shí)會對短邊進(jìn)行填充從而保證長寬比，這雖然是一種解決方法，但這些都會帶來問題，例如減少圖像語義信息、降低對小目標(biāo)的檢測效果以及增加測試難度等。Van Etten等人[17]提出對大圖像的分塊裁剪算法，通過拼接結(jié)果并使用非極大值抑制(Non-Maximum Suppression, NMS)處理結(jié)果，這是一種不降低檢測準(zhǔn)確率前提下的大分辨率圖像目標(biāo)檢測方法。

2 SiameseSSD檢測框架

本章將介紹所提出的SiameseSSD檢測框架，如圖4所示。左側(cè)是孿生網(wǎng)絡(luò)結(jié)構(gòu)的特征提取網(wǎng)絡(luò)。右側(cè)則是SSD框架的改良，對于一張?zhí)卣鲌D同時(shí)進(jìn)行分類和邊框回歸。通過孿生網(wǎng)絡(luò)提取特征向量后，使用相關(guān)操作(☆位置)得到響應(yīng)圖，同時(shí)作為SSD的輸入。在SSD中，對于特征圖上每一個(gè)網(wǎng)格，對應(yīng)4個(gè)錨點(diǎn)框(anchor)和4×(k+4)個(gè)卷積核，4k個(gè)用于分類，4×4個(gè)用于邊框回歸。具體而言，改良SSD完成了分類和邊框回歸的工作；將圖像輸入到孿生網(wǎng)絡(luò)的入口，通過整個(gè)SiameseSSD框架進(jìn)行端到端的訓(xùn)練和檢測。

圖4 SiameseSSD框架

2.1 孿生特征提取網(wǎng)絡(luò)

在孿生網(wǎng)絡(luò)中，本文采用不填充的全卷積網(wǎng)絡(luò)。令Lτ表示翻譯操作符(Lτx)[u]=x[u-τ],對于任意平移τ與整數(shù)步長k，如果滿足公式(1)：

h(Lkτx)=Lτh(x)

(1)

那么信號映射函數(shù)h是全卷積的。在圖4中，59×59大小的輸入圖為模板圖，而207×207大小的輸入為檢測圖。設(shè)學(xué)習(xí)函數(shù)f(z,x)，即將模板圖z與檢測圖上相同大小的候選圖像x進(jìn)行比較，相同則返回高分。測試所有可能位置，并選擇與目標(biāo)之前外觀具有最大程度相似的候選塊x，從而學(xué)習(xí)訓(xùn)練函數(shù)f。更進(jìn)一步，將深度卷積網(wǎng)絡(luò)作為函數(shù)f。孿生網(wǎng)絡(luò)對輸入x、z用變換φ，定義：

f(z,x)=g(φ(z),φ(x))

(2)

用函數(shù)g組合輸入表示，函數(shù)g即相關(guān)操作，用卷積[10-11]來實(shí)現(xiàn)。函數(shù)φ的結(jié)構(gòu)如表1所示,表1是圖4中CNN的結(jié)構(gòu)信息，對2個(gè)輸入進(jìn)行相應(yīng)處理。類似于Krizhevsky等人[18]的網(wǎng)絡(luò)的卷積階段。在每個(gè)卷積層后面(除了Conv5)都包含線性修正單元(Rectified Linear Unit， ReLU)模塊。卷積時(shí)不引入填充，因?yàn)闀`反圖像的全卷積性。訓(xùn)練時(shí)在線性層加入BN(Batch Normalization)[19]。深度孿生卷積網(wǎng)絡(luò)先前已應(yīng)用于面部驗(yàn)證[20-21]，關(guān)鍵點(diǎn)描述學(xué)習(xí)[22]和一次性字符識別[8]等任務(wù)，是使用孿生特征提取網(wǎng)絡(luò)的基礎(chǔ)。

表1 卷積嵌入函數(shù)φ的體系結(jié)構(gòu)(圖4中的CNN)

2.2 SSD目標(biāo)檢測網(wǎng)絡(luò)

SSD目標(biāo)檢測網(wǎng)絡(luò)與SSD的結(jié)構(gòu)大體相同。其中，輸入圖像38×38×256是孿生特征提取網(wǎng)絡(luò)的輸出。如圖4所示，對于任意特征圖的每個(gè)網(wǎng)格都會對應(yīng)4×(k+4)個(gè)卷積核，k為圖例的種類數(shù)量。配對圖像從孿生網(wǎng)絡(luò)進(jìn)入，生成響應(yīng)圖后輸入SSD，最后在SSD里完成圖例檢測。由于沒有復(fù)雜的殘差結(jié)構(gòu)和多尺度特征融合，可以方便地進(jìn)行端到端的訓(xùn)練和檢測。檢測與訓(xùn)練不同的是，模板圖在前向傳播一次以后即可駐存在內(nèi)存中，與不同的檢測圖直接進(jìn)行互相關(guān)操作即可。

相對于原始的SSD，本文做出許多微調(diào)。首先，Luo等人[23]的工作驗(yàn)證了圖像感受野和下采樣之間的關(guān)系，即有效感受野極大地影響不同尺度的目標(biāo)的檢出率。因此，本文認(rèn)為當(dāng)有效感受野能正好覆蓋目標(biāo)真實(shí)框時(shí)，可以有效提高小目標(biāo)的檢出率。因此，本文調(diào)整了特征圖大小，即使是最高層的7×7特征圖，有效感受野上仍然可以覆蓋圖例。本文舍棄了原SSD的高層特征圖，使用5個(gè)低層的特征圖來提高圖例的檢出率。

錨點(diǎn)框的形狀和大小也是有效感受野的影響因素之一。對于不同層次的特征圖，接受域也不一樣[24]。通過分析圖例的長寬比以及在特征圖上的占比，本文調(diào)整了SSD的錨點(diǎn)框尺寸(scale)為：

(3)

(4)

置信度損失(confidence loss)為Softmax損失，位置損失(localization loss)為Smooth L1 loss，并保留超參數(shù)α(實(shí)際設(shè)定為1)均衡2種損失。

2.3 訓(xùn)練階段：端到端訓(xùn)練SiameseSSD

在訓(xùn)練階段，本文從施工圖數(shù)據(jù)集中取出相對應(yīng)的一對樣本對(來自同一張背景圖片)。本文設(shè)定標(biāo)注框IOU大于0.5的錨點(diǎn)框?yàn)檎龢颖?，小于的為?fù)樣本。由于圖例結(jié)構(gòu)簡單(語義信息少)且具有個(gè)體獨(dú)立性(不同類圖例差異較大)，特征學(xué)習(xí)速度可能會呈現(xiàn)先快后慢的情況，本文使用Adam[25]在不確定最佳初始學(xué)習(xí)率的情況下對SiameseSSD進(jìn)行端到端的訓(xùn)練。同時(shí)，由于圖片配對訓(xùn)練的機(jī)制會導(dǎo)致難易樣本不均衡(easy sample overwhelming)的問題，本文使用RetinaNet[26]中提出的Focal loss，添加于Softmax損失前，有效地解決了不同種類圖例的學(xué)習(xí)問題。

3 訓(xùn)練數(shù)據(jù)

本文的數(shù)據(jù)集采集于海洋采油廠的施工圖中。為了解決樣本過少的問題，本文采用了特殊的樣本數(shù)據(jù)增強(qiáng)方法。如圖5和圖6所示。

圖5 通過圖片嵌入獲得檢測圖

本文采集了2份數(shù)據(jù)，一份是原始圖例數(shù)據(jù)，即從圖例區(qū)域通過標(biāo)注獲得的數(shù)據(jù)。另一份是背景圖，本文從施工圖的圖紙區(qū)域中裁剪出207×207大小的背景圖片，把圖例樣本嵌入到背景中心來獲得檢測圖。要注意的是，嵌入的背景圖不包含所嵌入的圖例，避免錯誤標(biāo)注的樣本。同樣地，通過裁剪檢測圖中心59×59的區(qū)域，就可以輕松獲得模板圖，這樣就獲得了一對樣本對，如圖6所示。

圖6 通過圖片裁剪獲得模板圖

同時(shí)，單樣本數(shù)據(jù)增強(qiáng)是提高樣本質(zhì)量的有效手段。本文使用放大和縮小(通過隨機(jī)裁剪)[3]、隨機(jī)旋轉(zhuǎn)等操作，成功地把數(shù)據(jù)集擴(kuò)大了5～6倍。通過標(biāo)注，本文一共獲得樣本對11780對，共37種圖例，來自21張施工圖。

4 測試數(shù)據(jù)

在數(shù)據(jù)增強(qiáng)之后，直接在數(shù)據(jù)集里選取一部分作為測試數(shù)據(jù)是不合適的，因?yàn)闇y試圖像只來自于圖紙的一部分，無法完全代表整個(gè)測試數(shù)據(jù)。同時(shí)，施工圖還包含了很多無用信息，會使檢測難度上升。本文借鑒Van Etten等人[17]使用的裁剪(crop)后拼接的方法來處理大分辨率的施工圖圖像，直接對標(biāo)注后的施工圖進(jìn)行測試。大分辨率圖像裁剪的結(jié)果如圖7所示，實(shí)線框與虛線框的交界處即為重疊部分。

圖7 大分辨率圖像裁剪

設(shè)定重疊為15%，每次都裁剪207×207大小的測試圖，在測試后合并同一施工圖的結(jié)果，并使用NMS來去除那些重疊的檢測框。施工圖會預(yù)先進(jìn)行離線標(biāo)注，方便測試。模板圖使用原始樣本，嵌入59×59的空白背景中，使其分辨率與訓(xùn)練時(shí)一致。最終本文標(biāo)注了測試樣本共115個(gè)，共生成測試圖3256張，共11種圖例，來自6張訓(xùn)練過訓(xùn)練數(shù)據(jù)的施工圖，最多產(chǎn)生11×3256種圖像配對。

5 實(shí)驗(yàn)結(jié)果和分析

本文實(shí)驗(yàn)環(huán)境為：Intel Core i7-9750H @ 2.60 GHz ,16 GB DDR4 2666 MHz內(nèi)存， Nvidia GeForce GTX 1660 Ti 6GB, Ubuntu-kylin 16.04，64位操作系統(tǒng)，Pytorch框架。由于孿生網(wǎng)絡(luò)本身建立于單目標(biāo)的配對比較上，在多目標(biāo)任務(wù)上順序執(zhí)行檢測會極大地影響檢測速度。所以本文利用模型本身的可并行性，并行執(zhí)行多目標(biāo)檢測任務(wù)，使多個(gè)種類的圖例可以同時(shí)檢測，最后統(tǒng)一檢測結(jié)果。在該實(shí)驗(yàn)環(huán)境下，SiameseSSD檢測器的檢測速度達(dá)到61幀/s(fps)。由于圖例檢測的最終目的是為了在靜態(tài)的施工圖上檢測出所有圖例，以此滿足看圖、施工相關(guān)人員的需求，只要響應(yīng)速度滿足人的感受閾值即可。對于施工圖而言，一張施工圖在檢測時(shí)一般裁剪出550張左右的檢測圖，以本文實(shí)驗(yàn)環(huán)境約需9 s，尚可滿足看圖者的需求，所以一般滿足實(shí)際工作要求。最后，可以通過更新實(shí)驗(yàn)環(huán)境、增大裁剪大小并縮小檢測圖、減少檢測范圍等方法滿足更嚴(yán)苛的速度要求。

5.1 施工圖數(shù)據(jù)集結(jié)果

為了合理評價(jià)SiameseSSD在施工圖數(shù)據(jù)集上的表現(xiàn)，本文挑選了Adaboost+Haar、YOLO、Faster R-CNN。它們分別是傳統(tǒng)目標(biāo)檢測方法、深度學(xué)習(xí)下的單階段(one-stage)目標(biāo)檢測方法和雙階段(two-stage)目標(biāo)檢測方法的代表性方法。由于結(jié)構(gòu)上的不同，訓(xùn)練方法也不同。Adaboost中每類100張正樣本、30張負(fù)樣本。正樣本為圖例直接嵌入背景，負(fù)樣本只存在背景(不包含圖例)。YOLO和RCNN中每類100張樣本，通過圖例嵌入背景并進(jìn)行旋轉(zhuǎn)、縮放等操作制作樣本。測試集與SiameseSSD的測試圖一致。結(jié)果如表2所示。

表2 施工圖數(shù)據(jù)集各檢測算法結(jié)果

由于Adaboost是個(gè)單目標(biāo)分類器，檢測多目標(biāo)時(shí)多個(gè)分類器串聯(lián)導(dǎo)致檢測速度極慢。但由于其特征計(jì)算簡單、參數(shù)較少，并行執(zhí)行時(shí)獲得了最快的檢測速度。另一方面，其對無關(guān)區(qū)域的魯棒性較差，導(dǎo)致準(zhǔn)確率極低。YOLO和Faster R-CNN的準(zhǔn)確率較低，可能是因?yàn)橛?xùn)練樣本過少，無法獲得有效訓(xùn)練。SiameseSSD相比于準(zhǔn)確率第二的Faster R-CNN，在準(zhǔn)確率上高出29.5個(gè)百分點(diǎn)。同時(shí)，比第二快的YOLO快了14幀/s。筆者認(rèn)為，由于圖例間不存在重疊現(xiàn)象(否則使用NMS會影響準(zhǔn)確率)，且一般都相隔一定距離，所以SiameseSSD對于圖例的檢測效果才會這么好。同時(shí)，相比于YOLO，本文使用207×207的輸入圖，并且在孿生特征提取網(wǎng)絡(luò)里只做了少量簡單運(yùn)算，所以在檢測速度上也會有優(yōu)勢。

5.2 驗(yàn)證SSD結(jié)構(gòu)變化對于小目標(biāo)檢測的有效性

為了驗(yàn)證SSD的改變對于小目標(biāo)檢測的影響，本文設(shè)置對照試驗(yàn)，通過控制變量來檢驗(yàn)結(jié)構(gòu)改變對于性能的影響。對于所有的實(shí)驗(yàn)，本文都使用相同的輸入，確保對照實(shí)驗(yàn)的有效性。

本文通過控制特征圖每個(gè)網(wǎng)格的錨點(diǎn)框數(shù)量和改變錨點(diǎn)框的尺寸變化，通過同樣的訓(xùn)練集和測試集，額外訓(xùn)練了2個(gè)模型，最終得到表3的結(jié)果。筆者認(rèn)為，對于包含3和1/3錨點(diǎn)框的情況，由于錨點(diǎn)框的增多，對于目標(biāo)的檢測次數(shù)必然會增多，同時(shí)增多的卷積核也會增強(qiáng)特征學(xué)習(xí)能力，所以準(zhǔn)確率略有提升。但檢測速度的大幅下降，使得網(wǎng)絡(luò)面對大分辨率施工圖時(shí)不那么友好。而較小的錨點(diǎn)框尺寸變化幅度加強(qiáng)了整體對小目標(biāo)的檢測能力，但對檢測速度并無影響，只在一定程度上影響目標(biāo)定位的準(zhǔn)確度(即平均IOU)。

表3 錨點(diǎn)框?qū)iameseSSD性能的影響

相對而言，特征圖大小的變化對于SiameseSSD性能的影響難以衡量，因?yàn)樽兞刻?，排列組合下會產(chǎn)生很多種可能性，影響判斷。如表4所示，本文通過改變最后一個(gè)卷積層的大小和步長來調(diào)整最后一層特征圖的大小，之后通過一樣的步驟進(jìn)行訓(xùn)練和測試。通過控制變量，筆者發(fā)現(xiàn)準(zhǔn)確率隨特征圖網(wǎng)格數(shù)變少有明顯的下降趨勢，但又存在一個(gè)下降緩慢的點(diǎn)(5×5)。通過分析，筆者認(rèn)為有一部分的圖例樣本的特征學(xué)習(xí)正好在5×5特征圖附近，使得其稍顯異常。而8×8和6×6特征圖對應(yīng)的模型準(zhǔn)確率與7×7都極為接近，說明該特征圖大小分布極有可能尚未達(dá)到最優(yōu)，微調(diào)任意層特征圖的大小都有可能提高準(zhǔn)確率。通過互補(bǔ)搜索技術(shù)組合[27]應(yīng)該可以優(yōu)化該網(wǎng)絡(luò)。

表4 特征圖大小對SiameseSSD性能的影響

表3和表4的結(jié)果在一定程度上驗(yàn)證了對SSD的適當(dāng)改變可以有效提高準(zhǔn)確率和檢測速度。同時(shí)，也可以通過設(shè)置一些參數(shù)來控制準(zhǔn)確率和檢測速度的平衡，以適應(yīng)不同場景下的不同實(shí)際需求。

6 結(jié)束語

本文提出將孿生網(wǎng)絡(luò)結(jié)構(gòu)與SSD目標(biāo)檢測框架結(jié)合用于圖例檢測，并結(jié)合圖例本身的特點(diǎn)，調(diào)整了孿生特征提取子網(wǎng)和SSD子網(wǎng)的網(wǎng)絡(luò)結(jié)構(gòu)，構(gòu)建SiameseSSD目標(biāo)檢測框架。通過在施工圖數(shù)據(jù)集上的實(shí)驗(yàn)表明，該檢測方法在單樣本情況下的單目標(biāo)檢測任務(wù)上有非常優(yōu)異的性能。但是，該檢測方法受限于孿生網(wǎng)絡(luò)結(jié)構(gòu)的配對輸入，一次前向傳播只能檢測一種目標(biāo)，在資源受限的情況下檢測速度不佳。為了提高檢測速度，針對多目標(biāo)檢測進(jìn)行結(jié)構(gòu)調(diào)整，這是孿生網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)用于單樣本多目標(biāo)檢測的關(guān)鍵，也是筆者下一步研究的重點(diǎn)。