余德亮，譚 光，李昌鎬

(中山大學(xué) 智能工程學(xué)院，廣東 廣州 510000)

0 引 言

移動(dòng)視覺任務(wù)在當(dāng)前大量的移動(dòng)設(shè)備和可穿戴設(shè)備中廣泛流行使用，移動(dòng)視覺任務(wù)包括道路車輛檢測(cè)和監(jiān)控、行人數(shù)量統(tǒng)計(jì)、街道導(dǎo)航等任務(wù)。解決移動(dòng)視覺任務(wù)采用目標(biāo)檢測(cè)模型，當(dāng)前主流的目標(biāo)檢測(cè)模型有著計(jì)算準(zhǔn)確率高、計(jì)算速度快的特點(diǎn)，但移動(dòng)設(shè)備無(wú)法支撐目標(biāo)檢測(cè)模型龐大的計(jì)算量。當(dāng)前有3類主流工作從不同角度出發(fā)解決這一問題。第一類工作從深度卷積神經(jīng)網(wǎng)絡(luò)模型輕量化的角度出發(fā)，例如文獻(xiàn)[1-3]。第二類工作是采用端云協(xié)同[4]的方法，例如文獻(xiàn)[5-7]。第三類工作是在本地構(gòu)建優(yōu)化系統(tǒng)框架，例如文獻(xiàn)[8-16]提出了DeepCache框架，采用重復(fù)區(qū)域搜索、模型檢測(cè)兩層級(jí)聯(lián)的方式解決移動(dòng)視覺任務(wù)，并利用連續(xù)視頻幀存在重復(fù)區(qū)域特性減少模型計(jì)算量。但現(xiàn)有工作包括DeepCache的主要問題是沒有設(shè)計(jì)適應(yīng)場(chǎng)景變化的模型級(jí)聯(lián)方案。

本文提出面向移動(dòng)視覺的目標(biāo)檢測(cè)模型級(jí)聯(lián)優(yōu)化方案，該方案包含模型級(jí)聯(lián)框架以及模型配置選擇器。模型級(jí)聯(lián)框架級(jí)聯(lián)重復(fù)區(qū)域搜索、小模型篩選、大模型檢測(cè)這3種方式，設(shè)計(jì)不同的選擇方案應(yīng)用于變化的移動(dòng)視覺場(chǎng)景。模型配置選擇器提取場(chǎng)景的變化特征信息，選擇合適的模型級(jí)聯(lián)框架。目標(biāo)檢測(cè)模型級(jí)聯(lián)優(yōu)化方案有兩個(gè)創(chuàng)新點(diǎn)：①實(shí)現(xiàn)了基于掩碼卷積的模型級(jí)聯(lián)框架；②設(shè)計(jì)了模型配置選擇器，模型配置選擇器根據(jù)場(chǎng)景特征信息選擇合適的模型級(jí)聯(lián)框架。

1 基于掩碼卷積的模型級(jí)聯(lián)框架

在移動(dòng)視覺場(chǎng)景中，連續(xù)視頻幀存在著重復(fù)區(qū)域的特性，模型級(jí)聯(lián)框架利用該特性在目標(biāo)檢測(cè)的過程中跳過重復(fù)區(qū)域的計(jì)算，減少模型的運(yùn)算時(shí)間。為實(shí)現(xiàn)這一功能，本文改進(jìn)目標(biāo)檢測(cè)模型的卷積方式。模型級(jí)聯(lián)框架在重復(fù)區(qū)域搜索和小模型篩選的方式中會(huì)給出重復(fù)區(qū)域的掩碼信息，掩碼卷積結(jié)合這一信息跳過對(duì)輸入圖像重復(fù)區(qū)域的卷積計(jì)算。

掩碼卷積在基礎(chǔ)卷積方式上進(jìn)行改動(dòng)。卷積的計(jì)算公式如式(1)所示，其中f為輸入圖像，h為卷積核參數(shù)，g為輸出圖像，*為卷積運(yùn)算符號(hào)

g=f*h

(1)

為了讓卷積只計(jì)算本文需要的圖像區(qū)域，需要對(duì)輸入圖像進(jìn)行掩碼操作，通過掩碼操作的卷積計(jì)算公式如式(2)所示，其中σ為掩碼操作

g=σf*h

(2)

掩碼操作后的卷積計(jì)算如圖1所示，左圖為進(jìn)行過掩碼操作的輸入圖像，圖像中的虛線部分即進(jìn)行掩碼過的區(qū)域。在卷積計(jì)算中，卷積核跳過虛線部分區(qū)域的計(jì)算，同時(shí)在其對(duì)應(yīng)輸出區(qū)域進(jìn)行填0保證后續(xù)卷積計(jì)算的有效性，從而得到右圖結(jié)果。掩碼卷積的設(shè)計(jì)會(huì)內(nèi)嵌到小模型和大模型當(dāng)中。

圖1 掩碼卷積細(xì)節(jié)

模型級(jí)聯(lián)框架根據(jù)搜索算法得到的重復(fù)區(qū)域生成掩碼信息輸入到小模型當(dāng)中，小模型根據(jù)掩碼信息進(jìn)行掩碼卷積，得到計(jì)算結(jié)果。然后模型級(jí)聯(lián)框架調(diào)低小模型的檢測(cè)置信度閾值，生成更多可能是目標(biāo)的區(qū)域，根據(jù)小模型檢測(cè)得到的區(qū)域生成掩碼信息輸入到大模型進(jìn)行計(jì)算，此時(shí)小模型檢測(cè)得到目標(biāo)的區(qū)域?yàn)榉茄诖a區(qū)域，而其它區(qū)域?yàn)檠诖a區(qū)域。最后大模型對(duì)剩余非掩碼區(qū)域進(jìn)行計(jì)算得到結(jié)果。最終模型級(jí)聯(lián)框架輸出結(jié)果是大模型計(jì)算結(jié)果以及重復(fù)區(qū)域在上一幀中出現(xiàn)的計(jì)算結(jié)果。模型級(jí)聯(lián)框架如圖2所示。

圖2 模型級(jí)聯(lián)框架

2 模型配置選擇器

模型級(jí)聯(lián)框架為場(chǎng)景不同變化狀態(tài)提供不同的組合方案，進(jìn)一步的本文構(gòu)建以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的模型配置選擇器。模型配置選擇器會(huì)提取當(dāng)前場(chǎng)景的變化特征信息，分析并選擇適合當(dāng)前場(chǎng)景的模型級(jí)聯(lián)框架。

本文設(shè)計(jì)的描述場(chǎng)景變化情況提取的特征信息包括：①上一幀圖像的目標(biāo)數(shù)量；②前5幀的平均目標(biāo)數(shù)量；③上一幀圖像中所有目標(biāo)的平均位移量；④場(chǎng)景的平均位移量。

對(duì)于第2個(gè)特征信息，連續(xù)圖像幀存在重復(fù)區(qū)域的特性，模型配置選擇器提取上一幀圖像的目標(biāo)數(shù)量可以對(duì)當(dāng)前幀的目標(biāo)數(shù)量分析有幫助，但在對(duì)當(dāng)前圖像幀進(jìn)行檢測(cè)的時(shí)候無(wú)法預(yù)先知道場(chǎng)景出現(xiàn)的目標(biāo)數(shù)量，需要獲取歷史幀目標(biāo)數(shù)量變化的情況，因此本文設(shè)計(jì)前5幀平均目標(biāo)數(shù)量的特征信息。

在第3個(gè)特征信息中，模型配置選擇器計(jì)算上一幀圖像中所有目標(biāo)的平均位移量時(shí)，需要結(jié)合上一幀和上兩幀圖像的目標(biāo)坐標(biāo)信息。對(duì)于上一幀圖像中的任一目標(biāo)，模型配置選擇器會(huì)在上兩幀圖像的相同類別目標(biāo)中計(jì)算交并比IOU，尋找得到最大IOU的對(duì)應(yīng)目標(biāo)，對(duì)于最大IOU大于0.7的對(duì)應(yīng)目標(biāo)，計(jì)算這兩個(gè)目標(biāo)中心點(diǎn)的差值，統(tǒng)計(jì)上一幀圖像的目標(biāo)中所有找得到對(duì)應(yīng)目標(biāo)的差值求平均，得到平均位移量。上一幀圖像中所有目標(biāo)的平均位移量NMV(x,y) 計(jì)算公式如式(3)所示，其中 (xi,yi) 代表滿足條件的待匹配圖像塊坐標(biāo)， (x′i,y′i) 代表對(duì)應(yīng)的匹配塊在原圖像的坐標(biāo)，S表示滿足條件的圖像塊集合，N為集合S的元素?cái)?shù)量

(3)

場(chǎng)景的平均位移量是根據(jù)當(dāng)前幀圖像和上一幀圖像進(jìn)行分析得到。模型配置選擇器采用多方向搜索算法計(jì)算連續(xù)幀之間的場(chǎng)景位移信息，該算法流程如算法1所示。該方法通過對(duì)圖像分塊，計(jì)算相鄰兩幀圖像塊的匹配情況，不僅可以尋找連續(xù)兩幀圖像之間的重復(fù)區(qū)域，還可以根據(jù)重復(fù)區(qū)域計(jì)算場(chǎng)景的平均移動(dòng)向量。在搜索算法計(jì)算得到相鄰兩幀圖像匹配的圖像塊集合之后，模型配置選擇器根據(jù)式(4)計(jì)算平均移動(dòng)向量MV(x,y)， 其中 (xi,yi) 代表滿足條件的待匹配圖像塊坐標(biāo)， (x′i,y′i) 代表對(duì)應(yīng)的匹配塊在原圖像的坐標(biāo)，S表示滿足條件的圖像塊集合，N為集合S的元素?cái)?shù)量

(4)

算法1：多方向搜索算法流程

(1) 初始化imagecurrent, imagepervious, mv_set={}, reuse_set={}, cluster_num=2,T;

(2) for i in N:

(3) for j in N:

(4) blockcurrent, blockpervious=FindMatchBlock(imagecurrent,imagepervious,i,j) //尋找匹配塊

(5) mv=ComputeMoveVector(blockcurrent, blockpervious) //計(jì)算位移向量

(6) CollectBlock(mv_set, blockcurrent, mv) //搜集匹配塊

(7) for i in direction:

(8) mv_kmeans(mv_set[i], cluster_num) //采用kmeans聚類方法根據(jù)位移向量聚類塊

(9) for i in direction:

(10) for cluster in mv_set[i]:

(11) new_mv=GetMoveVector(cluster) //獲得該聚類簇的平均移動(dòng)向量

(12) for block in cluster:

(13) matchblock=FindNewMatchBlock(ima-gecurrent, block, new_mv) //根據(jù)新的移動(dòng)向量尋找新的匹配塊

(14) psnr=ComputePSNR(matchblock,block) //計(jì)算當(dāng)前塊和匹配塊的PSNR值

(15) if psnr>T:

(16) blockcurrent∈reuse_set

(17) reuse_set 為可重用區(qū)域

搜索算法采用圖像差分法時(shí)，會(huì)采用多方向搜索算法計(jì)算場(chǎng)景的平均移動(dòng)向量，這種算法在計(jì)算場(chǎng)景平均移動(dòng)向量時(shí)所需耗費(fèi)時(shí)間很少，相對(duì)于模型計(jì)算所需用到的時(shí)間耗費(fèi)可忽略不計(jì)。對(duì)于視頻數(shù)據(jù)集來(lái)說，每一幀圖像都是一個(gè)數(shù)據(jù)點(diǎn)，模型配置選擇器除了對(duì)每個(gè)數(shù)據(jù)點(diǎn)提取上述的特征信息之外，還會(huì)分配一個(gè)模型級(jí)聯(lián)框架作為標(biāo)簽代表當(dāng)前場(chǎng)景下的選擇方案。為了給每個(gè)數(shù)據(jù)點(diǎn)確定合適的目標(biāo)檢測(cè)框架，本文通過提取的特征信息和目標(biāo)檢測(cè)框架測(cè)試結(jié)果來(lái)選擇最優(yōu)框架，對(duì)于提取的特征信息，本文按場(chǎng)景變化復(fù)雜情況分成高中低3類，對(duì)應(yīng)3組不同的模型組合集，每組模型組合集分別包含3種模型組合，在每個(gè)數(shù)據(jù)點(diǎn)分配到對(duì)應(yīng)的模型組合集之后，本文選擇模型組合集里面的所有模型組合對(duì)數(shù)據(jù)點(diǎn)進(jìn)行測(cè)試，再根據(jù)目標(biāo)數(shù)量和場(chǎng)景變化快慢再分成3組，相當(dāng)于每類3組一共9組情況。數(shù)據(jù)點(diǎn)選擇模型組合的準(zhǔn)則在于，數(shù)據(jù)點(diǎn)在不同的模型組合表現(xiàn)的精度計(jì)算會(huì)有所不同，這與模型組合的表現(xiàn)力相關(guān)，當(dāng)數(shù)據(jù)點(diǎn)包含的目標(biāo)比較少的時(shí)候，模型組合表現(xiàn)力即使不用過高也能滿足精度要求，這時(shí)候模型配置選擇器會(huì)傾向選擇減少模型計(jì)算力的方案，而對(duì)于數(shù)據(jù)點(diǎn)包含目標(biāo)比較多的情況，模型配置選擇器會(huì)著重采用表現(xiàn)力較強(qiáng)的方案，而減少模型計(jì)算力的方案應(yīng)放在其次。基于以上準(zhǔn)則，雖然模型配置選擇器不能保證每個(gè)數(shù)據(jù)點(diǎn)確定的模型組合最優(yōu)的，但每個(gè)數(shù)據(jù)點(diǎn)確定的模型組合都是較為合適的。

圖3為模型級(jí)聯(lián)框架和模型配置選擇器在模型級(jí)聯(lián)優(yōu)化方案中的組合關(guān)系，在該優(yōu)化方案中，前5幀圖像會(huì)直接采用大模型進(jìn)行檢測(cè)，在之后的圖像幀處理中，圖像緩存器會(huì)緩存歷史采集的圖像信息，模型配置選擇器會(huì)根據(jù)當(dāng)前采集的圖像和圖像緩存器的信息提取當(dāng)前場(chǎng)景的特征信息，并根據(jù)特征信息選擇合適的模型級(jí)聯(lián)框架配置，模型級(jí)聯(lián)框架根據(jù)模型配置選擇器提供的配置信息選擇搜索算法和模型組合，并對(duì)當(dāng)前幀圖像進(jìn)行檢測(cè)，得到最終輸出結(jié)果。

圖3 模型級(jí)聯(lián)框架和模型配置選擇器的組合關(guān)系

3 實(shí)驗(yàn)結(jié)果展示

本文實(shí)驗(yàn)在電腦上進(jìn)行，CPU型號(hào)是i7-8700，操作系統(tǒng)是ubuntu18.04。實(shí)驗(yàn)代碼以C++語(yǔ)言基礎(chǔ)，借助ncnn框架設(shè)計(jì)實(shí)現(xiàn)，ncnn框架是面向移動(dòng)視覺應(yīng)用部署深度學(xué)習(xí)的框架。本文實(shí)驗(yàn)為模擬移動(dòng)設(shè)備的實(shí)際運(yùn)行情況，因此主要在CPU上運(yùn)行實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)采用了KITTI、UA-DETRAC、MOT16、OTB這4種數(shù)據(jù)集進(jìn)行挑選組合。其中挑選的數(shù)據(jù)集先按場(chǎng)景數(shù)量和變化情況分成三大類，第一類數(shù)據(jù)集包含KITTI訓(xùn)練數(shù)據(jù)集中的序號(hào)12、17，測(cè)試數(shù)據(jù)集的序號(hào)15的片段499-644，UA-DETRAC數(shù)據(jù)集中的序號(hào)MVI_40992和OTB數(shù)據(jù)集的subway；第二類數(shù)據(jù)集包含KITTI訓(xùn)練數(shù)據(jù)集中的序號(hào)5、8、10、16、18，以及測(cè)試數(shù)據(jù)集中的序號(hào)14的片段428-595和684-849、15的片段279-532和645-700、16；第三類數(shù)據(jù)集包含KITTI訓(xùn)練數(shù)據(jù)集中的序號(hào)11、13，MOT16數(shù)據(jù)中的序號(hào)7、14，UA-DETRAC數(shù)據(jù)集中的序號(hào)MVI_40131。

3.1 模型組合

在本文實(shí)驗(yàn)中，采用了一共9種目標(biāo)檢測(cè)模型級(jí)聯(lián)框架，采用了f1-score的計(jì)算方法，模型級(jí)聯(lián)框架的測(cè)試精度和計(jì)算時(shí)間是在KITTI數(shù)據(jù)集上測(cè)試得到，這里測(cè)試的KITTI數(shù)據(jù)集是所有視頻連續(xù)幀組成的圖像集合，計(jì)算結(jié)果見表1。

表1 不同模型級(jí)聯(lián)框架在KITTI數(shù)據(jù)集中的計(jì)算精度和計(jì)算時(shí)間

圖像搜索算法采用了3種方法，圖像差分算法、單方向搜索算法[13]和多方向搜索算法。圖像差分算法搜索重復(fù)區(qū)域數(shù)量最少，單方向搜索算法搜索重復(fù)區(qū)域數(shù)量其次，多方向搜索算法搜索重復(fù)區(qū)域數(shù)量最多。當(dāng)搜索重復(fù)區(qū)域較多時(shí)，模型級(jí)聯(lián)框架花費(fèi)的計(jì)算時(shí)間就會(huì)越少，但與此同時(shí)模型精度會(huì)較低，而搜索重復(fù)區(qū)域較少的時(shí)候，模型精度會(huì)比較高，但需要花費(fèi)的計(jì)算時(shí)間較多。

小模型只選擇了輕量化模型yolo-fastest-xl這一種方案，這是因?yàn)樾∧Ｐ偷淖饔迷谟谶x擇搜索算法篩選下來(lái)的非重復(fù)區(qū)域中是否有感興趣區(qū)域，小模型盡可能選擇目標(biāo)，而目標(biāo)檢測(cè)結(jié)果可以由大模型來(lái)保證。在本文的實(shí)驗(yàn)過程中發(fā)現(xiàn)選擇滿足條件的不同的小模型去搭配不同的模型組合是對(duì)于整體的框架精度和計(jì)算時(shí)間沒有過多影響。

大模型選擇了3種不同精度和計(jì)算時(shí)間的模型，其中yolov4精度最高，但在模型計(jì)算中耗費(fèi)時(shí)間最長(zhǎng)，tiny-yolov4和mobilenetv2-yolov3相比于yolov4雖達(dá)不到那么高的精度，但在計(jì)算時(shí)間上花費(fèi)遠(yuǎn)小于yolov4，tiny-yolov4相比mobilenetv2-yolov3需要花費(fèi)多一些計(jì)算時(shí)間，但精度比mobilenetv2-yolov3高一些。大模型判斷小模型篩選出來(lái)的目標(biāo)是否準(zhǔn)確，需要有一定的精度要求，但由于需要應(yīng)用的場(chǎng)景不同，所以在大模型上會(huì)有不同的模型選擇。表2是yolov4、tiny-yolov4和mobilenetv2-yolov3在KITTI數(shù)據(jù)集上的計(jì)算精度和計(jì)算時(shí)間，模型組合C和yolov4比較得到精度減少6.3%，時(shí)間減少45%；模型組合F和tiny-yolov4比較得到精度減少6.9%，時(shí)間減少52%；模型組合I和mobilenetv2-yolov3比較得到精度減少7.7%，時(shí)間減少54%。對(duì)比實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)無(wú)論是哪種模型應(yīng)用于模型級(jí)聯(lián)框架，都可以實(shí)現(xiàn)精度損失較少的情況下計(jì)算時(shí)間大幅度減少的優(yōu)化方案。本文設(shè)計(jì)的模型級(jí)聯(lián)框架在精度上會(huì)有些許差距，這是因?yàn)樵谒阉魉惴ǖ臅r(shí)候會(huì)帶來(lái)一些精度減少，用小模型進(jìn)行篩選的時(shí)候也會(huì)有些許的誤差，但總的來(lái)說，在精度減少少量的情況下模型級(jí)聯(lián)框架可以減少大量的計(jì)算時(shí)間和模型計(jì)算量。

表2 不同模型在KITTI上的測(cè)試精度和計(jì)算時(shí)間

表3給出了主流模型和對(duì)應(yīng)配置的模型級(jí)聯(lián)框架占用內(nèi)存量的對(duì)比，其中yolov4為大模型的級(jí)聯(lián)模型框架采用組合C作對(duì)比，tiny-yolov4為大模型的級(jí)聯(lián)模型框架采用模型F作對(duì)比，mobilenetv2-yolov3為大模型的級(jí)聯(lián)模型框架采用模型I作對(duì)比?？梢钥吹侥Ｐ图?jí)聯(lián)的方式搭建的框架對(duì)比同等主流模型消耗的內(nèi)存量并不多，而當(dāng)前本文所選擇的主流模型都是可借助ncnn部署在移動(dòng)端上進(jìn)行實(shí)際運(yùn)行的，本文設(shè)計(jì)的模型級(jí)聯(lián)框架也是借助ncnn框架實(shí)現(xiàn)的，也可方便部署在移動(dòng)端上實(shí)現(xiàn)相應(yīng)功能。

表3 主流模型和級(jí)聯(lián)模型占用內(nèi)存量對(duì)比

3.2 模型配置選擇器

本文實(shí)驗(yàn)搭建一個(gè)模型配置選擇器，在實(shí)時(shí)檢測(cè)的時(shí)候可以提取當(dāng)前視頻圖像幀信息選擇合適的模型級(jí)聯(lián)框架。用于框架選擇器訓(xùn)練的訓(xùn)練數(shù)據(jù)包含近5000張圖像，每個(gè)圖像提取4種特征信息，即①上一幀圖像的目標(biāo)數(shù)量N；②前5幀的平均目標(biāo)數(shù)量EN；③上一幀圖像中所有目標(biāo)的平均位移量NMV(x,y)； ④場(chǎng)景的平均位移量MV(x,y)， 由于位移量由向量表示所以一共提取的特征點(diǎn)數(shù)量為6個(gè)，輸出類別有9種，對(duì)應(yīng)9個(gè)模型級(jí)聯(lián)框架，數(shù)據(jù)集劃分為9份訓(xùn)練集和一份測(cè)試集，并進(jìn)行交叉驗(yàn)證。模型配置選擇器需滿足計(jì)算速度快，內(nèi)存占用少，易于訓(xùn)練等特點(diǎn)，因此本文選擇神經(jīng)網(wǎng)絡(luò)構(gòu)建模型配置選擇器，模型配置選擇器構(gòu)建兩層線性層，每層包含50個(gè)神經(jīng)元，每層輸出之后采用relu作為激活層，學(xué)習(xí)器采用adam學(xué)習(xí)器，學(xué)習(xí)率為0.01，采用20個(gè)epoch，每個(gè)epoch抽取500個(gè)數(shù)據(jù)點(diǎn)進(jìn)行訓(xùn)練，訓(xùn)練和測(cè)試的精度結(jié)果如圖4所示，其中x代表epoch，y代表精度，沒有采用更大的epoch是因?yàn)槟Ｐ陀?xùn)練已經(jīng)收斂，防止過擬合情況出現(xiàn)。

圖4 模型配置選擇器訓(xùn)練和測(cè)試結(jié)果

訓(xùn)練得到的模型配置選擇器在訓(xùn)練集的精度為0.95，測(cè)試集的精度為0.85，由圖4的結(jié)果可以看到模型沒有出現(xiàn)過擬合現(xiàn)象，說明這種方法訓(xùn)練得到的模型配置選擇器具有一定的選擇能力。

3.3 模型組合選擇測(cè)試表現(xiàn)情況

為了體現(xiàn)模型選擇的合理性和優(yōu)勢(shì)性，本文從測(cè)試集取出3類場(chǎng)景數(shù)據(jù)集，并根據(jù)模型配置選擇器所選的模型在提取的數(shù)據(jù)的測(cè)試精度和所需計(jì)算時(shí)間進(jìn)行分析。

第一個(gè)連續(xù)視頻幀數(shù)據(jù)集是KITTI測(cè)試數(shù)據(jù)集15中的片段499-644(后面簡(jiǎn)稱kitti_test15)，包含145張圖片，每張圖片包含4～6個(gè)目標(biāo)，采集該數(shù)據(jù)集的攝像頭處于靜止?fàn)顟B(tài)，場(chǎng)景中目標(biāo)移動(dòng)緩慢。對(duì)于該數(shù)據(jù)集，模型配置選擇器選擇模型組合G進(jìn)行檢測(cè)，本文同時(shí)取模型組合A-F對(duì)數(shù)據(jù)集進(jìn)行檢測(cè)，得到的模型精度和模型計(jì)算時(shí)間如圖5和圖6所示。

圖5 模型組合A-G在數(shù)據(jù)集kitti_test15上的測(cè)試精度

圖6 模型組合A-G在數(shù)據(jù)集kitti_test15上的計(jì)算時(shí)間

從圖5和圖6中可以看到，選擇模型組合G和模型組合A-F進(jìn)行檢測(cè)該數(shù)據(jù)集得到的精度差別不大，最大的差別即模型組合G和模型組合A的精度差為6%，而模型計(jì)算時(shí)間節(jié)省了166 ms。模型組合G在KITTI數(shù)據(jù)集上測(cè)試的精度僅有0.68是因?yàn)镵ITTI包含目標(biāo)數(shù)量多，場(chǎng)景變化大的數(shù)據(jù)，在這種情況下模型組合G是不具備優(yōu)勢(shì)的，而在數(shù)據(jù)集kitti_test15中目標(biāo)數(shù)量少，場(chǎng)景變化緩慢，這個(gè)時(shí)候模型組合G能在花費(fèi)較少計(jì)算時(shí)間的情況下獲得較高精度。圖7為當(dāng)前幀圖像即待檢測(cè)圖像，標(biāo)注即模型組合最終的檢測(cè)結(jié)果，結(jié)合圖7可以看到場(chǎng)景變化緩慢，移動(dòng)數(shù)量也較少，這時(shí)候采用模型組合G同樣可以得到較高的精度。

圖7 數(shù)據(jù)集kitti_test15的例子中當(dāng)前幀圖像檢測(cè)情況

第二個(gè)連續(xù)視頻幀數(shù)據(jù)集是KITTI測(cè)試數(shù)據(jù)集14的428-595片段(后面簡(jiǎn)稱kitti_test14)，包含168張圖片，每張圖片包含8～10個(gè)目標(biāo)，采集該數(shù)據(jù)集的攝像頭處于緩慢移動(dòng)狀態(tài)，場(chǎng)景中目標(biāo)移動(dòng)平緩。對(duì)于該數(shù)據(jù)集，模型配置選擇器選擇模型組合E進(jìn)行檢測(cè)，本文取模型組合A-D對(duì)數(shù)據(jù)集進(jìn)行檢測(cè)，得到的模型精度和模型計(jì)算時(shí)間如圖8和圖9所示。

圖8 模型組合A-E在數(shù)據(jù)集kitti_test14上的測(cè)試精度

圖9 模型組合A-E在數(shù)據(jù)集kitti_test14上的計(jì)算時(shí)間

從圖8和圖9中可以看到，選擇模型組合E和模型組合A-D進(jìn)行檢測(cè)該數(shù)據(jù)集中得到的精度差別較少，最大的差別即模型組合E和模型組合A的精度差為7%，而模型計(jì)算時(shí)間節(jié)省了159 ms。模型組合E在KITTI數(shù)據(jù)集上測(cè)試的精度為0.77，但它比模型組合G-I相比優(yōu)勢(shì)在變動(dòng)的場(chǎng)景和目標(biāo)數(shù)量較多的情況有一定的適應(yīng)性。圖10為當(dāng)前幀圖像也即待檢測(cè)圖像，標(biāo)注即模型組合最終的檢測(cè)結(jié)果，結(jié)合圖10可以看到場(chǎng)景變化對(duì)比第一組數(shù)據(jù)較快，大部分目標(biāo)在移動(dòng)，場(chǎng)景處于不斷變化的狀態(tài)，這時(shí)候采用模型組合E能夠保證精度較少的情況下節(jié)省更多計(jì)算時(shí)間。

圖10 數(shù)據(jù)集kitti_test14的例子中當(dāng)前幀圖像信息

第3個(gè)連續(xù)視頻幀數(shù)據(jù)集是第3類數(shù)據(jù)集UA-DETRAC中序號(hào)為MVI_40131的數(shù)據(jù)集，包含323張圖片，每張圖片包含至少15個(gè)目標(biāo)，采集該數(shù)據(jù)集的攝像頭處于較快的移動(dòng)狀態(tài)，場(chǎng)景中目標(biāo)移動(dòng)較快，場(chǎng)景變化復(fù)雜。對(duì)于該數(shù)據(jù)集，模型配置選擇器選擇模型組合C進(jìn)行檢測(cè)，本文同時(shí)取模型組合D-I對(duì)數(shù)據(jù)集進(jìn)行檢測(cè)，得到的模型精度如圖11所示。

圖11 模型組合C-I在數(shù)據(jù)集MVI_40131上的測(cè)試精度

從圖11可以看到，選擇模型組合E和模型組合D-I進(jìn)行檢測(cè)該數(shù)據(jù)集中得到的精度差別較大，從D開始精度差別達(dá)到了12%，而最高精度差在對(duì)比E和I得到為22%。圖12為當(dāng)前幀圖像也即待檢測(cè)圖像，標(biāo)注即模型組合最終的檢測(cè)結(jié)果，對(duì)于這組數(shù)據(jù)集，場(chǎng)景中的物體數(shù)量多，移動(dòng)速度快，處于較為復(fù)雜的情況，低精度的模型組合會(huì)產(chǎn)生較大的精度損失，因此模型配置選擇器更關(guān)注高精度模型以滿足需求而非減少計(jì)算時(shí)間。

圖12 數(shù)據(jù)集MVI_40131的例子中當(dāng)前幀圖像信息

4 結(jié)束語(yǔ)

本文設(shè)計(jì)的模型級(jí)聯(lián)優(yōu)化方案解決了目標(biāo)檢測(cè)模型如何適應(yīng)不同場(chǎng)景變化情況。模型級(jí)聯(lián)框架對(duì)比通用的目標(biāo)檢測(cè)模型可以在精度損失減少6%～8%的情況下，計(jì)算時(shí)間減少40%～55%，而通過模型配置選擇器的設(shè)計(jì)本文可以適應(yīng)不同變化情況的場(chǎng)景并針對(duì)性的選擇合適的模型組合，在場(chǎng)景變化較平緩的情況模型配置選擇器可以選擇模型精度損失不大，但計(jì)算時(shí)間較快的模型組合，在場(chǎng)景變化較快的情況下模型配置選擇器可以選擇能夠滿足精度要求的模型。本文的設(shè)計(jì)仍存在一定局限性，一是假設(shè)內(nèi)存足夠使用，沒有進(jìn)一步考慮實(shí)際內(nèi)存使用情況，二是本文的模型配置選擇器沒有實(shí)現(xiàn)在線學(xué)習(xí)的策略，可加入在線學(xué)習(xí)的方式適應(yīng)更多的場(chǎng)景變化情況，使得模型配置選擇器更具魯棒性。