周立旺， 潘天翔， 楊澤曦， 王 斌

(1. 清華大學(xué)軟件學(xué)院，北京 100084；2. 圖靈通諾科技有限公司，北京 100020)

在深度學(xué)習(xí)逐漸普及的今天，目標(biāo)檢測作為許多深度學(xué)習(xí)任務(wù)的先行任務(wù)有著重要的意義。目前主流的深度學(xué)習(xí)方法主要有：雙階段的目標(biāo)檢測和單階段的目標(biāo)檢測。RCNN系列，包括R-CNN[1]，F(xiàn)ast R-CNN[2]，F(xiàn)aster R-CNN[3]和 Mask R-CNN[4]，是雙階段目標(biāo)檢測方法的代表，這類方法通過一個(gè)候選框提取網(wǎng)絡(luò)(region proposal network，RPN)提取出圖像中可能存在目標(biāo)的感興趣區(qū)域(region of interest，ROI)，然后對這些區(qū)域進(jìn)行分類，判斷是否存在目標(biāo)以及目標(biāo)的類別，同時(shí)對區(qū)域的候選框(bounding box)做更精細(xì)的回歸。由于RPN階段會(huì)給出成百上千的ROI，而分類及回歸階段要逐一對其進(jìn)行處理，所以雙階段目標(biāo)檢測方法相對來說速度較慢；而以YOLO[5]，YOLOv2[6](YOLO9000)，YOLOv3[7]為代表的單階段方法就偏向于追求檢測速度的極致，這類方法的通常做法是去掉 RPN模塊，不采用提出許多候選框然后逐一分類的做法，而直接對包圍目標(biāo)的矩形框做回歸，這樣做的速度雖然非常快，但精度同時(shí)也會(huì)損失很多，因?yàn)檎?fù)候選框的比例不均勻。

無人冰柜是目前零售產(chǎn)業(yè)中人工智能的一項(xiàng)重要應(yīng)用場景，對于減少人力資源投入、普及智能化終端有著重要意義。在這個(gè)場景中，通過在傳統(tǒng)冰柜內(nèi)添加攝像頭及 GPU服務(wù)器等設(shè)備，使其可以完成目標(biāo)檢測、物體識別、目標(biāo)追蹤等一系列的任務(wù)。在實(shí)際應(yīng)用中，所選的深度學(xué)習(xí)方法首要考慮的是速度上要達(dá)到實(shí)時(shí)性，另外一方面出于成本控制的考慮，GPU的性能及顯存等參數(shù)也比學(xué)術(shù)界常用的設(shè)備要差，所以在目標(biāo)檢測任務(wù)上傾向于選擇單階段的檢測模型，如YOLO；同時(shí)由于攝像頭獲取的圖像分辨率較高(W×H)，直接作為輸入會(huì)占用較大顯存，所以在輸入檢測網(wǎng)絡(luò)前會(huì)先進(jìn)行下采樣操作到較低的分辨率(w×h)以提高檢測速度。此時(shí)一個(gè)很重要的挑戰(zhàn)是小物體的目標(biāo)檢測，因?yàn)槭褂脝坞A段檢測模型以及對輸入的下采樣操作都造成小目標(biāo)及整體精度很大的下降。

本文提出了一種coarse-to-fine的由粗到精的2階段檢測結(jié)構(gòu)FocusNet，用來解決上述提出的單階段模型小目標(biāo)檢測精度不高的問題。①粗粒度檢測階段，在原始圖像中檢測出一個(gè)最可能包含待檢測目標(biāo)的區(qū)域ROI (w×h)；②細(xì)粒度檢測階段，以原始圖像中截取第一階段識別出的ROI作為輸入，檢測出每個(gè)目標(biāo)的精細(xì)位置。第一階段使用的是淺層的全卷積網(wǎng)絡(luò)，而第二階段使用的是單階段檢測的YOLOv2模型，并利用輕量化模型作為骨干網(wǎng)絡(luò)加速計(jì)算，整體網(wǎng)絡(luò)復(fù)雜度相對于YOLOv2單階段檢測模型沒有顯著提升。最終在圖靈通諾公司提供的無人冰柜數(shù)據(jù)集上整體檢測平均準(zhǔn)確率提升了3.5%，而小目標(biāo)檢測平均準(zhǔn)確率提升了8.3%。

本文的主要貢獻(xiàn)有2點(diǎn)：①提出了一種雙階段優(yōu)化的檢測算法，在不增加太多計(jì)算復(fù)雜度的情況下，顯著提升了無人冰柜數(shù)據(jù)上的目標(biāo)檢測精度及小目標(biāo)檢測精度。②提出了針對小目標(biāo)檢測的新的損失函數(shù)，提高了在目標(biāo)檢測的通用數(shù)據(jù)集上的精度。

1 相關(guān)工作

本文工作主要包含目標(biāo)檢測及針對小目標(biāo)檢測的研究。

傳統(tǒng)的目標(biāo)檢測一般是基于滑窗操作，從滑窗中的區(qū)域提取一些經(jīng)典的人工特征如SIFT和HOG，然后用SVM等分類器對這些區(qū)域進(jìn)行分類，一般的應(yīng)用場景是行人檢測和一般的目標(biāo)檢測。DPM[8]是此類算法的經(jīng)典代表，連續(xù)贏得了 2007–2009年的PASCAL VOC[9]檢測冠軍。

目前主流的成熟目標(biāo)檢測的算法都是基于深度學(xué)習(xí)的框架，主要可以分為雙階段和單階段檢測2種。雙階段的檢測框架主要基于R-CNN網(wǎng)絡(luò)，而后該結(jié)構(gòu)逐步在 SPP-Net[10]，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN和Mask R-CNN中得到了完善，基本的思路是利用區(qū)域提取網(wǎng)絡(luò) RPN和卷積網(wǎng)絡(luò)的組合取代了傳統(tǒng)算法中的滑窗操作及人工特征，實(shí)現(xiàn)了端到端的檢測，同時(shí)避免了人工特征的局限性，使速度和精度均有很大提高。

單階段的目標(biāo)檢測方法是去掉候選框的提取部分，在主干網(wǎng)絡(luò)中直接回歸目標(biāo)框。OverFeat[11]算法是最早的端到端檢測模型，首次將分類、檢測和定位3個(gè)問題一起解決。目前最經(jīng)典的單階段檢測方法代表是YOLO系列，由于不需要對每個(gè)候選框進(jìn)行分類及回歸操作，YOLO的速度可以達(dá)到45FPS。后續(xù)的YOLO9000、YOLOv3逐步引入了經(jīng)驗(yàn)框機(jī)制(anchor box)和多尺度特征的設(shè)計(jì)，在維持了高速度的特性上，進(jìn)一步提升了檢測精度。

SSD[12]也是重要的單階段目標(biāo)檢測方法，將YOLO的回歸思想與Faster R-CNN的anchor box機(jī)制進(jìn)行了結(jié)合，這一點(diǎn)也啟發(fā)了后來的YOLOv2。DSSD[13]是SSD的改進(jìn)網(wǎng)絡(luò)，SSD中將多個(gè)卷積層輸入到預(yù)測中進(jìn)行回歸和分類，而DSSD將這些特征輸入了反卷積層，用得到的特征圖金字塔進(jìn)行多尺度的檢測，提升了SSD的小目標(biāo)檢測能力。

小目標(biāo)檢測在一般的目標(biāo)檢測中一直是一個(gè)較難的問題，由于小目標(biāo)本身所占像素少，經(jīng)過卷積網(wǎng)絡(luò)中一些下采樣操作感受野會(huì)變得更小而特征更不明顯，造成相比大目標(biāo)檢測率低的問題。針對小目標(biāo)檢測的思路主要有3種：①針對數(shù)據(jù)，在圖像預(yù)處理階段通過數(shù)據(jù)增強(qiáng)、圖像超分辨率等操作增加小目標(biāo)的比例和尺寸，KISANTAL等[14]工作屬于這種做法，其在數(shù)據(jù)增強(qiáng)階段通過人工復(fù)制小物體并在原圖中隨機(jī)粘貼多份增加了小目標(biāo)的數(shù)量；②coarse-to-fine的級聯(lián)方法，用后續(xù)的網(wǎng)絡(luò)回歸粗檢測網(wǎng)絡(luò)提出的框以獲得更精準(zhǔn)的定位，即Faster R-CNN的候選框提出和精細(xì)回歸的做法；③多尺度融合方法，即結(jié)合淺層網(wǎng)絡(luò)的精細(xì)特征和高層網(wǎng)絡(luò)的語義特征，典型的代表是FPN[15]。之前的許多目標(biāo)檢測算法都只用了高層的語義特征做預(yù)測，F(xiàn)PN通過上采樣的方式融合了高層與淺層特征，并且在每層獨(dú)立進(jìn)行預(yù)測。不過多尺度融合以及雙階段的檢測方法由于計(jì)算較多速度較慢，不適用于無人冰柜場景。

2 針對無人冰柜數(shù)據(jù)的目標(biāo)檢測算法

現(xiàn)有的針對無人冰柜數(shù)據(jù)的目標(biāo)檢測算法大都是基于YOLO，SSD這類單階段檢測模型，同時(shí)結(jié)合下采樣從而提高模型運(yùn)算速度。這一模型的主干網(wǎng)絡(luò)為包含19個(gè)卷積層的全卷積網(wǎng)絡(luò)Darknet-19，未引入全連接層(fully connected layer)，所以網(wǎng)絡(luò)實(shí)際運(yùn)行時(shí)速度很快。但在該框架的訓(xùn)練測試中，原始圖像(W×H)會(huì)先縮小到(w×h)的尺寸，然后在主干網(wǎng)絡(luò)中經(jīng)過5個(gè)步幅(stride)為2的卷積下采樣32倍。以W=2.5w為例，原始圖像中80像素長度的物體在最終的特征圖中會(huì)壓縮到 1個(gè)像素內(nèi)，小于80像素邊長的物體的特征可能會(huì)完全丟失，造成精度明顯的損失。并將該模型作為本文的基線標(biāo)準(zhǔn)。

本文算法對上述模型進(jìn)行改進(jìn)，提出了一種coarse-to-fine由粗到精的雙階段檢測模型。無人冰柜的數(shù)據(jù)相比通用檢測數(shù)據(jù)集有以下的特點(diǎn)：①背景單一，由于是固定場景的固定攝像頭，所以采集到的圖像背景差異不大；②多數(shù)圖像大部分區(qū)域是背景，目標(biāo)雖然會(huì)分布在圖像的任意位置，但是在大多數(shù)圖像中顧客只拿取了一個(gè)或少數(shù)幾個(gè)目標(biāo)商品，而這些目標(biāo)商品往往只存在一個(gè)小范圍中，如圖1所示。

針對這一特性，本文的思路是在第一個(gè)粗粒度檢測階段在原始圖像I(W×H)中檢測出最可能包含目標(biāo)商品的一個(gè)潛在區(qū)域IROI(w×h)，將這個(gè)區(qū)域從原圖中截取出來，然后在第二個(gè)細(xì)粒度檢測階段再用原來尺度(w×h)的檢測網(wǎng)絡(luò)對目標(biāo)的坐標(biāo)進(jìn)行精細(xì)的回歸預(yù)測。本文的核心思想是利用無人冰柜數(shù)據(jù)的特點(diǎn)，用增加一個(gè)快速檢測模塊的方式，換取第二階段相比原來增加了 525%的特征感受野(W=2.5w)，從而顯著提高了目標(biāo)檢測特別是小目標(biāo)檢測的精度。下面介紹兩階段的檢測網(wǎng)絡(luò)和相關(guān)算法，如圖2所示。

圖1 無人冰柜圖像樣例

圖2 整體算法流程圖

2.1 粗粒度檢測網(wǎng)絡(luò)

為了滿足無人冰柜場景快速計(jì)算的需求，不在粗粒度檢測網(wǎng)絡(luò)的部分增加太多計(jì)算復(fù)雜度，本文在該階段選擇了輕量化的模型，即選擇了Mobilenetv2[16]的前10個(gè)倒置殘差塊作為模型。

Mobilenetv2是谷歌提出的面向移動(dòng)平臺的輕量化網(wǎng)絡(luò)結(jié)構(gòu)，其特點(diǎn)是使用可分解卷積(separable convolution)替代普通卷積降低了計(jì)算量，同時(shí)借鑒了ResNet[17]中殘差連接的設(shè)計(jì)提高了精度。

網(wǎng)絡(luò)結(jié)構(gòu)見表 1，表中的 bottleneck即代表倒置殘差塊，重復(fù)數(shù)代表同樣的bottleneck重復(fù)相連接的次數(shù)。

該階段網(wǎng)絡(luò)的輸入為原圖縮放到(w×h)的尺寸的圖像Iresized，輸出為經(jīng)過 4次卷積中下采樣的特征圖(Wf×Hf)，而特征圖通過一個(gè)sigmoid激活函數(shù)映射到[0，1]內(nèi)，得到第一階段的輸出熱力圖Hpredict(Wf×Hf)，然后通過2.2節(jié)中的后處理算法，得到目標(biāo)商品的潛在區(qū)域IROI。該階段的ground truth是利

用目標(biāo)的標(biāo)注框生成的[0，1]熱力圖HGT(Wf×Hf)，即有目標(biāo)的區(qū)域標(biāo)注為 1，反之為 0。此外，借鑒CornerNet[18]中reducing penalty的設(shè)計(jì)，在目標(biāo)的邊界區(qū)域不直接取 0，而以邊界點(diǎn)為中心添加一個(gè)二維的高斯分布，得到一個(gè)更平滑的熱力圖H′GT。粗粒度檢測網(wǎng)絡(luò)使用L2距離作為評價(jià)標(biāo)準(zhǔn)，損失函數(shù)為

表1 粗粒度檢測網(wǎng)絡(luò)結(jié)構(gòu)

2.2 粗粒度檢測后處理

通過粗粒度檢測網(wǎng)絡(luò)得到熱力圖Hpredict后，需要利用其計(jì)算出一個(gè)在原圖中的裁剪區(qū)域 ROI(w×h)。但實(shí)際情況中并不是所有目標(biāo)商品都只分布在一個(gè)較小區(qū)域，考慮到商品離攝像頭遠(yuǎn)近的不同和商品本身的大小差異以及顧客一手抓多個(gè)的情況，有相當(dāng)一部分圖片中ROI (w×h)并未框住所有目標(biāo)，直接粗暴的對所有圖進(jìn)行裁剪會(huì)反而導(dǎo)致精度的下降，第3節(jié)中表3的實(shí)驗(yàn)證明了這一點(diǎn)。所以本文的算法將大和小目標(biāo)圖片的處理進(jìn)行了區(qū)分：對于大目標(biāo)圖片而言，直接將原圖縮小到(w×h)的尺寸進(jìn)行第二階段的細(xì)粒度檢測，因?yàn)榧?xì)粒度網(wǎng)絡(luò)對大目標(biāo)的檢測是相對準(zhǔn)確的，所以不會(huì)造成精度的損失；而對于小目標(biāo)圖片而言，則在熱力圖中找到一個(gè)響應(yīng)最大的區(qū)域并映射到原圖中的對應(yīng)區(qū)域(x，y，w，h)，截取該區(qū)域作為細(xì)粒度檢測的輸入ROI。該區(qū)域通過遍歷熱力圖搜索得到

此處wf和hf是原圖中(w×h)縮小2.5倍再下采樣 16 倍得到的(wf×hf)。

大、小目標(biāo)圖片的劃分是用熱力圖中響應(yīng)值大小進(jìn)行分類的。后處理算法的步驟如下：

輸入：熱力圖預(yù)測值Hpredict。

輸出：裁剪區(qū)域(xcrop，ycrop，wcrop，hcrop)。

步驟1.讀入熱力圖，對全圖響應(yīng)值求平均值，判斷是否大于閾值；

步驟2.若大于閾值，則判斷為大目標(biāo)圖片；

步驟3.輸出原圖(0，0，W，H)；

步驟4.若小于閾值，則判斷為小目標(biāo)圖片；

步驟 5.在熱力圖中搜索子區(qū)域(xf，yf，wf，hf)，使得子區(qū)域響應(yīng)值之和最大；

步驟6.將最大響應(yīng)值子區(qū)域(xf，yf，wf，hf)放大對應(yīng)到原圖中的區(qū)域(x，y，w，h)；

步驟 7.輸出(x，y，w，h)。

2.3 細(xì)粒度檢測網(wǎng)絡(luò)

細(xì)粒度檢測網(wǎng)絡(luò)使用的是基線模型使用的檢測網(wǎng)絡(luò)：輕量化的主干網(wǎng)絡(luò)，與YOLOv2的回歸檢測框架。

細(xì)粒度檢測網(wǎng)絡(luò)的主干部分由一系列bottleneck組成，是全卷積的網(wǎng)絡(luò)設(shè)計(jì)，因此網(wǎng)絡(luò)的計(jì)算效率很高。而檢測部分使用了YOLOv2除主干網(wǎng)絡(luò) Darknet-19之外的回歸檢測部分。對于YOLOv1直接對目標(biāo)框的(xp，yp，wp，hp)值做回歸預(yù)測造成的定位不準(zhǔn)確的問題，YOLOv2引入了Faster R-CNN中的經(jīng)驗(yàn)框(anchor box)機(jī)制。經(jīng)驗(yàn)框機(jī)制是在訓(xùn)練集的標(biāo)注框中通過聚類找出最具代表性的幾個(gè)(YOLOv2中是5個(gè))不同大小的框，使得這幾個(gè)經(jīng)驗(yàn)框與訓(xùn)練集中所有的標(biāo)注框的IOU (intersection over union)足夠大。而YOLOv2預(yù)測的目標(biāo)框大小是相對這 5個(gè)經(jīng)驗(yàn)框的相對大小，而不是絕對大??；且目標(biāo)框的位置也是預(yù)測的相對偏移值，所以提高了檢測精度，也使得模型訓(xùn)練更穩(wěn)定。

細(xì)粒度檢測網(wǎng)絡(luò)相比基線模型的改變主要在于輸入?；€模型的輸入為原圖(W×H)縮小到(w×h)分辨率再輸入檢測網(wǎng)絡(luò)。而細(xì)粒度檢測網(wǎng)絡(luò)是從原圖(W×H)中截取(w×h)大小的區(qū)域作為輸入，相當(dāng)于細(xì)粒度檢測網(wǎng)絡(luò)中所有目標(biāo)的尺度都是基線模型中目標(biāo)的6.25倍(W=2.5w)，從而顯著提高了目標(biāo)檢測的精度。

這部分的網(wǎng)絡(luò)結(jié)構(gòu)見表2。

2.4 Anchor box加權(quán)損失函數(shù)

本文對YOLOv2的檢測框架也進(jìn)行了改進(jìn)。主要針對 小目標(biāo)像素少導(dǎo)致?lián)p失函數(shù)中所占比重小，造成檢測精度低這一點(diǎn)進(jìn)行了改進(jìn)。

在YOLOv2的預(yù)測階段，會(huì)輸出一張(wr×hr×5)的特征圖，即在每個(gè)位置會(huì)預(yù)測5個(gè)目標(biāo)框?qū)?yīng)5個(gè)預(yù)先計(jì)算的anchor boxes，大的anchor box會(huì)預(yù)測出較大的目標(biāo)框，而小的anchor box會(huì)預(yù)測出小的目標(biāo)框。YOLOv2同時(shí)會(huì)預(yù)測大小為(wr×hr×5)的置信度圖Confpredict，對應(yīng)之前(wr×hr×5)的預(yù)測框分別存在目標(biāo)的概率，而 ground truth的置信度圖ConfGT由標(biāo)注框給出：存在目標(biāo)的位置時(shí)，在與目標(biāo)標(biāo)注框IOU最大的anchor box處取值為1，其余位置取值為0，所以原始YOLOv2模型中這部分的損失函數(shù)為

表2 細(xì)粒度檢測網(wǎng)絡(luò)結(jié)構(gòu)

在這個(gè)損失函數(shù)中，5種不同的 anchor boxes對應(yīng)的權(quán)重是相同的，即大、小anchor box對應(yīng)的大、小目標(biāo)的權(quán)重是相同的。但考慮到大、小目標(biāo)所占的空間像素的不同，在損失求和時(shí)大目標(biāo)的實(shí)際計(jì)算權(quán)重是遠(yuǎn)大于小目標(biāo)的；另外一方面，同樣大小的位置預(yù)測偏差會(huì)給小目標(biāo)帶來更明顯的精度損失，這2點(diǎn)導(dǎo)致了網(wǎng)絡(luò)對小目標(biāo)檢測的精度下降。針對這一點(diǎn)，本文設(shè)計(jì)了一種針對anchor box的加權(quán)損失函數(shù)，即在計(jì)算損失函數(shù)時(shí)，賦予小anchor box對應(yīng)的預(yù)測框更大的權(quán)重，從而促使檢測網(wǎng)絡(luò)對小目標(biāo)的檢測進(jìn)一步優(yōu)化。改進(jìn)后的置信度損失函數(shù)為

在本文的實(shí)驗(yàn)中，= [ 2.00,1.75,1.50,1.25,1.00]，分別對應(yīng)從小到大的anchor boxes。

2.5 算法流程

本文整體的算法在測試階段的步驟如下：

輸入：原始圖像I。

輸出：目標(biāo)檢測框(xp，yp，wp，hp)。

步驟1.讀入圖像，縮小到(w×h)分辨率，輸入粗粒度檢測網(wǎng)絡(luò)，得到熱力圖預(yù)測Hpredict；

步驟 2.將熱力圖Hpredict輸入粗粒度檢測后處理算法，得到原圖區(qū)域(xcrop，ycrop，wcrop，hcrop)；

步驟 3.將(xcrop，ycrop，wcrop，hcrop)縮放到(w×h)分辨率，輸入細(xì)粒度檢測網(wǎng)絡(luò)，得到目標(biāo)預(yù)測框(xp，yp，wp，hp)；

步驟 4.輸出檢測框(xp，yp，wp，hp)。

3 實(shí)驗(yàn)及分析

本文使用的數(shù)據(jù)集包括：一個(gè)無人冰柜數(shù)據(jù)集以及通用目標(biāo)檢測數(shù)據(jù)集 PASCAL VOC[9]和COCO14[19]。在實(shí)驗(yàn)評價(jià)中使用了COCO的評價(jià)指標(biāo)，包含 AP0.50∶0.95，AP0.50，AP0.75，APsmall，APmedium，APlarge等指標(biāo)，全面綜合地評價(jià)了模型在不同精準(zhǔn)度要求、不同目標(biāo)大小下的檢測精度。

3.1 參數(shù)選擇

所有模型均在 IMAGENET[20]上進(jìn)行預(yù)訓(xùn)練。訓(xùn)練時(shí)，將batch-size設(shè)置為24。網(wǎng)絡(luò)的學(xué)習(xí)率初始為0.000 2，在60個(gè)epoch后降為0.000 1，在90個(gè)epoch后降為0.000 01。測試時(shí)，設(shè)檢測置信度閾值為0.25。在粗粒度檢測網(wǎng)絡(luò)后處理算法中的閾值取 0.1，而加權(quán) anchor box損失函數(shù)中的γ■?取值為[2，1.75，1.5，1.25，1]。

3.2 無人冰柜數(shù)據(jù)集上的實(shí)驗(yàn)

為了驗(yàn)證本文方法的有效性，在圖靈通諾公司從實(shí)際部署的無人冰柜數(shù)據(jù)集上采集并標(biāo)注的36 090張圖片集上進(jìn)行了實(shí)驗(yàn)。每張圖片包含一個(gè)或多個(gè)目標(biāo)商品，商品種類包含3類體積較大的沙拉和2類體積較小的壽司。并將整個(gè)數(shù)據(jù)集按9∶1隨機(jī)分成了訓(xùn)練集和測試集，訓(xùn)練集包含32 481張圖片而測試集包含3 609張圖片。

在精準(zhǔn)度和速度上詳細(xì)對比了本文算法與基線模型以及與雙階段模型Faster R-CNN[3]和最新的單階段模型 YOLOv3[7]，F(xiàn)COS[21]的效果。精準(zhǔn)度的對比見表3。

其中，F(xiàn)aster R-CNN與Faster R-CNN+FPN[15]算法的主干網(wǎng)絡(luò)使用的是ResNet-50；表中的(Ours)指的是本文算法不使用粗檢測后處理以及加權(quán)anchor損失函數(shù)時(shí)的模型，而(Ours，+p)是指的使用了粗檢測后處理的本文算法，(Ours，+p，w)指的是同時(shí)使用粗檢測后處理和加權(quán) anchor損失函數(shù)時(shí)的模型。從表中可以看出，本文的兩階段檢測算法(Ours，+p)在基線模型的基礎(chǔ)上大幅提高了精準(zhǔn)度，COCO的主要指標(biāo)APsmall提升了2.7%，小目標(biāo)檢測的指標(biāo)APsmall更是提升了6.5%，其余各項(xiàng)指標(biāo)也有不同程度的提升；而在使用了anchor box加權(quán)損失函數(shù)后，(Ours，+p，w)模型的精度進(jìn)一步提高了，APsmall提高了8.3%，AP0.5:0.95提高了3.5%，接近了Faster R-CNN網(wǎng)絡(luò)的精度，甚至在小目標(biāo)精度指標(biāo)上已經(jīng)超過了Faster R-CNN，且接近了目前方法的精度上界。而相比最新的單檢測框架YOLOv3與FCOS，雖然本文改進(jìn)后模型與最新方法在檢測精度上存在一點(diǎn)差距，但在后面模型參數(shù)量與運(yùn)行速度的對比上，本文的模型依然具有極大的優(yōu)勢。當(dāng)前框架精準(zhǔn)度的上界是通過以下方法得到的：首先對原始圖像以(w×h)分辨率進(jìn)行了人工裁剪，并保證原圖中的所有目標(biāo)均完全包括在這個(gè)裁剪圖中，然后用這個(gè)裁剪數(shù)據(jù)集訓(xùn)練基線模型。這個(gè)實(shí)驗(yàn)需假設(shè)在粗粒度檢測階段得到了完全正確的裁剪框，所以是目前算法準(zhǔn)確度的上界。而實(shí)驗(yàn)結(jié)果顯示經(jīng)過改進(jìn)的coarse-to-fine算法可以接近這個(gè)上界。另外，表中的不帶粗粒度檢測后處理的模型精度降低非常明顯，只有小目標(biāo)檢測的精度及召回率有一定提升；而添加后處理算法，提升了小目標(biāo)檢測精度，由于對大目標(biāo)圖片不做裁剪操作，所以也保證了大目標(biāo)的檢測精度不受影響，從而提升了整體的檢測精度。

表3 無人冰柜數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

另外一方面，對比了本文的雙階段模型與基線模型以及 Faster R-CNN網(wǎng)絡(luò)的效率，分別從參數(shù)量、實(shí)際運(yùn)行速度方面進(jìn)行了對比，見表4。

表4 幾種方法的預(yù)測速度比較

可以看到，在大幅提升了基線模型的準(zhǔn)確率的情況下，兩階段的由粗到精框架并沒有顯著提升計(jì)算復(fù)雜度，參數(shù)量只增加了0.6%，而實(shí)際運(yùn)行時(shí)間比原來增加了 11%，依然可以保持實(shí)時(shí)的運(yùn)行效果。而FocusNet與Faster R-CNN相比，參數(shù)量僅為后者的5%，運(yùn)行速度是后者的4.2倍，而精度在表3中可以看到與Faster R-CNN接近。同時(shí)與單階段檢測模型的最新方法 FCOS、YOLOv3相比，F(xiàn)ocusNet的參數(shù)量僅為FCOS的5%、YOLOv3的19%，而在運(yùn)行速度上，F(xiàn)ocusNet也是少有的在30 ms以內(nèi)的實(shí)時(shí)檢測方法。

3.3 VOC和COCO數(shù)據(jù)集的損失函數(shù)改進(jìn)實(shí)驗(yàn)

在公開數(shù)據(jù)集上，也測試了帶加權(quán)的 anchor box的損失函數(shù)的效果，其中PASCAL VOC包含22 136張圖的訓(xùn)練集和 4 952張圖的測試集，COCO14包含82 081張圖的訓(xùn)練集和40 137張圖的測試集。

結(jié)果見表5和表6。從表中可以看出，加權(quán)的anchor box損失函數(shù)在通用數(shù)據(jù)集上也能提升基線模型的目標(biāo)檢測能力。

表5 PASCAL VOC 數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

表6 COCO14數(shù)據(jù)集實(shí)驗(yàn)結(jié)果

4 結(jié) 束 語

無人冰柜是人工智能落地到傳統(tǒng)零售業(yè)中的一個(gè)重要實(shí)用場景，而其中的目標(biāo)檢測是許多后續(xù)工作的先行任務(wù)，具有重要的意義。如何設(shè)計(jì)高效而又準(zhǔn)確的識別模型是一個(gè)具有實(shí)際意義、非常值得研究的課題。

本文在單階段檢測模型YOLOv2的基礎(chǔ)上，針對無人冰柜場景的數(shù)據(jù)特點(diǎn)，提出了一種可維持高檢測速度，也顯著提升了模型對小目標(biāo)檢測能力的框架FocusNet；同時(shí)也在YOLOv2模型的基礎(chǔ)上，提出了對損失函數(shù)的改進(jìn)方法，并在無人冰柜數(shù)據(jù)集和通用數(shù)據(jù)集上均驗(yàn)證了其有效性。

雖然目前的框架極大地提高了之前模型的準(zhǔn)確率，但依然存在一些不足。目前的網(wǎng)絡(luò)結(jié)構(gòu)由2部分組成，在網(wǎng)絡(luò)的訓(xùn)練階段，需要先訓(xùn)練粗粒度檢測網(wǎng)絡(luò)，得到粗粒度網(wǎng)絡(luò)的輸出后才能再對細(xì)粒度網(wǎng)絡(luò)進(jìn)行訓(xùn)練，沒有形成端到端的一體結(jié)構(gòu)；另外一方面，額外增加的粗粒度網(wǎng)絡(luò)雖然計(jì)算復(fù)雜度不高，但仍會(huì)增加網(wǎng)絡(luò)的計(jì)算量，導(dǎo)致網(wǎng)絡(luò)的計(jì)算速度下降。如何設(shè)計(jì)端到端的網(wǎng)絡(luò)，進(jìn)一步加速計(jì)算、提高精度，是下一個(gè)階段需要探索的目標(biāo)。