畢君郁

摘? ?要：我國(guó)每年失蹤兒童約有20萬(wàn)人，如何利用人工智能技術(shù)尋找走失兒童是社會(huì)討論的熱點(diǎn)問(wèn)題。首先，文章將行人檢測(cè)和行人重識(shí)別相結(jié)合，建立了端到端的行人搜索框架，并使用OIM監(jiān)督學(xué)習(xí)。然后，在Person Search數(shù)據(jù)集上進(jìn)行訓(xùn)練后，分別用兒童和成年人的圖片作為輸入進(jìn)行測(cè)試。最后，根據(jù)評(píng)價(jià)指標(biāo)證明文章的搜索框架有70%以上的成功率，且兒童比成年人更加難以搜尋。

關(guān)鍵詞：行人重識(shí)別;行人檢測(cè);尋找走失兒童;深度學(xué)習(xí)

1? ? 行人重識(shí)別技術(shù)

如何利用人工智能技術(shù)尋找走失兒童一直是社會(huì)關(guān)注的熱點(diǎn)問(wèn)題，行人重識(shí)別是利用計(jì)算機(jī)視覺(jué)技術(shù)判斷圖像或者視頻序列中是否存在特定行人的技術(shù)。雖然現(xiàn)今已經(jīng)提出了大量的行人重識(shí)別方法，但是還是很難被應(yīng)用到現(xiàn)實(shí)世界中，因?yàn)樾腥酥刈R(shí)別的研究使用的數(shù)據(jù)集大多數(shù)是手工剪切過(guò)的圖片，如圖1所示。

可見(jiàn)，行人重識(shí)別是在假設(shè)行人檢測(cè)已經(jīng)做得完美的基礎(chǔ)上做的重識(shí)別研究。而想要實(shí)現(xiàn)尋找走失兒童，必須將行人檢測(cè)和行人重識(shí)別相結(jié)合，所以本文使用一個(gè)端到端的行人搜索框架，其在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）中處理這兩個(gè)任務(wù)，省去了模塊間的操作。

本研究CNN包括兩個(gè)部分：行人候選網(wǎng)絡(luò)和身份識(shí)別網(wǎng)絡(luò)。給定一個(gè)輸入圖像，通過(guò)行人候選網(wǎng)絡(luò)生成候選行人的包圍框，然后將候選行人放入身份識(shí)別網(wǎng)絡(luò)來(lái)提取特征，與目標(biāo)行人進(jìn)行比較。行人候選網(wǎng)絡(luò)和身份識(shí)別網(wǎng)絡(luò)在訓(xùn)練時(shí)可以互相適應(yīng)，例如：行人候選框會(huì)優(yōu)先提高召回率而不是準(zhǔn)確率，因?yàn)檎倩芈首兏邉t假正例率也會(huì)變高，而這些假正例（非行人卻被誤認(rèn)為是行人的候選框）會(huì)在身份識(shí)別網(wǎng)絡(luò)中被剔除。

傳統(tǒng)的重識(shí)別特征學(xué)習(xí)主要使用Pair wise或者Triplet損失函數(shù)，然而，這兩種損失函數(shù)都不是非常有效，因?yàn)槊看伪容^的樣本數(shù)量較少。而另一個(gè)方法是用Softmax損失函數(shù)來(lái)分類(lèi)標(biāo)識(shí)，此函數(shù)可以同時(shí)比較所有的樣本。但是當(dāng)類(lèi)別增加時(shí)，訓(xùn)練會(huì)變得非常緩慢，甚至無(wú)法收斂。所以本研究使用在線實(shí)例匹配（Online Instance Matching Loss，OIM）損失函數(shù)[1]來(lái)訓(xùn)練該網(wǎng)絡(luò)。OIM損失函數(shù)適用于類(lèi)別較多、每類(lèi)樣本又較少的分類(lèi)問(wèn)題。

2? ? 相關(guān)工作

2.1? 行人重識(shí)別

傳統(tǒng)的行人重識(shí)別采取的方法是：手工設(shè)計(jì)特征值、手工將攝像機(jī)視角轉(zhuǎn)化成特征值、手工設(shè)計(jì)距離度量函數(shù)（損失函數(shù)）。后來(lái)提出使用基于深度學(xué)習(xí)的方法來(lái)處理上述方面，Li等[1]設(shè)計(jì)了CNN模型，其輸入的是裁剪過(guò)的行人圖片，使用二進(jìn)制驗(yàn)證損失函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)參數(shù)。Cai等[2]使用Triplet來(lái)訓(xùn)練CNN以使同一行人的圖片的特征值盡可能相似，不同行人圖片之間的特征值盡可能相異（同小異大原則）。

近期還有許多工作關(guān)注于非正常圖片的行人重識(shí)別，如：分辨率低、局部遮擋的圖片。

2.2? 行人檢測(cè)

傳統(tǒng)方法中，DPM，ACF和Checkerboards是最常用的行人檢測(cè)器，依靠手工制作和線性分類(lèi)器來(lái)檢測(cè)行人。近年來(lái)，基于CNN的行人檢測(cè)器也得到了發(fā)展[3]，眾多學(xué)者研究了包括CNN模型結(jié)構(gòu)、訓(xùn)練數(shù)據(jù)和不同訓(xùn)練策略在內(nèi)的各種因素。

2.3? 尋找走失兒童

現(xiàn)有許多不同方向針對(duì)尋找走失兒童的研究工作開(kāi)展，例如：跨年齡人臉識(shí)別、人臉重建、人臉老化等，但是針對(duì)兒童的數(shù)據(jù)集較少，并且兒童成長(zhǎng)面部變化較大，所以這方面研究還面臨著巨大的挑戰(zhàn)。

3? ? 本文算法結(jié)構(gòu)

本文的CNN結(jié)合了行人檢測(cè)和行人重識(shí)別網(wǎng)絡(luò)，結(jié)構(gòu)如圖2所示，輸入一張完整的圖像后，經(jīng)過(guò)特征提取網(wǎng)絡(luò)將像素矩陣轉(zhuǎn)換成卷積特征圖后，行人候選網(wǎng)絡(luò)將此作為輸入來(lái)預(yù)測(cè)行人的邊界框。然后，將其輸入到具有RoI-Pooling的身份識(shí)別網(wǎng)絡(luò)中，為每個(gè)邊界框包圍的行人提取256維的特征向量。在尋人階段，根據(jù)目標(biāo)行人和候選行人的特征向量之間的距離進(jìn)行排名。在訓(xùn)練階段，研究使用OIM損失函數(shù)來(lái)監(jiān)督網(wǎng)絡(luò)。

3.1? 模型結(jié)構(gòu)

特征提取網(wǎng)絡(luò)：采用ResNet-50作為CNN模型的基礎(chǔ)。首先是一個(gè)7×7的卷積層，其次是4個(gè)block，分別包含3，4，6，3個(gè)殘差單元。本研究把以上作為主干部分。給定輸入圖像，能夠產(chǎn)生的特征圖有1 024個(gè)channels，分辨率是原圖的1/16。

行人候選網(wǎng)絡(luò)：首先通過(guò)512×3×3的卷積層提取出行人特征，按照每個(gè)特征圖的位置關(guān)聯(lián)9個(gè)anchors。然后使用Softmax分類(lèi)器來(lái)判斷是否為行人，同時(shí)通過(guò)線性回歸來(lái)調(diào)整他們的位置。最后，選出128個(gè)邊界框。

身份識(shí)別網(wǎng)絡(luò)：用于提取每個(gè)候選區(qū)的特征，并和目標(biāo)特征對(duì)比。首先利用ROI-Pooling從每個(gè)候選區(qū)的特征圖中池化得到一個(gè)1 024×14×14的區(qū)域。然后，將這些區(qū)域通過(guò)ResNet-50中的con4_4到conv5_3。最后通過(guò)全局的平均池化層匯總成2 048維特征向量。

一方面，因?yàn)樾腥藱z測(cè)不可避免地會(huì)有錯(cuò)誤或偏差，所以使用Softmax分類(lèi)器去除無(wú)行人的邊界框，使用線性回歸矯正偏差的邊界框。另一方面，在推理階段，將這些特征放到L2正則化的256維子空間中，并且計(jì)算其與目標(biāo)行人的余弦相似度。在訓(xùn)練階段，用OIM和其他損失函數(shù)進(jìn)行監(jiān)督，用多任務(wù)學(xué)習(xí)方式聯(lián)合訓(xùn)練。

3.2? 損失函數(shù)OIM

因?yàn)槟繕?biāo)是區(qū)分不同的人，所以應(yīng)該盡量減少同一行人的個(gè)體之間的差異，同時(shí)增大不同行人之間的差異。思想有點(diǎn)類(lèi)似Triplet損失函數(shù)，但是為了解決Triplet損失函數(shù)訓(xùn)練樣本少導(dǎo)致迭代次數(shù)過(guò)多的問(wèn)題，OIM建立了一張查詢表（假設(shè)訓(xùn)練集中有L個(gè)身份）和一個(gè)循環(huán)隊(duì)列，其中D為特征向量的維數(shù)，Q為隊(duì)列大小。查詢表用來(lái)存儲(chǔ)有注釋身份的行人特征，循環(huán)隊(duì)列用來(lái)存儲(chǔ)無(wú)注釋身份的行人特征。

候選內(nèi)容（經(jīng)過(guò)行人候選網(wǎng)絡(luò)得到的候選框中的內(nèi)容）有3種類(lèi)型：有注釋身份的行人，無(wú)注釋身份的行人和非行人。當(dāng)候選內(nèi)容為有注釋身份的行人時(shí)，將其放入查詢表并分配一個(gè)ID（從1到L）;當(dāng)候選內(nèi)容為無(wú)注釋身份的行人時(shí)，將其放入循環(huán)隊(duì)列。OIM不需要考慮候選內(nèi)容是背景的情況，因?yàn)槠湓诜诸?lèi)中會(huì)被自動(dòng)篩除。

對(duì)于查找表，正向傳播過(guò)程時(shí)，計(jì)算訓(xùn)練樣本和查找表的余弦距離。在反向傳播過(guò)程中，如果目標(biāo)的ID為t，將查找表中ID為t的向量vt更新為γvt+（1-γ）x，其中γ∈[0，1]，x為訓(xùn)練樣本的特征向量，。

對(duì)于循環(huán)隊(duì)列，同樣計(jì)算訓(xùn)練樣本和循環(huán)隊(duì)列的余弦距離，每次迭代后，將新的特征向量存入隊(duì)列，同時(shí)彈出過(guò)期的特征向量以保持隊(duì)列大小不變。

基于上述兩個(gè)數(shù)據(jù)結(jié)構(gòu)，OIM定義Softmax函數(shù)將x識(shí)別為查找表中ID為i的可能性為：

（1）

其中，τ控制概率密度的平緩程度，實(shí)驗(yàn)設(shè)置為0.1。同樣，Softmax函數(shù)將x識(shí)別為循環(huán)隊(duì)列中第i的可能性為：

（2）

OIM的目標(biāo)是最大化期望對(duì)數(shù)似然函數(shù)：

（3）

對(duì)x的梯度可以表示為：

（4）

所以，從公式（1—2）可以看出，OIM損失函數(shù)有效地將訓(xùn)練樣本和有注釋身份的行人、無(wú)注釋身份的行人進(jìn)行了對(duì)比，即實(shí)現(xiàn)了縮小相同ID人的特征距離，同時(shí)增大不同ID的人的特征距離的目的。

4? ? 實(shí)驗(yàn)結(jié)果和分析

本文選擇在Person Search數(shù)據(jù)集上進(jìn)行訓(xùn)練，此數(shù)據(jù)集是一個(gè)大規(guī)模且場(chǎng)景多樣化的人員搜索數(shù)據(jù)集，其中包含18 184張圖像，8 432個(gè)身份和99 809個(gè)帶注釋的邊界框。隨后，將測(cè)試集中的查詢對(duì)象分成全部為兒童和全部為成年人，分別對(duì)模型進(jìn)行測(cè)試。最后，根據(jù)實(shí)驗(yàn)結(jié)果（返回的搜索圖像和各評(píng)價(jià)指標(biāo)）進(jìn)行比較和分析。

4.1? 測(cè)試結(jié)果

從實(shí)驗(yàn)結(jié)果來(lái)看，搜索準(zhǔn)確率較高，候選框非常貼合行人，測(cè)試結(jié)果中有很多令人滿意的結(jié)果，如圖3所示。

但是，對(duì)于一些被遮擋，或者行人姿勢(shì)不太好的情況，也會(huì)影響測(cè)試的結(jié)果，如圖4所示。

可見(jiàn)，在衣著顏色比較特別、查詢圖像是正面且沒(méi)有遮擋的情況下，人員搜索成功概率將大大提高。

4.2? 模型評(píng)價(jià)指標(biāo)和比較分析

本文選擇大部分行人重識(shí)別研究選擇的評(píng)價(jià)指標(biāo)：平均精度（Mean Average Precision，mAP）和累計(jì)匹配曲線（Cumulative Match Characteristic，CMC）top-1，查詢對(duì)象為兒童和成年人時(shí)，算法的mAP和CMC top-1如表1所示。

可見(jiàn)，無(wú)論mAP還是CMC top-1，結(jié)果都在70%以上，證明算法效果較好，已經(jīng)可以在實(shí)際問(wèn)題中提供一些幫助。但是對(duì)比來(lái)看，在各種評(píng)價(jià)指標(biāo)中，搜索成年人比搜索兒童的效果都要好，原因是兒童身高不高，在圖像中所占像素較少，在檢測(cè)時(shí)可能會(huì)被忽略，且兒童的衣著較為統(tǒng)一，不同兒童之間差別較小，特征不明顯。所以，通過(guò)行人重識(shí)別解決兒童走失問(wèn)題還是一個(gè)具有挑戰(zhàn)性的研究。

5? ? 結(jié)語(yǔ)

為了尋找走失兒童，本文將行人檢測(cè)和行人重識(shí)別相結(jié)合，建立了端到端的行人搜索框架，并使用OIM損失函數(shù)進(jìn)行監(jiān)督。在實(shí)驗(yàn)中，測(cè)試了行人搜索框架，發(fā)現(xiàn)mAP和CMC top-1都在70%以上，證明本文算法能夠應(yīng)用在尋找走失兒童中。研究還發(fā)現(xiàn)，行人搜索框架尋找成年人的成功率比尋找兒童的成功率高10%左右。如何調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，使行人搜索框架能更加針對(duì)兒童，是下一步需要研究的方向。

[參考文獻(xiàn)]

[1]LI W，ZHAO R，XIAO T，et al.Deepreid：deep?lter pairing neural network for person re-identi?cation[C].Columbia：IEEE Conference on Computer Vision and Pattern Recognition，2014.

[2]CAI Z，SABERIAN M，VASCONCELOS N.Learning complexity-aware cascades for deep pedestrian detection[C].Beijing：IEEE International Conference on Computer Vision，2015.

[3]FELZENSZWALB P F，GIRSHICK R B，MCALLESTER D，et al.Object detection with discriminatively trained part-based models[J].IEEE Transactions on Software Engineering，2010（9）：1627-1645.

Analysis of the application of human search framework combined with

pedestrian detection and recognition in the search of lost children

Bi Junyu

（School of Computer Science and Technology， Tiangong University， Tianjin 300387， China）

Abstract：There are about 200 000 missing children in our country every year， how to use artificial intelligence technology to find lost children is a hot topic in social discussion. Firstly， this paper combines pedestrian detection and pedestrian recognition to establish an end-to-end pedestrian search framework and uses OIM to supervise learning. Secondly，after training on the Person Search dataset， the childrens and adults pictures were tested as input， respectively. Finally， according to the evaluation index， the search framework of this paper has more than 70% success rate， and children are more difficult to search than adults.

Key words：pedestrian recognition; pedestrian detection; search for lost children; deep learning