孫彥景,魏 力,張年龍,云 霄,董鍇文,葛 敏,程小舟,4,侯曉峰
(1.中國礦業(yè)大學 信息與控制工程學院,江蘇 徐州 221116;2.徐州市智能安全與應急協同工程研究中心,江蘇 徐州 221116;3.安徽馬鋼羅河礦業(yè)有限責任公司生產技術部,安徽 合肥 231562;4.中鋼集團馬鞍山礦山研究院股份有限公司選礦及自動化研究所,安徽 馬鞍山 243000;5.無錫沃愛思科技有限公司,江蘇 無錫 214125)
礦井安全保障對實現國家安全生產起著非常重要的作用。但由于井下光線昏暗不均,人工監(jiān)控誤操作較多,監(jiān)控視頻數據雜亂不便管理等原因,導致對作業(yè)人員監(jiān)控不及時、不到位,從而頻頻引發(fā)礦井安全事故。這也對井下人員安全監(jiān)控提出越來越高的標準和要求。目前,井下人員監(jiān)控研究大多僅止步于檢測階段[1-2],缺乏對個人身份的分類和識別,在井下安全監(jiān)控應用方面仍具有局限性。而行人重識別(person Re-IDentification,Re-ID)技術作為計算機視覺領域的熱門研究課題,可根據行人的穿著、體態(tài)、發(fā)型等信息來解決跨攝像機下的行人身份識別問題,可與行人檢測、行人跟蹤相結合,應用于視頻監(jiān)控、智能安防等領域。因此,將Re-ID技術應用到井下視頻監(jiān)控中來解決井下作業(yè)人員的身份識別問題,對煤礦的安全智能化生產與管理具有實際意義。
行人重識別任務主要包括特征提取和相似性度量兩個步驟。傳統(tǒng)的Re-ID方法為先手工提取圖像特征,如顏色、HOG[3]、SIFT[4]和LOMO[5]等,再利用XQDA[5]或KISSME[6]來學習最佳的相似性度量。但這種手工特征描述能力有限,而且在數據量較大的情況下圖像間的相似性度量也不易計算。近年來,隨著深度學習的快速發(fā)展[7],以卷積神經網絡(Convolutional Neural Network,CNN)為代表的深度學習方法在Re-ID中得到廣泛的應用,許多基于深度學習的行人重識別方法相繼被提出。文獻[8]利用CycleGAN學習在不同攝像機圖像中具有不變性的穩(wěn)定特征表示,以根據攝像機間的風格差異生成不同的訓練樣本,但若將該方法應用到大型監(jiān)控網絡中則會耗費大量的時間。文獻[9]在基于卷積神經網絡的行人重識別模型中引入級聯抑制策略,使網絡能夠逐級挖掘出各種潛在有用特征,但該模型在特征融合時計算容量大,運行速度較慢。文獻[10]提出一種基于特征變換的跨模態(tài)行人重識別方法來實現紅外樣本下的行人檢索,但是紅外圖像會導致顏色紋理等細節(jié)特征信息缺失,所以紅外樣本不足以提供行人重識別所需的信息,從而對行人重識別的性能改善不大。此外,在公共安全監(jiān)控領域中,文獻[11]將檢測與重識別相結合來解決多攝像機監(jiān)控視頻的無標注問題。因此,在Re-ID任務中,由于目標不同,網絡的側重點也不同。雖然現有的Re-ID方法在一些公開數據集中已取得較好的性能,但在實際應用場景中,針對特定的任務需求,需要對網絡進行重新部署和調整,使其架構和參數更適用于需要進行的具體任務。
以煤礦巷道為研究背景,考慮到煤礦井下環(huán)境復雜,沒有自然光照明,僅依靠照明設備使得圖像光暗不一,而且離照明源的距離不同,圖像的亮度也不同,造成圖像光照不均勻,從而導致人員與背景很難區(qū)分,人員的身份識別率較低。針對以上情況,筆者提出一種聯合雙鑒別式生成對抗網絡和全局特征的井下人員重識別方法,將生成對抗網絡(Generative Adversarial Network,GAN)應用到井下行人重識別任務中,解決目前極難實現的井下作業(yè)人員身份識別問題,為煤礦安全生產監(jiān)控打下堅實基礎。
筆者提出的聯合雙鑒別式生成對抗網絡和全局特征的井下人員重識別方法主要由圖像預處理和行人重識別兩部分組成。整個系統(tǒng)的流程圖如圖1所示。首先,在圖像預處理階段,利用雙鑒別式生成對抗網絡(Dual-Discriminator Generative Adversarial Network,DD-GAN)對井下低照度、光照不均的圖像進行增強,將增強后的圖像通過行人檢測器生成候選行人數據庫;然后,在行人重識別階段,利用基于全局特征描述的井下人員重識別網絡(Global Feature Network,GFN)提取待查詢行人與候選數據庫中行人的特征,并進行相似度計算,以預測待查詢行人的身份標簽;最后,根據相似度排序結果得到與查詢目標匹配的人員身份。
圖1 聯合DD-GAN和全局特征的井下人員重識別方法流程示意圖
采用生成對抗網絡的深度光照增強方法[12]相較于其他圖像增強模型[13],不依賴精確匹配的訓練圖像對,在低照度和亮光照圖像空間建立非配對映射,不僅可節(jié)省大量的訓練時間,還能得到清晰的高質量圖像。而在煤礦井下的行人重識別問題中,清晰的行人圖像對識別網絡性能的影響至關重要。因此,受深度光照增強方法[12]的啟發(fā),面對煤礦巷道中光線昏暗、光照不均勻、行人外觀信息不明顯等問題,采用雙鑒別式生成對抗網絡(DD-GAN)進行圖像增強,為后續(xù)行人重識別任務提供更顯著的外觀特征。DD-GAN的網絡框架如圖2所示,主要包括生成器和鑒別器。生成器用于對低照度圖像進行增強,鑒別器用于對增強后的圖像進行真假判別。然而,和一般使用生成對抗網絡進行圖像增強的方法不同[14],DD-GAN采用雙鑒別器結構——全局鑒別器和局部鑒別器,該結構不僅可以同時學習到對全局低照度圖像和局部光照不均勻圖像的處理能力,而且可以平衡全局和局部的光照變化,使增強后的圖像亮度更加均勻,從而避免增強后的圖像產生偽影。
圖2 雙鑒別式生成對抗網絡框架
在DD-GAN中,生成器采用U-net[15]網絡架構,如圖2所示,由特征提取和上采樣兩部分構成。在特征提取部分包括卷積和最大池化操作,雖然每經過最大池化圖像的尺寸會大幅度減小,但由于每一層卷積處理的圖像尺寸減小,不僅在很大程度上減少了需要訓練的參數,而且可以獲得不同尺度的特征圖。在上采樣部分,通過反卷積完成不同尺寸的圖像復原,最終輸出增強后的圖像。最重要的是由于特殊的U型結構,位于前端的特征提取部分可與后端的上采樣部分進行相同尺度的特征融合,使網絡獲得更好的特征提取能力,以最大程度地保留原圖像中的特征信息和分辨率。
生成器的數學模型可表示為xf=G(Ix),Ix為輸入的真實低照度圖像,xf為增強后圖像,G為生成映射函數。為了最大限度地保留原始圖像本質信息,在生成器初步獲取增強圖像的基礎上,在真實低光照圖像中選取固定大小的局部圖像區(qū)域對其進行增強。利用在ImageNet[16]上預先訓練的VGG-16[17]模型對真實低照度圖像和增強圖像進行特征提取,用自特征保留損失(Self Feature Preserving Loss)[12]來約束真實低照度圖像與增強后圖像之間的距離。全局和局部真實低照度圖像的自特征保留損失分別如下:
(1)
(2)
其中,Ixpatch表示在真實低照度圖像中選取的局部圖像塊,xfpatch表示與Ixpatch對應的增強圖像塊,φi,j表示通過VGG-16的第i個卷積模塊中的第j個卷積層提取的特征,Wi,j和Hi,j表示VGG-16提取特征的維數。將i設置為5,j設置為1。
考慮到礦井下視頻監(jiān)控所捕獲的行人圖像可能面臨全局低照度或局部光照不均勻的問題,所以DD-GAN的鑒別器同時采用全局鑒別器和局部鑒別器,如圖2所示。其中,全局鑒別器用于提高全局低照度圖像的自適應能力,并在全局范圍內改善光照強度;局部鑒別器通過在增強后圖像和正常亮光照圖像中隨機選取局部小塊進行真假判別,從而增強模型對光照不均勻圖像的認知能力,在局部范圍內改善光照。鑒別器均采用典型的二分類卷積神經網絡模型,由卷積層、池化層和全連接層組成。此外,為了避免模型在訓練過程中產生梯度消失和爆炸現象,在每個卷積層之后加入批量歸一化(Batch Normalization,BN)層,并使用LeakyRelu作為激活函數。圖像輸入鑒別器后,先進行特征提取,再通過全連接層將特征匯總,最終通過輸出值來判別真?zhèn)巍?/p>
DD-GAN中的鑒別器D根據生成器G的輸出結果和對比圖像(真實亮光照圖像)來定義損失函數,以計算增強后圖像的光照真實性,并對其真實程度進行判別。對于全局鑒別器,采用相對鑒別器損失函數[18]和LSGAN損失函數[19]計算圖像間的差異。全局鑒別器和生成器的損失函數分別如下:
(3)
(4)
其中,xr表示正常亮光照圖像,其標簽設置為1;xf表示增強后圖像,其標簽設置為0;DRGAN為相對鑒別器損失[16]:
(5)
其中,C表示鑒別器網絡,σ表示sigmod函數。DRGAN(xr,xf)表示xr更為真實的概率,DRGAN(xf,xr)表示xf更為真實的概率。DRGAN在給定的正常亮光照圖像下估計它們比增強后圖像具有更高真實性的概率,從而引導生成器網絡去合成比真實亮光照圖像更為真實的增強圖像。
對于局部鑒別器,從增強后圖像和真實亮光照圖像中隨機選取固定大小為32×32的5個像素區(qū)域作為輸入,學習如何判斷局部圖像塊的真?zhèn)涡裕⒉捎肔SGAN損失函數[19]計算圖像間的光照差異。局部鑒別器和生成器的損失函數分別如下:
(6)
(7)
在DD-GAN中,通過訓練大量的圖像使網絡獲得處理低照度圖像的能力。整個訓練過程如圖2所示,首先選取一組圖像,包括一張真實低照度圖像和一張非配對真實亮光照圖像。訓練時,將真實低照度圖像輸入生成器,經過一系列操作輸出增強后圖像,根據損失函數計算輸出圖像與給出的亮光圖像的差異,并對生成器的參數進行調整。與此同時,增強后圖像(塊)與真實亮光照圖像(塊)輸入全局(局部)鑒別器進行判別。鑒別器提取圖像特征,通過損失函數計算增強后圖像與真實亮光圖像之間的光照差異,并反饋給生成器,使生成器不斷改善。改善后的生成器所增強的低照度圖像比上一次處理的更加逼真,從而使得鑒別器也進一步調整判別能力。反復這一過程,生成器與鑒別器經過相互對抗,最終達到平衡,得到一個參數最佳的生成器G*,能夠將任意一張井下低照度圖像轉換為一張高質量亮圖,為后續(xù)的井下人員重識別任務提供更顯著的特征信息。
在DD-GAN的基礎上,井下低照度圖像的亮度得到均勻提升,使得人員與背景更易區(qū)分。因此,為了保證識別的準確率和速度,將井下人員重識別看作多分類問題,設計一種基于全局特征描述的井下人員重識別網絡(GFN),以人的衣著、配飾、體態(tài)、姿態(tài)等全局信息為研究對象,讓網絡提取圖像的全局特征,并利用行人的身份標簽(ID)來監(jiān)督識別模型的訓練過程,使其最終能夠提取出更具有判別力的行人身份特征。雖然井下同一工種人員著裝較相似,但由于具體工作場景和工作要求的不同,在配飾以及衣著細節(jié)等方面也會存在一些差異,可以利用領口、袖口、腰帶、褲腿以及佩戴裝備等細節(jié)信息進行區(qū)分。井下人員重識別網絡以ResNet-50[20]作為骨干網絡,對在ImageNet[16]預訓練的模型進行改進,如圖3所示。首先,在平均池化(Pooling,Pool)層后面加入全連接(Fully Connected,FC)層,通過將2 048維特征向量降到1 024維來減少冗余信息所造成的誤差,提高識別精度;然后,加入批量歸一化(Batch Normalization,BN)層來降低網絡對初始化權重的不敏感性,從而加快網絡訓練速度,使其快速收斂;最后,再次加入全連接層,通過整合前端具有類別區(qū)分性的歸一化特征信息以完成分類任務;此外,在訓練和測試階段分別采用隨機擦除[21]和k互近鄰重排序[22]方法,來進一步提高重識別的魯棒性和準確度。
圖3 基于全局特征描述的井下人員重識別網絡框架
在煤礦井下的行人重識別場景中,監(jiān)控圖像中的行人有時會被其他物體遮擋,從而影響人員身份識別的準確度。為了提高識別模型對遮擋的感知能力,通常會在訓練樣本集中手動加入一些遮擋圖像,但這不僅浪費時間精力,而且不能滿足實際場景的數據需求。為了提高模型的魯棒性,使用隨機擦除(Random Erasing,RE)[21]方法,以一定概率對訓練樣本集中的圖片進行擦除,來增加訓練集中遮擋圖像樣本的數量。對于樣本集中的某張訓練圖片I,被選中并擦除的概率為pe,在被選中的圖像中隨機選擇一塊矩形區(qū)域Se進行像素擦除。假設被選中的訓練圖像大小為S=W×H,隨機擦除的區(qū)域大小為Se=We×He且We/He∈(r1,r2),則re=Se/S為擦除區(qū)域的面積比。為了確定隨機擦除的矩形區(qū)域Se,在初始化過程中,在圖像I中隨機選擇一個點P(xe,ye),若xe+We≤W且ye+He≤H,則選擇區(qū)域Ie=(xe,ye,xe+We,ye+He),作為擦除的隨機矩形區(qū)域;否則,繼續(xù)尋找點P,直到選出符合條件的區(qū)域Ie。將初始參數值pe設置為0.5,r1設置為0.3,r2設置為3,0.02 圖4 采用隨機擦除的圖像樣例 在井下人員重識別網絡中,將每一個行人當作分類問題的一個類別,每次輸入一張樣本圖像,用行人的身份標簽(ID)去監(jiān)督網絡的訓練過程。訓練時,井下人員重識別網絡輸入尺寸為256×128的圖像,對其進行特征提取,并輸出每個人員的判別身份表達f:1×1×C。其中,C表示訓練集中總的ID數量。最后,采用softmax函數和交叉熵損失來預測人員身份標簽: p=softmax(f) , 其中,pi為第i類ID的預測概率值,qi為pi對應的真實值,y為每個輸入圖像的ID,C表示訓練集中總的ID數量。訓練完成時,便可得到重識別模型R*。 在重識別階段,給定一張待查詢人員圖像Iq和候選人員圖庫G={Igi|i=1,2,…,M},直接加載重識別模型R*來提取待查詢人員圖像的特征fq和圖庫中候選人員圖像的特征fgi(fq、fgi均為1×1×2 048維的特征向量),根據歐式距離計算圖像間的相似度dE=((fq-fgi))1/2,從而得到初始排序列表L(q,G)={Ig1,Ig2,…,Igi},距離越小,排序越靠前。 考慮到在煤礦井下人員重識別任務中,行人圖像容易受到視角、相機分辨率等因素的影響,如果某個待查詢人員圖像與圖庫中的非配對圖像極度相似,則僅依靠歐氏距離難以區(qū)分出圖像間的相似度差異,從而導致錯誤匹配的行人圖像可能出現在初始排序列表靠前的位置,而正確的候選行人圖像卻排在靠后的位置。為了解決該問題,采用k互近鄰編碼重排序(Re-Ranking)[22]方法對歐氏距離初始相似度排序列表L(q,G)={Ig1,Ig2,…,Igi}中的相似度進行重新排列,來進一步提高井下人員的識別準確度。對于給定的待查詢行人圖像和候選人員圖庫,為每個行人提取外貌特征和k互近鄰特征,再分別計算圖庫中每個行人與待查詢行人的歐式距離dE和杰卡德距離dJ,將dE和dJ結合起來作為最終距離。因此,通過Re-Ranking方法去除列表中的錯誤匹配,并添加遺漏的正確匹配,對相似度較高的人員圖像進行正確的重排序,從而得到最終的排序結果L*(q,G),根據L*(q,G)中排名第一的人員圖像即可判斷待查詢圖像與圖庫中的候選行人圖像是否匹配。 由于煤礦井下處于一個光線暗淡的特殊場景中,現有的Re-ID公開數據集,如Market1501[23]和MSMT17[24]數據集,無法完全滿足井下低照度特殊環(huán)境的需求。在Market1501和MSMT17的基礎上進行篩選與擴充,挑選出其中與井下圖片亮度較為類似的行人圖像,并在此基礎上添加大量煤礦井下行人圖像,構建出新數據集——Miner-CUMT。其特點為:① 由10個攝像頭捕獲的2 000個行人的63 852張圖像,其中訓練集包含1 000個行人的28 394張圖像,測試集包含1 000個行人以及干擾物的31 110張圖像,查詢集包含1 000個行人的4 348張圖像;② 覆蓋包含煤礦井下的多個真實場景,光照變化范圍較大;③ 攝像機拍攝角度差異大,具有多樣化的人員目標和背景信息;④同一身份行人至少在兩個攝像機圖像中出現,并擴充同一行人在不同攝像頭中的樣本數。 Miner-CUMT數據集樣本示例如圖5所示。以“1991_c9s3_003560_03.jpg”為例,圖像命名遵循以下規(guī)則:① “1991”表示每個人員的身份標簽;② “c9”表示9號攝像機;③ “s3”表示攝像機中的第3個視頻序列;④ “003560”表示c9s3的第003560幀圖像;⑤ “03”表示第003560幀圖像中檢測到的第3個人員。 圖5 Miner-CUMT數據集樣本示例 (1)DD-GAN網絡實驗設置。在Pytorch深度學習框架中,實現雙鑒別生成對抗網絡DD-GAN,其中選取800張真實低光照圖像和800張真實亮光照圖像作為訓練樣本,150張井下低照度圖像作為測試樣本。在訓練過程中,所有的訓練樣本均調整為大小為600×400的PNG格式圖像,網絡迭代次數設置為200,采用Adam優(yōu)化器來優(yōu)化網絡的權重參數,批量大小為32。在前100次迭代過程中,學習率設置為0.000 1,在后100次迭代過程中,學習率逐漸線性衰減至0。 (2)井下人員重識別網絡實驗設置。在Pytorch深度學習框架中,實現基于全局特征描述的井下人員重識別網絡。在訓練時,以Miner-CUMT訓練集中的圖像作為輸入,將訓練圖像的大小均調整為256×128。為了增加訓練圖像的多樣性,對其進行隨機裁剪和水平翻轉。網絡迭代次數設置為50,采用小批量SGD優(yōu)化網絡參數,批量大小設置為128,dropout設置為0.5,初始學習率設置為0.1,網絡迭代40次后學習率變?yōu)?.01。整個訓練過程在3塊NVIDIA 1080Ti GPU上大約花費2 h。 為了驗證DD-GAN具備更好的增強效果,分別通過DD-GAN、Retinex-Net[13]以及Deep Photo Enhancer[14]對低光照圖像進行處理,結果如圖6所示。從圖6中可以看出,Retinex-Net和Deep Photo Enhancer都出現了顏色失真的問題,處理后的圖像會有一些雜色斑塊。此外,Retinex-Net增強后的圖像不僅亮度沒有得到充分的提升,而且出現了偽影。而Deep Photo Enhancer處理后的圖像出現了嚴重的過度曝光現象。相比之下,筆者采用的DD-GAN增強網絡產生的圖像,整體處理效果要優(yōu)于其他方法,不僅沒有出現顏色失真現象,而且光照得到均勻提升。 圖6 光照增強效果對比 采用行人重識別任務中常用的平均(識別)精度均值(mAP)和前k位命中率(Rank-k)兩個評價指標來評估重識別網絡的性能。mAP反映所檢索的人員在圖庫中的所有正確圖片排在結果隊列前面的程度,是一種能夠全面衡量行人重識別算法性能的指標;而Rank-k表示重識別的排序結果中,前k名識別正確的概率。k越小,說明排序結果中識別正確的置信度越高。因此,Rank-1指標的高低能夠最直觀地表示重識別方法的性能好壞。 為了驗證DD-GAN在文中的井下人員重識別網絡方法中的優(yōu)越性,分別在Miner-CUMT數據集上對加入DD-GAN和未加入DD-GAN的井下人員重識別網絡模型進行測試,測試過程中均采用歐氏距離對行人特征進行計算。實驗結果如表1所示。由表1中數據可知,井下人員重識別網絡在引入DD-GAN圖像增強方法后達到了89.7%的Rank-1準確率和64.2%的mAP值,特別是mAP值相較于未加入DD-GAN的重識別模型提高了5.5%,這說明通過DD-GAN對低照度下的行人圖像進行預處理,可以為行人圖像的特征表達提供更精確的行人信息,從而提取出更加有判別力的行人圖像特征。 表1 基于DD-GAN的行人重識別性能對比 % 此外,為評估GFN網絡中隨機擦除(RE)和重排序(Re-Ranking)這兩種數據增強方法的有效性,文中提供了表2中不同方法在Miner-CUMT數據集上的性能對比。其中GFN+None表示GFN中沒有添加RE和Re-Ranking;GFN+RE表示GFN中只添加了RE;GFN+Re-ranking表示GFN中只添加了Re-ranking;GFN+RE+Re-ranking表示GFN中同時添加了RE和Re-Ranking,即文中方法。由表2可知,在GFN網絡中添加RE和Re-Ranking兩種數據增強方法后,Re-ID性能都有顯著的提升。如表2中,GFN基礎網絡的Rank-1為87.2%,mAP為58.7%,最終同時加入RE和Re-Ranking后(文中方法),Rank-1達到了92.5%,mAP達到了78.3%。這不僅證實了同時在井下行人重識別網絡中使用隨機擦除和重排序方法的有效性,還進一步說明文中方法可以準確地進行井下人員重識別。 表2 不同數據增強方法間的重識別性能對比 % 為了方便進一步觀察井下人員的重識別結果,圖7展示了以歐氏距離作為距離度量方法得出的相似度前10名可視化結果。邊框圖像表示需要查詢的行人匹配正確的人員和匹配錯誤的人員。由圖7可看出,可視化識別結果中排名前10名圖像基本可實現正確識別,從而證明筆者所提方法在很大程度上改善了煤礦巷道低照度場景下的人員重識別性能,為煤礦的智能化管理提供了可靠的技術支持。 圖7 重識別可視化結果 為了進一步驗證筆者所提出的聯合DD-GAN和全局特征的井下人員重識別方法在實際場景中的有效性,選取在煤礦巷道中實地拍攝的若干組視頻用于驗證,如圖8所示。具體步驟如下: 圖8 聯合DD-GAN和全局特征的井下人員重識別方法在煤礦巷道場景下的應用 步驟1 獲取不同攝像設備拍攝的視頻流v0,v1,…,vn。 步驟2 在原始視頻序列v0的當前幀中標定目標行人ID0。 步驟3 利用DD-GAN對該視頻序列此后的每一幀進行圖像增強。 步驟4 通過行人檢測器分別讀取增強后的每一幀圖像,提取圖像中所有的行人邊界框,并生成候選行人數據庫G={ID1,ID2,ID3,…,IDi}。 步驟5 利用基于全局特征描述的井下人員重識別網絡提取ID0與ID1,ID2,ID3,…,IDi的判別特征,并依次計算ID0與ID1,ID2,ID3,…,IDi間的相似度。 步驟6 相似度最高的即判斷為目標行人。 步驟7 在視頻序列v1,…,vn中重復步驟 3~步驟6即可。 實驗結果如圖8所示。圖(1a)為手機攝像頭捕獲的井下低照度行人圖像,圖(2a)與(3a)為井下監(jiān)控攝像頭捕獲的低照度行人圖像。圖(1a)至圖(3a)中矩形框表示需要查詢的目標人員,圖(1b)至圖(3b)中矩形框表示采用文中方法重識別所定位到的目標人員。 針對煤礦井下光線昏暗、光照不均勻的監(jiān)控視頻圖像,筆者提出一種將圖像增強與重識別相結合的井下人員身份識別方法。首先,采用雙鑒別式生成對抗網絡對礦井低光照圖像進行增強和復原,并通過行人檢測器生成候選行人數據庫;然后,在圖像增強的基礎上,設計了一種基于全局特征描述的行人重識別網絡來解決井下作業(yè)人員身份識別問題,并分別使用隨機擦除和k互近鄰重排序方法進一步提高重識別模型魯棒性和準確度;最后,在現有數據集的基礎上創(chuàng)建面向井下特殊環(huán)境的Miner-CUMT行人數據集,并在該數據集上對所提方法的有效性進行了驗證。實驗結果表明,這種方法可以對井下作業(yè)人員進行較為準確的識別以區(qū)分不同的身份,對煤礦的智能化管理具有實際意義。 為了加速推進安全智能化煤礦的發(fā)展,在今后的工作中將考慮利用人臉識別和姿態(tài)識別作為輔助來進一步提高井下人員重識別的性能。3.2 全局特征描述
3.3 k互近鄰重排序
4 Miner-CUMT數據集
5 實 驗
5.1 實驗設置
5.2 DD-GAN圖像增強結果與分析
5.3 GFN重識別結果與分析
5.4 煤礦井下的應用
6 結束語