黃 威，李志剛，侯欣雨，劉光堯，汪 磊， 藍(lán)楊惠，劉津宏，王 義

（1.首都師范大學(xué)，北京 100048；2.公安部鑒定中心，北京 100038； 3.光譜數(shù)據(jù)分析與應(yīng)用聯(lián)合研究中心，武漢 430000；4.中國科學(xué)院計算技術(shù)研究所，北京 100086）

進(jìn)入信息化時代以來，基于智能三維重建技術(shù)的物證數(shù)字化檢驗已經(jīng)成為推動大數(shù)據(jù)、人工智能等科技創(chuàng)新成果與司法工作深度融合的重點研究方向?；谟嬎銠C(jī)視覺的三維重建技術(shù)，在各類案件宏觀尺度下的研究與應(yīng)用取得豐富成果的同時[1-3]，也面臨著三維重建結(jié)果功能單一、應(yīng)用場景趨于同質(zhì)、數(shù)據(jù)信息利用不充分等瓶頸問題。另一方面，以光譜成像為代表的新型數(shù)字影像技術(shù)雖然在檢驗內(nèi)容、顯現(xiàn)能力、提取效率等方面彌補(bǔ)了傳統(tǒng)影像技術(shù)的不足[4-5]，但是由于其采集的僅是二維平面數(shù)據(jù)，對物證細(xì)節(jié)信息可能存在遺漏，也無法獲得物證立體空間位置關(guān)系,在檢驗結(jié)果的表現(xiàn)形式和與人工智能創(chuàng)新融合等方面有待加強(qiáng)。因此，三維光譜成像技術(shù)將是物證數(shù)字化檢驗重要的研究方向。目前國內(nèi)外尚未見成熟的三維光譜成像技術(shù)，主要原因有：

1）光譜信息無法直接用于三維重建。

為了能夠準(zhǔn)確獲取客體表面指紋、血跡等物證信息，光譜相機(jī)一般采用大光圈、近景深的拍攝方法，對于立體圖像或焦平面遠(yuǎn)端的場景成像質(zhì)量較差。如何將光譜信息準(zhǔn)確映射到高清三維模型上，解決方法尚不成熟。

2）傳統(tǒng)的三維重建特征描述符不適用于光譜信息映射。

例如尺度不變特征變換描述符（scale-invariant feature transform，SIFT）[6-7]和基于二進(jìn)制的特征提取描述符（binary robust invariant scalable keypoints, BRISK）[8-11]等，雖然能對光譜圖像進(jìn)行特征提取和描述計算，但是提取的精度和普通彩色圖像上提取的精度具有較大差距，給光譜信息在三維模型上的重定位和注冊帶來了困難。

3）光譜信息數(shù)據(jù)量巨大，匹配維度過大。

采集一個位姿就會有數(shù)十幅甚至上百幅不同波長的光譜影像集，隨著尺度的增加，需要匹配的數(shù)據(jù)量將更加巨大，感知混疊的出現(xiàn)使得傳統(tǒng)方法的匹配變得模糊，削弱了定位的穩(wěn)健性。

為了同時獲取目標(biāo)的三維空間信息和光譜信息，筆者利用現(xiàn)有技術(shù)從數(shù)據(jù)采集源頭入手，探索過一種將立體成像與高光譜成像數(shù)據(jù)一體化獲取的方案，即利用激光三維掃描系統(tǒng)與高光譜成像儀獲取數(shù)據(jù)進(jìn)行融合的嘗試。但是由于成像機(jī)制和數(shù)據(jù)獲取連續(xù)性的差異，以及拍攝穩(wěn)定性不足的缺陷，增加了不同平臺獲取數(shù)據(jù)的配準(zhǔn)難度，使得多維數(shù)據(jù)融合處理精度與信息提取效率受到了較大的制約。而且由于需要使用特定的激光掃描設(shè)備進(jìn)行采集，靈活性和便攜性較差，不適合現(xiàn)場物證數(shù)據(jù)采集。

本文采用普通相機(jī)拍攝的彩色圖像完成三維重建，采用HF-Net架構(gòu)卷積神經(jīng)網(wǎng)絡(luò)完成光譜圖像的視覺定位技術(shù)，將光譜信息準(zhǔn)確映射到高清三維模型上，最終實現(xiàn)三維光譜模型的構(gòu)建。不僅大大提升了物證采集的靈活性，而且三維重建模型的圖像分辨率會顯著高于激光三維掃描的重建分辨率。

1 材料與方法

1.1 樣本制作

普通紙質(zhì)藥盒1個，三邊尺寸為15 cm×9 cm×5 cm，隨機(jī)選擇3個表面，分別捺印紅色印泥手印（見圖1）。樣本制作完畢后，在自然條件下放置3 d。

圖1 紙質(zhì)藥盒表面捺印指紋原貌圖Fig. 1 Original appearance of fingerprint imprinted on the surface of paper package of medicine

1.2 儀器設(shè)備

HIMI-VIS光譜成像儀（廣州星博科儀有限公司）；鹵素?zé)簦ū本W億上佳照明公司）；小米11手機(jī)（小米科技有限責(zé)任公司）；數(shù)據(jù)處理運行環(huán)境：GPU TESLA V100，顯卡內(nèi)存32 G，CPU Intel (R) Xeon (R) Silver 4114，系統(tǒng)內(nèi)存12 G。

1.3 數(shù)據(jù)采集方法

光譜影像集采集方法：使用鹵素?zé)艟鶆蚺涔猓ㄩL范圍400～720 nm，波長間隔10 nm，自動曝光時間模式，分別采集紙質(zhì)藥盒6個平面各33張光譜圖像數(shù)據(jù)。

三維重建彩色圖像采集方法：使用手機(jī)拍照功能，從48個角度圍繞紙質(zhì)藥盒分別拍攝（圖2），得到48張2 800萬像素彩色圖像。

1.4 數(shù)據(jù)分析方法

三維光譜成像過程如圖3所示，將物證材料分別通過普通彩色相機(jī)和光譜相機(jī)進(jìn)行拍攝，獲取彩色圖像和光譜圖像。

圖2 三維重建彩色照片采集示意圖（a：三維重建彩色照片采集位置；b：經(jīng)過SFM后估計的相機(jī)位姿）Fig. 2 Schematic of color photo acquisition for 3D reconstruction (a: sites for acquisition; b: SFM-estimated poses of camera)

圖3 三維光譜重建流程圖Fig. 3 Route of 3D spectral reconstruction

1）通過光譜影像分析實現(xiàn)光譜圖像分類，通過計算兩兩光譜圖像的夾角余弦相似系數(shù)，將相似的圖像歸為一類，通過將相似圖像分類，可以降低光譜圖像重定位的檢索空間，提升匹配效率。

2）通過運動恢復(fù)結(jié)構(gòu)算法（structure-frommotion, SFM）[12]完成相機(jī)位姿估計，并通過蝙蝠算法（bat algorithm）[13]完成相機(jī)的迭代優(yōu)化，利用相機(jī)位姿反推獲得彩色圖像的三維點云，并通過泊松重建[14]和紋理貼圖，構(gòu)建物證的彩色三維重建模型。

3）將分類后的光譜影像通過基于HF-Net架 構(gòu)[15-16]的深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)光譜特征在三維彩色模型上的重定位。

4）通過紋理重貼圖，生成光譜三維模型。

1.4.1 光譜影像分析

使用MIsystem軟件光譜特征整體匹配方法對采集到的光譜影像集進(jìn)行指紋顯現(xiàn)處理。光譜特征整體匹配有很多方法，如基于幾何特征、統(tǒng)計特征、變換域特征的方法。這些方法都是采用某一度量距離函數(shù)進(jìn)行計算，如利用范數(shù)（常用的為歐氏范數(shù)）、相關(guān)系數(shù)、夾角余弦相似系數(shù)等方法、Hausdorff距離等。本文使用的是相關(guān)系數(shù)和夾角余弦兩種方法。

兩個隨機(jī)變量X,Y的相關(guān)系數(shù)ρXY定義如下：

其中Cov（X,Y）為X和Y的協(xié)方差；D（X），D（Y）分別為X、Y的方差。相關(guān)系數(shù)越大，表示X、Y存在線性關(guān)系的概率越大，當(dāng)相關(guān)系數(shù)為1時，表示存在確定的線性關(guān)系，即Y＝kX。相關(guān)系數(shù)定義簡單，意義明確，在實際的光譜曲線匹配中經(jīng)常使用。兩個向量X、Y的夾角余弦系數(shù)CXY定義如下：

夾角余弦在圖像識別中的應(yīng)用比較廣泛，對于形狀相同而尺度不同的曲線也可以進(jìn)行匹配。在通用的光譜影像匹配中，夾角余弦作為一種有效度量方法，常常成為研究人員的首選方法。

1.4.2 彩色圖像三維重建

1）使用彩色圖像構(gòu)建稠密點云。通過彩色二維圖像的SFM算法，確定每張彩色二維圖像的相機(jī)位姿，并通過蝙蝠算法對相機(jī)的位姿圖進(jìn)行迭代優(yōu)化，得到可靠的相機(jī)位姿。在相機(jī)位姿的基礎(chǔ)上，融合每一個相機(jī)位姿對應(yīng)的深度圖，得到物體的稠密點云圖。

2）構(gòu)建模型。利用稠密點云完成立體模型重建，構(gòu)建三維網(wǎng)格（3D mesh）或者面元（Surfel）圖。常見的有泊松重建、Surfel重建、八叉樹地圖，VRIP算法。本文采用是的泊松重建方法[16]。

3）紋理貼圖。對沒有紋理的三維模型，需要通過立體貼圖得到最終的彩色模型，光線投射是立體貼圖的方法之一，它的理論基礎(chǔ)是觀察投射光線到物體上的每個點，查找阻擋光線的最近物體，也就是將圖像當(dāng)作一個屏風(fēng)，每個點就是屏風(fēng)上的一個正方形。成像平面每個像素沿著視線方向發(fā)出一條射線穿過體數(shù)據(jù)，沿著這條射線等距離重采樣，求出各重采樣的顏色值和阻光度，然后按照由前向后或由后向前的方式合成射線上各重采樣點的顏色和阻光度，即得到該像素顏色。本次實驗中，三維重建運行時間15 min。

1.4.3 光譜特征重定位

光譜圖像的視覺定位，關(guān)鍵要解決光譜相機(jī)位姿估計與三維模型的空間重定位問題，最主要的挑戰(zhàn)是建立輸入光譜圖像數(shù)據(jù)與基準(zhǔn)三維點云數(shù)據(jù)之間的相關(guān)性。傳統(tǒng)的視覺定位方法被分為基于結(jié)構(gòu)或基于圖像兩類，大都采用判別的方法，依賴強(qiáng)有力的特征描述算子來建立各種觀測條件下同一關(guān)鍵點之間的聯(lián)系。然而，在實際情況下，觀測條件的不確定性使得現(xiàn)有特征描述算子很難準(zhǔn)確捕捉各個關(guān)鍵點的穩(wěn)定性，尤其在缺少特征的地方往往會發(fā)生定位失敗，缺乏魯棒性?；趫D像檢索的替代定位方法最近在穩(wěn)健性和效率方面顯示出不錯的結(jié)果，但在準(zhǔn)確性方面沒有競爭力。近年來，基于卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵點檢測在使用較少的計算開銷同時，表現(xiàn)出了無與倫比的魯棒性。

本文使用一種用于分層特征的新型神經(jīng)網(wǎng)絡(luò)HF-Net，可以實現(xiàn)高效的精細(xì)定位。它可以一次性檢測關(guān)鍵點并計算局部和全局描述符，從而最大限度地提高計算共享，同時保留較大基線網(wǎng)絡(luò)的性能。HF-Net架構(gòu)由單個編碼器和三個頭預(yù)測（關(guān)鍵點檢測分?jǐn)?shù)、密集局部描述符和全局圖像范圍描述符）組成。

1）訓(xùn)練過程。首先，通過MobileNet[17]實現(xiàn)三維重建彩色點云（point cloud）的提取特征，輸出的特征圖用于后續(xù)的全局描述子（global descriptor）、關(guān)鍵點得分（key point scores）、局部描述子（local descriptors）的預(yù)測。其次，通過SuperPoint解碼，使用一種非學(xué)習(xí)的固定方式得到三維重建彩色點云的關(guān)鍵點得分和局部描述子。然后，通過MobileNet和NetVLAD層實現(xiàn)對三維重建彩色點云的全局描述子的提取（圖4）。

圖4 HF net網(wǎng)絡(luò)結(jié)構(gòu)圖Fig. 4 Structural illustration of HF-Net network

2）重定位過程。將光譜圖像放入HF-Net中進(jìn)行計算，分別得到全局描述子、局部描述子、關(guān)鍵點得分，使用光譜圖像的全局描述子，在三維重建彩色點云的數(shù)據(jù)集進(jìn)行全局檢索，檢索得到此光譜照片對應(yīng)的三維模型的大致位置。使用光譜圖像的局部描述子和關(guān)鍵點得分，進(jìn)行局部特征匹配，找到光譜圖像中的光譜信息，對應(yīng)三維模型點云中的匹配點，從而完成光譜信息和三維模型的映射。再通過HF-Net網(wǎng)絡(luò)實現(xiàn)光譜特征點的匹配，就可以將光譜信息完整地映射到三維重建的模型上去，從而實現(xiàn)三維光譜成像物證檢驗的目標(biāo)（見圖5）。

圖5 光譜圖像的特征點在彩色圖像三維模型上的重定位Fig. 5 Relocation of feature points of spectral image onto threedimensional pattern of color image

此過程的運行框架：Tensorflow 1.12；當(dāng)1張光譜影像處理結(jié)果匹配4張彩色照片時，HF-Net運行時間：12 s。

2 結(jié)果

2.1 光譜影像分析結(jié)果

使用MIsystem軟件對紙質(zhì)藥盒三個不同表面處理結(jié)果和顯現(xiàn)的捺印指紋放大結(jié)果如圖6所示。通過光譜影像分析，可以將紙盒表面的潛在指紋全部顯現(xiàn)出來，并清晰放大，對于后續(xù)光譜特征重定位提供了較好的影像素材。

2.2 彩色圖像三維重建結(jié)果

通過多角度高清彩色圖像完成的物證三維重建效果見圖7。由于本文采用基于普通相機(jī)拍攝的彩色照片完成物證的三維重建，無需專業(yè)的激光掃描設(shè)備，應(yīng)用場景更靈活，更適合現(xiàn)場物證采集。而且三維重建模型的圖像分辨率顯著高于激光三維掃描的重建分辨率。本文重建的三維模型的彩色分辨率為6 016 × 4 512，約2 700萬像素，而目前市場上分辨率最高的激光掃描重建設(shè)備，最大分辨率900萬像素。

2.3 光譜特征重定位結(jié)果

紙質(zhì)藥盒表面指紋的光譜信息映射到三維建模點云效果見圖8。由于采用基于HF-Net框架的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行光譜特征匹配，匹配精度高于傳統(tǒng)的誤差平方和算法 (sum of squared differences，簡稱SSD算法)，而且適合不同光照條件，魯棒性更好。

圖6 光譜成像顯現(xiàn)指紋結(jié)果圖Fig. 6 Fingerprint displayed out from spectral imaging

圖7 彩色圖像三維重建模型效果圖Fig. 7 RGB-formatted rendering into 3D-reconstruction of the original image

圖8 三維光譜重建模型效果圖Fig. 8 Spectral 3D-reconstructed rendering of the original image

3 討論

三維重建技術(shù)能夠記錄殺人、縱火、爆炸、交通肇事等各類案件現(xiàn)場立體空間信息，與虛擬現(xiàn)實技術(shù)結(jié)合可以實現(xiàn)異地同步現(xiàn)場勘查、現(xiàn)場環(huán)境以及物證幾何測量、數(shù)字化現(xiàn)場復(fù)勘與展示等功能。目前的研究工作主要集中在宏觀場景三維重建速度和精度等方面，對物證信息的深度挖掘和檢測識別等方面研究還不夠深入。光譜成像技術(shù)在痕跡物證的無損發(fā)現(xiàn)與識別等方面具有明顯的優(yōu)勢。針對作案工具、侵害對象、現(xiàn)場遺留物品等多尺度物證檢材，將三維重建與光譜成像相結(jié)合，建立物理空間與光譜信息融合的立體勘查取證技術(shù)，能夠發(fā)揮兩項技術(shù)的優(yōu)勢，檢驗結(jié)果對于分析和理解各類痕跡物證的空間分布狀態(tài)、相互關(guān)系以及所反映的行為人特點等具有重要意義，為基于計算機(jī)視覺的現(xiàn)場快速記錄與智能重建技術(shù)提供了新的思路。

本文對規(guī)則的立方體樣本進(jìn)行了三維建模和光譜信息重定位實驗研究。結(jié)果表明，本文提出的方法能夠?qū)崿F(xiàn)三維光譜成像融合檢驗的目的，下一步將針對不同材質(zhì)的球體、圓柱體以及不同大小的不規(guī)則立體樣本進(jìn)行系統(tǒng)實驗。另外，如何發(fā)揮三維光譜成像技術(shù)在現(xiàn)場和實驗室檢驗工作中的應(yīng)用能力，也是繼續(xù)研究的方向。

4 結(jié)論

本文研究了基于HF-Net架構(gòu)卷積神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)圖像目標(biāo)位姿估計方法，探索了三維建模與光譜信息相融合的智能重建技術(shù)，為建立物理空間與信息空間相結(jié)合的立體勘查取證模式進(jìn)行了有益的嘗試，實驗結(jié)果證明三維光譜成像技術(shù)在物證綜合信息的深度挖掘和精準(zhǔn)測量方面具有較大的應(yīng)用潛力，拓展了三維重建技術(shù)和光譜成像技術(shù)在物證檢驗中的應(yīng)用范圍。