張敏 劉軍 羅穎 湖北省武漢市公安局

無人機航拍合成球面全景圖技術(shù)研究

張敏 劉軍 羅穎 湖北省武漢市公安局

從刑偵現(xiàn)場勘查的實際需求出發(fā)，利用無人機航拍照片為素材，制作球面全景圖并將其應用于刑事偵查、現(xiàn)場勘查，也可用于突發(fā)事件、安保任務、布控堵截、大型活動等。著重闡述了球面全景圖的原理、拼接合成方法，結(jié)合實例對全景圖合成的步驟和實際工作中遇到的問題做了分析。

無人機航拍 球面全景圖 拼接合成方法

一、引言

在刑事現(xiàn)場的現(xiàn)場方位照、現(xiàn)場概貌等拍攝中，近年來也出現(xiàn)了全景圖形式[1]。這種全景圖多采用如下方法拍攝：在現(xiàn)場拍攝中心架設三腳架，通過云臺固定相機，逐角度地（如每次旋轉(zhuǎn)60°）轉(zhuǎn)動云臺，以相同的參數(shù)來拍攝照片，得到一組照片，再后期處理成柱面全景圖。

實際工作中，此類全景圖只能環(huán)顧四周，只可從地面的視角反映拍攝點周邊較小區(qū)域的局部情況，在需要針對案、事件現(xiàn)場周邊地形地貌進行整體把握時，遠不能滿足實際需求。案、事件等現(xiàn)場有時會位于復雜的城中村區(qū)域或城郊遠城區(qū)的村民還建房小區(qū)，拆遷、私搭、私建等情況普遍，無論是紙質(zhì)還是電子的地圖資料都不能真實地反映案發(fā)現(xiàn)場地形地貌情況。此類現(xiàn)場在工作中并不鮮見。

鑒于此，本文利用“警用空中全景現(xiàn)場偵查系統(tǒng)”、以無人機航拍的同一視點的照片素材為基礎，采用球面模型合成全景圖。這種全景圖可以實現(xiàn)360°旋轉(zhuǎn)，以空中俯視的視角來觀察案、事件現(xiàn)場，且支持縮放。目前，該技術(shù)已研發(fā)成功并在有關(guān)地區(qū)案、事件現(xiàn)場發(fā)揮了重要作用。

二、球面全景圖的基本原理

所謂全景圖，就是將數(shù)張平面圖投影到一個以視點為中心的參考面上，若參考面為圓柱面則為柱面全景圖，參考面為球面（具有經(jīng)緯度）則稱為球面全景圖。柱面投影全景在垂直視域上有很大限制，而球面投影全景是描述一個場景的最佳選擇，球面投影的特點是：所有的水平、垂直線投影到球面上時都會彎曲（0°經(jīng)、緯線除處），其合成全景圖的水平視角可達 360°，垂直視角可達 180°，通常適用于廣角鏡頭的大視角全景觀察[2]?；谶@些特點和實戰(zhàn)需求，本文采用球面全景圖合成技術(shù)，所使用的照片素材也正是由“警用空中全景現(xiàn)場偵查系統(tǒng)”利用廣角鏡頭航拍的。

（一）平面全景圖的生成

將廣角鏡頭拍攝的圖像以球面坐標系進行數(shù)字描述后，拼接一組圖像中兩兩相鄰且有重疊區(qū)域的圖像，每兩張相鄰圖像拼接一次，最終拼接成完整的360°平面全景圖。本文采用不變尺度特征變換（scale invariant feature transform, SIFT ）特征點算法進行圖像特征提取和匹配拼接。

1. 圖像特征提取

首先采用SIFT特征點法對圖像進行特征描述，該方法不受圖像旋轉(zhuǎn)變換、縮放變換、色差、噪聲的影響；然后通過特征點匹配建立兩幅圖像之間的對應關(guān)系，匹配方法采用包含特征點描述子的二叉樹搜索算法。[3]

2. 圖像拼接：偏移、融合

匹配點配準后通過扭曲圖像使圖像對齊，然后進行圖像偏移和融合以達到拼接的目的。

通過對反映相鄰圖像間對應點亮度差平方和的函數(shù)求偏導并進行迭代求解，以實現(xiàn)對圖像的偏移拼合。

拍攝時鏡頭曝光時間、視角的不同兩幅圖像的亮度、色調(diào)等差異，拼合時需各取一定寬度區(qū)域的圖像進行融合，采用漸入漸出的方法，實現(xiàn)拼接部分平穩(wěn)、圓滑過渡。

（二）球面全景瀏覽將平面全景圖投影到球面視平面

拼接處理后生成的長軸型圖片文件，稱為平面全景圖。最后一個步驟是要將此圖進行反變換，投影到視平面上進行瀏覽，成為一個可360°隨意瀏覽的真正的全景圖文件。這個過程會發(fā)生變形，因此，變換計算中采用了插值計算，使得變換后的圖像平滑、細膩。

（三）小結(jié)

球面全景圖的合成包括如下幾個步驟：①圖像特征點提取；②圖像對齊；③圖像偏移；④圖像融合；⑤平面全景圖后期渲染；⑥球面全景瀏覽。整個流程如圖1所示。

三、球面全景圖合成試驗

（一）試驗材料

我們利用“警用空中全景現(xiàn)場偵查系統(tǒng)”對某大樓周邊進行了航拍，素材如圖2所示，共9幅圖像。這些航拍圖像是該系統(tǒng)搭載廣角鏡頭（GoPro專業(yè)航拍相機，1100萬像素）在空中某一視點固定后旋轉(zhuǎn)360°，每轉(zhuǎn)一定角度便航拍一次所得，拍攝參數(shù)、尺寸、大小是一致的。

（二）試驗方法

1. 圖像裁切與優(yōu)化

首先對圖像素材進行裁切，將照片邊緣變形較大的部分去掉。接著進行優(yōu)化鏡頭俯角、消除鏡頭畸變、調(diào)整水平位移、垂直位移等操作，以保證控制點提取的質(zhì)量。

2. 控制點提取、校驗、調(diào)整

對兩幅需要拼接的圖像提取控制點，結(jié)果如圖3所示。

兩幅圖像共建立了14對控制點，左側(cè)圖像中的每一個控制點，在右側(cè)圖像中都能找到與之對應的，如表1所示。

?

控制點的質(zhì)量和精度關(guān)系到下一步圖像對齊的質(zhì)量，進而影響最終全景圖成圖效果，實際工作中采用軟件自動提取并輔以人工糾偏，可以保證控制點質(zhì)量的精細、精準。

3. 對齊、拼接、融合圖像

最終生成的圖片如圖4所示，可以看到，平面全景圖已經(jīng)初步成型。

4. 后期修飾、渲染、標注

實際應用中，天空部分并不是案、事件現(xiàn)場所關(guān)注的內(nèi)容，所以“警用空中全景現(xiàn)場偵查系統(tǒng)”作業(yè)時，鏡頭都是以俯視角度拍攝。在后期修飾工作中，首先需將天空補充完整然后再酌情對圖片進行調(diào)整，修飾工作完成后的效果如圖5所示，之后可根據(jù)需要標注中心現(xiàn)場、方位、重要地標、道路等信息。

5. 生成全景圖瀏覽文件

最后基于平面全景圖生成全景圖瀏覽文件，用戶通過自由旋轉(zhuǎn)、縮放全景圖可得到如同處在航拍視點處觀看現(xiàn)場的實景感受，如圖6所示。

（三）試驗結(jié)論

球面全景圖的兩極會發(fā)生極化現(xiàn)象，試驗結(jié)果表明，本文的算法能成功拼合球底，還原俯視圖的真實感。采用該技術(shù)得到的全景圖更利于清楚直觀地了解熟悉案、事件現(xiàn)場周邊的地形地貌、道路交通等空間地理數(shù)據(jù)。這也是其相對于采用地面三腳架拍攝制作地面全景圖的優(yōu)勢之一。

四、實例運用

基于“警用空中全景現(xiàn)場偵查系統(tǒng)”航拍圖像制作的球面全景圖已在本市重大案、事件的偵破中發(fā)揮了重要作用。

（一）刑事案件偵查環(huán)節(jié)的應用

采用該技術(shù)制作的全景圖可以讓參案人員在行動前充分了解案、事件中心現(xiàn)場附近環(huán)境、地形地貌、交通狀況，指導其堵截、抓捕等行動。

案例：2013年4月，武漢市經(jīng)偵支隊偵查發(fā)現(xiàn)一犯罪團伙在洪山、江夏、蔡甸、東湖風景區(qū)一帶非法設立多處屠宰點，無證屠宰生豬，并向生豬注射違禁藥品、灌水后銷售。

此案涉及的屠宰窩點大都在交通不便的城中村落或者遠城區(qū)的湖邊小灣里，專案組決定采用空中視頻偵查手段，通過全景圖的形式來熟悉掌握周邊環(huán)境。

在其中某個窩點航拍的9幅照片，如圖7所示。

將照片進行編號，然后進行裁剪、優(yōu)化并提取控制點。一共要提取0-1，1-2，2-3，3-4，4-5，5-6，6-7，7-8，8-0共9組兩兩對應照片的控制點。在執(zhí)行拼接、融合過程后的平面全景圖效果如圖8所示。

可見，平面全景圖對比上述實驗階段的例子，其底部出現(xiàn)了空洞的情況，若缺失的較少，可用圖像修飾軟件來修補。將其生成全景圖瀏覽文件后采用俯視視角觀察，可以看到空洞缺失現(xiàn)象，如圖9所示。

通過此俯視視角可以看到，投影球底部的缺失只是一些不影響整個場景的樹木，可通過修補工作將平面全景圖的下部補齊后再生成全景瀏覽文件，如圖10所示。

最終結(jié)合實戰(zhàn)需求在全景圖上配以標注，能更方便實戰(zhàn)應用，一般的標注內(nèi)容包括：中心現(xiàn)場、方位、重要地標、道路等。本案中，全景圖提供了湖邊的涉案窩點與周邊村落的道路連接關(guān)系，生動直觀地反映了窩點附近環(huán)境、交通情況，為現(xiàn)場抓捕計劃的制定起到了重要的輔助作用。

（二）實際應用中遇到的問題小結(jié)

該項技術(shù)在實際應用中遇到的一些問題如下：

1. 全景圖制作時的底部黑洞問題，需視其嚴重程度決定處理方式。非關(guān)鍵位置的小缺失可通過修飾手段完善；缺失部分很多或者關(guān)鍵位置缺失的情況應更換航拍素材重新制作，更為嚴重的情況需要在調(diào)整“警用空中全景現(xiàn)場偵查系統(tǒng)”的鏡頭俯角后再次航拍。

2. 全景圖的標注應根據(jù)實際任務和具體現(xiàn)場的需要來標注，在將各現(xiàn)場要素說明清楚的情況下力求簡潔、干凈，過多的文字標注信息會影響全景瀏覽效果。

五、結(jié)束語

（一）該技術(shù)在公安應用上的前景展望

該技術(shù)目前已在刑事偵查及現(xiàn)場勘查中投入實戰(zhàn)應用，隨著應用的不斷深入與技術(shù)的不斷發(fā)展，還將在公安工作各業(yè)務環(huán)節(jié)發(fā)揮作用，并向其他領(lǐng)域延伸。目前可應用的公安業(yè)務有：

1. 維穩(wěn)、處置突發(fā)事件、救災等。針對人群聚集、移動，可通過全景圖規(guī)劃人群移動路線、調(diào)度警力、設置警戒線等。2013年12月6日，武漢市公安局在武漢展覽館廣場舉行了反恐拉練，拉練前通過該技術(shù)航拍現(xiàn)場制作全景圖后，在全景圖上繪制了拉練方案部署示意圖，如圖11所示。

通過這種呈現(xiàn)形式充分展示了拉練各參戰(zhàn)單位的任務、位置分配、行進路線等信息，拉練指揮部的方案部署得到了很好的展示，更利于各參展單位開展工作。

2. 安全保衛(wèi)。全景圖有助于活動舉辦方、安保部門全面掌握情況，正確分析保衛(wèi)復雜程度，完善安保方案。

3. 治安管理?？刹扇∪皥D方式固定轄區(qū)全貌，明確重點場所、控制區(qū)域，構(gòu)成立體化治安管理體系中的一個重要環(huán)節(jié)。

4. 交通規(guī)劃管理。各復雜路口、立交、輕軌地鐵換乘站等交通樞紐處的全景圖可作為交通規(guī)劃和管理的基礎空間地理數(shù)據(jù)等。

（二）技術(shù)本身系統(tǒng)進一步完善的空間

在系統(tǒng)完善上，結(jié)合公安實戰(zhàn)，還有如下思考：①與PIGS深度結(jié)合，將本系統(tǒng)制作的空間全景圖結(jié)合到PGIS中，可與平面圖交互，達到部分程度的虛擬現(xiàn)實效果；②將全景圖與3G無線傳輸技術(shù)進行結(jié)合；③將全景圖與地面勘察照片資料結(jié)合，把地面勘察照片嵌入到全景圖中進行交互，可達到更完整的呈現(xiàn)效果。

[1] 莊華. 用PTGui軟件拼接現(xiàn)場全景圖警察技術(shù),2010(11).

[2] 崔漢國,王大宇,陳軍.球面全景空間縫合及漫游算法研究.海軍工程大學學報,2008(02).

[3] 李艷麗,向輝.穩(wěn)健的球面全景圖全自動生成算法. 計算機輔助設計與圖形學學報,2007(11).