李 勇，鄭唯加

(1.安徽財(cái)經(jīng)大學(xué) 統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)學(xué)院，安徽 蚌埠 233030；2.安徽財(cái)經(jīng)大學(xué) 金融學(xué)院，安徽 蚌埠 233030)

相比于多目視覺(jué)三維重建對(duì)設(shè)備要求多、精度要求高等特點(diǎn)，單目視覺(jué)三維重建具有圖像獲取便捷，后期計(jì)算簡(jiǎn)單，成本低的特性.因此，目前被廣泛應(yīng)用于城市規(guī)劃、交通事故現(xiàn)場(chǎng)調(diào)查等領(lǐng)域[1-2].在單目視覺(jué)三維重建與測(cè)距領(lǐng)域，許多效果優(yōu)良的方法被提出.然而，現(xiàn)有的方法往往針對(duì)特殊場(chǎng)景設(shè)計(jì)，較難適應(yīng)其他場(chǎng)景特點(diǎn)，普適性較弱，且部分方法在標(biāo)定時(shí)采用人機(jī)交互方法，自動(dòng)化程度較低[3].近年來(lái)，隨著人工智能的發(fā)展，在計(jì)算機(jī)視覺(jué)領(lǐng)域，通過(guò)一定的樣本訓(xùn)練便可對(duì)單幅圖像中的邊緣實(shí)現(xiàn)精確的檢測(cè)[4].針對(duì)單幅圖像，本文提出基于單目視覺(jué)的三維重建與測(cè)距方法，該方法可以根據(jù)不同圖像，自適應(yīng)地實(shí)現(xiàn)拍攝相機(jī)的內(nèi)參估計(jì)，從而實(shí)現(xiàn)圖像的三維建模；其次，具有很高的重建與計(jì)算效率，可以推廣到視頻中的物體測(cè)距，進(jìn)而實(shí)現(xiàn)視頻物體測(cè)速等應(yīng)用.

1 單幅圖像的三維重建與測(cè)距

針對(duì)單幅圖像的三維重建與測(cè)距問(wèn)題，本文提出分為三個(gè)步驟來(lái)測(cè)算：①根據(jù)圖像中的物體含有三個(gè)正交方向上的平行線計(jì)算對(duì)應(yīng)方向上的消失點(diǎn)并在此基礎(chǔ)上計(jì)算相機(jī)內(nèi)參標(biāo)定；②在圖像場(chǎng)景中，指定可以估計(jì)某一邊實(shí)際長(zhǎng)度的參考矩形，利用透視投影獲得另一邊的實(shí)際長(zhǎng)度并拓展至矩形所在平面上任意兩點(diǎn)的距離；③結(jié)合消失點(diǎn)，充分利用已提取的三維信息和場(chǎng)景中的約束，完成平面測(cè)距和物體高度測(cè)量.

1.1 消失點(diǎn)計(jì)算

消失點(diǎn)是指在空間一組平行線的無(wú)窮遠(yuǎn)點(diǎn)經(jīng)過(guò)透視投影在二維圖像中形成的像的直線在圖像上的投影線段的交點(diǎn)[5].本文消失點(diǎn)檢測(cè)主要分為以下幾個(gè)步驟：

1)通過(guò) Canny 邊緣檢測(cè)檢測(cè)圖片邊緣.圖像的邊緣檢測(cè)是利用區(qū)域之間包括灰度、顏色、紋理等特性上的差異，將內(nèi)部特征或?qū)傩圆灰恢碌膮^(qū)域分開(kāi)，從而刻畫(huà)出目標(biāo)和背景的分界線[6].常見(jiàn)的邊緣檢測(cè)算子可以分為三類(lèi)：①一階導(dǎo)數(shù)算子：Roberts、Sobel、Prewitt；②二階導(dǎo)數(shù)算子：Kirsch、Laplacian、Log；③非微分邊緣檢測(cè)算子：Canny.由于Canny邊緣檢測(cè)算子能夠檢測(cè)到真正的弱邊緣，是同時(shí)滿足信噪比準(zhǔn)則、定位精度準(zhǔn)則、單邊緣響應(yīng)準(zhǔn)則的多級(jí)邊緣檢測(cè)算法.本文選擇該方法進(jìn)行邊緣檢測(cè)，其檢測(cè)算法步驟包括：將彩色圖像轉(zhuǎn)換為灰度圖像；對(duì)圖像進(jìn)行高斯模糊；計(jì)算圖像梯度，根據(jù)梯度計(jì)算圖像邊緣幅值與角度；沿梯度方向進(jìn)行非極大值抑制；雙閾值邊緣連接處理；二值化圖像輸出結(jié)果.

2)利用概率霍夫變換檢測(cè)出直線片段.霍夫變換是平面空間到極坐標(biāo)空間的轉(zhuǎn)換，其擬合速度非?？?，其缺點(diǎn)是對(duì)噪聲特別敏感[7].通過(guò)將霍夫參數(shù)空間量化為有限間隔或累加器單元來(lái)實(shí)現(xiàn)變換.隨著算法的運(yùn)行，每個(gè)算法都把(xi,yi)轉(zhuǎn)換為一個(gè)離散化的(r,θ)曲線，并且沿著這條曲線的累加器單元被遞增，并增加該箱的投票值.換句話說(shuō)，將每個(gè)交點(diǎn)看成一次投票，也就是說(shuō)A(r,θ)=A(r,θ)+1.所有點(diǎn)都進(jìn)行如此計(jì)算后，可以設(shè)置一個(gè)閾值，投票大于這個(gè)閾值的可以認(rèn)為是找到的直線.

基于上述方法的原理，借助Python中的OpenCV工具包,可以很容易的計(jì)算出單幅圖像的消失點(diǎn).

1.2 相機(jī)內(nèi)參標(biāo)定

相機(jī)標(biāo)定是指依據(jù)一組已有空間位置的點(diǎn)與其對(duì)應(yīng)的圖像點(diǎn)，結(jié)合針孔成像原理求解相機(jī)參數(shù)的過(guò)程[9-10].通過(guò)標(biāo)定即可求得相機(jī)的內(nèi)參數(shù)矩陣與外參數(shù)矩陣.相機(jī)內(nèi)參矩陣是由相機(jī)交比f(wàn)uv與相機(jī)主點(diǎn)p(u1,v0)所構(gòu)成的矩陣；相機(jī)外參矩陣是實(shí)現(xiàn)相機(jī)坐標(biāo)系與世界坐標(biāo)系轉(zhuǎn)換的參數(shù)矩陣.設(shè)相機(jī)的焦比為fuv，三角形Δvxvyvz的垂心為c，三角形一邊上的垂足g之間滿足如下關(guān)系：

相機(jī)的主點(diǎn)p(u0,v0)與Δvxvyvz的垂心c一致.焦比和主點(diǎn)確定后，相機(jī)內(nèi)參K隨之確定，即

1.3 三維信息提取

圖像的三維重建是指在利用先驗(yàn)知識(shí)的前提下，采用計(jì)算機(jī)視覺(jué)方法對(duì)單視圖或多視圖重構(gòu)三維信息的過(guò)程，是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要研究方向[11-12].根據(jù)前文中的步驟，可以得到計(jì)算消失點(diǎn)和相機(jī)內(nèi)參矩陣的模型.為了達(dá)到測(cè)量的目的，還需在單幅圖像中指定一個(gè)參考矩陣，然后根據(jù)物體本身的幾何特性可以得到相應(yīng)的三維坐標(biāo)，提取三維信息，實(shí)現(xiàn)物體的三維重建.

根據(jù)圖1的成像原理[13-14]，可以模擬出如圖2所示的矩陣透視投影圖所示 ,設(shè)空間中存在一個(gè)參考矩形A1A2A3A4且其存在一條已知長(zhǎng)度的邊長(zhǎng)形A1A2, 其在圖像平面上的投影為a1a2a3a4，則矩形A1A2A3A4的兩個(gè)邊長(zhǎng)之比可以表示為：

圖1 成像原理

圖2 矩形透視投影圖

其中：

根據(jù)上式，可以得出：如果提前知道參考矩陣一邊A1A2的長(zhǎng)度，則可通過(guò)數(shù)學(xué)中的比例關(guān)系計(jì)算另一邊A2A3的長(zhǎng)度，同時(shí)利用A1A2以及A2A3的長(zhǎng)度，則可以更近一步的確定參考矩形A1A2A3A4所在平面內(nèi)任意兩點(diǎn)間的距離.

1.4 單幅圖像中實(shí)際物體距離求解

根據(jù)前文的步驟，如果要確定待測(cè)量平面上任意兩點(diǎn)間的距離,只要在該平面上構(gòu)造一個(gè)以上述線段為一邊的矩形即可.將已知參考距離和相機(jī)內(nèi)參作為輸入，利用Matlab進(jìn)行編程，即可求得帶求解的實(shí)際物體長(zhǎng)度與距離信息.綜上，本文提出的方法流程圖如圖3.

圖3 本文提出三維重建與測(cè)距方法流程圖

2 實(shí)驗(yàn)分析

為了驗(yàn)證本文提出的方法，選取2019年研究生數(shù)學(xué)建模C題中的四張單幅圖像(見(jiàn)圖4)作文測(cè)試圖像，對(duì)四幅測(cè)試圖中標(biāo)定的距離進(jìn)行求解.

根據(jù)前文建立的重建與測(cè)距算法，首先利用消失點(diǎn)優(yōu)化方法對(duì)其進(jìn)行三維重建.該方法需要輸入圖像的3個(gè)消失點(diǎn)、待計(jì)算目標(biāo)的矩形4點(diǎn)像素坐標(biāo)和圖像中參照物實(shí)際尺寸.消失點(diǎn)計(jì)算與待計(jì)算目標(biāo)檢測(cè)屬于計(jì)算機(jī)視覺(jué)問(wèn)題，且OpenCV具有豐富高效的相關(guān)求解代碼且提供了對(duì)Python的接口[15].因此，利用Python解決消失點(diǎn)與目標(biāo)檢測(cè)的相關(guān)問(wèn)題.通過(guò)邊緣檢測(cè)與霍夫變換，可以將圖中的直線聚為3類(lèi)，利用實(shí)際景物中平行線在相機(jī)成像中交于一點(diǎn)的特性，得出消失點(diǎn).對(duì)于待計(jì)算目標(biāo)四點(diǎn)像素坐標(biāo)的確定，利用已經(jīng)訓(xùn)練好的數(shù)據(jù)集對(duì)需要計(jì)算的目標(biāo)進(jìn)行檢測(cè)，進(jìn)而得到4個(gè)像素坐標(biāo).得到消失點(diǎn)與待求目標(biāo)的4點(diǎn)像素坐標(biāo)后，建立數(shù)學(xué)模型，設(shè)計(jì)消失點(diǎn)優(yōu)化方法的代碼，將消失點(diǎn)、待求目標(biāo)的4點(diǎn)像素坐標(biāo)和參照物實(shí)際尺寸帶入模型進(jìn)行計(jì)算，得到世界坐標(biāo)系和相機(jī)坐標(biāo)系，進(jìn)而對(duì)待求解目標(biāo)的4點(diǎn)像素即圖像坐標(biāo)代入，即可根據(jù)選取的 參照物實(shí)際大小求得待求目標(biāo)的實(shí)際大小.

具體結(jié)果如下：首先通過(guò)Canny邊緣算子檢測(cè)出測(cè)試圖4(A)～(D)中各物體的邊緣，再采用概率 霍夫變換檢測(cè)出直線片段.采用人機(jī)交互的方式獲取圖中多組基于三個(gè)方向上的平行線，概率霍夫變換后標(biāo)定的直線效果如圖4所示.

圖4 標(biāo)定后的測(cè)試圖像

將所有線段按照極坐標(biāo)排序之后，選擇其與相鄰一定角度的線段焦點(diǎn)做候選點(diǎn)，通過(guò)層次聚類(lèi)分方法選出三個(gè)消失點(diǎn)坐標(biāo)整理，見(jiàn)表1.

表1 測(cè)試圖消失點(diǎn)坐標(biāo)

進(jìn)而得到如下參數(shù)由此可得4幅圖的相機(jī)內(nèi)參矩陣分別為：

最后，在相機(jī)內(nèi)參矩陣的基礎(chǔ)上，確定參照物尺寸，利用Matlab求解圖像矩形比例，得到4幅測(cè)試圖中的待求距離，見(jiàn)表2.

表2 測(cè)試圖中標(biāo)定距離求解結(jié)果

3 靈敏度分析

在對(duì)距離求解過(guò)程中，算法中每一步求解均為精確求解，存在較小軟件計(jì)算誤差.因此誤差主要來(lái)源于變量輸入(消失點(diǎn)、待求坐標(biāo)和參照物大小)，其中待求坐標(biāo)依賴于識(shí)別精度.隨著近年來(lái)人工智能興起，目前對(duì)目標(biāo)的識(shí)別率普遍超過(guò)95%；參照物大小往往根據(jù)經(jīng)驗(yàn)獲取，本文選取能夠獲取具體尺寸信息的物 體作為參照，此項(xiàng)輸入誤差也可忽略不計(jì).見(jiàn)圖5.因此，本文距離估計(jì)誤差主要來(lái)源于消失點(diǎn)的計(jì)算，下面對(duì)消失點(diǎn)進(jìn)行靈敏度分析.

圖5 靈敏度分析

以任務(wù)一中圖1為例，求解拍照者距離道路左側(cè)距離.在已求出消失點(diǎn)基礎(chǔ)上，分別變換消失點(diǎn)V1V2V3的x坐標(biāo)值和y坐標(biāo)值，變化區(qū)間為[-10 000, 10 000], 所取間隔為200，共測(cè)試了100個(gè)不同的坐標(biāo)值，其最終所求距離與前面所得結(jié)果13.67 m波動(dòng)較小，具體數(shù)值范圍為(13.67±3)m，說(shuō)明最終估計(jì)距離結(jié)果受消失點(diǎn)擾動(dòng)較小，對(duì)消失點(diǎn)容錯(cuò)率高，進(jìn)而可以證明使用消失點(diǎn)優(yōu)化方法進(jìn)行三維重建的穩(wěn)健性.綜上，消失點(diǎn)算法在靈敏度分析中表現(xiàn)出了較好的穩(wěn)定性，提高了模型的容錯(cuò)率，在保證識(shí)別和參照輸入精度的前提下，保證了消失點(diǎn)最優(yōu)化算法的精確度，大大降低了最后的距離結(jié)果誤差.

4 結(jié) 語(yǔ)

本文提出了單幅圖像的三維重建與測(cè)距方法，對(duì)于單目視覺(jué)成像的三維立體重建，本文給出了完整的理論建模體系，在三維建模的基礎(chǔ)上，利用圖中容易估計(jì)的距離即可實(shí)現(xiàn)測(cè)距的目的.實(shí)驗(yàn)分析證明，該方法借助Python與Matlab實(shí)現(xiàn)了高效的視覺(jué)重建與數(shù)值計(jì)算.該方法在計(jì)算圖像中距離信息時(shí)，不需要提前獲知相機(jī)內(nèi)外參矩陣，具有良好的普適性；同時(shí)，該方法可以拓展到視頻中物體的跟蹤與測(cè)速，具有良好的擴(kuò)展性.