李 鑫，劉建男，楊 夏，于起峰

(1.國防科技大學航天科學與工程學院，湖南長沙410073;2.國防科技大學圖像測量與視覺導航湖南省重點實驗室，湖南長沙410073)

在攝像測量與計算機視覺領域中，利用三角交會對目標進行測量［1］具有重要的研究和應用價值。通常，按照相機個數(shù)可以將其分為單目或多目情況，而按照相機與目標是否運動又可分為靜止相機對靜止目標，靜止相機對運動目標，運動相機對靜止目標，運動相機對運動目標的情況。多目靜止相機對靜止目標的測量是最常見的三角交會測量［2］。

假設目標為點目標，不利用其他信息，如距離等，是無法用單目靜止相機對目標進行測量的，而單目運動相機則可以。針對這種情況，張小虎［3］、于起峰［4］在假設目標為時間多項式運動前提下提出了單目運動軌跡交會法。而在沒有時間信息，也就是在只有測量視線的情況下，Avidan［5］給出了目標直線運動的線性解和二次運動的迭代解，其線性方法利用直線的Plucker表達，推導了像點與待求目標軌跡直線的Plucker參數(shù)的線性關系，從而可以線性求解目標的軌跡。

傳統(tǒng)的多目測量情況，若觀測同步，且存在目標出現(xiàn)在重疊視場中，則可以直接進行交會。桂陽［6］在文獻［4］的基礎上提出一種多目運動軌跡交會法，其要求多相機之間的時間已經完全對準。對于多目無重疊視場的情況，Pflugfelder［7］在假設目標運動為平滑軌跡的情況下對目標進行定位和軌跡重建，而Micusik［8］為了消除多解性，假設存在一定的深度排序的先驗信息，利用二階錐規(guī)劃(second order cone program)對目標軌跡進行重建。針對三目情況，Shashua［9］提出利用一種單應張量恢復點的直線運動軌跡。而本質上，多目無重疊視場的情況與單目運動相機對運動點目標進行測量的情況是等價的。

參考這些方法，針對多相機對點目標的運動軌跡測量，李鑫等提出不同時間信息條件下的多目軌跡交會法。本方法不僅將單目擴展為多目，并且給出了在不同測量時間信息條件下的測量模型，使得其能適應多相機之間觀測時間不同步，或者時間不對準，甚至無時間信息的情況。在多目情況下，由于不要求相機必須運動才能對目標進行測量，因此該方法均能適應相機運動或靜止情況。同時，本方法也能適應多個相機之間視場不重疊的情況。

1 測量模型

假設目標的運動軌跡為時間的多項式表達，則在t時刻目標的位置可以用參數(shù)表示為

其中，每一個θk為3×1的列向量，n為目標的運動時間多項式階次。在這種假設下，目標的軌跡即由目標運動軌跡參數(shù)θk確定。而不同的時間參數(shù)t則表示目標在軌跡上的不同位置。

矩陣計算公式為

將式(1)寫成矩陣表達形式為

假設相機內外參都已經標定，第i個相機的第j觀測時刻為ti，j，相機的位置為C i，j，通過圖像目標像點提取，在已知相機內外參的情況下，設為控制點投影到歸一化像面上的像點坐標，則可以獲得目標相對于相機的指向單位矢量在世界坐標系下為R為相機的姿態(tài)矩陣，目標此時的位置為P i，j。參考文獻［10］，物方殘差可以表示為其中為誤差投影矩陣，NC為相機的個數(shù)，NCi為第i個相機對目標觀測的圖像總數(shù)。物方殘差本質上表示世界點到觀測視線的垂直距離。

以雙相機為例，圖1給出了兩個相機存在重疊視場的情況下對目標進行觀測交會測量的示意圖。兩個相機的觀測視線沒有完全交叉于目標，表示相機之間觀測并不同步。

圖1 多(雙)目測量運動點目標軌跡問題描述Fig.1 Description of a point target trajectory measurement by multi-camera

測量過程中，除了給出了觀測目標的視線，有時也給出了觀測的時間信息，也就是成像時刻的時間。分為三種情況:第一，相機時間已對準的情況，指對目標觀測的每一條測量視線獲取的時間已經統(tǒng)一到同一個參考時間上;第二，時間沒對準的情況，指每一個相機都有一個自己的時間系統(tǒng)，而彼此之間則沒有將時間對準，這種情況下，相當于不同相機之間有一個系統(tǒng)時間誤差;第三，沒有時間信息情況，指相機只能進行觀測，而無時間輸出，也就是說觀測量只有觀測視線。

2 多目軌跡交會法

針對不同的時間測量信息，相對應地，提出的多目軌跡交會法也將分為三種情況。

2.1 時間已對準的情況

此種情況指，多個相機之間的時間系統(tǒng)已經對準，也就是對目標觀測的每一條視線的獲取時間已經確定，也就是式(3)中的ti，j已經確定，那么式(4)中的Ti，j也已經確定。據(jù)此，為了求解目標的軌跡，通過最小化下面的物方殘差平方和目標函數(shù)，求取目標軌跡運動參數(shù)。

不難看出，最小化式(5)就是求解下面的最小二乘問題

這樣求得了目標軌跡的參數(shù)，也就得到了目標的軌跡?？梢钥闯?，此種方法對多個相機的視場重疊并無要求。

2.2 時間未對準的情況

時間未對準指各個相機之間還存在一個系統(tǒng)時間差，也就是除了需要估計目標的軌跡，還需要求解每一個相機的系統(tǒng)時間差。假設存在一個統(tǒng)一的參考時間系統(tǒng)，第i個相機與統(tǒng)一的參考時間系統(tǒng)的系統(tǒng)時間偏差為，則目標的位置表示式(3)中的時間矩陣i，j變?yōu)?/p>

因此，總的殘差平方和表示為

顯然，式(10)為一個非線性最小二乘問題，無法通過有效的線性方法進行求解，為此，設計一種迭代算法進行求解。

下面描述在Θ已知的情況，如何最小化式(9)求。

若Θ已知，則也已知，則物方殘差式(4)變?yōu)?/p>

將式(8)代入式(11)，再設

可見fj)函數(shù)為一個2n次多項式，因此在Θ已知的情況下，式(9)也僅為一個的2n次多項式。為了最小化式(9)，通過求導為零，也就是求解一個一元2n－1次方程，即可求解出。

由于統(tǒng)一的參考時間系統(tǒng)可以任意選，因此不妨選擇第一個相機的時間系統(tǒng)作為參考，則=0。

針對上述迭代方法，初值可以選擇相機之間時間差或者目標軌跡參數(shù)初值。對于時間相差初值，可以使用所有的?ti=0，或者人為地估計相機之間時間相差的大概值。對于目標軌跡初值，可以先假設目標為直線運動軌跡，利用文獻［5］的線性方法求解軌跡參數(shù)的初值。

2.3 無時間信息的情況

無時間信息，指觀測量只有觀測視線，而無相機拍攝圖像的時間信息。因此，也不要求相機等頻拍攝。也就是所有的ti，j都是未知數(shù)。仍然期望最小化物方殘差平方和求取目標軌跡參數(shù)Θ和所有時間信息ti，j，也就是最小化式(13)。

采用跟上一節(jié)時間未對準情況類似的迭代方法。若所有ti，j已知，則可以利用3.1節(jié)求解最優(yōu)的Θ。若Θ已知，則有

可見，gi，j(ti，j)也是一個2n次多項式，為了使其最小化，可以通過求解一個一元2n－1次方程，求解出ti，j。對于目標軌跡的初值，仍然可以使用文獻［5］的線性方法求解軌跡的初值。

時間信息本質上表示目標在運動軌跡上的位置信息。對于上述三種情況，第一種最常見，因為大部分情況下，時間系統(tǒng)均已經對準，此時多目軌跡交會法只需要求解一個線性最小二乘問題。而后兩種情況，由于存在未知的時間參數(shù)，原問題轉化為不僅要求目標軌跡還需要求未知時間參數(shù)的非線性最小二乘問題，因此，使用迭代方法求解。

3 實驗

3.1 仿真實驗

為了驗證李鑫等提出的多目軌跡交會法的有效性和精度，參考靶場的測量目標運動的條件，擬采用下面的仿真條件:

目標做勻速直線飛行，初始位置為［0 0 100m］T，速度為［0 0－1000m/s］T。采用雙目交會測量。兩個相機的位置為［1000m 0 0］T、［0 1000m 0］T，且保持靜止。為了對目標軌跡進行成像，設相機的光軸均指向點［0 0 50m］T，從而兩個相機都可以對目標軌跡進行成像。兩個相機的拍攝頻率均為1kHz。兩個相機的內參均為

假設第一個相機對目標從初始位置開始連續(xù)有效成像50幅圖，第二個相機則連續(xù)有效成像100幅圖。

通過幾種交會算法的計算，比較對目標的定位誤差，計算公式為:

其中，P g，i，j表示目標位置的真值，N表示總的圖像數(shù)目，且

比較下列五種算法的計算結果:

1)先交會再擬合，表示先在每一時刻對目標進行交會后，再進行擬合的算法。

2)Avidan，文獻［5］中線性交會直線軌跡的算法。

3)方法1，時間已經完全對準的情況下的多目軌跡交會算法。

4)方法2，相機之間時間未對準的情況下的多目軌跡交會算法。以Avidan算法為初值。

5)方法3，在沒有時間信息的情況下的多目軌跡交會算法。以Avidan算法為初值。

假設兩個相機之間的時間已經對準。加入圖像高斯噪聲的水平從0.2pixel逐漸變化到2pixel的情況下，統(tǒng)計獨立仿真1000次的目標定位誤差的平均值，計算結果如圖2所示。

圖2 五種算法在不同噪聲情況下的目標定位誤差Fig.2 Position errors of five methods at varying noise levels

從圖2中可以看出，由于時間已經對準，Avidan方法和方法3由于不使用時間信息，因此精度較低，且當噪聲較大時，Avidan方法對噪聲更加敏感。而先交會再擬合方法，利用前面50幀交會后再進行擬合，實際上擬合的時候已經使用了時間信息。但由于單目不能交會，因此，其無法使用第二個相機的后50幀圖像信息。方法1則有效利用了所有的觀測量，因此精度最高。而方法2假設兩個相機之間存在一個時間系統(tǒng)差，并對其進行估計，相當于只增加了一個多余的未知量，因此精度與方法1接近。

假設圖像目標提取噪聲水平固定為0.2pixel，兩個相機之間存在系統(tǒng)時間差。第一個相機的時間不變，作為參考時間，第二個相機的時間與參考時間相差從0ms增加到10ms，也就是由于時間信息的偏差，兩個相機之間的圖像對應發(fā)生了錯位?？紤]到相機的頻率為1kHz，則時間相差1ms就表示圖像錯位了1幀，相差10ms就錯位了10幀?？疾爝@種情況下五種算法的目標定位精度，結果見表1?？梢钥闯?，先交會再擬合法以及方法1精度隨著時間偏差的增大，目標定位誤差越來越大。因為兩者都直接使用了相機自身的有偏差的時間信息。其他三種方法誤差較小，特別是方法2，因為其有效使用了相機自身的時間，使用的模型是最準確的，因此定位誤差最小，精度最高。

表1 不同時間偏差情況下的五種算法的目標定位誤差Tab.1 Position errors of five methods at varying time bias levels

3.2 真實實驗

真實實驗采用靶場采集的真實目標圖像和相機標定數(shù)據(jù)，目的是測量彈頭末段打擊靶標前的位置和速度。

采用雙目交會模式。第一個相機有效成像68幀，第二個相機有效成像14幀，第二個相機有效成像幀數(shù)少，原因是實際實驗是多個彈頭陸續(xù)打擊同一靶標。這樣，非首發(fā)彈頭會受到前面彈頭打擊靶標后靶標周圍存在煙塵的遮擋，導致有效成像幀數(shù)較少。兩個相機交會角約為35°，拍攝頻率均為1kHz，且時間均已通過各自時統(tǒng)設備與GPS時間統(tǒng)一，也就是兩個相機的時間已經對準，但是不能保證兩個相機拍攝完全同步。

求解過程中，假設彈頭做勻速直線運動，也就是對目標采用時間的一次多項式標達。以上五種方法求解的目標位置如圖3所示。圖3中，兩個黑色棱形表示兩個相機的位置，箭頭表示相機光軸的指向。從交會目標軌跡的位置可以看出，除了Avidan方法，其他四種方法求得的目標軌跡位置比較接近。而五種方法得到的重投影物方殘差依次分別為0.190m，12.343m，0.060m，0.043m和0.004m?？梢钥闯隼铞蔚忍岢龅亩嗄寇壽E交會法，也就是后三種方法殘差均很小。值得注意的是，方法2并不需要時統(tǒng)對兩個相機的時間對準。而方法3由于僅僅使用視線測量信息，因此，更是不需要已知相機的拍攝頻率。真實實驗結果表明了多目軌跡交會算法的有效性。

圖3 真實實驗配置及目標軌跡求解結果Fig.3 Real data experiment setup and result of target trajectory computation

實際中，可以根據(jù)不同的時間信息測量情況從三種方法中選擇對應的方法。若時間系統(tǒng)已經完全對齊，則采用方法1;若多個相機僅有自身的時間信息，而彼此之間時間沒有對齊，則采用方法2;若沒有時間信息，則采用方法3。

4 結論

本文針對靶場中多個相機對目標的運動測量，提出多目軌跡交會法。根據(jù)不同的時間信息，采用不同的模型求解。相對于傳統(tǒng)的先交會再擬合的方法，該方法不但精度高，而且能適應觀測不同步，時間未對準，甚至無時間信息的情況。仿真和真實實驗驗證了該方法的有效性和精度。下一步將研究采用不同的目標運動階次以及相機運動對算法的影響。

References)

［1］于起峰，尚洋.攝像測量學原理與應用研究［M］.北京:科學出版社，2009.YU Qifeng，SHANG Yang.Videometrics:principles and researches［M］.Beijing:Science Press，2009.(in Chinese)

［2］Hartley R，Zisserman A.Multiple view geometry in computer vision［M］.2nd ed.UK:Cambridge University Press，2004.

［3］張小虎，邸慧，周劍，等.一種單像機對運動目標定位的新方法［J］.國防科技大學學報，2006，28(5):114－118.ZHANG Xiaohu，DI hu，ZHOU Jian，et al.A new method for moving target positioning under the condition of monocular camera［J］.Journal of National University of Defense Technology，2006，28(5):114－118.(in Chinese)

［4］Yu Q F，Shang Y，Zhou J，et al.Monocular trajectory intersection method for 3D motion measurement of a point target［J］.Science in China Series E:Technological Sciences，2009，52(12):3454－3463.

［5］Avidan S，Shashua A.Trajectory triangulation 3D reconstruction of moving points from a monocular image sequence［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(4):348－357.

［6］桂陽.基于機載視覺的無人機自主著艦引導關鍵技術研究［D］.長沙:國防科學技術大學，2013.GUI Yang.Research on key techniques of airborne visionbased navigation for autonomous landing of a UAV on a ship deck［D］.Changsha:National University of Defence Technology，2013.(in Chinese)

［7］Pflugfelder R，Bisch H.Localization and trajectory reconstruction in surveillance cameras with nonoverlapping views［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(4):709－721.

［8］Micusik B.Trajectory reconstruction from non-overlapping surveillance cameras with relative depth ordering constraints［C］//Proceedings of IEEE International Conference on Computer Vision，2011:922－928.

［9］Shashua A，Wolf L.Homography tensors:On algebraic entities that represent three views of static or moving planar points［C］//Proceedings of the European Conference on Computer Vision，2000:507－521.

［10］Lu C P，Hager G D，Mjolsness E.Fast and globally convergent pose estimation from video images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22(6):610－622.