廖 芳, 史金龍, 龔 肖

(江蘇科技大學(xué) 計算機(jī)學(xué)院, 鎮(zhèn)江 212003)

近年來三維運(yùn)動捕獲技術(shù)日趨成熟, 市場上生成了大量三維運(yùn)動捕獲系統(tǒng), 該技術(shù)被應(yīng)用于動畫制作、影視特效、體育訓(xùn)練、醫(yī)學(xué)仿真等領(lǐng)域之中.

文獻(xiàn)[1–4]提出運(yùn)動捕獲從工作原理來劃分, 主要分為: 機(jī)械式運(yùn)動捕獲、聲學(xué)式運(yùn)動捕獲、電磁式運(yùn)動捕獲、光學(xué)式運(yùn)動捕獲和基于視頻的運(yùn)動捕獲. 文獻(xiàn)[5,6]提出了基于視頻的運(yùn)動捕獲, 將人體模型從視頻序列中分離出來后, 再通過傳統(tǒng)的匹配算法匹配和重建. 該方法對于人體節(jié)點(diǎn)簡易模型進(jìn)行匹配效果較好, 但是對無模型的多點(diǎn)柔性物體效果并不理想. 文獻(xiàn)[7]提出了一種基于稠密的重建方法, 對薄的物體進(jìn)行重建, 效果較為理想, 但是對于稀疏的點(diǎn)狀柔性物體并不適用. 文獻(xiàn)[8]提出了一種基于圖形硬件的點(diǎn)的曲面重構(gòu)和可視化技術(shù), 由于點(diǎn)不能很好地適應(yīng)多邊網(wǎng)格圖形硬件, 所以效果一般且設(shè)備較昂貴. 文獻(xiàn)[9]提出了一種無標(biāo)記的服裝變化運(yùn)動捕獲方法, 該方法基于多目立體視覺原理和多視圖幾何的關(guān)系來恢復(fù)服裝的三維數(shù)據(jù)[10]. 該方法重建效果較好, 但會產(chǎn)生龐大的數(shù)據(jù)量, 因此處理起來極其復(fù)雜.

本文提出了一種基于雙目視覺的點(diǎn)狀特征柔性物體運(yùn)動捕獲方法, 該方法針對傳統(tǒng)的SIFT算法[11,12]對較大的圓點(diǎn)匹配較困難的問題, 提出了一種改進(jìn)的匹配方法. 該方法首先對柔性物體上的點(diǎn)狀特征進(jìn)行匹配, 再進(jìn)行三維重建和時間序列上的匹配, 最終實(shí)現(xiàn)動態(tài)柔性物體的三維運(yùn)動捕獲.

1 特征提取

第一步: 利用DOG方法進(jìn)行角點(diǎn)檢測[13], 如公式(1)所示. 首先利用不同的高斯核對圖像進(jìn)行卷積; 然后再進(jìn)行歸一化處理; 最后獲得高斯差分后的圖像. 經(jīng)過高斯差分后的圖像, 點(diǎn)狀特征的邊緣是暗的, 越靠近圓心越亮, 此結(jié)果表明圓心的灰度值最大.

第二步: 檢測極值獲取點(diǎn)狀特征的圓心初始值. 以3×3的濾波器為例, 對圖像中的每一個點(diǎn)進(jìn)行遍歷, 把這個點(diǎn)與其二維領(lǐng)域其他8個點(diǎn)進(jìn)行比較, 如果其灰度值最大則為極大值, 然而有些極值并不是圓心, 而是圓心鄰域的點(diǎn), 將坐標(biāo)值僅相差一個或兩個像素范圍的定位為同一圓心鄰域的點(diǎn), 再對同一鄰域的點(diǎn)取均值從而獲得精確的圓心.

2 特征匹配

本文對傳統(tǒng)的sift算法進(jìn)行改進(jìn), 采用搜索策略來描述關(guān)鍵點(diǎn). 首先, 經(jīng)過立體標(biāo)定和立體校正后[14,15], 按上節(jié)所述特征提取方法獲取左右兩幅圖像的特征點(diǎn)坐標(biāo); 再分別比較單幅圖像上前后坐標(biāo)值是否重復(fù), 通過取均值剔除掉重復(fù)點(diǎn); 其次, 將左圖像特征點(diǎn)坐標(biāo)在一定像素范圍的窗口上搜索右圖像上相應(yīng)匹配點(diǎn)的坐標(biāo),該窗口可以如下公式(2)的形式表示:

其中, 在第 m 幀的時刻, 左圖像上像素點(diǎn)用 (xi, yi)表示, 右圖像上像素點(diǎn)用 (xj, yj)表示, 若左圖像上的像素坐標(biāo)與右圖像上的像素坐標(biāo)能在給定的閾值σ1×σ2窗口內(nèi), 則分別給左右圖像的匹配點(diǎn)坐標(biāo)一個索引序號,即每個匹配對將有唯一的標(biāo)識; 最后, 通過繪制關(guān)鍵點(diǎn)方法匹配所有點(diǎn)狀特征的圓心, 本文根據(jù)實(shí)驗(yàn)結(jié)果得出結(jié)論, 相比于傳統(tǒng)的SIFT算法[12]和SURF算法[16]對較大的圓點(diǎn)特征提取率極低, 匹配效果不理想, 本文方法大大提高了匹配精準(zhǔn)度.

3 重建

3.1 空間上的重建

世界坐標(biāo)系轉(zhuǎn)換成圖像坐標(biāo)系經(jīng)過了剛體變換和透視投影變換, 而三維重建是該過程的一個逆向操作,因此可以通過圖像坐標(biāo)和投影矩陣反向求解出匹配點(diǎn)的三維空間坐標(biāo). 由于本文是建立在基于雙目立體視覺的基礎(chǔ)上, 所以只需要考慮兩臺攝像機(jī)的相對位置關(guān)系, 如果把左相機(jī)坐標(biāo)系當(dāng)作世界坐標(biāo)系, 則投影矩陣可由公式(3)表示:

其中K為內(nèi)參數(shù)矩陣, R為旋轉(zhuǎn)矩陣, T為平移矩陣.左投影矩陣 P1可以進(jìn)一步分解為 P11, P12, P13, 如公式(4)所示的形式:

由公式(5)可知, 四個方程求解三個未知數(shù), 通過最小二乘法原理求解出的值, 該公式可以簡化為如公式 (6)的形式:

再對A進(jìn)行奇異值分解[17], 則等于矩陣V的最后一列.

3.2 時間上的連續(xù)

對點(diǎn)狀特征柔性物體的運(yùn)動軌跡進(jìn)行時間上的重建, 步驟如下:

第一步, 利用已獲取的當(dāng)前幀圖像的二維坐標(biāo), 在一定像素范圍的小窗口內(nèi)搜尋下一幀相應(yīng)的坐標(biāo), 如公式(7)所示:

第二步, 同理, 在右圖像上找到目標(biāo)點(diǎn)連續(xù)幀內(nèi)的坐標(biāo).

第三步, 將左右圖像時間上連續(xù)的坐標(biāo)進(jìn)行匹配重建, 就可以獲得該點(diǎn)在時間上連續(xù)的空間坐標(biāo).

按PAL標(biāo)準(zhǔn)1 s分為25幀, 所以兩幀之間的時間就是 Δt, 兩幀之間運(yùn)動的距離為 ΔS, 如公式 (8)所示:

因此可以得到目標(biāo)點(diǎn)在兩幀之間運(yùn)動的速率Δv,由公式(9)所示. 同理也可以通過速率求得加速度Δa如公式(10).

4 實(shí)驗(yàn)結(jié)果分析及應(yīng)用

本文進(jìn)行了三組實(shí)驗(yàn)分別針對:布滿點(diǎn)狀特征的白紙、布滿點(diǎn)狀特征的服裝以及畫有點(diǎn)狀特征的人臉,采用兩臺型號為SONY FDR-AX30的高速攝像機(jī)拍攝運(yùn)動視頻, 再經(jīng)過立體標(biāo)定, 立體校正, 特征點(diǎn)匹配, 三維重建等過程, 最終實(shí)現(xiàn)動態(tài)柔性物體的三維運(yùn)動捕獲, 并用Meshlab重建三維空間點(diǎn)效果圖.

4.1 實(shí)驗(yàn)結(jié)果分析

本實(shí)驗(yàn)的實(shí)驗(yàn)對象分別如圖1(a)點(diǎn)狀特征的白紙、圖1(d)點(diǎn)狀特征的服裝、圖1(g)點(diǎn)狀特征的人臉?biāo)? 圖1(b)、圖1(e)和圖1(h)是重建結(jié)果的正視圖, 圖1(c)、圖1(f)和圖1(i)是相應(yīng)的側(cè)視圖. 經(jīng)分析圖片可以清晰地看到柔性物體表面的點(diǎn)狀特征在某一時刻的三維空間位置被精準(zhǔn)地重建出來, 因此說明本文對于點(diǎn)狀柔性物體的三維運(yùn)動捕獲方法效果比較理想.

圖1 三維重建效果圖

本實(shí)驗(yàn)將DOG方法與最小二乘法擬合橢圓的方法[18]作比較. 圖2為DOG角點(diǎn)檢測圖, 圖3為橢圓擬合的結(jié)果, 圓中亮點(diǎn)為特征點(diǎn)圓心位置; 圖4為圖3中右下角某點(diǎn)狀特征放大圖. 首先, 因?yàn)镈OG獲得的是與特征點(diǎn)相同的圓, 而橢圓擬合獲取的是與特征點(diǎn)類似的橢圓, 所以DOG方法獲得的圓心理論上更接近精準(zhǔn)圓心位置. 其次, 圖4中灰色的點(diǎn)為DOG方法獲得的圓心位置, 黑色的點(diǎn)為橢圓擬合方法獲得的圓心位置, 圖中黑色的點(diǎn)偏離了灰色點(diǎn), 并且不在圓內(nèi)的灰色點(diǎn)則為橢圓擬合沒有檢測到的圓心位置, 此結(jié)果表明DOG獲取的特征點(diǎn)位置更加精準(zhǔn).

圖2 DOG 角點(diǎn)檢測

本文通過DOG方法檢測特征點(diǎn), 再對檢測到的特征點(diǎn)運(yùn)用搜索策略進(jìn)行特征匹配. 如圖5(a)是在經(jīng)過DOG檢測特征點(diǎn)后, 利用搜索策略進(jìn)行特征匹配的效果圖. 本文不僅給出了搜索策略的匹配效果圖, 還對sift算法和surf算法進(jìn)行了實(shí)驗(yàn), 圖5(b)和圖5(c)分別是兩方法的匹配效果圖, 經(jīng)過對實(shí)驗(yàn)結(jié)果的比對, 發(fā)現(xiàn)本文的匹配方法更加理想和精準(zhǔn), 說明了本文方法對于較大的點(diǎn)狀特征提取率高且匹配更加精準(zhǔn).

圖3 橢圓擬合獲取特征點(diǎn)

圖4 圓心坐標(biāo)比對效果圖

如圖6所示, 是白紙上9個點(diǎn)在連續(xù)15幀內(nèi)的運(yùn)動軌跡. 圖6(a)是在柔性物體上選取9個目標(biāo)點(diǎn)并進(jìn)行標(biāo)注, 圖6(b)是這9個點(diǎn)在15幀內(nèi)的運(yùn)動軌跡正視圖, 圖6(c)是相應(yīng)的俯視圖. 從圖6(b)和圖6(c)可看出, 圖7的目標(biāo)點(diǎn)是在進(jìn)行前后運(yùn)動的, 個別點(diǎn)運(yùn)動的幅度大, 個別運(yùn)動的幅度小. 總體上是在進(jìn)行前后運(yùn)動的趨勢, 實(shí)現(xiàn)了目標(biāo)點(diǎn)在時間上運(yùn)動軌跡的重建.

圖5 特征點(diǎn)檢測與匹配效果圖

假設(shè)某點(diǎn)的三維空間坐標(biāo)為 (X, Y, Z), 如表1 所示是圖6(a)中1號點(diǎn)的前5幀空間坐標(biāo). 表2是對應(yīng)的速度和加速度數(shù)據(jù). 從表格中的數(shù)據(jù)可以看出該點(diǎn)前五幀的運(yùn)動趨勢是先加速再減速, 即可以預(yù)測該點(diǎn)處于在前后抖動的運(yùn)動趨勢.

4.2 人臉表情應(yīng)用

本實(shí)驗(yàn)對畫有點(diǎn)狀特征的人臉進(jìn)行三維運(yùn)動捕獲,重建結(jié)果如圖1(h), 1(i)所示. 本實(shí)驗(yàn)通過計算點(diǎn)的速度、加速度分析點(diǎn)的運(yùn)動趨勢.

如圖7所示, 本文用黑色箭頭表示第一幀到最后一幀的運(yùn)動趨勢. 圖7(a)是人臉做出微笑表情時點(diǎn)的運(yùn)動趨勢, 如圖所示微笑的時候嘴唇和臉頰周圍的點(diǎn)呈上升趨勢, 而鼻子額頭上的點(diǎn)呈下降趨勢. 圖7(b)是人臉做出大笑表情時點(diǎn)的運(yùn)動趨勢, 如圖所示上嘴唇、臉頰、鼻子、額頭上的點(diǎn)都呈上升趨勢, 而只有下嘴唇和下巴上的點(diǎn)呈下降趨勢. 圖7(c)是人臉做出驚訝的表情, 如圖所示唇部與大笑表情幾乎一樣的運(yùn)動趨勢, 但是有一個很大的區(qū)別就是兩嘴角卻是向內(nèi)收斂的運(yùn)動趨勢. 圖7(d)是人臉做出憤怒的表情, 如圖所示與其他表情不一樣, 該圖中臉部的點(diǎn)都在做呈向上運(yùn)動的趨勢, 上下嘴唇中間點(diǎn), 先向下運(yùn)動再向上運(yùn)動回到原點(diǎn).

圖6 目標(biāo)點(diǎn)連續(xù) 15 幀空間運(yùn)動軌跡

圖7 人臉表情上點(diǎn)運(yùn)動趨勢圖

表1 1號點(diǎn)的前五幀坐標(biāo) (單位: mm)

表2 1 號點(diǎn)前五幀的速度和加速度

在圖7人臉數(shù)據(jù)中選取上嘴唇中間點(diǎn)和下嘴唇中間點(diǎn), 分別用up和down表示. 表3記錄了這兩個點(diǎn)在圖7所示四種表情的首. v_end, a_start, a_end 分別代表特征點(diǎn)首幀速度, 尾幀速度, 首幀加速度, 尾幀加速度.如表3所示, 圖7(b)的速度值比圖7(a)大, 加速值比其小, 說明人在大笑時唇部肌肉運(yùn)動的速度比微笑時快,但速度的變化比微笑時慢, 從而表明了人大笑時面部表情比微笑時保持得更久; 圖7(c)的速度值比圖7(b)大, 加速度值比其大, 說明人在驚訝時唇部肌肉運(yùn)動速度比大笑時快, 而且速度變化得快, 從而表明了這個表情在一瞬間產(chǎn)生; 圖7(d)的速度值均偏小, 說明人在生氣時, 唇部肌肉運(yùn)動的速度慢, a_up的值較大表明上嘴唇上方的肌肉運(yùn)動速度變化較快, a_down的值為負(fù)數(shù)說明下嘴唇下方的肌肉從開始時運(yùn)動很快又立即變慢.

表3 點(diǎn) up 和 down 速度加速度

5 結(jié)論

本文提出了一種實(shí)用的基于點(diǎn)狀特征的柔性物體運(yùn)動捕獲方法. 實(shí)驗(yàn)結(jié)果顯示, DOG方法比橢圓擬合方法獲取特征點(diǎn)的位置更加精準(zhǔn); 采用搜索策略實(shí)現(xiàn)匹配, 相比傳統(tǒng)的SIFT算法, SURF算法大大提高了匹配精準(zhǔn)度. 此外, 在三維重建的基礎(chǔ)上進(jìn)行擴(kuò)充, 增加時間序列上的匹配, 從而實(shí)現(xiàn)動態(tài)柔性物體的三維運(yùn)動捕獲, 其次通過分析速度、加速度等數(shù)據(jù)來應(yīng)用到人臉表情分析, 為后期用動態(tài)數(shù)據(jù)驅(qū)動靜態(tài)圖像打下基礎(chǔ).