劉堅斌，黃敏敏，劉志鋒

在傳統(tǒng)武術(shù)教學(xué)訓(xùn)練中，運(yùn)動技能學(xué)習(xí)可以通過視頻觀察玩家在目標(biāo)運(yùn)動中的行為來促進(jìn)運(yùn)動技能學(xué)習(xí)。視頻觀察動作的最佳視角取決于學(xué)習(xí)的目的。例如，當(dāng)學(xué)習(xí)者想要學(xué)習(xí)球員在足球比賽中如何移動時，鳥瞰視角對觀察最有效，而當(dāng)學(xué)習(xí)者想要知道球員的球控制技術(shù)時，從球員前面的正面角度觀察是更好的。因此，通過視頻觀察來學(xué)習(xí)需要一個視點(diǎn)變化函數(shù)。

近年來，電視體育節(jié)目采用了多視點(diǎn)攝像頭系統(tǒng)［1］，促進(jìn)了電視節(jié)目中視點(diǎn)的平滑切換。另一方面，將多個攝像機(jī)帶到運(yùn)動場上進(jìn)行私人拍攝是困難的。因此，大多數(shù)私人視頻都是用一個攝像機(jī)從一個固定的點(diǎn)拍攝的。本研究的目的是開發(fā)一種方法，從單個圖像中生成玩家（即虛擬玩家）的3D人體模型，從而能夠從任何角度觀察虛擬玩家的行為。使用此方法時，可以產(chǎn)生以下效果：

1）通過使用的單視圖視頻圖像，從最佳角度觀察示范動作的可能性。

2）學(xué)習(xí)者可以從不同的角度來檢查學(xué)習(xí)者自己的行為。自我觀察對運(yùn)動技能學(xué)習(xí)也是有用的。［2］，因此該方法必須通過自我觀察來促進(jìn)學(xué)習(xí)。

3）學(xué)習(xí)者可以從視頻檔案中創(chuàng)建虛擬的3D內(nèi)容運(yùn)動。這意味著，例如，他們可以從穆罕默德面前的一個角度觀看穆罕默德·阿里的射門。一些使用虛擬人類的研究已經(jīng)在計算機(jī)支持系統(tǒng)上進(jìn)行。用于控制虛擬播放器的方法在這些系統(tǒng)中很重要。在［3］中提出的虛擬教育環(huán)境中，虛擬教練由運(yùn)動路徑規(guī)劃算法和反向運(yùn)動學(xué)控制。在［4］中提出的系統(tǒng)顯示虛擬玩家玩橄欖球，以協(xié)助橄欖球的決策學(xué)習(xí)。球員是由使用光學(xué)運(yùn)動捕捉系統(tǒng)從專業(yè)橄欖球運(yùn)動員那里預(yù)先捕獲的運(yùn)動數(shù)據(jù)來控制。雖然大多數(shù)研究對虛擬人使用了特定的運(yùn)動捕捉系統(tǒng)或運(yùn)動生成方法，但本研究采用了一個普通的單個攝像機(jī)，并估計了玩家在二維圖像中的三維位置。

最近推出的RGB－D相機(jī)（如微軟公司的Kinect），價格更便宜，也更容易獲得，促進(jìn)了從單一視圖出發(fā)的3D重建應(yīng)用程序。然而，RGB－D相機(jī)中的深度傳感器對距離測量有嚴(yán)格的限制。因此，人們對利用二維圖像的三維重建進(jìn)行了許多研究。為了從二維圖像中生成三維人體模型，需要對二維圖像進(jìn)行聯(lián)合檢測，并從關(guān)節(jié)的二維坐標(biāo)中進(jìn)行三維坐標(biāo)估計。大多數(shù)關(guān)于人體重建的研究都是通過將三維人體模型擬合到二維圖像［5］［6］上的人體區(qū)域來檢測關(guān)節(jié)和估計三維姿態(tài)。然而，擬合方法生成的人體模型無法觀察玩家之間的三維位置，因為該方法無法獲得玩家之間的互動。在［7］中，利用從攝像機(jī)到真實關(guān)節(jié)的視線上的幾何約束，解決了三維關(guān)節(jié)坐標(biāo)估計的反問題。但是，如果不指定關(guān)節(jié)之間的實際距離，就不可能計算出位置。因此，本研究提出了一種基于圖像射影幾何形狀的計算關(guān)節(jié)與位置之間距離的方法。

作為第一步，本研究以傳統(tǒng)武術(shù)對打作為重建的目標(biāo)，從而開發(fā)了一種三維聯(lián)合坐標(biāo)估計方法，利用傳統(tǒng)武術(shù)對打的先驗信息（例如，傳統(tǒng)武術(shù)演奏的墊子是方形的）。在第一步中，將手動指定二維圖像上的關(guān)節(jié)。近年來的聯(lián)合檢測研究提出了一種基于機(jī)器學(xué)習(xí)［8］［9］的檢測方法。本研究的第二步是利用了該檢測方法。本文描述了在第一步中使用的方法。

1 基于Kinect三維行動重建應(yīng)用步驟

1.1 三維行動重建基礎(chǔ)設(shè)備

我們提出的方法使用拍攝圖像校準(zhǔn)用于拍攝傳統(tǒng)武術(shù)的相機(jī)。練習(xí)傳統(tǒng)武術(shù)的墊子是一個正方形。每邊的長度都是已知的。焦距f是由正方形的兩對平行邊的兩個消失點(diǎn)計算出來的。在這里，使用偏斜0和比例因子1進(jìn)行校準(zhǔn)。為了簡化解釋，本文采用了攝像機(jī)坐標(biāo)系進(jìn)行了三維計算。

圖一 傳統(tǒng)武術(shù)墊子上的方形面積

1.2 三維行動重建比賽場地平面方程

該方法采用墊面方程計算傳統(tǒng)武術(shù)運(yùn)動員的三維坐標(biāo)。因此，利用邊［10］的長度計算了正方形的三個頂點(diǎn)的三維坐標(biāo)。該方法從坐標(biāo)中找到方程。

1.3 三維行動重建人體模型

圖二（左）為該方法中采用的人體模型。該模型有15個關(guān)節(jié)、面部、右腳趾和左腳趾?？偣灿?8個點(diǎn)是要用三維方法計算出來的點(diǎn)。設(shè)（xi、yi、zi）（ui、vi）分別為點(diǎn)的三維坐標(biāo)和圖像上投影的pi的二維坐標(biāo)。在圖像上手動獲得二維坐標(biāo)。坐標(biāo)之間的關(guān)系由

圖二 （左）人體模型和（右）圖像進(jìn)行計算

有17對具有固定距離的點(diǎn)（例如，胸肩－右肩）。讓我們把這兩點(diǎn)之間的線段稱為線段。一般來說，直接測量每個玩家的片段是困難的。因此，該方法計算每個點(diǎn)pi的三維坐標(biāo)作為特定的三維平面和由公式（1）得到的點(diǎn)pi的三維視線的交集（見圖。2（right））。穿過腳底兩側(cè)并垂直于墊子平面的平面（見圖。作為具體的2（右）平面計算點(diǎn)，腳趾除外。對于腳趾，墊子平面被用作特定的三維平面。該段的長度（sk，k＝1，...，17）從這些點(diǎn)的三維坐標(biāo)中獲得2.43D重建點(diǎn)與線段長度之間的關(guān)系方程由

當(dāng)關(guān)節(jié)不發(fā)生閉塞時，k的值為17。用腳趾在墊子平面上的z坐標(biāo)的方程給出了計算除腳趾以外的點(diǎn)的z坐標(biāo)的遞推公式：

其中pi，pj表示sk的端點(diǎn)，是穆爾彭羅斯逆矩陣。腳趾的z坐標(biāo)計算為墊子平面與腳趾的三維視線的交點(diǎn)。對于腳趾位于墊子平面上方的圖像幀，腳趾的z坐標(biāo)由前者和后者的腳趾的兩個z坐標(biāo)估計。采用兩種約束條件，（1）關(guān)節(jié)的可移動范圍和（2）所有關(guān)節(jié)必須存在于墊面上或以上，從多個解中選擇正確的解。最后，圍繞相應(yīng)的部分設(shè)置身體部件模型。

2 實驗評價

在大學(xué)傳統(tǒng)武術(shù)俱樂部的幫助下，拍攝了一場傳統(tǒng)武術(shù)拳擊比賽，并進(jìn)行了3D重建簡單的實驗（見圖三），據(jù)傳統(tǒng)武術(shù)教練說，重建工作的質(zhì)量很好。

圖三 （左）原始傳統(tǒng)武術(shù)拳擊圖像，（中間）從側(cè)面的3D場景，（右）從左側(cè)的觀點(diǎn)的相同的模擬環(huán)境

3 結(jié)論

本研究提出了一種傳統(tǒng)武術(shù)拳擊的半自動三維重建方法。關(guān)節(jié)檢測、腳趾與墊面之間的接觸測定以及被遮擋關(guān)節(jié)的位置估計將有待進(jìn)一步研究。