許 靜

(呼倫貝爾學(xué)院 音樂(lè)與舞蹈學(xué)院，內(nèi)蒙古 呼倫貝爾 021008)

數(shù)字信息技術(shù)在上個(gè)世紀(jì)末期飛速成長(zhǎng)，獲得了非常大的進(jìn)步和發(fā)展[1]。計(jì)算機(jī)技術(shù)的蓬勃發(fā)展，使得社會(huì)生活的許多領(lǐng)域發(fā)生了翻天覆地的變化?；谌藱C(jī)交互的前沿科技獲得了廣泛關(guān)注，許多研究者又將“計(jì)算機(jī)視覺(jué)”當(dāng)做人機(jī)交互的突破點(diǎn)來(lái)開(kāi)展研究，為實(shí)現(xiàn)計(jì)算機(jī)自動(dòng)化、智能化而努力著。隨著計(jì)算機(jī)技術(shù)的發(fā)展，基于人的立體視覺(jué)技術(shù)在生活中的應(yīng)用也取得了質(zhì)的飛躍，這也給現(xiàn)實(shí)生活增添了許多的樂(lè)趣和無(wú)限可能。

人類對(duì)于音樂(lè)的追求是相通的，從遠(yuǎn)古時(shí)代簡(jiǎn)單的敲擊產(chǎn)生音樂(lè)，到新時(shí)代各種樂(lè)器層出不窮，音樂(lè)起到了非常重要的紐帶作用。鋼琴作為樂(lè)器中的“樂(lè)器之王”，從一誕生就受到人們的喜愛(ài)，然而由于其高昂的價(jià)格以及復(fù)雜的結(jié)構(gòu)，一直未能在平常百姓家庭得到推廣。

然而，隨之高新技術(shù)的蓬勃發(fā)展，基于雙目立體視覺(jué)的虛擬鋼琴獲得了研發(fā)，取得了非常大的進(jìn)展，國(guó)際上一些科技發(fā)達(dá)的國(guó)家在本世紀(jì)初便開(kāi)始進(jìn)行了研發(fā)，這項(xiàng)技術(shù)在國(guó)內(nèi)同樣得到傳播和不斷研發(fā)推進(jìn)。通過(guò)雙眼立體視覺(jué)從而將虛擬鋼琴引入千家萬(wàn)戶，一方面是對(duì)計(jì)算機(jī)視覺(jué)技術(shù)的推進(jìn)，另外一方面也極大的促進(jìn)了計(jì)算機(jī)技術(shù)和鋼琴的融合發(fā)展。本文對(duì)計(jì)算機(jī)雙目立體視覺(jué)技術(shù)和虛擬鋼琴進(jìn)行了系統(tǒng)研究，包括計(jì)算機(jī)雙目立體視覺(jué)技術(shù)和虛擬鋼琴的研究現(xiàn)狀，同時(shí)基于立體視覺(jué)技術(shù)設(shè)計(jì)了簡(jiǎn)單的虛擬鋼琴，以期將雙目立體視覺(jué)在虛擬鋼琴中得到應(yīng)用，并提供一定的理論參考。

1 雙目立體視覺(jué)技術(shù)概述

眼睛是心靈的窗戶，作為非常重要的感覺(jué)器官，人們通過(guò)眼睛獲得外部信息是一種非常有效的方法[2]。人眼需要通過(guò)視網(wǎng)膜接受外界的光而形成圖像，然后將形成的圖像傳到視覺(jué)中樞，形成一種印象，再傳到大腦，形成感知。從計(jì)算機(jī)誕生以來(lái)，如何將計(jì)算機(jī)與人體器官進(jìn)行緊密結(jié)合成為了許多研究者的研究方向和研究重點(diǎn)。“機(jī)器視覺(jué)”是研發(fā)者最為關(guān)注的一個(gè)領(lǐng)域。

將機(jī)器變成類似人類擁有相關(guān)視覺(jué)一直是研究者追求的目標(biāo)，并且最終完成機(jī)器二維圖像與三維場(chǎng)景的轉(zhuǎn)換。

計(jì)算機(jī)視覺(jué)從20世紀(jì)60年代由美國(guó)MIT的Robert教授首先提出[3]。從這之后，經(jīng)過(guò)Huffinan、Clows、Waltz等人的不斷研究，計(jì)算機(jī)視覺(jué)技術(shù)日趨發(fā)展成熟。尤其是MIT的Marr教授在本世紀(jì)初創(chuàng)立了視覺(jué)理論體系,這有力的推動(dòng)了計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展。

雙眼立體視覺(jué)是計(jì)算機(jī)視覺(jué)技術(shù)中很關(guān)鍵的一項(xiàng)技術(shù)，雙目立體視覺(jué)(Binocular Stereo Vision)是一種重要的機(jī)器視覺(jué)形式，雙眼立體視覺(jué)技術(shù)是利用視差原理同時(shí)利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過(guò)計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來(lái)獲取物體三維幾何信息的方法。雙目立體視覺(jué)的實(shí)現(xiàn)過(guò)程一共分為六個(gè)主要部分：圖像采集、攝像機(jī)標(biāo)定、特征提取、立體匹配、深度計(jì)算以及內(nèi)插重建[4]，時(shí)差求取是雙目立體視覺(jué)技術(shù)的核心。雙目立體視覺(jué)具有操作簡(jiǎn)單可靠、可操作性強(qiáng)等優(yōu)點(diǎn)而被人們廣泛的接受和應(yīng)用[5]。雖然雙目立體視覺(jué)還需要進(jìn)一步的完善，但是在航天科工、建筑、測(cè)量檢測(cè)方面發(fā)揮著非同一般的作用。

2 虛擬按鍵概述

探索音樂(lè)的本質(zhì)，是人們一直在追求的音樂(lè)方面的高尚追求，素質(zhì)音樂(lè)也是素質(zhì)教育中的重要的一個(gè)方面，音樂(lè)不僅是聲音的藝術(shù)也是情感和時(shí)間的藝術(shù)[6]。

鋼琴作為一種非常古典的鍵盤樂(lè)器，被認(rèn)為稱為“樂(lè)器之王”。一架鋼琴包含88個(gè)黑白琴鍵，鋼琴聲音是通過(guò)琴鍵牽引琴箱里面的小木槌，然后小木槌通過(guò)和鋼絲弦接觸震動(dòng)產(chǎn)生聲音。隨著人們對(duì)于音樂(lè)的不斷追求，鋼琴成為了一種非常受歡迎的樂(lè)器。但是因?yàn)殇撉俚母甙簝r(jià)格和巨大體積，嚴(yán)重影響鋼琴的推廣。在對(duì)鋼琴如此急迫的市場(chǎng)需求下，虛擬鋼琴應(yīng)運(yùn)而生。

從20世紀(jì)90年代，通信技術(shù)伴隨著計(jì)算機(jī)技術(shù)的日新月異發(fā)展，基于傳統(tǒng)人機(jī)交互技術(shù)研制的產(chǎn)品在實(shí)際生活中受到很大的局限，因此虛擬現(xiàn)實(shí)技術(shù)[7]開(kāi)創(chuàng)了一個(gè)人機(jī)交互的新時(shí)代?；谔摂M鍵盤從最初的直接佩戴到逐漸的非直接接觸是技術(shù)上的一個(gè)飛躍，目前虛擬鍵盤主要是通過(guò)單攝像頭和基于雙目識(shí)別類進(jìn)行圖像跟蹤。

通過(guò)單目進(jìn)行鍵盤的虛擬化是通過(guò)紅外光源來(lái)檢測(cè)手指的狀態(tài)，以進(jìn)行目標(biāo)按鍵的判斷。該種方法所形成的虛擬鍵盤具有操作簡(jiǎn)單、結(jié)構(gòu)單一、準(zhǔn)確率低等特點(diǎn)。例如，當(dāng)光源較為強(qiáng)烈時(shí)，手指形成透亮光斑，這樣便不能準(zhǔn)確的判斷目標(biāo)物的位置。而且在使用虛擬鍵盤的時(shí)候會(huì)給人們的身體造成一定的傷害。相反的，基于雙目視覺(jué)技術(shù)的虛擬鍵盤，客服上上述缺點(diǎn)，并且可以快速的定位目標(biāo)位置，從而快速而準(zhǔn)確的進(jìn)行目標(biāo)識(shí)別。同時(shí)利用雙眼立體視覺(jué)技術(shù)受外部環(huán)境的影響很小，具有明顯的優(yōu)勢(shì)。

3 基于雙目立體視覺(jué)技術(shù)在虛擬鋼琴中應(yīng)用

3.1 研究現(xiàn)狀

如前文所述，雙目立體視覺(jué)技術(shù)是由MIT的Roberts教授在20世紀(jì)中葉首次提出，他將簡(jiǎn)單的多面體從數(shù)字圖像中精確的提取出來(lái)，完成了圖像二維化和場(chǎng)景三維化的過(guò)渡。隨著關(guān)于該技術(shù)的研究不斷深入發(fā)展，雙目立體視覺(jué)由簡(jiǎn)單特征向復(fù)雜幾何要素轉(zhuǎn)變。20世紀(jì)70年代末期，雙目立體視覺(jué)進(jìn)入了發(fā)展的快車道，Marr首次將該技術(shù)與神經(jīng)生理學(xué)等學(xué)科結(jié)合起來(lái)，這使得雙目立體視覺(jué)技術(shù)更加廣泛的被關(guān)注和被接受。

歐美日本等發(fā)達(dá)國(guó)家對(duì)該鄰域的研究較早，成果也比較豐富。計(jì)算機(jī)視覺(jué)逐漸趨向于實(shí)際應(yīng)用方向。立體視覺(jué)技術(shù)向著“人工智能”方向發(fā)展和努力。雙目立體視覺(jué)技術(shù)發(fā)展的目標(biāo)有以下2個(gè)：(1)著力創(chuàng)建具備強(qiáng)大功能的雙目視覺(jué)體系。(2)實(shí)現(xiàn)基于雙目立體視覺(jué)的計(jì)算模型。

在基于計(jì)算機(jī)視覺(jué)技術(shù)的研究中，雙目立體視覺(jué)技術(shù)期望通過(guò)利用攝像頭來(lái)模仿人類的眼睛，然后利用攝像頭采集得到的二維圖像對(duì)物體的三維形狀進(jìn)行重建，從而精確的定位物體的位置，最終確定其作為計(jì)算機(jī)重構(gòu)物體的目標(biāo)[8]?，F(xiàn)實(shí)生活中有許多這樣的例子，比如 3D 電影，3D電影利用雙目立體視覺(jué)原理，通過(guò)2個(gè)攝像機(jī)的不同角度拍攝，獲得成片，當(dāng)電影放映時(shí)，屏幕上的圖像由2個(gè)攝像機(jī)投放，利用偏振光原理，使得人類的雙眼觀察到不同角度的景象，形成一種具有三維感覺(jué)和圖像的影像。

Du[9]等人利用三維光學(xué)測(cè)距技術(shù)設(shè)計(jì)了一套虛擬鍵盤。這套設(shè)備由2個(gè)攝像頭、1部PC機(jī)及1套投影儀組成，攝像頭主要是為了測(cè)距而設(shè)置的。該系統(tǒng)通過(guò)USB2.0接口連接到攝像頭和PC機(jī)，利用自主研發(fā)的三維測(cè)距算法，將手敲鍵盤這一過(guò)程進(jìn)行了虛擬化。由于作者采集的圖像分辨率較低，圖像較模糊，因此該系統(tǒng)存在較大的誤差。經(jīng)過(guò)一系列的優(yōu)化處理，如算法的改進(jìn)，作者通過(guò)將多層次特征匹配引入人手識(shí)別的過(guò)程中，達(dá)到了非常好的改善效果。但是該方法依舊存在效率低和成本高等問(wèn)題亟需解決。

Malik等研發(fā)出了一套視覺(jué)觸摸板[10]，該系統(tǒng)設(shè)計(jì)相對(duì)簡(jiǎn)單，創(chuàng)新之處在于該系統(tǒng)含有2個(gè)攝像頭，這2個(gè)攝像頭是建立三維視覺(jué)模型的基礎(chǔ)，可以對(duì)手勢(shì)進(jìn)行準(zhǔn)確的定位和跟蹤。

該系統(tǒng)的活動(dòng)區(qū)域由四個(gè)頂點(diǎn)包圍，這四個(gè)頂點(diǎn)與計(jì)算機(jī)的點(diǎn)一一對(duì)應(yīng)。利用該系統(tǒng)進(jìn)行的動(dòng)作只能是一些相對(duì)簡(jiǎn)單的動(dòng)作，諸如點(diǎn)擊、指壓等動(dòng)作。利用該系統(tǒng)對(duì)手勢(shì)動(dòng)作識(shí)別依舊存在跟蹤識(shí)別誤差大、識(shí)別效果差等缺點(diǎn)。

Hernanto[11]等摒棄了傳統(tǒng)的攝像頭，通過(guò)采用網(wǎng)絡(luò)攝像頭來(lái)實(shí)現(xiàn)虛擬鍵盤的按鍵功能。在顏色模塊，作者轉(zhuǎn)化思路，將YCC顏色模式引入系統(tǒng)，并將顏色模塊進(jìn)行分割處理。系統(tǒng)中攝像頭位置不同，一個(gè)攝像頭位置較低，主要是為了記錄試驗(yàn)者的擊鍵動(dòng)作，而另外一個(gè)網(wǎng)絡(luò)攝像頭位置較高，主要是為了記錄指尖坐標(biāo)的鍵盤區(qū)域，最后通過(guò)兩個(gè)攝像頭綜合記錄的結(jié)果來(lái)確定目標(biāo)按鍵。但是利用這種方法依舊存在著噪聲干擾等問(wèn)題，另外，鍵盤按鍵時(shí)反應(yīng)較滯后，需要進(jìn)一步進(jìn)行改善。

3.2 算法的改進(jìn)與完善

(1)局部立體匹配算法

局部立體匹配算法是一種利用將局部細(xì)節(jié)進(jìn)行優(yōu)化的視差值估計(jì)方法，這種算法通過(guò)選擇鄰域中的最佳像素為依據(jù)。和全局匹配算法相同的地方在于局部立體匹配同樣是基于能量最小化來(lái)對(duì)視差進(jìn)行評(píng)估。局部匹配算法由于局部細(xì)節(jié)的掌握因而計(jì)算所得的視察估計(jì)也具有局部性等特點(diǎn)。

平方差和SSD (Sum of Squared differences)，絕對(duì)差和 SAD (Sum of Absolute Differences)，歸一化互相關(guān) NCC (Normalized Cross Correlation)均屬于局部立體匹配算法[12]；而比較新型的局部立體算法有自適應(yīng)窗口算法(Adaptive Window)和自適應(yīng)權(quán)重算法 (Adaptive Weight)[13]。

(2)全局立體匹配算法

相對(duì)應(yīng)的，全局立體匹配算法通過(guò)對(duì)全局的進(jìn)行優(yōu)化理論方法估計(jì)視差。全局立體匹配算法具有計(jì)算結(jié)果準(zhǔn)確等優(yōu)點(diǎn)，但是也存在計(jì)算復(fù)雜等缺點(diǎn)。在一些較為復(fù)雜場(chǎng)景中，利用全局立體算法獲得的結(jié)果匹配性不高。

目前主要的全局立體匹配算法有圖割GC (graph cuts)算法和置信傳播BP(beliefpropagation)算法。

4 基于雙目立體視覺(jué)技術(shù)設(shè)計(jì)虛擬鋼琴

4.1 虛擬鋼琴設(shè)計(jì)的系統(tǒng)框架

本工作采用以下的設(shè)計(jì)流程，系統(tǒng)框架見(jiàn)圖1。整個(gè)虛擬鋼琴系統(tǒng)分為6部分：分別是離線獲取琴鍵位置、圖像分割、指尖檢測(cè)、計(jì)算指尖深度、求取目標(biāo)琴鍵、實(shí)現(xiàn)鋼琴功能。

圖1 系統(tǒng)框架圖

4.2 硬件選擇

基于雙目立體視覺(jué)技術(shù)設(shè)計(jì)虛擬鋼琴所需硬件包括：一臺(tái)PC機(jī)、兩個(gè)規(guī)格型號(hào)完全一樣的CMOS攝像頭以及自制的紙質(zhì)鋼琴鍵盤。首先兩個(gè)規(guī)格型號(hào)相同的CMOS攝像頭按照適當(dāng)?shù)木嚯x平行放置，然后將紙版鋼琴鍵盤放在貼在位于攝像頭垂直下方的一塊薄板上，通過(guò) USB2.0 數(shù)據(jù)線將兩個(gè)攝像頭與PC機(jī)進(jìn)行連接，從而在計(jì)算機(jī)上讀出鋼琴鍵盤圖像。特別注意的是兩個(gè)參數(shù)一致的攝像頭都是正常拍攝紙質(zhì)鋼琴同時(shí)確保琴鍵上的基點(diǎn)縱向一致。

4.3 離線獲取琴鍵位置

相對(duì)于兩個(gè)參數(shù)一致的攝像頭，紙版鍵盤位置是固定不變的，因此攝像頭獲取琴鍵的二維圖像不發(fā)生改變。為了更加準(zhǔn)確的定位琴鍵的位置，本文通過(guò)離線模式進(jìn)行琴鍵的位置確定，并制定模型，然后將這個(gè)模型進(jìn)行保存，以備使用。

為了在設(shè)計(jì)中減少計(jì)算量同時(shí)提高計(jì)算的準(zhǔn)確性，本文將鍵盤中的白鍵設(shè)定為封閉的圖像，這是黑鍵成為了相對(duì)參考物，通過(guò)白健與黑鍵的位置來(lái)間接的對(duì)其定位。圖2為鋼琴鍵盤示意圖。

圖2 鋼琴鍵盤示意圖

我們首先將拍攝到的圖像進(jìn)行預(yù)處理，圖3為圖像預(yù)處理流程圖，所拍攝圖像通過(guò)灰度化處理、高斯濾波降噪、Canny邊緣檢測(cè)、膨脹處理最終獲得拍攝圖像的邊緣圖像。具體操作過(guò)程在這里不再一一贅述。

基于上述圖像預(yù)處理后，我們通過(guò)利用OpenCV 進(jìn)行鍵盤的輪廓確定，通過(guò)左下頂點(diǎn)和其對(duì)角頂點(diǎn)確定了黑鍵的位置。然后將鋼琴鍵盤整體圖像的邊緣進(jìn)行定位，確定了白鍵的輪廓區(qū)域。基于上述操作和計(jì)算法則，我們精確的獲得了鋼琴鍵盤以及各琴鍵的位置區(qū)域。最后將這些區(qū)域進(jìn)行存儲(chǔ)。

4.4 圖像分割

在本文中，圖像分割是為了將人手像素從圖像中獨(dú)立出來(lái)。這就需要進(jìn)行膚色檢測(cè)。由于膚色檢測(cè)容易受到光照的影響，所以在不同光照條件下，膚色檢測(cè)的準(zhǔn)確性受到干擾。

我們通過(guò)利用橢圓模型膚色檢測(cè)算法來(lái)進(jìn)行圖像分割，以獲得人手前景圖。利用YCbCr 顏色模式構(gòu)造新的顏色空間。由于橢圓膚色模型具有分離性好、穩(wěn)定性高等優(yōu)點(diǎn)，因此本工作引入橢圓膚色模型進(jìn)行膚色檢測(cè)和模型確定。

基于上述原理，本文使用C+OpenCV進(jìn)行膚色計(jì)算，所用分算法為橢圓膚色模型檢測(cè)算法，實(shí)現(xiàn)了人手從圖像中的獨(dú)立。具體算法流程如圖4所示。

圖4 算法流程圖

4.5 指尖檢測(cè)

基于上述算法而得到手指的前景圖，下一步就是精確定位指尖的位置，這樣才可以快速的計(jì)算出指尖的三維深度，進(jìn)而判斷手指的狀態(tài)。本工作應(yīng)用K曲率算法和K向量算法結(jié)合的算法進(jìn)行指尖檢測(cè)，所用算法如圖5所示。

圖5 指尖算法流程圖

4.6 虛擬琴鍵的識(shí)別

虛擬琴鍵識(shí)別需要進(jìn)行以下三個(gè)步驟：

第一，通過(guò)兩個(gè)參數(shù)完全相同的攝像頭拍攝獲得圖像，根據(jù)上述介紹的離線模式確定出鍵盤的位置。

第二，基于該系統(tǒng)的硬件結(jié)構(gòu)，判斷手指是否按在了紙質(zhì)鋼琴上。通過(guò)式1計(jì)算出指尖深度L，通過(guò)指尖深度來(lái)準(zhǔn)確判斷手指的位置。

(1)

若通過(guò)上述計(jì)算結(jié)果并非理想狀態(tài)，可以進(jìn)行適當(dāng)調(diào)整。

第3，準(zhǔn)確判定手指和琴鍵的匹配。通過(guò)第二步判斷結(jié)果可以確定手指在琴鍵上，本文通過(guò)Open CV中的函數(shù)來(lái)確定手指和白黑琴鍵的對(duì)應(yīng)匹配關(guān)系。

綜上所述，我們將琴鍵識(shí)別流程圖示于圖6。

圖6 琴鍵識(shí)別流程圖

5 結(jié)語(yǔ)

本文對(duì)雙目立體視覺(jué)以及虛擬鍵盤進(jìn)行了總結(jié)，同時(shí)給出了雙目立體視覺(jué)技術(shù)在虛擬鋼琴中的應(yīng)用現(xiàn)狀，最后基于雙目立體視覺(jué)技術(shù)設(shè)計(jì)了一套簡(jiǎn)易的虛擬鋼琴系統(tǒng)。