孫連山， 王今雨

(陜西科技大學電氣與信息工程學院, 陜西 西安 710021)

0 引 言

虛擬翻書系統(tǒng)是虛擬現(xiàn)實技術(Virtual Reality，VR)[1]及基于計算機視覺的手勢識別技術[2]的一種具體應用.虛擬翻書系統(tǒng)采用基于Flash的電子書封裝豐富的文字、視頻和音頻素材，配合基于視頻分析或紅外遮擋檢測的智能手勢運動識別引擎，響應用戶手勢翻動電子書，為用戶帶來與翻閱實體書相類似的體驗，被廣泛地應用于各種現(xiàn)代展館當中[3].但現(xiàn)有相關研究側重于實現(xiàn)復雜的手勢識別算法[4]，而沒有從軟件工程的角度系統(tǒng)地研究虛擬翻書系統(tǒng)的構造問題.本文從軟件工程的視角考察基于視頻分析的虛擬翻書系統(tǒng)的構造問題，在分析虛擬翻書系統(tǒng)的功能需求和質量屬性需求的基礎上，設計了一種開放的參考軟件體系結構，允許用戶定制簡單、高效的動作識別算法、靈活地設置觀測區(qū)域、調整手勢動作和翻書行為語義之間的映射并且區(qū)分不同的動作監(jiān)測狀態(tài)，在保證實時性的前提下避免了讀者偶然動作造成的誤翻.

1 需求分析

分析現(xiàn)有的虛擬翻書系統(tǒng)，不難發(fā)現(xiàn)，其初衷是為用戶提供通過手勢動作操縱電子書的能力，模仿用戶閱讀實體書的過程，提升用戶的沉浸感和交互感.

首先，現(xiàn)有的虛擬翻書系統(tǒng)大都實現(xiàn)了3個基本功能：(1)向讀者展示電子書的當前頁面，供讀者閱讀；(2)偵測讀者揮手動作，將電子書翻到下一頁；(3)偵測讀者揮手動作，將電子書翻到前一頁.

其次，虛擬翻書系統(tǒng)畢竟是一種信息技術的應用，它模擬真實場景，但又具有高于真實場景的一些靈活性.如虛擬翻書無需模擬真實翻書的全過程，只要用戶做出翻書的有效指令，系統(tǒng)就會幫助用戶自動完成翻書動作，降低用戶的操縱負擔.虛擬翻書系統(tǒng)中具有信息技術特色的功能有：(1)管理員可選擇在展臺中展示的電子書；(2)系統(tǒng)捕獲讀者翻書意圖，自動補完翻書動作，實現(xiàn)各種翻書效果；(3)自動循環(huán)播放電子書內容；(4)定位讀者手指點，模擬鼠標點擊，實現(xiàn)類似通用計算機軟件應用的復雜和多樣的人機交互.事實上，功能(4)對讀者的操作提出了附加的要求，降低了閱讀的沉浸感.在實現(xiàn)功能(4)的系統(tǒng)中，為激活鼠標點擊操作，讀者必須在特定區(qū)域停留一段時間.

第三，虛擬翻書系統(tǒng)必須實現(xiàn)如下幾個質量屬性需求[5]：(1)實時性，即必須實時識別并響應讀者的動作，完成翻書操作，提升閱讀的沉浸感和交互感；(2)準確性，必須準確地判定讀者手勢的語義，防止無響應或過度響應造成的抖動等現(xiàn)象；(3)擬真性，盡可能只要求讀者遵守真實的翻書習慣，不設置額外的限制和要求；(4)可定制性，虛擬翻書系統(tǒng)可能需要適應不同的展臺設備以及視頻捕捉設備，由各種不同類型的讀者使用，如兒童、殘疾人等.

2 體系結構設計

軟件體系結構是軟件系統(tǒng)的高層藍圖，是凝結軟件開發(fā)早期關鍵決策的制品.軟件體系結構往往用于在軟件開發(fā)早期分析和評價系統(tǒng)的質量屬性，如性能、安全、可靠性等[6].本節(jié)首先給出虛擬翻書系統(tǒng)的總體架構，然后重點探討其中的行為識別子系統(tǒng)的體系結構.

2.1 總體架構

圖1 虛擬翻書系統(tǒng)高層軟件體系結構圖

人的運動可分為3個層次[8]：動作、行為和行動.動作是運動的基元，是最基本的運動，是形成其他復雜、 高級運動的基礎，如讀者的手或身體的移動.而行為則是一系列動作的集合，能夠清晰地表示人的主觀性和目的性，如讀者的手在某個方向上持續(xù)移動，形成揮手的行為.我們將虛擬翻書系統(tǒng)劃分為如圖1所示的6個子系統(tǒng).圖1采用UML2.0[7]的符號體系建模.

電子書展示子系統(tǒng)負責為讀者展現(xiàn)豐富的視音頻及文字材料，需要能夠屏蔽不同類型展示設備的異構性以及不同電子書操縱模式的差異，為行為實施子系統(tǒng)根據(jù)讀者的行為操縱電子書提供規(guī)范的編程接口,如向前后翻頁等.

視頻捕獲子系統(tǒng)負責管理視頻監(jiān)控設備，接收、整理、存儲來自指定監(jiān)控通道的視頻數(shù)據(jù).特別地，在通用的虛擬翻書系統(tǒng)中，視頻捕獲子系統(tǒng)需要能夠屏蔽不同類型視頻監(jiān)控設備的異構性.

動作識別子系統(tǒng)負責分析捕獲的視頻幀序列，分析讀者的動作軌跡，為根據(jù)讀者動作所在區(qū)域、持續(xù)時間、運動方向和規(guī)律分析讀者的行為語義奠定基礎.動作識別子系統(tǒng)需要為視頻捕獲系統(tǒng)提供統(tǒng)一的編程接口，響應視頻幀捕獲事件.由于視頻幀往往以固定的時間間隔到達，因此動作識別子系統(tǒng)必須滿足一定的實時性需要，在下一個視頻幀到達之前完成對當前視頻幀的分析和處理.事實上，基于計算機視覺的人體運動識別問題是計算機視覺領域中的一個熱點領域，且已經(jīng)得到了廣泛的關注，并產(chǎn)生了大量的成果[2].在虛擬翻書系統(tǒng)中，識別讀者的揮手動作,甚至確定讀者的指尖位置、手勢等問題均存在較為成熟的算法[4].本文的目標不是研究更復雜的動作識別算法，而是對現(xiàn)有算法進行集成和應用，提升虛擬翻書的效果.在實現(xiàn)中，我們根據(jù)視頻監(jiān)控區(qū)域背景的性質，采用兩種類型的算法捕獲運動目標.在靜態(tài)背景條件下，采用背景差分方法得到運動目標的位置和輪廓[9,10].在動態(tài)背景條件下，采用幀間差分方法得到運動目標的位置和輪廓.

行為識別子系統(tǒng)也是虛擬翻書系統(tǒng)的核心模塊之一，它接收來自動作識別子系統(tǒng)的一系列動作數(shù)據(jù)，對其進行整合、分析，抽取出能夠表達讀者意圖的行為，作為行為實施子系統(tǒng)執(zhí)行各種翻書動作的依據(jù).行為識別子系統(tǒng)須根據(jù)既定的行為語義規(guī)約，分析讀者動作所在區(qū)域、持續(xù)時間、運動方向和規(guī)律，確定讀者的意圖.

行為實施子系統(tǒng)根據(jù)抽取出來的行為語義執(zhí)行具體的翻書動作，如前翻一頁、后翻一頁、前翻多頁、后翻多頁等.行為實施引擎需要將行為語義轉化為具體的電子書翻閱指令，如將前翻一頁的語義轉化為一系列的鼠標消息，模擬讀者拖動鼠標翻閱電子書的過程.行為實施子系統(tǒng)是實現(xiàn)各種虛擬翻書系統(tǒng)中各種特定于信息技術功能的模塊，如為了增強神奇感，還可以定義翻書時拖動鼠標的路徑，實現(xiàn)不同的翻書效果，如水平方向拖動、拋物線方向拖動等等.

類似于動作識別子系統(tǒng)必須滿足實時性需求，行為識別子系統(tǒng)和行為實施子系統(tǒng)也必須滿足實時性需求，及時響應讀者的行為啟動相應的翻書動作.

翻書配置管理子系統(tǒng)允許管理員監(jiān)控翻書系統(tǒng)的運行狀態(tài)、調整虛擬翻書系統(tǒng)的各種配置選項，如調整所展示的電子書的內容、調整觀測的視頻通道、調整動作識別引擎所使用的算法以及算法的參數(shù)、定義行為模式、調整翻書動作的鼠標拖動路徑、設置視頻監(jiān)控的范圍以及靈敏度等等.其他5個子系統(tǒng)間接依賴于翻書配置子系統(tǒng).

2.2 行為識別子系統(tǒng)

動作識別子系統(tǒng)負責捕獲讀者的動作，而行為識別子系統(tǒng)則負責接收來自動作識別子系統(tǒng)的一系列動作數(shù)據(jù)，對其進行整合、分析，抽取出能夠表達讀者意圖的行為.已有的行為識別算法也有很多[2]，本文結合觀測區(qū)域、讀者手運動趨勢以及間隔時間等因素區(qū)分讀者的行為語義.

2.2.1 翻書狀態(tài)機

首先，我們給出如圖2所示的虛擬翻書系統(tǒng)的狀態(tài)機模型，作為定義不同翻書行為語義的基礎.

圖2 虛擬翻書系統(tǒng)狀態(tài)圖

除去起始態(tài)和終止態(tài)之外，虛擬翻書系統(tǒng)具有 6個狀態(tài),分別是“閱讀-無監(jiān)測”狀態(tài)、“閱讀-無動作”狀態(tài)、“閱讀-有動作”狀態(tài)、“自動播放”狀態(tài)、“翻多頁”狀態(tài)以及“翻單頁”等.

虛擬翻書系統(tǒng)啟動后自動進入“閱讀-無監(jiān)測”狀態(tài).“閱讀-無監(jiān)測”狀態(tài)中，讀者可閱讀電子書中當前頁面內容，且為保證讀者閱讀免于偶然動作的干擾，規(guī)定此狀態(tài)必須持續(xù)一定的時間(K秒)，如K=60 s，在此期間的任何用戶運動都不會引起電子書的誤翻，從而保證了讀者閱讀過程的相對平穩(wěn).

當“閱讀-無監(jiān)測”狀態(tài)持續(xù)K秒之后虛擬翻書系統(tǒng)進入“閱讀-無動作”狀態(tài)，虛擬翻書系統(tǒng)開始監(jiān)控視頻流中的用戶動作.若監(jiān)測到用戶動作，則將用戶動作存入一個動作隊列，虛擬翻書系統(tǒng)進入“閱讀-有動作”狀態(tài)；若超過L秒仍未監(jiān)測到動作，則虛擬翻書系統(tǒng)進入“自動播放”狀態(tài)，開始循環(huán)播放電子書的內容.

在“閱讀-無動作”狀態(tài)中，虛擬翻書系統(tǒng)持續(xù)監(jiān)測用戶動作，并將其存入一個動作隊列，同時對動作隊列進行分析和整理，若發(fā)現(xiàn)匹配的翻書行為模式則清空動作隊列并發(fā)出相應的信號，進入“翻單頁”或“翻多頁”狀態(tài).若動作隊列與任何給定的行為模式都不匹配則定義為雜亂的行為，這時須清空動作隊列并返回“閱讀-無動作”狀態(tài).

在 “翻單頁”狀態(tài)，虛擬翻書系統(tǒng)模擬用戶拖動鼠標的動作，完成電子書的單頁前翻或后翻動作.“翻單頁”包含翻頁方向信息，如包括向前翻一頁和向后翻一頁等兩種不同的翻頁動作.在“翻單頁”狀態(tài)中，虛擬翻書系統(tǒng)停止監(jiān)測用戶動作.翻頁完成后進入“閱讀-無監(jiān)測”狀態(tài)，允許讀者平穩(wěn)地閱讀電子書當前頁面的內容.

在“翻多頁“狀態(tài)中，虛擬翻書系統(tǒng)允許讀者向前或向后翻動多頁電子書，快速瀏覽電子書，定位感興趣的內容.“翻多頁”號包含一些參數(shù)，如翻書的方向和翻動的頁數(shù)等等.連續(xù)翻頁過程中虛擬翻書系統(tǒng)不監(jiān)測用戶動作，但連續(xù)翻頁完成之后，虛擬翻書系統(tǒng)返回到“閱讀-無動作”狀態(tài)，立即開始監(jiān)測下一次連續(xù)翻頁動作，而不同于從“翻單頁”狀態(tài)轉移到“閱讀-無監(jiān)測”狀態(tài)時必須停留K秒的時間窗不監(jiān)測用戶動作，為用戶提供穩(wěn)定的閱讀時間.

若在“閱讀-無動作”狀態(tài)中停留L秒之后,虛擬翻書系統(tǒng)仍未監(jiān)測到任何用戶動作，則進入“自動播放”狀態(tài)，虛擬翻書系統(tǒng)自動播放電子書內容供讀者瀏覽.這時，虛擬翻書系統(tǒng)不監(jiān)測用戶動作，而是在停留M秒之后進入“翻單頁”狀態(tài)，執(zhí)行翻單頁的操作，翻頁完成后返回“自動播放”狀態(tài)，準備開始下一次翻頁.

從圖2可以看出，只有處在“自動播放”狀態(tài)、“閱讀-無動作”狀態(tài)以及“閱讀-有動作”狀態(tài)時虛擬翻書系統(tǒng)才通過視頻監(jiān)測用戶動作，施加這種限制能夠極大地降低用戶隨機動作造成的誤翻，而區(qū)分3類閱讀狀態(tài)則為讀者閱讀電子書內容提供了足夠的穩(wěn)定時間窗口.

2.2.2 翻書行為模式

用戶的一系列動作構成了表達用戶意圖的行為模式.為提高擬真性、實時性和準確性，本系統(tǒng)不要求用戶做出定點懸停以及其他更復雜的手勢，用戶只需通過簡單的揮手動作來操作電子書，完成閱讀所需的各種操作.例如，在面向書模的情況下，用戶向左揮手則表示電子書后翻一頁，向右揮手則表示電子書后翻一頁.

為了模擬逐頁閱讀、快速瀏覽等實際閱讀的需要，本系統(tǒng)采用觀測區(qū)域與用戶行為相結合的方式來表達4種翻書行為，即前翻一頁，向后翻一頁，前翻多頁以及后翻多頁.具體來講，本系統(tǒng)將視頻監(jiān)測區(qū)域劃分為上下(左右)兩個區(qū)域，分別標示為A區(qū)和B區(qū)，并作如下約定：若在A區(qū)監(jiān)測到用戶左右揮手行為則將之翻譯為“翻單頁”信號，指示虛擬翻書系統(tǒng)前翻一頁或后翻一頁；若在B區(qū)監(jiān)測到用戶左右揮手行為則將之翻譯為“翻多頁”信號，指示虛擬翻書系統(tǒng)前翻多頁或后翻多頁.這樣，就能較好地區(qū)分讀者的4種翻書意圖了.

為防止用戶的偶然動作所造成的誤翻現(xiàn)象，須對構成用戶故意行為的動作序列做出一定的約束.我們對讀者的行為進行如下形式的定義，并說明構成合法行為必須滿足的約束.

定義1a= {mi|i= 1,…,N}分別表示用戶向前翻書或向后翻書的行為，其中mi表示構成行為的用戶動作，N是行為中動作元素的個數(shù)，每個動作是由水平方向r和水平d構成的一個二維向量，即mi=(ri,di)，則稱用戶的行為a是合法的當且僅同時滿足下面3個條件：

(1)N>M，其中M為給定的正整數(shù)，規(guī)定了構成行為的最少動作元素個數(shù).適當?shù)腗取值能夠防止用戶偶然動作造成的抖動.

(2)mi，i= 1,…,N的方向ri均相同，意味著讀者沿同一方向揮手翻書.

(3)di>D,i= 1,…,N，即每個動作的水平位移必須超過給定的閥值D，意味著讀者翻書動作足夠清晰、完整，能夠充分表達讀者的主觀意圖.

3 系統(tǒng)實現(xiàn)

圖3是前臺電子書展示系統(tǒng)的快照.圖3(a)是向后翻一頁，圖3(b)是向前翻一頁的情況.圖4是后臺翻書配置系統(tǒng)的快照.圖4(a)是運行監(jiān)控場景下的快照，圖4(b)是配置參數(shù)時的快照，其中的紅色網(wǎng)格表示執(zhí)行翻書動作起始區(qū)域.

圖3 虛擬翻書系統(tǒng)前臺展示快照

當前虛擬翻書系統(tǒng)實現(xiàn)僅分析單個攝像頭采集的連續(xù)視頻幀序列，識別最基本、最常用的4種翻書行為，著重于保證系統(tǒng)的實時性、擬真性和準確性，這些功能和質量特征構成了系統(tǒng)的第一個發(fā)布版本.后續(xù)版本將來陸續(xù)實現(xiàn)更豐富的行為語義，為讀者提供智能的、個性化的服務.例如，可采用2個攝像頭配合工作的方式，從多個角度捕捉讀者的手勢動作，實現(xiàn)豐富的翻書行為語義，如回目錄、定義書簽等等；可采用攝像頭和紅外線感應器相互配合的手段，在不增加圖像處理算法復雜度的情況下，盡可能地豐富翻書行為語義.

圖4 虛擬翻書系統(tǒng)后臺配置快照

4 結束語

本文總結了虛擬翻書系統(tǒng)的功能需求和質量屬性需求，并給出虛擬翻書系統(tǒng)的一種參考軟件體系結構，指出了系統(tǒng)實現(xiàn)必須注意的一些關鍵問題，證明了采用通用、簡單、高效的動作識別和行為識別算法，配合適當?shù)男袨檎Z義規(guī)約實現(xiàn)滿足實時性 、擬真性以及準確性等質量屬性需求的虛擬翻書系統(tǒng)的可行性，給出了建設通用的基于視頻的虛擬翻書系統(tǒng)的參考方案.

參考文獻

[1] 汪成為,高 文,王行仁. 靈境(虛擬現(xiàn)實)技術的理論、實現(xiàn)及應用[M].北京:清華大學出版社,1997：1-50.

[2] 杜友田,陳 峰,徐文立,等. 基于視覺的人的運動識別綜述[J].電子學報,2007,35(1):84-90.

[3] 飛蘋果,楊青青.電子互動虛擬翻書系統(tǒng)、電子互動虛擬控制系統(tǒng)[P].中國專利：200920213707，2010-8-18.

[4] 郭成玉,袁政鵬,吳家麒.基于手指點定位算法的新型虛擬電子書[J].計算機應用,2010,30(5):1 402 -1 405.

[5] 周 航. 基于計算機視覺的手勢識別系統(tǒng)研究[D].北京：北京交通大學博士學位論文，2007.

[6] 梅 宏,申峻嶸. 軟件體系結構研究進展[J].軟件學報,2006,17(6):1 257-1 275.

[7] Bjerkander, M.，Kobryn, C. Architecting systems with UML 2.0[J].IEEE Software,2003,20(4):57-61.

[8] Bobick, A.F. Movement, activity and action: the role of knowledge in the perception of motion[J]. Philosophical Transactions of the Royal Society of London. Series B: Biological Sciences, 1997,352(1 358):1 257-1 275.

[9] Yilmaz, A. and Javed, O. and Shah, M. Object tracking: a survey[J]. Acm Computing Surveys (CSUR)，2006，38(4)：1-45.

[10] 朱明旱, 羅大庸, 曹倩霞.幀間差分與背景差分相融合的運動目標檢測算法[J].計算機測量與控制,2005,13(3):215-217.