劉志雄 廖宇 王博 胡湘君 王凌峰

摘 要：針對鋼琴初學者往往會因彈琴姿勢不對而造成疼痛損傷，同時在冬天練琴會因琴鍵太冷而出現(xiàn)手指僵硬的問題，提出了一種基于STM32的智慧鋼琴助手。該智慧鋼琴助手具有坐姿自動識別、語音提示、音頻錄制、指紋信息識別、送暖等功能。通過攝像頭捕捉彈奏者的坐姿圖像，實時判斷其坐姿是否正確，并通過語音提示。送暖模塊能夠在冬天送出暖風溫暖琴鍵，在夏天送出自然風以防止手指出汗。同時可以通過系統(tǒng)的音頻錄制功能存儲彈奏者的演奏，通過回聽尋找問題。該助手還具有師-生-家互助模塊，能有效實現(xiàn)學習過程中的信息互通，從而更好地提升學習效率和演奏效果，以吸引更多兒童參與學習，在學習中獲得音樂的樂趣。

關鍵詞：智慧鋼琴助手;坐姿識別;送暖模塊;STM32;數據傳輸;視頻采集

中圖分類號：TP39文獻標識碼：A文章編號：2095-1302（2020）06-00-02

0 引 言

隨著物聯(lián)網技術的廣泛應用，傳統(tǒng)的兒童練琴方式暴露出諸多問題：兒童彈琴的坐姿不正確，導致練琴效率低下，長此以往不僅會形成不良習慣，更影響身體健康;冬天練琴時冰冷的琴鍵容易造成手指僵硬;缺少與老師交流的平臺，兒童在家練琴暴露的問題家長無法及時指正。針對上述問題，文中設計了一款多功能智慧鋼琴助手。

1 系統(tǒng)總體設計

系統(tǒng)總體設計如圖1所示。核心芯片采用STM32F407，外設包括指紋識別模塊、無線傳輸模塊、攝像頭、語音播報模塊、錄放音模塊和PTC發(fā)熱體送風模塊等。錄音模塊記錄彈奏的曲目，指紋模塊統(tǒng)計考勤，攝像頭模塊記錄當前用戶彈奏的坐姿，STM32F407單片機記錄數據后，通過無線傳輸模塊將數據傳輸至云端庫中，待彈奏坐姿與正確坐姿對比后，將正誤結果傳輸至APP端顯示，還可通過語音播報模塊播報當前情況，人員考勤記錄用以進行彈奏時間的計算。系統(tǒng)還可判斷彈奏者的練習曲目，并在APP查看相關數據[1-4]。

2 系統(tǒng)功能及組成

系統(tǒng)由音頻系統(tǒng)、送風系統(tǒng)、信息采集系統(tǒng)、信息傳輸系統(tǒng)和信息處理及顯示系統(tǒng)組成。

2.1 音頻系統(tǒng)

音頻系統(tǒng)由話筒與揚聲器模塊構成，當用戶彈奏琴曲時，按下按鈕，系統(tǒng)將自動通過話筒模塊記錄彈奏過程并儲存。在彈奏結束后，可選擇重復播放彈奏內容，以達到反思彈奏過程中存在的不足并及時改正的目的[5-6]。

2.2 送風系統(tǒng)

送風系統(tǒng)可在天氣寒冷時送出熱風溫暖琴鍵，減少用戶彈奏時由于手指僵硬帶來的不適和損傷，強化練琴效果。系統(tǒng)由風機、PTC發(fā)熱體組成，通過調節(jié)控制器的機械旋鈕，可對送風溫度及風速進行調整。

2.3 信息采集系統(tǒng)

信息采集系統(tǒng)由指紋模塊及攝像頭模塊構成。指紋模塊用于采集練琴者的考勤信息，并傳輸至STM32F407單片機處理后儲存;攝像頭模塊負責采集坐姿圖像及實時圖像。

2.4 信息傳輸系統(tǒng)

信息傳輸系統(tǒng)由RT5350模塊、ESP8266及GSM模塊組成。GSM模塊將經過云端數據庫進行數據對比后的結果（練琴曲目）及人員考勤時間統(tǒng)計（通過指紋模塊記錄）通過發(fā)送短信的方式通知家長。傳輸系統(tǒng)主要傳輸三種數據：將攝像頭采集的坐姿圖像通過RT5350傳輸至云端服務器進行處理;將音頻錄制模塊采集的彈奏曲目的音頻文件通過ESP8266模塊傳輸至云端服務器進行儲存和識別;將考勤人員初次錄入的指紋通過ESP8266模塊傳輸至云端服務器數據庫儲存。

2.5 信息處理及顯示系統(tǒng)

信息處理及顯示系統(tǒng)分為信息處理和顯示兩部分。

2.5.1 信息處理部分

坐姿識別：首先利用大量兒童彈奏鋼琴的圖片作為數據集，創(chuàng)建對應的訓練集和測試集，利用model-master訓練得到Pb監(jiān)測模型，然后載入Tensorflow-master文檔發(fā)送給AndroidStudio軟件，最后運行AndroidStudio軟件生成一個可執(zhí)行彈奏姿態(tài)檢測任務的APP。通過該APP完成鋼琴彈奏視頻流的采集和實時分析工作，將彈奏情況劃分為相應的等級，及時將分析結果發(fā)送給家長或老師，以方便他們對孩子在家或在學習場所的情況隨時掌控和指導。實時圖像處理：通過特定的壓縮算法，將實時彈奏過程儲存并傳輸。指紋數據處理：將通過ESP8266模塊上傳的指紋數據儲存后建立數據庫，將其保存建檔。

2.5.2 顯示部分

在APP端顯示坐姿識別結果，根據正誤與否顯示相應提示;在APP端顯示處理壓縮后的實時彈奏過程圖像;在APP端顯示考勤人員相關信息，如姓名、練琴時長等。

3 圖像數據采集及圖像數據傳輸實現(xiàn)

基于Linux系統(tǒng)圖像數據的采集及傳輸主要由RT5350實現(xiàn)，姿勢動作圖像的采集是系統(tǒng)成功的關鍵，需將USB攝像頭采集的數據轉化為媒體流數據并保存，需要使用Linux驅動中的UVC協(xié)議。Linux內核版本高于2.6則使用Video4Linux2 （V4L2），配合適當的硬件，如視頻采集卡、USB攝像頭等實現(xiàn)對視頻圖像的采集、壓縮等功能。V4L2為視頻數據采集的應用程序提供了接口函數，如open（），read（），write（）等，這些接口函數能夠實現(xiàn)對設備的管理。管理內容包括對設備信息的查詢、圖像屬性的設置、視頻的捕捉等，方便圖像數據的采集、開發(fā)。圖2所示為V4L2視頻采集的基本流程。

由于采集的原始數據是YUV格式，視頻信號數據量大，為節(jié)省網絡帶寬及存儲資源，須對采集的視頻數據壓縮編碼。首先對采集的視頻數據進行壓縮處理，之后服務器端在采集結束后監(jiān)聽客戶端的訪問請求。若收到來自客戶端的訪問請求，則服務器端將視頻數據返回至客戶端。系統(tǒng)基于TCP傳輸協(xié)議設計，圖3所示為Socket通信傳輸流程。

4 系統(tǒng)軟件設計

系統(tǒng)軟件部分主要包括基于Android系統(tǒng)的鋼琴彈奏圖像采集處理系統(tǒng)及網頁、APP客戶端的信息發(fā)布。系統(tǒng)軟件設計流程如圖4所示，軟件功能框圖如圖5所示。

5 結 語

智慧鋼琴助手不僅有效解決了教-學-練的及時性問題，更提升了兒童學習的樂趣。通過打通師-生-家環(huán)節(jié)，方便學生無論何時、何地都能在科學的指導下練習。

參考文獻

[1]金平.基于嵌入式Linux的智能視頻監(jiān)控系統(tǒng)的設計與實現(xiàn)[D].長沙：中南大學，2013.

[2]龔文沖.基于WiFi的嵌入式視頻監(jiān)控系統(tǒng)設計[D].武漢：華中科技大學，2011.

[3]陸小辰.基于DM365的智能視頻監(jiān)控系統(tǒng)研究[D].南京：南京理工大學，2013.

[4]史震海.安吉縣城市公眾視頻監(jiān)控系統(tǒng)的設計和實現(xiàn)[D].成都：電子科技大學，2011.

[5]王保衛(wèi)，申波.Android應用開發(fā)與系統(tǒng)改造實戰(zhàn)[M].北京：人民郵電出版社，2012：302-321.

[6]李旭東.基于Android移動終端攝像的圖像處理與應用[D].成都：電子科技大學，2011.

[7]楊璐，沈悅，蔣蕾.一種TCP協(xié)議穿透SymmetricNAT方案[J].計算機工程與應用，2007，43（6）：122-125.

[8]趙錦霞.對鋼琴教學創(chuàng)新模式的構件與思考[J].音樂時空，2013（11）：114.

[9]范丹玲.依托教學助手打造學生智慧課堂[J].下一代，2019（5）：1.

[10]李彬，江龍.基于Android的校園學習助手軟件的設計[J].智能計算機與應用，2016，6（4）：38-41.