摘要:隨著現(xiàn)代社會對傳統(tǒng)文化的重視,中國古典樂器的繼承和保護變得越來越重要。由于古典樂器容易受溫濕度影響而損壞音質(zhì),尋找可以更好地保護古典樂器的措施迫在眉睫。文章通過設計一種基于物聯(lián)網(wǎng)和機器學習技術的智能樂器保養(yǎng)箱,通過遠程監(jiān)控和控制箱體內(nèi)部溫濕度,并使用YOLOv5目標檢測算法高精度識別不同樂器類型,從而實現(xiàn)自動或手動調(diào)節(jié)樂器最佳溫濕度,達到保護古典樂器的目的。文章對這種設計進行了系統(tǒng)的研究和分析,并通過實驗驗證了其有效性和可行性。
關鍵詞:中國古典樂器;保護;物聯(lián)網(wǎng);機器學習
中圖分類號:TP273+.1
文獻標志碼:A
0 引言
現(xiàn)代社會已經(jīng)步入信息化時代,社會上各種商品都開始與物聯(lián)網(wǎng)掛鉤,生活走向智能化。與此同時,人們開始對傳統(tǒng)文化越來越重視,越來越多人喜歡并且學習中國古典樂器。但因為古典樂器特別容易受溫濕度影響而損壞音質(zhì),使其無法達到理想效果,所以尋找可行的保護措施迫在眉睫。本文設計的智能樂器保養(yǎng)箱能通過App遠程對箱體內(nèi)部溫濕度調(diào)控,同時還可以通過YOLOv5目標檢測算法高精度識別不同樂器,從而手動或自動調(diào)節(jié)樂器的最佳溫濕度,極大地方便使用者對樂器的保養(yǎng)。
1 智能樂器保養(yǎng)箱的總體設計
該智能樂器保養(yǎng)箱系統(tǒng)由攝像頭模塊、主控板、溫濕度調(diào)控器件、MQTT服務器及App等部分組成,其中攝像頭模塊使用YOLOv5算法;主控板選擇ARM Cortex-M3為內(nèi)核的STM32F103C8T6單片機,主要負責溫濕度的獲取,攝像頭模塊、WiFi模塊的通信,數(shù)據(jù)對比以及繼電器控制等;使用ESP8266WiFi模塊與MQTT服務器進行數(shù)據(jù)交互;使用DHT11溫濕度模塊進行對箱體內(nèi)部的溫濕度獲??;OLED模塊使用IIC與主控芯片進行通信,負責顯示箱體內(nèi)部溫濕度的顯示;繼電器模塊則對溫濕度調(diào)控器件進行控制,另外主控板上還外加紅藍LED指示燈,用于箱體手動控制與自動控制的顯示[1]。其中溫濕度調(diào)控器件包括加熱器(PTC加熱)、除濕器(半導體TEC1制冷)、加濕器(霧化器加濕)、除濕器(半導體制冷除濕)以及LED燈光。該箱子系統(tǒng)使用12 V功率電源進行供電。
2 WiFi模塊設計
2.1 WiFi數(shù)據(jù)上傳
ESP8266串口WiFi模塊為安信可的ESP-01 S,支持完善高效的AT指令,功耗低,物聯(lián)網(wǎng)相關資料豐富,使用串口進行設備通信[2]。
WiFi模塊與服務器的連接的操作首先需要WiFi的聯(lián)網(wǎng)、配置MQTT用戶屬性、MQTT連接屬性、主題的訂閱和信息的發(fā)布等。由于默認的ESP-01 S不支持與MQTT服務器通信的AT指令,需要燒錄AT+MQTT固件庫后與MQTT服務器進行連接。以下為ESP8266與MQTT服務器通信的主要AT指令:
AT+MQTTUSERCFG—配置 MQTT 用戶屬性
AT+MQTTCONNCFG—配置 MQTT 連接屬性
AT+MQTTCLIENTID—配置 MQTT 客戶端 ID
AT+MQTTUSERNAME—配置 MQTT 登錄用戶名
AT+MQTTPASSWORD—配置 MQTT 登錄密碼
AT+MQTTCONN—連接/查詢 MQTT Broker
AT+MQTTPUB—發(fā)布字符串消息
AT+MQTTPUBRAW—發(fā)布二進制消息
AT+MQTTSUB—訂閱/查詢主題
AT+MQTTUNSUB—取消訂閱主題
AT+MQTTCLEAN—關閉連接, 釋放資源
WiFi模塊與服務器對接上后,主控芯片將會用數(shù)據(jù)透傳形式通過WiFi模塊與服務器通信,在本實例中數(shù)據(jù)透傳的格式為:
AT+MQTTPUB=0,\\"lt;1gt;\\",\\"lt;2gt;\\",1,0
其中,lt;1gt;WiFi模塊發(fā)布的主題,lt;2gt;箱體內(nèi)部的溫濕度。
2.2 WiFi接收數(shù)據(jù)
用戶可以通過App與服務器的通信來完成對保養(yǎng)箱的控制,當用戶給設備進行模式的變更,設定數(shù)據(jù)的設置等操作時,該數(shù)據(jù)將會發(fā)送到服務器后,再通過服務器回傳給WiFi模塊。
服務器回傳到WiFi模塊的數(shù)據(jù)格式為:
+MQTTSUBRECV:0,\"lt;1gt;\",lt;2gt;,lt;3gt;
其中,lt;1gt;App發(fā)布的主題,lt;2gt;回傳數(shù)據(jù)長度,lt;3gt;設定的溫濕度、手動/自動模式、樂器編號等數(shù)據(jù)。
WiFi模塊接收到數(shù)據(jù)后,通過串口中斷給主控芯片,主控芯片變更模式、進行溫濕度數(shù)據(jù)對比,對溫濕度調(diào)控器件的調(diào)用,改變箱體的狀態(tài),從而實現(xiàn)對保養(yǎng)箱的智能遠程監(jiān)控。
3 基于YOLOv5的視覺模塊設計
3.1 目標檢測模型的搭建
主流目標檢測算法大致分為雙階段檢測算法(two-stage)和單階段檢測算法(one-stage)[3]。雙階段算法代表的有R-CNN系列,單階段算法代表的則有YOLO系列。R-CNN使用選擇性搜索算法或RPN網(wǎng)絡來快速搜索提取候選區(qū)域,基于這些候選區(qū)域來檢測對象。與傳統(tǒng)的物體檢測方法相比,R-CNN雖然檢測精度有所提高,但這些方法要復雜得多,且耗時更長,在實際應用中的可行性不高。
而YOLO算法的出現(xiàn)則有效改善了上述的這些問題,YOLOv5作為YOLO系列的代表方法,具有更高的檢測精度和更快的推理速度,YOLOv5預訓練模型比YOLOv4小近90%。YOLOv5使用的是Pytorch框架,相對于YOLOv4版本中所采用的Darknet框架,用戶現(xiàn)在能夠比較靈活高效地訓練自己的數(shù)據(jù)集,更容易投入生產(chǎn)。這些都表明YOLOv5易于部署,因此筆者使用YOLOv5模型來搭建視覺識別模塊。
3.2 數(shù)據(jù)集預處理
本文數(shù)據(jù)集來源于互聯(lián)網(wǎng)各搜索引擎、圖片網(wǎng)站,用Python爬蟲得到475張古琴照片、550張古箏照片、694張二胡照片。由于圖片來源于互聯(lián)網(wǎng),所以樂器所處位置都不盡相同,圖片背景也有著不同的復雜程度,故本文首先對圖像數(shù)據(jù)進行Mosaic增強處理。Mosaic數(shù)據(jù)增強是一次從數(shù)據(jù)集中隨機選取4張圖片,依次進行放縮和裁剪,接著按照不同方向的順序進行位置分布,這樣就可以得到一張新的圖片,再將其傳入神經(jīng)網(wǎng)絡中去學習,這樣在標準化BN計算的時候就會一次性得到4張圖片的數(shù)據(jù),提高了樂器數(shù)據(jù)集的分布狀態(tài)質(zhì)量及目標檢測模型的泛化性能。
3.3 模型訓練及推理
經(jīng)過數(shù)據(jù)集預處理后,用labelimg對數(shù)據(jù)圖片進行標注,標注格式默認為xml,由于YOLOv5默認識別的是yolo的標簽,標注完成后需要將其轉化為yolo格式,再根據(jù)8∶2的比例劃分訓練集和驗證集,根據(jù)網(wǎng)絡深度和特征圖寬度,YOLOv5可分為v5s,v5m,v51和v5x 4種模型。本文模型訓練采用的權重為YOLOv5s,該結構與其余4個模型的對比提升如下:
(1)輸入端。在Mosa數(shù)據(jù)增強的基礎上,增加了Mixup數(shù)據(jù)增強效果;
(2)Backbone。激活函數(shù)采用SiLU函數(shù);
(3)Neck。激活函數(shù)采用SiLU函數(shù);
(4)輸出端。檢測頭改為Decoupled Head、采用anchor free、multi positives、SimOTA的方式。
默認訓練epoch為300輪,訓練結束后,將得到的最優(yōu)訓練權重輸入YOLOv5模型,進行推理,得到檢測結果。
4 溫濕度調(diào)控
該系統(tǒng)App可人為改變的數(shù)據(jù)有設定溫度、設定濕度、自動模式、手動模式、LED燈的開關。以古箏、古琴、二胡這3種中國古典樂器為例,每一種樂器都有自己設定好的溫濕度,比如古箏的最佳溫濕度為22 ℃,55%,其可以用攝像頭模塊自動識別控制。在手機App、攝像頭模塊以及其他硬件設備的互相協(xié)調(diào)工作,可使保養(yǎng)箱處于智能溫濕度管控狀態(tài),是一個良性的閉環(huán)調(diào)節(jié),從而保養(yǎng)箱體中的樂器[4]。具體溫濕度調(diào)控如下。
在使用攝像頭模塊識別到樂器后,通過USB或串口發(fā)送樂器識別信息給主控芯片,同時主控芯片使DHT11能獲取到箱體內(nèi)部的實時溫濕度,以每3秒為一周期使用串口發(fā)送中斷通過WiFi模塊上傳至MQTT服務器,MQTT服務器將數(shù)據(jù)下發(fā)到App并最終顯示出來,硬件設備識別到樂器的最佳溫濕度數(shù)據(jù)值與實際的作對比,通過調(diào)控器件工作是溫濕度數(shù)據(jù)處于相等狀態(tài);手機App對設定溫濕度、樂器、模式、燈光等數(shù)據(jù)的改變也會將其上傳至MQTT服務器,MQTT服務器再回傳到WiFi模塊,WiFi模塊通過串口接收中斷回傳到主控芯片,經(jīng)過狀態(tài)和設定溫濕度數(shù)據(jù)的改變,主控芯片將改變OLED屏顯示的樂器以及溫濕度數(shù)據(jù)并且使能繼電器驅(qū)使對LED燈光狀態(tài)和溫濕度調(diào)控器件的工作轉變,如箱體溫度較高,制冷器工作;濕度較低,加濕器工作等。當設定溫濕度與箱體溫濕度處于相等的穩(wěn)定狀態(tài)時,溫濕度調(diào)控設備將處于低功耗狀態(tài)。
將以上概括為視圖后,具體流程如圖1所示。
5 結語
本文提出了一種基于物聯(lián)網(wǎng)和機器學習技術的智能樂器保養(yǎng)箱,通過遠程監(jiān)控和控制箱體內(nèi)部溫濕度,并使用YOLOv5目標檢測算法來高精度識別不同樂器類型,從而實現(xiàn)自動或手動調(diào)節(jié)樂器最佳溫濕度,達到保護古典樂器的目的。實驗結果表明,該設計有效且可行,能夠有效地保護古典樂器。本文為未來古典樂器的保護提供了一種新的解決方案。
參考文獻
[1]陳洵.基于MQTT的農(nóng)業(yè)物聯(lián)網(wǎng)管理平臺的設計
與實現(xiàn)[D].保定:河北農(nóng)業(yè)大學,2021.
[2]馮娜娜,馮娟娟,楊延寧,等.基于ESP8266的可視化溫濕度實時監(jiān)測器的設計[J].延安大學學報(自然科學版),2020(4):54-57,62.
[3]劉鑫昱.基于YOLO深度學習模型的圖像目標檢測算法研究[J].電腦編程技巧與維護,2022(7):131-134.
[4]樊啟祥,林鵬,魏鵬程,等.智能建造閉環(huán)控制理論[J].清華大學學報(自然科學版),2021(7):660-670.
(編輯 李春燕)
Design of remote control of intelligent musical instrument maintenance box based on YOLOv5
Liu Weijie, Liang Canqiang, Lu Jingfeng, She Weiwei, Shi Limei*
(Guangdong Ocean University, Zhanjiang 524088, China)
Abstract: Due to the importance attached to traditional culture in modern society, the inheritance and protection of Chinese classical musical instruments has become more and more important. However, since classical musical instruments are susceptible to temperature and humidity that can damage sound quality, it is urgent to look for measures that can better protect classical musical instruments. In this paper, this paper designs an intelligent musical instrument maintenance box based on Internet of Things and machine learning technology, which remotely monitors and controls the internal temperature and humidity of the box, and uses the YOLOv5 object detection algorithm to identify different musical instrument types with high accuracy, so as to realize automatic or manual adjustment of the optimal temperature and humidity of musical instruments and achieve the purpose of protecting classical musical instruments. In this study, this design will be systematically studied and analyzed, and its effectiveness and feasibility will be verified through experiments.
Key words: Chinese classical musical instruments; conservation; Internet of Things; machine learning