中圖分類號：TN912.3 文獻(xiàn)標(biāo)識碼：A 文章編號：2096-4706（2025）12-0114-05

Research on Acousto-optic Adaptive Mapping Technology Based on STFT Algorithm

YE Linjun， CHEN Peiwen （TPVDisplay Technology（Xiamen） Co.，Ltd.，Xiamen 3611o1，China）

Abstract：Theconversion ofaudio signals into light usually involves converting the frequencyinformation of the audio signalsintotheintesityolor，orbrighesschangesofthlghtsignals，esultingintepenomenoofisucientcolorand intensityofthe light signalsand displaydelay.Acontrol methodforaudioacousticsignal adaptive mappingof opticalsignal technologyisproposedinispperIepreprocesingstage，itextractsthespectralcharacteristicsofthespectralergyand spectralcenter，focusingonanalyzingvarious characteristicsof pitch，timbre，hythmanddynamicchanges inaudiosignals. Acording tothemappingofthespectralcenterofthaudiosignalsontothecolorspectrum，diferentfrequenciescorsond to diferentcolor，andthebrightnessofthelightiscontrolledaccordingtothespectralenergylevelTheresultsshothatoundlightadaptive mapping technology basedon STFTalgorithm has significant advantages inspeedand efectivenessof audio frequency mapping color display，verifying the efectiveness ofthe proposed color mapping and display delay strategy.

Keywords： LED; liquid crystal display; FFT; window function; spectrum analysis

0 引言

音頻信號的頻率轉(zhuǎn)換為光頻率是一個將聲音信號轉(zhuǎn)換為視覺信號的創(chuàng)意過程，通常用于藝術(shù)、娛樂或輔助技術(shù)中。要實現(xiàn)這個過程，需要涉及將音頻信號的頻率特性映射到光的頻率上，例如聲音的頻率、強度和節(jié)奏可以采用色彩、亮度或光的位置變化來表示。音頻信號的不同頻率對應(yīng)不同的顏色，例如，用藍(lán)色的光表示低頻，用綠色的光表示中頻，用紅色的光表示高頻。聲音的強度可以轉(zhuǎn)換為光的亮度，響度較大的部分可以對應(yīng)更亮的光，而較輕的部分則對應(yīng)較暗的光。節(jié)奏和打擊樂部分可以通過光的閃爍來表示，閃爍的頻率和節(jié)奏可以與音樂同步。

實現(xiàn)音樂音頻信號到光的轉(zhuǎn)換，這種轉(zhuǎn)換技術(shù)應(yīng)用在音樂可視化、燈光秀和音樂會的燈光設(shè)計，以及輔助聽力障礙設(shè)計中。由于音頻信號是連續(xù)非平穩(wěn)信號，在智能液晶電視中，可以將輸入的音頻信號轉(zhuǎn)換為光信號。

需要通過DSP芯片聲音功能處理模塊采用短時傅里葉變換[1-4]，分析音頻信號在時間上的頻率變化，提取音頻信號的頻譜中心和頻譜能量的特征，根據(jù)頻譜特征映射光的顏色和強度，由LED驅(qū)動芯片驅(qū)動智能液晶電視四邊的環(huán)境光LED燈條顯示，讓用戶沉浸在美妙的音樂過程中，同時通過視覺來感受音樂的節(jié)奏和情感。

1聲光映射算法

1.1 時頻分析技術(shù)

頻譜分析是通過應(yīng)用傅里葉變換，將音頻信號從時間域轉(zhuǎn)換為頻率域，可以將音樂信號分解為由不同頻率的正弦波和余弦波組成的組合。這些正弦波和余弦波，是頻率成分的代表，在音樂中承載著不同的音高和音色。由于Audio信號是持續(xù)不穩(wěn)定的信號，因此可以透過短時傅里葉變換（STFT）來分析Audio信號在時間上的頻率變化。對信號進(jìn)行時間窗處理以實現(xiàn)信號的穩(wěn)定化，然后對經(jīng)過時間窗處理的分段信號進(jìn)行快速傅里葉變換（FFT），從而獲取音頻信號的頻譜[5-6]。

STFT的函數(shù)公式為：

其中， 表示時間 t 和頻率 f 的短時傅里葉變換結(jié)果； w（n） 表示窗口函數(shù)，定義了每一幀的加權(quán)；x（n） 表示音頻原始信號，每個 x（n） 對應(yīng)音頻信號中加窗后的一個幀； N 表示窗口函數(shù)的長度，即每個幀的采樣點數(shù)； f 表示頻率，它是窗口函數(shù)中采樣點的位置，范圍從0到 N-1 。

1.2基于STFT聲光自適應(yīng)映射算法

對采樣量化音頻信號進(jìn)行幀加窗，然后進(jìn)行FFT計算和提取相關(guān)特征值，最終執(zhí)行自適應(yīng)顏色映射轉(zhuǎn)換及驅(qū)動環(huán)境光LED 顯示[7-8]，是聲光自適應(yīng)映射算法的整體流程。如圖1所示，聲光自適應(yīng)映射算法的整體流程框圖，具體步驟如下。

1.2.1 音頻信號的預(yù)處理

嵌入式微處理器通過采樣將持續(xù)不平穩(wěn)的音頻模擬信號轉(zhuǎn)變成離散的數(shù)字信號，再由量化將采樣得到的連續(xù)幅度值轉(zhuǎn)變成有限數(shù)量的離散數(shù)值的過程。

對每個頻帶的信號進(jìn)行處理時，使用幀長為256ms 、幀移為 32ms 的漢明窗對其加權(quán)，在短時傅里葉變換（STFT）中的作用是對每個時間幀施加加權(quán)。降低相鄰幀間頻譜泄漏。窗函數(shù) w（n） 的計算公式為：

其中， n 表示第 n 幀信號， N 表示信號的幀數(shù)。

通過分幀之后每一幀的信號可視為短時平穩(wěn)的，這些幀通常是連續(xù)的，并且會有一定的重疊，以便更好地對每一幀信號信息分析。

1.2.2 頻譜特征提取

音頻信號經(jīng)過FFT后，對頻譜進(jìn)行分析，提取頻譜能量 E 的特征，頻譜能量是指音頻信號在頻域中的能量總和，可以反映音頻信號的強度或音量。通過計算每個頻譜分量的平方來獲得每一幀長的頻譜能量E ，計算式如下：

其中， X（k） 表示傅里葉變換后得到的第 k 個頻率分量的復(fù)數(shù)幅度， N 表示頻譜中頻率分量的總數(shù)。由于頻譜能量的特性是反映音頻信號的強度，因此可以根據(jù)頻譜能量的高低來控制光的亮度。頻譜能量高可以對應(yīng)較亮的燈光，而頻譜能量低則對應(yīng)較暗的燈光。

通過提取音頻信號的頻譜中心（SpectralCentroid）特征及進(jìn)行分析，用它來表示音頻信號的“平均頻率”。它是頻譜能量的加權(quán)平均頻率，其計算方法是將每個頻率分量的能量乘以其對應(yīng)的頻率，然后將這些乘積相加，最后除以總的能量。頻譜中心的計算式如下：

其中， f_k 表示第 k 個頻率分量的頻率， E_k 表示對應(yīng)的能量， N 表示頻率分量的總數(shù)。

頻譜中心的高低可以反映聲音音頻信號的高低，頻譜中心較高意味著高頻成分的能量較大，聲音聽起來更明亮；頻譜中心較低則意味著低頻成分的能量較大，聲音聽起來更低沉。

1.2.3 顏色映射

通常依據(jù)人耳的聽覺范圍 20Hz 到 20000Hz 將音高按頻率范圍進(jìn)行分級，包括超低音、低音、低中音、中音、中高音、高音和超高音的頻率范圍。由于不同音域通常與特定的情感或氛圍相關(guān)聯(lián)，一些常見的情感與音域的關(guān)聯(lián)：高音通常與強烈、激動、尖銳、明亮和活力相關(guān)，它能夠引起聽者的注意，產(chǎn)生興奮或緊張的感覺。中音通常與平衡、溫暖、舒適和平靜相關(guān)，給人一種親切和自然和諧的情感。低音通常與力量、沉穩(wěn)、莊嚴(yán)、憂郁和深度的情感相關(guān)，給人一種安定和踏實的感覺。

而不同顏色的光在視覺藝術(shù)和心理學(xué)中常常與特定的情感或心理狀態(tài)相聯(lián)系。常見顏色的光及其可能表達(dá)的情感：紅色，表示激情、能量、熱情、力量、愛情、危險、憤怒等方面情感；綠色，通常與平靜、希望、和諧、自然、安全、舒適、成長等方面情感相關(guān)；藍(lán)色，表示的情感有寧靜、信任、忠誠、智慧、專業(yè)、悲傷、孤獨。

音頻信號經(jīng)過短時傅里葉變換，提取頻譜中心特征值，將頻譜中心值范圍由 20Hz 到 20000Hz 劃分為C0，C1，C2，…，C1021，C1022，C1023共1024等級，頻譜中心值分別與音高頻率分級對應(yīng)。如圖2所示，利用音域與情感的關(guān)聯(lián)和顏色與情感的關(guān)聯(lián)特性，建立音頻信號頻率到光信號顏色對應(yīng)關(guān)系，實現(xiàn)聲光自適應(yīng)顏色映射。

1.2.4驅(qū)動環(huán)境光顯示

在智能電視的液晶顯示屏[9-10]四周，設(shè)置環(huán)境光LED燈條，LED燈條分布在上邊區(qū)、下邊區(qū)、左邊區(qū)和右邊區(qū)四個區(qū)域，由LED驅(qū)動芯片調(diào)控LED顯示顏色和亮度調(diào)整。依據(jù)智能電視環(huán)境光配置的需要，可以靈活設(shè)計形成單邊、雙邊、三邊或四邊區(qū)域環(huán)境光，如圖3所示。

RGB顏色映射空間轉(zhuǎn)換，將音頻聲信號轉(zhuǎn)換到顏色光信號，通過環(huán)境光驅(qū)動控制器激活LED發(fā)光顯示。

圖4系統(tǒng)流程圖

圖3LED燈條和圖像分區(qū)示意圖

音頻信號經(jīng)過短時傅里葉變換，提取頻譜中心、頻譜能量特征值，通過聲光自適應(yīng)映射轉(zhuǎn)換得到顏色RGB數(shù)據(jù)，同時由頻譜能量轉(zhuǎn)換為顏色亮度。由智能電視集成的主控制器通過SPI接口傳送顏色RGB和顏色亮度數(shù)據(jù)到環(huán)境光驅(qū)動控制器，再由環(huán)境光驅(qū)動控制器控制LED燈條實時顯示，避免顯示延遲。

2 硬件設(shè)計與實現(xiàn)

基于STFT聲光自適應(yīng)映射技術(shù)算法在帶有環(huán)境光的智能電視上應(yīng)用，圖4系統(tǒng)流程圖中，主控制器通過獲取音頻聲信號，對采集聲信號進(jìn)行數(shù)字信號處理，由加時間窗短時傅里葉變換產(chǎn)生頻譜圖，對頻譜分析提取頻譜能量和頻譜中心特征值，啟動自適應(yīng)系統(tǒng)的主控制器芯片采用聯(lián)發(fā)科MST9638芯片，環(huán)境光驅(qū)動控制器芯片采用TI公司的TLC5971LED驅(qū)動芯片，能夠驅(qū)動12通道16位RGBPWM信號。主控制器芯片MST9638具備高性能多核CPU，基于ARM架構(gòu)支持多格式音視信號采集，具有數(shù)字信號處理，頻譜分析等功能。

主控制器芯片MST9638與環(huán)境光驅(qū)動控制器芯片TLC5971之間的數(shù)據(jù)傳輸采用SPI通信的主-從模式（Master-Slave）的控制方式[1]。如圖5所示，SCKI-BUF是時鐘線（SCLK）用于同步數(shù)據(jù)傳輸，由主設(shè)備MST9638產(chǎn)生；SDI-BUF是MOSI（MasterOutSlaveIn）是主設(shè)備（MST9638）輸出到從設(shè)備（TLC5971）輸入的線路，通常用于發(fā)送數(shù)據(jù)[12-14]

圖2顏色映射

圖5LED驅(qū)動連接圖

從HDMI音視頻接口輸入的音頻信號，從USB口加載或APP在線多媒體音視頻文件，經(jīng)過主芯片MT9638音頻信號解碼，通過DSP聲音功能進(jìn)行STFT變換處理，對音頻信號變換后的頻譜進(jìn)行分析，提取頻譜中心和頻譜能量的特征，通過聲光自適應(yīng)映射轉(zhuǎn)換得到顏色RGB數(shù)據(jù)和顏色亮度。由主控制器芯片MST9638通過SPI接口，發(fā)送顏色RGB數(shù)據(jù)和顏色亮度數(shù)據(jù)到LED驅(qū)動控制器TLC5971，再由LED驅(qū)動控制器TLC5971，驅(qū)動控制環(huán)境光LED燈條動態(tài)實時顯示。

3 實驗結(jié)果

在智能電視的邊框周圍三邊布置環(huán)境光，將LED燈條部署在左邊區(qū)、上邊區(qū)和右邊區(qū)三個區(qū)域，通過LED驅(qū)動芯片TLC5971，驅(qū)動控制環(huán)境光LED燈條開關(guān)顯示。從USB口加載音視頻文件，經(jīng)過主芯片MT9638音頻信號解碼和STFT變換處理，提取每一幀音頻信號的頻譜中心和頻譜能量的特征，通過STFT算法的聲光自適應(yīng)映射轉(zhuǎn)換，頻譜中心轉(zhuǎn)換得到顏色RGB數(shù)據(jù)和頻譜能量轉(zhuǎn)換為顏色亮度。最后將每一幀的顏色RGB和亮度數(shù)據(jù)，通過SPI串行總線接口順序發(fā)送給LED驅(qū)動控制器點亮對應(yīng)的LED燈條。中低音與深沉、溫暖和情感深度相關(guān)，可以營造出一種親密和親切的氛圍，如圖6（a）音頻正弦波 500Hz 中低音，由主控制芯片數(shù)字信號處理，得到圖6（b）音頻正弦波 500Hz 的頻譜圖，提取頻譜中心特征值 500Hz ，由設(shè)定的顏色映射關(guān)系，映射為藍(lán)色光，如圖6（c）聲光映射LED燈條顯示藍(lán)色效果，營造安定和踏實的感覺。

圖6音頻正弦波 500Hz 聲光映射

音頻信號頻率在 1kHz 中音時，通常與平衡、舒適和平靜相關(guān)。如圖7（a）所示，由主控制芯片數(shù)字信號處理，得到圖7（b音頻正弦波 1kHz 的頻譜圖，提取頻譜中心特征值 1kHz ，由設(shè)定的顏色映射關(guān)系，映射以青色和黃色為主，如圖7（c）聲光映射LED燈條顯示效果，創(chuàng)造一種平靜和舒適的氛圍，激發(fā)快樂和積極的情緒。

圖7音頻正弦波 11kHz 聲光映射

音頻信號頻率在 12kHz 以上時，以紅色為主表示激情、力量，引起聽者的注意，產(chǎn)生興奮或緊張的感覺。如圖8（a）所示，由主控制芯片數(shù)字信號處理，得到圖8（b）音頻正弦波 20kHz 的頻譜圖，提取頻譜中心特征值 20kHz ，由設(shè)定的顏色映射關(guān)系，映射以紅色和橙為主，如圖8（c）聲光映射LED燈條顯示效果。

圖8音頻正弦波 20kHz 聲光映射

4結(jié)論

本文給出了基于STFT聲光自適應(yīng)映射算法，利用頻譜分析法對音頻信號進(jìn)行頻譜分析，提取音頻信號的頻譜中心和頻譜能量的特征。根據(jù)音域與情感的關(guān)聯(lián)和顏色與情感的關(guān)聯(lián)特性，建立音頻信號頻率到光信號顏色對應(yīng)關(guān)系，實現(xiàn)聲光自適應(yīng)顏色映射。通過SoC主控制器由SPI通信傳送聲光映射顏色RGB數(shù)據(jù)和亮度數(shù)據(jù)到LED驅(qū)動芯片，再由LED驅(qū)動芯片控制LED燈條實時無延遲顯示。結(jié)果表明，基于STFT聲光自適應(yīng)轉(zhuǎn)換算法對音頻頻率映射顏色顯示的速度和效果具有顯著優(yōu)勢，驗證了所提顏色映射和顯示延遲策略的有效性。

參考文獻(xiàn)：

[1]陳曉梅，王曉瑋，鐘波，等.采用雙譜特征的語音可懂度評價算法[J].聲學(xué)技術(shù)，2022，41（5）：678-684.

[2]艾學(xué)忠，袁天奇，閆敏，等.時頻分析法在鍋爐承壓管線泄漏檢測中的應(yīng)用研究[J].聲學(xué)技術(shù)，2022，41（2）：282-287.

[3]洪欽智，王志君，郭一凡，等．一種支持多數(shù)據(jù)塊混合處理的FFT優(yōu)化方法[J].西安電子科技大學(xué)學(xué)報，2022，49（6）：42-50.

[4]周洲.基于FPGA的FFT設(shè)計優(yōu)化及實現(xiàn)[D].成都：電子科技大學(xué)，2023.

[5]李守闖.實時頻譜分析儀信號處理技術(shù)研究[D].杭州：杭州電子科技大學(xué)，2023.

[6]李帥，李靜.基于MATLAB仿真分析頻譜信號的誤差[J].工業(yè)控制計算機(jī)，2021，34（1）：86-87+89.

[7]劉沅玲，王金莉.基于頻率跟蹤的LED數(shù)控恒流驅(qū)動電源設(shè)計[J].電子器件，2023，46（5）：1406-1412.

[8]宿然，鄭喜鳳，陳宇，等.溫度波動對LED顯示屏白平衡主要參數(shù)及圖像色調(diào)的影響[J].發(fā)光學(xué)報，2023，44（2）：346-355.

[9]任克強，王傳強.基于STM32F4的多通道串口驅(qū)動TFT液晶屏顯示系統(tǒng)設(shè)計[J].液晶與顯示，2020，35（5）：449-455.

[10]楊超普，方文卿，劉明寶，等.LED背光液晶屏的低色溫調(diào)節(jié)及光譜分析[J].發(fā)光學(xué)報，2019，40（12）：1531-1537.

[11]姜育生，梁妮，賀國旗.基于MDM9607平臺的SPI接口驅(qū)動解析及應(yīng)用[J].現(xiàn)代信息科技，2023，7（2）：149-152.

[12]盛楊博嚴(yán).基于SPI總線的Arduino顯示與控制模塊設(shè)計[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2020，20（3）：74-76+80.

[13]劉維.基于SPI全雙工通信的ICNI健康管控系統(tǒng)[J]電子測量技術(shù)，2024，47（19）：34-43.

[14]楊梓鶴，彭秋雨，李湛藝，等.SPI接口仿真設(shè)計與實現(xiàn)[J].科技與創(chuàng)新，2022（19）：121-123+126.

作者簡介：葉林?。?974一），男，漢族，福建平和人，高級工程師，碩士，研究方向：嵌入式軟件系統(tǒng)、Android電視系統(tǒng)；陳培文（1975一），男，漢族，福建惠安人，工程師，本科，研究方向：液晶平板顯示技術(shù)、智慧顯示系統(tǒng)。