王一群，李興旭，楊鴻波，劉 瓊，陳雯柏

（北京信息科技大學(xué)自動化學(xué)院，北京 100096）

0 引 言

機器人聽覺系統(tǒng)是一種利用聲學(xué)傳感器采集聲音信號與外界環(huán)境完成感知與交互的方式。聲源定位是指利用聲音信號，經(jīng)過處理和計算獲得聲源位置的技術(shù)。由于聲音信號和光信號存在著本質(zhì)上的區(qū)別，機器人聽覺系統(tǒng)在障礙物遮擋、能見度低等不利于視覺系統(tǒng)的工況下仍可有效工作，常獨立或輔助機器人視覺系統(tǒng)完成定位、導(dǎo)航、避障等工作［1］。

對于發(fā)聲目標(biāo)檢測應(yīng)用，基于聲音信號相比圖像方法，有著先天優(yōu)勢，常用于軍事、工業(yè)和日常生活。如對汽車違法鳴笛抓拍［2-4］，車輛與飛機等通過噪聲來源定位［5-7］，工業(yè)異常工件檢查［8-9］，管道氣體泄漏點檢測［10］，智能監(jiān)控［11］。上述聲源定位應(yīng)用中的傳感器陣列多為固定安放，傳感器位置移動中追蹤聲源的研究較少。

本文將設(shè)計一種通過聲音信號實現(xiàn)跟蹤拍攝的輪式機器人，并在室內(nèi)室外進行機器人追蹤聲源功能試驗，分析性能與抗干擾能力，為機器人聽覺系統(tǒng)相關(guān)研究提供參考。

1 系統(tǒng)整體設(shè)計

1.1 研究背景

圖1 所示為常用目標(biāo)跟隨拍攝方式，而目前市面上支持目標(biāo)跟隨拍攝的智能設(shè)備主要分固定式［見圖1（a）］和手持式［見圖1（b）］2 種。固定式云臺因位置固定，限制被拍攝者僅能在小范圍內(nèi)移動。手持式云臺需要借助人力完成跟隨。近年來無人機航拍（圖1（c）成為攝影師們的新寵，但仍存在著無法室內(nèi)使用、成本高昂、續(xù)航時間短和噪音大等問題。因此，成本低廉的輪式跟隨拍攝機器人存在一定市場。

圖1 常用目標(biāo)跟隨拍攝方式

1.2 系統(tǒng)架構(gòu)

本文提出的移動機器人聲源定位與跟蹤攝錄系統(tǒng)主要分為音視頻采集、目標(biāo)檢測和控制跟隨3 個部分。音視頻采集部分調(diào)用硬件設(shè)備（麥克風(fēng)陣列、攝像頭）獲取并保存音頻和數(shù)字圖像信號，以供后續(xù)算法使用。目標(biāo)檢測通過基于到達時間差的聲源定位方法（Time Difference of Arrival，TDOA）實現(xiàn)，完成對發(fā)聲目標(biāo)位置的解算，包含2 個步驟：①估計目標(biāo)所發(fā)出聲音到不同麥克風(fēng)之間的時間差，再根據(jù)時間差和幾何關(guān)系解算出發(fā)聲目標(biāo)相對于麥克風(fēng)陣列的位置；②控制跟隨部分將利用解算出的位置信息，控制舵機與電動機工作使小車靠近且跟隨目標(biāo)移動。

2 聲源定位算法

常見的聲源定位算法有基于最大輸出功率的可控波束形成定位方法（Steered Beamforming，BS）、基于高分辨率估計的定位方法（High Resolution Spectral Estimation，HRSE）和TDOA。

本文考慮到機器人跟蹤發(fā)聲目標(biāo)屬于近場模型，且硬件計算能力有限，因此選擇使用TDOA。

2.1 基于到達時間差的聲源定位算法

處于不同位置的2 個麥克風(fēng)接收到來自聲源的聲音信號，如圖2 所示。各麥克風(fēng)接收到的音頻信號x1（t）和x2（t）由下式表示：

圖2 聲源與各麥克風(fēng)空間位置關(guān)系示意圖

式中：S為聲源信號；m1與m2為在不同時刻到達各麥克風(fēng)且?guī)в屑有栽肼?；t為傳播時間；τ1和τ2分別為聲源到達2 個麥克風(fēng)的延遲時間。由式（1）可得麥克風(fēng)之間的時延

通過測量獲得傳感器間距L，結(jié)合τ 與t，可計算出聲音在空氣中傳播的方向：

式中：c為聲音在空氣中的傳播，本文取c＝340 m／s；β為智能車作極坐標(biāo)中心面對兩個聲源的中心線的夾角，正值表示聲源在車左側(cè)，反之則在右側(cè)。

TDOA算法將聲源定位的問題轉(zhuǎn)化為求不同麥克風(fēng)接收時延的問題，時延估計的精度將直接影響到聲源定位的精度。

2.2 時延估計

時延估計（Time delay estimation，TDE）方法中得到最廣泛應(yīng)用的是廣義互相關(guān)算法（Generalized Cross Correlation，GCC）和自適應(yīng)最小均方法（Least Mean Square，LMS）［12-13］?？紤]到機器人對實時性的要求，本文選擇了計算量較小且能保證一定精度的GCC 方法。廣義GCC表達式如下：

式中：Ψ12（ω）為加權(quán)函數(shù)；Gx1x2（ω）為信號互功率譜。

2.3 語音端點檢測

端點檢測是指從一段音頻信號中確定目標(biāo)聲音信號的起始點和結(jié)束點位置，利用語音端點檢測只對有目標(biāo)聲音的信號片段進行處理，可以減少數(shù)據(jù)輸入及系統(tǒng)的運行時間，并抑制噪聲對系統(tǒng)的干擾。

端點檢測常用方法有短時能量法、譜質(zhì)心和頻譜擴展度法等［14］。其中，短時能量法是在時域?qū)用孢M行端點檢測，有著運算量小、簡單易理解的優(yōu)點，適合本次實驗。

采集N幀語音信號，計算第i幀語音信號yi（n）的短時能量

式中，yi（n）為當(dāng)前時刻采樣的數(shù)值，其中n＝1，2，…，l，l為幀長。

當(dāng)前音頻信號短時能量大于所設(shè)定的閾值時即可認(rèn)為環(huán)境中存在目標(biāo)，閾值的選擇直接影響到靜音檢測的效果。圖3 中藍色區(qū)域是由算法判斷存在語音的區(qū)間。若閾值設(shè)定過低，算法易受噪聲干擾產(chǎn)生誤判，如圖3（a）多數(shù)片段被判定為存在語音；若閾值設(shè)置過高，部分音量較小的語音信號片段會被漏判。

圖3 不同閾值的語音端點檢測效果比較

3 實驗部分

3.1 平臺搭建

（1）主控板。本文搭建的設(shè)備主控板采用德州儀器公司的工業(yè)派（見圖4），包含AM5708 處理器、C66x系列數(shù)字信號處理器（DSP）和豐富的接口，適合作為本次設(shè)計的實驗平臺進行算法驗證、功能測試、應(yīng)用開發(fā)等環(huán)節(jié)。

圖4 主控板

（2）麥克風(fēng)陣列。選擇T型四聲道麥克風(fēng)陣列采集聲音信號，該麥克風(fēng)陣列頂部有3個麥克風(fēng)處在同一水平線上、間距6 cm，底部有1 個麥克風(fēng)，如圖5 所示。頂部3 個麥克風(fēng)也可在實驗中單獨作為線型麥克風(fēng)陣列使用，以簡化實驗實現(xiàn)流程［15-16］。麥克風(fēng)信噪比為59 dB（A），靈敏度為－22 dBV／Pa，最大輸出阻抗為400 Ω。實驗背景的短視頻錄制、主直播等應(yīng)用場景一般要求距離攝錄設(shè)備8 m內(nèi)、移動緩慢和持續(xù)發(fā)聲、T型麥克風(fēng)陣列的精度能夠滿足設(shè)計需求。

圖5 基于麥克風(fēng)陣列的跟隨攝錄設(shè)備實物

（3）運動底盤。系統(tǒng)使用TI-RSLK 機器人套件，運動底盤結(jié)構(gòu)為前輪舵機轉(zhuǎn)向-后輪電動機驅(qū)動形式，輪徑68 mm。直流電動機采用脈沖寬度調(diào)制（Pulse Width Modulation，PWM）波調(diào)整轉(zhuǎn)速，帶有AB 相編碼器，減速比1∶20。電池組由18 650 節(jié)鋰電池及充放控制板組成，額定電壓12 V，額定容量10 000 mAh，能夠滿足長時間的供電要求。

3.2 軟件設(shè)計

使用多線程技術(shù)、（ARM＋DSP）異構(gòu)架構(gòu)完成程序設(shè)計，程序交叉編譯后以應(yīng)用的形式運行在板卡上的Linux-Rt系統(tǒng)中。主任務(wù)循環(huán)中對輸入數(shù)據(jù)進行靜音檢測、聲源定位運算，并根據(jù)解算方位結(jié)果通過比例導(dǎo)數(shù)（Proportional Derivative，PD）控制算法控制運動底盤向目標(biāo)移動。程序結(jié)構(gòu)如圖6 所示。

圖6 程序結(jié)構(gòu)框圖

（1）聲源定位實現(xiàn)。TDOA算法的程序?qū)崿F(xiàn)主要分2 步：①TDE，即用互相關(guān)算法估計聲源信號到達麥克風(fēng)陣列中各麥克風(fēng)的時間差；②根據(jù)τ，按照幾何關(guān)系解算出聲源目標(biāo)關(guān)于麥克風(fēng)陣列的方位信息。

主進程中創(chuàng)建一個線程調(diào)用Linux pcm模塊完成對多聲道音頻信號的采集，將連續(xù)的模擬信號轉(zhuǎn)為離散數(shù)字信號存儲在緩沖區(qū)，等待運算線程讀取作為后續(xù)算法輸入并保存為WAV 格式音頻文件。針對語音信號頻率特點和對硬件性能的綜合考慮，設(shè)置采樣頻率f為44.1 kHz，取2 048 個采樣點為一幀，即幀長l＝2 048。

互相關(guān)算法的程序?qū)崿F(xiàn)流程如圖7 所示，將2 個含有各時間點音頻信號幅值的數(shù)組通過離散傅里葉變換轉(zhuǎn)換至頻域進行共軛運算再加權(quán)求和得到中間結(jié)果，通過傅里葉反變換獲得結(jié)果數(shù)組H（j），j＝1，2，…，2l。通過程序查找，獲得結(jié)果數(shù)組中峰值Hmax及自變量j的值a：

圖7 互相關(guān)算法軟件實現(xiàn)流程

以s為單位的時延τ的計算式如下：

式中：r為算法獲得的時延結(jié)果值；f為采樣率。

算法計算獲得時延數(shù)值結(jié)果r＝－5 時，經(jīng)計算時延τ 約為－11.338 μs，表明聲音先到達右側(cè)麥克風(fēng)。根據(jù)（3）式，2 個麥克風(fēng)間距L為6 cm，可獲得目標(biāo)β＝－18.737 9°（右側(cè)）。

為了更好地利用硬件資源、提升實時性，將端點檢測算法放在DSP 核心中進行，并將最終結(jié)果回傳到ARM端。

（2）控制跟隨。由于舵機硬件特性，控制過程中不存在累積誤差，所以本實驗中簡化PID 控制算法中的積分項，采用PD 控制器控制舵機轉(zhuǎn)角實現(xiàn)跟隨任務(wù)，即：

式中，out 為控制器的輸出值；Kp與Kd分別為控制器的比例與微分系數(shù)；err為本次角度誤差；err＿last 為上次計算周期所得誤差。

在控制中，目標(biāo)值將一直設(shè)置為0（即期望控制車體始終正對前方的發(fā)聲目標(biāo)）。out 通過線性變化后為當(dāng)前時刻舵機的控制量即PWM 占空比值，用于控制舵機和電動機。

4 驗證與分析

4.1 時延估計對比測試與分析

實驗中選擇經(jīng)典GCC 算法（即Ψ12（ω）＝1）與GCC-PHAT算法作對比。在聲源位置固定相距麥克風(fēng)陣列右側(cè)15°距離3.5 m、室內(nèi)環(huán)境下，經(jīng)典GCC 和GCC-PHAT實測計算結(jié)果見表1 所列。

表1 經(jīng)典GCC和GCC-PHAT實測計算部分結(jié)果

由表1 可見，GCC-PHAT的計算結(jié)果穩(wěn)定，數(shù)值主要集中在-4 附近；而經(jīng)典GCC 的r值在－650～1 697之間浮動，無法表征目標(biāo)的準(zhǔn)確位置，其結(jié)果誤差大。主要是經(jīng)典GCC算法對噪聲敏感，在低信噪比條件下的互相關(guān)結(jié)果會出現(xiàn)峰值不集中且相對真實值偏移的現(xiàn)象。而GCC-PHAT 算法的誤差主要來源于環(huán)境中其他噪聲的干擾，當(dāng)目標(biāo)聲源并未發(fā)聲時（例如人說話過程中會有間斷），將不含語音音頻信息的環(huán)境聲作為聲源定位系統(tǒng)的輸入，導(dǎo)致無法獲得正確的目標(biāo)聲源定位結(jié)果，這也體現(xiàn)了增加語音端點檢測處理環(huán)節(jié)的必要性。

4.2 場景測試與分析

在多個場景中用自然人聲和藍牙音箱（型號coowoobs100）播放說書音頻作為聲源，距離小車2～6.5 m 情況下測試，如圖8 和9 所示。環(huán)境中存在的噪聲類型有：大型空調(diào)外機運行噪聲、人群活動聲、汽車駛過的噪聲還有來自自身通過固體傳導(dǎo)形式到達麥克風(fēng)陣列的舵機電動機噪聲。系統(tǒng)測試結(jié)果見表2 所示。測試得出，基于TODA 和GCC-PHAT 算法的聲源定位方案具有一定的抗干擾能力。

表2 測試結(jié)果總結(jié)

圖8 多場景測試實拍

圖9 小車視角畫面

5 結(jié) 語

本文提出的移動機器人聲源定位與跟蹤攝錄系統(tǒng)設(shè)計能夠多個場景下根據(jù)聲音信號完成跟隨和拍攝，并經(jīng)實驗測試。結(jié)果表明，該實驗系統(tǒng)支持720p（30f／s），480p（60f／s）錄像及48K 四聲道音頻；能在8 m遠進行跟隨；平均單次采集時間僅為8.5 ms?？蓾M足短視頻博主等對低成本、可移動的跟隨攝錄設(shè)備的需求，具有一定的實用價值，可為基于機器聽覺的各種機器人環(huán)境感知和交互研究提供參考。

同時，實驗可作為教學(xué)設(shè)計，有助于提升自動化類專業(yè)學(xué)生對“信號與系統(tǒng)”“數(shù)字信號處理”“自動控制原理”等專業(yè)知識的綜合應(yīng)用能力、獨立解決工程問題的能力和創(chuàng)新實踐能力，為面向多學(xué)科融合的自動化類人才的培養(yǎng)奠定基礎(chǔ)。