倪令格,王華朋,劉元周,張琨瑤,牛瑾琳

(中國刑事警察學(xué)院公安信息技術(shù)與情報學(xué)院, 遼寧沈陽 110854)

0 引言

使用錄音設(shè)備錄制正在播放的音頻以獲得新數(shù)字音頻資料的過程，叫做翻錄。翻錄的存在，對法庭語音證據(jù)真實性檢驗產(chǎn)生一定威脅。隨著科學(xué)技術(shù)及電子設(shè)備的快速發(fā)展和運用，人們利用手機或電腦即可輕易獲得高質(zhì)量的數(shù)字音頻，且對錄音資料進行編輯加工等操作簡單易行。在音頻篡改拼接中，翻錄通常被用作后處理方法，弱化甚至抹除篡改痕跡，使獲得的偽造音頻聽起來更自然。此外，翻錄可以通過預(yù)先錄制當(dāng)事人語音進行回放來偽造說話人，擾亂身份認證系統(tǒng)，攻擊聲音解鎖功能，文獻中也表明在說話人自動識別系統(tǒng)中翻錄語音的識別錯誤率增加[1]。因此，翻錄語音真實性檢測成為法庭取證的一個重要環(huán)節(jié)。

Villalba J等人[2]發(fā)現(xiàn)翻錄改變了信號的頻譜和調(diào)制指數(shù)，這種改變可以被判別分類器檢測到，對區(qū)分原始音頻和翻錄音頻具有較好的效果。羅達等人發(fā)現(xiàn)翻錄可以改變音頻的信噪比(SNR)，而且翻錄獲得的音頻頻帶稍微減弱[3]。Chettri B等人[4]通過實驗分析表明，部分真實語音中前幾幀的能量較剩余幀更低，存在離群值(奇異值)，而翻錄語音的各幀之間的能量分布似乎是均勻和平滑的。謝志峰等人通過使用當(dāng)下發(fā)布的ASVspoof 2017和BATS 2016，比較了梅爾頻率倒譜系數(shù)(MFCCs)、線性倒譜系數(shù)(LFCCs)、翻轉(zhuǎn)梅爾頻率倒譜系數(shù)(IMFCCs)、常數(shù)Q倒譜系數(shù)(CQCCs)和瓶頸特性5個特征，表明MFCCs及瓶頸特征優(yōu)于其他特征，且通過增加濾波器和倒譜箱的數(shù)量，可以顯著提高欺騙檢測系統(tǒng)的性能[5]。但這些都很難通過譜圖直接觀察得知，故而很難應(yīng)用于司法語音的真實性檢驗過程中。

法庭語音的真實性檢驗是一個系統(tǒng)檢驗的過程，其技術(shù)、方法較為成熟，王華朋[6]研究了常見語音被編輯加工痕跡的檢驗方法，劉滿良等人[7]從文件屬性檢驗、聽覺檢驗和聲學(xué)檢驗3個模塊分析，進行語音原始性檢驗。翻錄操作會對法庭語音證據(jù)的真實性檢驗產(chǎn)生重要影響，但翻錄對其影響暫未有系統(tǒng)性研究。本文重點從聲譜圖角度分析，關(guān)注噪聲檢驗、文件屬性和聽覺檢驗、異常圖譜檢驗過程中，翻錄時噪聲特征、篡改點的改變、頻帶特征和頻響范圍的改變；同時總結(jié)翻錄后篡改痕跡的變化規(guī)律及其在語音真實性檢驗中的應(yīng)用。

1 原始語音和翻錄語音的產(chǎn)生過程

原始語音和翻錄語音的產(chǎn)生過程如圖1所示，本實驗共錄制100段原始語音，語音時長2～6 s，包含相對靜音片段。采樣率為48 kHz的30段，量化精度32 bits；采樣率為16 kHz的70段，量化精度16 bits。

圖1 原始語音和翻錄語音的產(chǎn)生過程

對其中20段原始語音(48 kHz)經(jīng)室外、實驗室環(huán)境轉(zhuǎn)錄，研究相同設(shè)備下翻錄操作對背景噪聲及本底噪聲的影響；對其他80段語音，進行篡改處理(插入、抹除、剪切、不同頻響范圍拼接)，并分別用高低采樣率設(shè)備進行轉(zhuǎn)錄，研究翻錄設(shè)備采樣率不同對于篡改點聲譜圖的影響，同時觀察翻錄操作本身的聲痕跡。

設(shè)備信息具體如下：原始語音及翻錄過程涉及到的高采樣率(48 kHz)設(shè)備為HUAWEI MATE 10，低采樣率設(shè)備(16 kHz)為Honor Che1- CL10，翻錄時，播放設(shè)備為手提電腦Lenovo小新Air 14IKBR，播放響度60 dB，錄制設(shè)備距離揚聲器40～50 cm。

2 翻錄操作對法庭語音真實性檢驗的影響

2.1 翻錄對音頻噪聲的影響

2.1.1 對聲學(xué)環(huán)境噪聲的影響

音頻資料在翻錄過程中，必然增加3種噪聲元素，即聲學(xué)環(huán)境(AE)噪聲、播放設(shè)備(PD)噪聲和錄制設(shè)備(RD)噪聲，但后兩者很難區(qū)別開來。故實驗采用相同播放設(shè)備、錄制設(shè)備，控制播放音量、錄制距離相同的情況下，研究聲學(xué)環(huán)境噪聲對原始音頻影響。

結(jié)果表明，翻錄會增加原始音頻的背景噪聲，改變音頻信噪比，且室外翻錄語音段信噪比明顯降低，如圖2所示。實驗室環(huán)境下錄制的語音背景噪聲差距較小，需結(jié)合其他特征進行分析識別，但室外環(huán)境下錄制音頻，不僅增加非語音段的整體噪聲，而且在語音段還會附加無規(guī)則噪聲信息，如圖3所示。根據(jù)錄制時刻的不同，增加的噪聲種類、大小也不盡相同。在語音原始性檢驗過程中，著眼于背景噪聲與送檢方聲稱錄制環(huán)境的不符，鑒別語音真實性。

圖2 原始語音及不同環(huán)境下翻錄語音段信噪比

2.1.2 對本底噪聲的影響

音頻中，背景噪聲和本底噪聲是獨立的，本底噪聲主要由與麥克風(fēng)相關(guān)的電子元件及編碼傳輸失真產(chǎn)生的噪聲組成[8]。錄音設(shè)備的本底噪聲是設(shè)備本身產(chǎn)生的，是一種在沒有信號輸入的情況下也能產(chǎn)生的噪聲。

翻錄過程中，為保證語音錄制的完整性，往往會優(yōu)先開啟錄制設(shè)備，再回放音頻。分析實驗所得，本底噪聲弱，開啟音頻后，本底噪聲突然增強，在聲譜圖上會表現(xiàn)出播放設(shè)備開啟前后本底噪聲的明顯差異，如圖4所示。

圖3 原始音頻與實驗室環(huán)境、室外環(huán)境下 翻錄音頻背景噪聲差異

不同的錄音和回放設(shè)備引入不同的噪聲[9](麥克風(fēng)、揚聲器、抖動電路、前置放大器、功率放大器、輸入和輸出濾波器、A/D、D/A、取樣保持電路等都會引入相應(yīng)的噪聲[10]，這些噪聲疊加在翻錄語音上，使得翻錄后的語音與原始語音存在細微的差異。在語音真實性檢驗過程中，持續(xù)且規(guī)則噪聲的出現(xiàn)，考慮為音頻翻錄事實的存在。

2.2 翻錄對文件屬性、聽覺檢驗影響

法庭語音的檢驗程序主要包括文件屬性分析、聽覺檢驗和聲學(xué)檢驗3個方面，通過分析比對原始音頻與翻錄音頻，研究翻錄操作的影響，并檢驗分析翻錄語音的真?zhèn)涡浴?/p>

2.2.1 翻錄對文件屬性檢驗的影響

對數(shù)字音頻進行文件屬性檢驗，主要包括文件名、創(chuàng)建時間、修改時間、音頻時長、格式、MD5碼、采樣率及聲道數(shù)目等，此外還能獲得音頻格式信息[11]。

(1)初級檢驗：由于翻錄語音的偽造性，其錄制設(shè)備與原始設(shè)備往往不同，音頻格式信息也會有所差異，故核實檢材錄音與其聲稱送檢錄音設(shè)備中其他錄音文件屬性的異同，檢材錄音的文件屬性與送檢方聲稱的錄制情況是否存在矛盾，辨識檢材語音的真?zhèn)巍?/p>

(2)文件名隱藏的信息：如文件名為20191201140027.wav的音頻，文件名時間為“錄制開始的時間，文件名時間+錄制時長=文件修改時間”。翻錄語音與原始語音錄制時間必然相違背，根據(jù)音頻錄制時間的唯一性，發(fā)現(xiàn)檢材音頻文件與送檢方聲稱錄制時間的矛盾，推斷該語音的真實性。

(3)文件屬性中包括創(chuàng)建時間、修改時間、訪問時間等信息，結(jié)合翻錄事實，根據(jù)各時間信息的矛盾，推斷此音頻文件的真實性。

2.2.2 翻錄對聽覺檢驗的影響

考慮到對音頻進行翻錄的主要目的是為了掩蓋篡改事實，偽造錄制環(huán)境，故針對翻錄語音的聽覺檢驗主要包括仔細審聽、理解語義、異常分析3個階段。

第一階段，審聽送檢語音的整體情況，看交談是有卡頓、不流暢的地方。因翻錄語音常存在錄音環(huán)境與當(dāng)事人聲稱的不一致，故關(guān)注細節(jié)，重點聽背景聲音中是否存在突兀聲音的加入，音強高低是否有明顯改變。

第二階段，理解談話內(nèi)容，了解事情發(fā)生的來龍去脈與目的?？紤]到篡改操作不僅可以拼接、復(fù)制，也可能改變說話人的音色，而翻錄可以將這些特征固定下來，故檢驗時辨識交談?wù)呱矸菔欠裣喾Z義是否連貫，說話人是否存在偽裝現(xiàn)象。

第三階段，因翻錄語音的真?zhèn)涡宰R別相對困難，重點分析聽覺中斷或異常的位置，關(guān)注非常見的詞語或語法的表達，針對背景聲音不連貫或異常的位置多次進行真實性排查。

2.3 翻錄對異常圖譜聲學(xué)檢驗的影響

聲學(xué)檢驗常通過分析頻譜圖或聲譜圖的表現(xiàn)，以發(fā)現(xiàn)音頻編輯加工出現(xiàn)的痕跡，對不同篡改操作及翻錄音頻進行聲學(xué)檢驗，并給出翻錄對篡改痕跡的影響。

2.3.1 翻錄對插入拼接痕跡的影響

插入拼接痕跡是指向一段音頻內(nèi)插入來自語音文件或其他語音文件的語音片段，以求更改語音表達的意思，達到混淆視聽的目的[12]。語音證據(jù)的提供方往經(jīng)常采取插入拼接的方式，加入自身有利的信息以更改原始語義，試圖掩蓋事實真相。

由于錄音設(shè)備的不同或錄制環(huán)境的差異，在圖譜上可見本底噪聲和背景噪聲的不同，表現(xiàn)為噪聲的大小和分布差異，在拼接處存在明顯整齊的邊緣(復(fù)制或剪切痕跡處也會表現(xiàn)出明顯的邊界)，在聽覺感知上可以通過背景噪聲的突然變化加以區(qū)分[13]。

如圖5所示，將文本為“電話號碼”的語音插入拼接至采樣率為16 kHz的原始音頻中。根據(jù)本底噪聲周邊檢驗法，可見其開始、結(jié)束及上方出現(xiàn)整齊的邊緣分割痕跡。經(jīng)過低采樣率(16 kHz)的設(shè)備翻錄后，結(jié)束位置的邊界變得模糊，變化程度較輕；經(jīng)過高采樣率(48 kHz)的錄音設(shè)備翻錄后，8 kHz以上位置出現(xiàn)本底噪聲，同時插入拼接處痕跡幾乎被全部掩蓋，高于原采樣率一半的頻率區(qū)域能量為0。

圖4 播放設(shè)備開啟時本底噪聲痕跡

2.3.2 翻錄對抹除(靜音)類痕跡的影響

抹除類痕跡是指語音證據(jù)的提供方抹除語音中對己方不利的語音片段或字詞，而把對己方有利的部分留下[12]。此類痕跡經(jīng)常出現(xiàn)在視頻證據(jù)中，因不能對音頻直接刪除，否則將導(dǎo)致刪除后音頻錯位，而采取靜音操作。

靜音痕跡在波形圖上表現(xiàn)為沒有任何的振動信號，即使對波形進行放大，聲波的采樣點數(shù)據(jù)亦幾乎為零。在聲譜圖中會表現(xiàn)出現(xiàn)間斷現(xiàn)象，使用不同的軟件觀察可見白色或黑色的空白區(qū)域，沒有任何的頻率的能量存在，即使在相對靜音段進行抹除，在圖譜中亦能表現(xiàn)出明顯的分界線。

如圖6所示，此處被抹除的語音文本為“我欠你”。經(jīng)低采樣設(shè)備翻錄后，該靜音痕跡被部分抹除，但在靜音段兩側(cè)出現(xiàn)微弱的能量條，解釋為播放設(shè)備在遇到靜音段時頻率的改變而產(chǎn)生的播放痕跡。在高采樣率設(shè)備翻錄后，靜音痕跡被完全抹除。

圖5 插入拼接痕跡及低、高采樣設(shè)備翻錄聲譜圖

語音真實性檢驗過程中，當(dāng)靜音類痕跡被翻錄時，人工檢驗時不能通過聲譜圖發(fā)現(xiàn)其抹除痕跡，但在聽覺感知上可能會出現(xiàn)上下文邏輯混亂，說話內(nèi)容突兀，與正常交流的內(nèi)容相差甚遠，出現(xiàn)非正常的聽覺中斷或異常的情況。

2.3.3 翻錄對剪切/刪除類痕跡的影響

剪切/刪除類痕跡是指證據(jù)提供方為了自身需求，剪切或刪除掉對自己不利的錄音片段，而形成的編輯后痕跡，一般表現(xiàn)為聽覺異?；虮镜自肼暡町惔螅曌V圖中剪切痕跡兩側(cè)分界明顯等。

根據(jù)漢語語法規(guī)則可知，兩個聲母不能連續(xù)出現(xiàn)，而一般剪輯操作者不會特別注意此問題，給我們在檢驗其真實性方面提供了便利。如圖7所示，聲譜圖中為/sh/和/ch/兩個聲母相連的遺留痕跡，經(jīng)低采樣設(shè)備、經(jīng)高采樣設(shè)備翻錄后，編輯痕跡被抹除，但/sh/和/ch/兩個聲母相連的事實不會改變，仍然存在聽覺異常。而且，翻錄后擦音部分出現(xiàn)共振峰，但未見第一共振峰，此共振峰的出現(xiàn)與播放設(shè)備有關(guān)。

圖6 靜音痕跡及低、高采樣設(shè)備翻錄后聲譜圖

同時，在聲譜圖中，只有塞音(如b，p，d，t等)和塞擦音(如z，q等)前因氣流突然爆破才會出現(xiàn)沖直條，其他的音節(jié)都是一個逐漸增強又減弱的一個過程。

2.3.4 翻錄對頻響范圍改變痕跡的影響

語音在篡改過程中，由于錄制設(shè)備的不同，可能出現(xiàn)音頻采樣率的不同，低采樣率設(shè)備與高采樣率設(shè)備錄制的音頻拼接后，聲譜圖上會表現(xiàn)為音頻的頻響范圍明顯不同。高采樣率設(shè)備錄制低采樣率語音時，可見翻錄語音中高頻部分出現(xiàn)明顯的能量缺失現(xiàn)象；低采樣率設(shè)備錄制高采樣率語音時，相當(dāng)于對原始語音進行降采樣，部分翻錄語音的本底噪聲上邊緣整齊，與一般真實性語音不符。

如圖8所示，原始語音文件為低采樣率，而被加入高采樣率的一段音頻，這不僅使數(shù)字音頻資料的整體采樣率發(fā)生改變，而且可以清晰觀察到聲譜圖中插入音頻處的頻響范圍明顯大于其兩側(cè)的頻響范圍，因此判斷為篡改痕跡。使用低采樣率對該篡改痕跡進行翻錄時，由于采樣率的限制，完全抹除頻響范圍差異的痕跡，表現(xiàn)為前后語音相同頻響范圍；使用高采樣率設(shè)備對篡改音頻進行翻錄，則可重現(xiàn)編輯痕跡，從而發(fā)現(xiàn)修改事實，識別數(shù)字音頻的非真實性。無論圖譜表現(xiàn)與否，在聽覺感知上，翻錄語音中經(jīng)過修改處的語音明顯增強，由此可以作為辨別其真?zhèn)涡缘囊罁?jù)。

圖7 剪切痕跡及低、高采樣設(shè)備翻錄后圖譜表現(xiàn)

2.4 音頻翻錄操作聲痕跡特征

音頻在翻錄過程中，不僅會出現(xiàn)平滑甚至抹除篡改痕跡，而且其操作本身會留下一定的聲痕跡，根據(jù)觀察比對原始語音與翻錄語音，結(jié)合操作事實得出以下兩方面固有特征。

2.4.1 音頻翻錄頻帶能量特征

頻帶是指無線電頻譜上位于兩個特定的頻率界限之間的部分。根據(jù)實驗觀察聲譜圖發(fā)現(xiàn)，翻錄操作能夠改變某頻帶范圍內(nèi)能量的強弱，將其解釋為播放設(shè)備與錄制設(shè)備的相互干擾，使翻錄后音頻聲譜圖中表現(xiàn)出類似于“帶阻濾波器”的效果，從而減弱該頻帶范圍的能量。該實驗中使用的低采樣設(shè)備翻錄音頻聲譜圖顯示，降低了頻帶為3 kHz左右的能量，而高采樣設(shè)備降低了頻帶6 kHz左右及4 kHz左右的能量，如圖9所示，白色區(qū)域內(nèi)深色條帶。不同設(shè)備翻錄后頻帶減弱范圍不同，且能量降低的程度存在差異，但該特征相對穩(wěn)定且易于觀察。當(dāng)聲譜圖中出現(xiàn)某固定頻帶范圍內(nèi)能量減弱，應(yīng)考慮為音頻被篡改或經(jīng)翻錄形成的可疑點。

圖8 不同采樣率音頻拼接痕跡表現(xiàn)及不同設(shè)備翻錄后聲譜圖

2.4.2 翻錄操作動作痕跡特征

語音的翻錄可以對多個音頻起到拼接作用，斷章取義得到目標(biāo)音頻，最常使用暫停、繼續(xù)等按鍵操作。若在錄音過程中有暫停行為，說明得到的數(shù)字音頻不具備真實性，也表明出現(xiàn)暫停按鍵動作會遺留下暫停按鍵聲音痕跡[14]。

實驗研究證明，手指在觸摸到手機屏幕使其暫停的時刻，時域波形圖上出現(xiàn)單條豎線狀短時刻振幅，操作后因設(shè)備反應(yīng)延遲音頻仍在錄制，直至真正暫停。再次開始時，按鍵操作痕跡沒有圖譜痕跡顯示，但開始時音頻錄制會出現(xiàn)延遲現(xiàn)象，能量圖譜中對應(yīng)區(qū)域出現(xiàn)空白，如圖10所示。

圖9 不同設(shè)備翻錄后音頻頻帶能量改變

圖10 暫停、繼續(xù)痕跡

同一臺設(shè)備錄制后留下的暫停痕跡不盡相同，這與每次按鍵的快慢、力量大小的不同、按鍵的機械結(jié)構(gòu)相關(guān)[12]。使用不同設(shè)備、不同觸摸方式，圖譜表現(xiàn)也相差甚遠。

3 翻錄痕跡特征分析及其在語音真實性檢驗中的應(yīng)用

根據(jù)實驗設(shè)計，將文中提及的相關(guān)痕跡特征的語音段進行統(tǒng)計并得到表1。

表1 實驗中相關(guān)痕跡統(tǒng)計信息

可見，本底噪聲改變痕跡、篡改后翻錄語音頻響范圍改變痕跡的出現(xiàn)是穩(wěn)定的，能作為識別翻錄的重要依據(jù)；而不規(guī)則噪聲、頻帶能量減弱及翻錄動作留痕的出現(xiàn)存在偶然性，其中頻帶能量特征痕跡特征出現(xiàn)率高，若在檢驗過程中發(fā)現(xiàn)異常，可作為語音真實性檢驗的參考因素。

在常規(guī)法庭語音真實性檢驗的基礎(chǔ)上，出現(xiàn)聲譜圖中出現(xiàn)以下特征，則考慮為篡改后的翻錄語音：

(1)當(dāng)音頻中出現(xiàn)本底噪聲明顯差異，應(yīng)考慮為翻錄操作中音頻播放的起始位置。

(2)當(dāng)音頻表現(xiàn)出背景噪聲差異，可觀察到異常語音段聲譜圖分界明顯而有別于常規(guī)插入拼接痕跡，尤其是出現(xiàn)整齊的上邊緣，應(yīng)考慮為插入拼接篡改后的翻錄語音。

(3)當(dāng)錄音文件中出現(xiàn)相對靜音段或前后文語義不連貫，但圖譜表現(xiàn)中仍存在連貫的本底噪聲，應(yīng)考慮為抹除篡改后的翻錄語音。

(4)當(dāng)聲譜圖中出現(xiàn)某固定頻帶范圍內(nèi)能量減弱或增強，應(yīng)考慮為音頻被篡改或經(jīng)翻錄形成。

(5)根據(jù)聲譜圖及漢語規(guī)則，當(dāng)錄音文件中出現(xiàn)元音的譜圖呈現(xiàn)無規(guī)律變化或具有塞音、塞擦音、擦音遺留痕跡，且聲譜圖中過渡平滑，應(yīng)考慮為剪切/刪除篡改后的翻錄語音。

(6)當(dāng)圖譜中出現(xiàn)明顯頻響范圍不同，主要使用比對法是在相似語音環(huán)境下使用原始錄音設(shè)備錄制一個語音樣本，對比兩者頻響范圍[7]。若二者差異明顯，則考慮為篡改痕跡。

4 結(jié)論

為打擊不法分子利用翻錄語音進行違法犯罪、斷章取義偽造音頻，利用翻錄操作平滑甚至抹除音頻篡改痕跡的現(xiàn)象，通過分析對比原始、篡改語音及200段翻錄語音數(shù)據(jù)，研究了翻錄特征及其對文件屬性檢驗、聽覺檢驗及篡改點痕跡的影響，并對翻錄后的篡改痕跡改變規(guī)律進行了總結(jié)。結(jié)果表明，翻錄過程存在其固有特征，即翻錄過程使原始音頻中固定頻帶范圍的能量減弱，動作聲痕跡遺留，背景噪聲及本底噪聲增加；翻錄操作在包含文件屬性檢驗、聽覺檢驗和異常圖譜聲學(xué)檢驗的整個語音真實性檢驗過程中都產(chǎn)生作用及影響，且高采樣率設(shè)備翻錄后的平滑效果更明顯。研究翻錄對法庭語音真實性檢驗的影響，不僅完善了司法語音的內(nèi)容檢驗范疇，而且能夠?qū)τ谥浦咕W(wǎng)絡(luò)中出現(xiàn)的不實語音惡意攻擊具有借鑒意義，從而打擊犯罪、維護社會公共安全，同時保證自動說話人識別系統(tǒng)中身份驗證、信息檢索的準(zhǔn)確率。未來，針對翻錄語音進行真實性檢驗會朝著更加智能化的方向發(fā)展。