黃浩銘 鄭瀅 王博 王興辰

北方工業(yè)大學(xué) 北京 100144

引言

隨著越來越多的人習(xí)慣于通過移動(dòng)視頻獲取和共享信息，移動(dòng)視頻流量已經(jīng)占據(jù)了移動(dòng)網(wǎng)絡(luò)流量的一大部分。然而，通過無線網(wǎng)絡(luò)傳輸高質(zhì)量的流媒體視頻仍極具挑戰(zhàn)性。在5G時(shí)代，數(shù)據(jù)風(fēng)暴正在加劇，相比4G的價(jià)格，5G移動(dòng)視頻的數(shù)據(jù)成本不可忽略。提升移動(dòng)視頻QoE的一個(gè)流行技術(shù)是碼率自適應(yīng)(ABR)[1]技術(shù)。ABR的基本思想是，在播放過程中用戶應(yīng)該主動(dòng)調(diào)整視頻碼率，使之與實(shí)時(shí)網(wǎng)絡(luò)條件相適應(yīng)，從而減少因?yàn)橐曨l碼率與網(wǎng)絡(luò)條件之間的不匹配造成的播放卡頓。因此，更智能的ABR算法需要考慮比特率調(diào)整中的流量約束，在用戶指定的可承受流量范圍內(nèi)提高移動(dòng)視頻QoE。為解決上述問題，本文考慮了一種基于數(shù)據(jù)流量的碼率自適應(yīng)算法。為此，我們首先分析不同碼率切換和流量消耗對(duì)移動(dòng)視頻QoE的影響，給出流量感知的QoE預(yù)測(cè)模型；其次，提出一種基于數(shù)據(jù)流量的碼率自適應(yīng)策略；該策略以可承受交通為約束；最后，通過仿真實(shí)驗(yàn)將本文算法與經(jīng)典ABR算法進(jìn)行比較，驗(yàn)證了本文算法的有效性。

1 QoE建模

根據(jù)用戶指定的流量限制與剩余視頻長(zhǎng)度，可以計(jì)算出下載剩余視頻的平均碼率R。 我們計(jì)算第j個(gè)視頻片段在t時(shí)刻的QoE得分如下：

其中，α，β，μ是控制不同QoE因素重要性的權(quán)重值。S(j)反映了碼率切換的影響，為平均視頻碼率，I(t)是一個(gè)0-1變量，表示下一個(gè)視頻塊的下載是否會(huì)使流量超出指定值，超出則取0。我們將以最大化QoEMem(j, t)為選擇下一個(gè)視頻碼率的目標(biāo)。

2 基于數(shù)據(jù)流量的碼率自適應(yīng)方法

現(xiàn)有的ABR算法忽視了移動(dòng)數(shù)據(jù)流量的成本，本文提出一種混合自適應(yīng)碼率選擇算法，可以根據(jù)當(dāng)前的網(wǎng)絡(luò)和流量使用情況來優(yōu)化QoEMem(j, t)。

為了使ABR算法盡可能地貼合移動(dòng)視頻用戶的需求，自適應(yīng)的目標(biāo)函數(shù)如下：

其中，T為用戶指定的流量限制，traffic截至目前下載視頻所用的總流量。

本文通過增強(qiáng)學(xué)習(xí)模型來進(jìn)行碼率的選擇，并利用“Actor-Critic”技術(shù)[2]來訓(xùn)練模型。在基于數(shù)據(jù)流量的ABR系統(tǒng)中，當(dāng)前網(wǎng)絡(luò)狀態(tài)、視頻源、視頻播放器、數(shù)據(jù)流量限制將作為增強(qiáng)學(xué)習(xí)模型的環(huán)境；由深度學(xué)習(xí)網(wǎng)絡(luò)組成碼率自適應(yīng)選擇的代理，其能夠隨時(shí)間積累慢慢優(yōu)化，從而做出最優(yōu)的行為；環(huán)境信息將作為狀態(tài)st(t)傳遞給代理，使代理做出碼率選擇決策。我們以QoEMem(j, t)作為增強(qiáng)學(xué)習(xí)模型的激勵(lì)函數(shù)。當(dāng)前碼率選擇作用在當(dāng)前環(huán)境后（即改變碼率），將會(huì)產(chǎn)生新的狀態(tài)st(t+1)，在新狀態(tài)下獲得的QoE指標(biāo)被輸入到激勵(lì)函數(shù)，作為模型參數(shù)更新的依據(jù)。

3 傳輸性能比對(duì)

仿真結(jié)果表明，在600秒的視頻播放過程中，本文方法的碼率切換次數(shù)最小。由于本文方法可以根據(jù)網(wǎng)絡(luò)條件和流量約束更快速地調(diào)整視頻碼率，對(duì)環(huán)境變化更敏感。此外，我們將碼率分為五個(gè)等級(jí)，并計(jì)算了各ABR方法下載視頻塊時(shí)不同碼率的占比。本文方法主要有三個(gè)碼率等級(jí)其中占比較高，具有良好的穩(wěn)定性。而其他ABR方法則涵蓋了五個(gè)等級(jí)。

4 結(jié)束語

為了在給定的數(shù)據(jù)流量范圍內(nèi)，提供更優(yōu)的觀看體驗(yàn)，本文首先定義了QoE模型，特別考慮了流量消耗對(duì)QoE的影響。其次，提出了一種基于數(shù)據(jù)流量的碼率自適應(yīng)算法，并采用增強(qiáng)學(xué)習(xí)求解。最后，通過仿真實(shí)驗(yàn)驗(yàn)證了本文算法的敏銳性和穩(wěn)定性。