黃浩銘 鄭瀅 王博 王興辰
北方工業(yè)大學(xué) 北京 100144
隨著越來越多的人習(xí)慣于通過移動(dòng)視頻獲取和共享信息,移動(dòng)視頻流量已經(jīng)占據(jù)了移動(dòng)網(wǎng)絡(luò)流量的一大部分。然而,通過無線網(wǎng)絡(luò)傳輸高質(zhì)量的流媒體視頻仍極具挑戰(zhàn)性。在5G時(shí)代,數(shù)據(jù)風(fēng)暴正在加劇,相比4G的價(jià)格,5G移動(dòng)視頻的數(shù)據(jù)成本不可忽略。提升移動(dòng)視頻QoE的一個(gè)流行技術(shù)是碼率自適應(yīng)(ABR)[1]技術(shù)。ABR的基本思想是,在播放過程中用戶應(yīng)該主動(dòng)調(diào)整視頻碼率,使之與實(shí)時(shí)網(wǎng)絡(luò)條件相適應(yīng),從而減少因?yàn)橐曨l碼率與網(wǎng)絡(luò)條件之間的不匹配造成的播放卡頓。因此,更智能的ABR算法需要考慮比特率調(diào)整中的流量約束,在用戶指定的可承受流量范圍內(nèi)提高移動(dòng)視頻QoE。為解決上述問題,本文考慮了一種基于數(shù)據(jù)流量的碼率自適應(yīng)算法。為此,我們首先分析不同碼率切換和流量消耗對(duì)移動(dòng)視頻QoE的影響,給出流量感知的QoE預(yù)測(cè)模型;其次,提出一種基于數(shù)據(jù)流量的碼率自適應(yīng)策略;該策略以可承受交通為約束;最后,通過仿真實(shí)驗(yàn)將本文算法與經(jīng)典ABR算法進(jìn)行比較,驗(yàn)證了本文算法的有效性。
根據(jù)用戶指定的流量限制與剩余視頻長(zhǎng)度,可以計(jì)算出下載剩余視頻的平均碼率R。 我們計(jì)算第j個(gè)視頻片段在t時(shí)刻的QoE得分如下:
其中,α,β,μ是控制不同QoE因素重要性的權(quán)重值。S(j)反映了碼率切換的影響,為平均視頻碼率,I(t)是一個(gè)0-1變量,表示下一個(gè)視頻塊的下載是否會(huì)使流量超出指定值,超出則取0。我們將以最大化QoEMem(j, t)為選擇下一個(gè)視頻碼率的目標(biāo)。
現(xiàn)有的ABR算法忽視了移動(dòng)數(shù)據(jù)流量的成本,本文提出一種混合自適應(yīng)碼率選擇算法,可以根據(jù)當(dāng)前的網(wǎng)絡(luò)和流量使用情況來優(yōu)化QoEMem(j, t)。
為了使ABR算法盡可能地貼合移動(dòng)視頻用戶的需求,自適應(yīng)的目標(biāo)函數(shù)如下:
其中,T為用戶指定的流量限制,traffic截至目前下載視頻所用的總流量。
本文通過增強(qiáng)學(xué)習(xí)模型來進(jìn)行碼率的選擇,并利用“Actor-Critic”技術(shù)[2]來訓(xùn)練模型。在基于數(shù)據(jù)流量的ABR系統(tǒng)中,當(dāng)前網(wǎng)絡(luò)狀態(tài)、視頻源、視頻播放器、數(shù)據(jù)流量限制將作為增強(qiáng)學(xué)習(xí)模型的環(huán)境;由深度學(xué)習(xí)網(wǎng)絡(luò)組成碼率自適應(yīng)選擇的代理,其能夠隨時(shí)間積累慢慢優(yōu)化,從而做出最優(yōu)的行為;環(huán)境信息將作為狀態(tài)st(t)傳遞給代理,使代理做出碼率選擇決策。我們以QoEMem(j, t)作為增強(qiáng)學(xué)習(xí)模型的激勵(lì)函數(shù)。當(dāng)前碼率選擇作用在當(dāng)前環(huán)境后(即改變碼率),將會(huì)產(chǎn)生新的狀態(tài)st(t+1),在新狀態(tài)下獲得的QoE指標(biāo)被輸入到激勵(lì)函數(shù),作為模型參數(shù)更新的依據(jù)。
仿真結(jié)果表明,在600秒的視頻播放過程中,本文方法的碼率切換次數(shù)最小。由于本文方法可以根據(jù)網(wǎng)絡(luò)條件和流量約束更快速地調(diào)整視頻碼率,對(duì)環(huán)境變化更敏感。此外,我們將碼率分為五個(gè)等級(jí),并計(jì)算了各ABR方法下載視頻塊時(shí)不同碼率的占比。本文方法主要有三個(gè)碼率等級(jí)其中占比較高,具有良好的穩(wěn)定性。而其他ABR方法則涵蓋了五個(gè)等級(jí)。
為了在給定的數(shù)據(jù)流量范圍內(nèi),提供更優(yōu)的觀看體驗(yàn),本文首先定義了QoE模型,特別考慮了流量消耗對(duì)QoE的影響。其次,提出了一種基于數(shù)據(jù)流量的碼率自適應(yīng)算法,并采用增強(qiáng)學(xué)習(xí)求解。最后,通過仿真實(shí)驗(yàn)驗(yàn)證了本文算法的敏銳性和穩(wěn)定性。