黨 進(jìn) 蒙俊杰

(廣西科技大學(xué),廣西 柳州545026)

1 概述

隨著移動網(wǎng)絡(luò)與手機(jī)設(shè)備性能大幅度的提升,短視頻行業(yè)出現(xiàn)迅猛的發(fā)展,2017年行業(yè)市場規(guī)模達(dá)到57.3 億元,同比增長達(dá)到183.9%,而2020年全行業(yè)市場規(guī)模預(yù)計會達(dá)到300億元,平均年增長率為74%[1]。短視頻行業(yè)不可估量的經(jīng)濟(jì)收益引起了投資者的重視。但是要實際做到商業(yè)化,提高平臺的內(nèi)容變現(xiàn)能力是重要環(huán)節(jié)。本文將深度學(xué)習(xí)技術(shù)應(yīng)用于短視頻投放領(lǐng)域,提出了一種基于深度學(xué)習(xí)的視頻物體檢測和內(nèi)容推薦系統(tǒng),結(jié)合視頻內(nèi)容進(jìn)行高相關(guān)度低打擾性的廣告推送,從而實現(xiàn)在保證用戶體驗的基礎(chǔ)上,提升投放廣告的有效性。

2 視頻關(guān)鍵幀提取

視頻關(guān)鍵幀是指從短視頻中獲取某些至關(guān)重要的幀,可以用一幀表現(xiàn)出視頻一個時間段的主要內(nèi)容[2]。圖像差分指[3]把兩張圖片的像素值做差,減弱圖片的相似部分突顯圖片的變化部分。本文基于幀間差分的方法,將兩幀圖片實現(xiàn)差分,獲得圖片的平均像素強(qiáng)度,它可以評判兩幀圖片的變化大小。所以當(dāng)短視頻中的某一幀與前一幀圖片的內(nèi)容形成了大的改變,便指定它是關(guān)鍵幀,并將其選擇出來。基于幀間差分的視頻關(guān)鍵幀提取算法簡單快捷,運行速度快,很好的適應(yīng)了短視頻視頻關(guān)鍵幀的快速提取。

3 物體目標(biāo)檢測

3.1 SSD網(wǎng)絡(luò)介紹

SSD(Single Shot MultiBox Detector)全稱為單發(fā)多框檢測器,將定位和檢測任務(wù)封裝在網(wǎng)絡(luò)的一次前向傳播中,從而可以大大加快檢測速度,在不同的特征圖上去分別匹配預(yù)測不同尺度的目標(biāo),因此有良好的目標(biāo)檢測精度[4],同時可以部署在較輕的硬件上。

3.2 網(wǎng)絡(luò)結(jié)構(gòu)

SSD模型框架[5]如圖1所示,以VGG16做骨干網(wǎng)絡(luò),將原本VGG16的Conv5_3層后的pooling層進(jìn)行修改,通過新的pooling層后特征矩陣的高和寬是不會發(fā)生變化的。在該層后通過一系列卷積可以得到6個不同的預(yù)測層,在這6個預(yù)測特征層上去預(yù)測不同尺度以及比例的目標(biāo),預(yù)測后通過非極大值抑制算法和濾出小概率目標(biāo)就可以得到最終的預(yù)測結(jié)果。

圖1 SSD模型

3.3 SSD網(wǎng)絡(luò)的Default box

SSD網(wǎng)絡(luò)一共有6個預(yù)測特征層,在6個預(yù)測特征層上,分別去預(yù)測不同大小目標(biāo)。

如在第1層中檢測相對較小的目標(biāo),隨著抽象程度不斷加深,我們會檢測相對較大的目標(biāo)。2-6層檢測目標(biāo)會越來越大。

SSD按照如下規(guī)則生成Default box[6]:

3.3.1 以特征圖上每個點的中點為中心,生成一些同心的先驗框。正方形先驗框最小邊長為min_size。

每個特征圖對應(yīng)先驗框的min_size和max_size由以下公式?jīng)Q定,公式中m是使用特征圖的數(shù)量,SSD中m一般為6。

3.4 正負(fù)樣本的損失

損失分為兩個部分,類別損失(Lcn(x,c))和定位損失(Lloc(x,l,g)),其中N為匹配到的正樣本個數(shù),a一般設(shè)為1。對于類別損失,計算公式如下:

4 序列感知推薦系統(tǒng)

本文將推薦任務(wù)抽象為一個圖片的問題進(jìn)行研究,將順序排列的消費者的短期行為表示為一個矩陣,使用卷積過濾器提取其局部特征,獲得消費者的一般愛好和短期興趣[7]。本文介紹一種Caser模型(卷積序列嵌入推薦模型)。

4.1 序列模式的定義

序列模式有三種如圖2所示。

圖2 三種序列模式

(1)point-level(點級模式):點級模式表示歷史序列中單個項目對目標(biāo)項目的影響。(2)union-level,no skip(聯(lián)級模式,無跳躍):聯(lián)級模式表示前幾個操作對后續(xù)目標(biāo)的影響。(3)union-level,skip once(聯(lián)級模式,無跳躍):采用跳躍的方式,三個序列采用并聯(lián)的方式影響的不是相鄰的序列,而是跳躍的影響非相鄰的下一個序列。

4.2 模型架構(gòu)

Caser對用戶的日常愛好和順序模式進(jìn)行建模,使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)學(xué)習(xí)序列特征,采用隱因子模型(LFM)學(xué)習(xí)用戶特征。Caser模型,包含三個部分:(1)Embedding層:對用戶,項目序列進(jìn)行表示。(2)卷積層:學(xué)習(xí)近期用戶行為的特征。(3)全連接層:將拼接的序列特征與用戶偏好映射到用戶在當(dāng)前時間與每個物品交互的可能性。

5 結(jié)論

本文將深度學(xué)習(xí)物體檢測結(jié)果用于個性化內(nèi)容推薦,推動廣告投放的智能性,實現(xiàn)了海量視頻潛在信息的挖掘和匹配,具有重要的理論研究意義和商業(yè)價值。