挑戰(zhàn)播客監(jiān)管新課題適應(yīng)網(wǎng)絡(luò)斗爭新形勢
播客作為一種新興的網(wǎng)上視聽媒體傳播形式,在互聯(lián)網(wǎng)視聽節(jié)目傳播中占有十分重要的地位,成為廣大網(wǎng)民在線觀看視頻和上傳視頻的主要途徑,但也存在著一些不容忽視的問題。為進一步落實監(jiān)管職責(zé),加強對播客網(wǎng)站的管理,國家廣電總局2008年4月批復(fù)監(jiān)管中心建設(shè)“播客視頻節(jié)目監(jiān)管系統(tǒng)”,以擴大互聯(lián)網(wǎng)視聽節(jié)目監(jiān)管范圍,為管理部門規(guī)范播客網(wǎng)站視聽節(jié)目傳播秩序提供更高效的技術(shù)手段。
播客視頻節(jié)目監(jiān)管系統(tǒng)由30多臺搜索機集群服務(wù)器,以及業(yè)務(wù)處理分析服務(wù)器、數(shù)據(jù)庫服務(wù)器、存儲陣列、負載均衡、防火墻、交換機等設(shè)備組成,包含節(jié)目歸類、熱點監(jiān)控、播客監(jiān)控、網(wǎng)站監(jiān)控、影視監(jiān)管、視頻專題等30個功能模塊。以國內(nèi)156家重點播客網(wǎng)站為監(jiān)控對象,根據(jù)播客網(wǎng)站的技術(shù)特點,在播客視頻節(jié)目深度采集、多層次熱點話題聚類、智能化視頻節(jié)目歸類、播客影視節(jié)目排重和傳播動態(tài)分析等技術(shù)上進行了創(chuàng)新,解決了播客網(wǎng)站節(jié)目數(shù)據(jù)大規(guī)模抓取、視頻熱點自動聚類、播客節(jié)目自動歸類、播客發(fā)布者管理、影視節(jié)目傳播分析等多個技術(shù)難點。
該系統(tǒng)實時采集、分析、發(fā)現(xiàn)播客網(wǎng)站上最新的視聽節(jié)目,對熱點信息進行話題聚類與跟蹤,對播客網(wǎng)站上的視聽節(jié)目按照電影、電視劇、動漫、新聞等重點類別進行自動歸類,建立了播客發(fā)布者黑白名單,可以及時掌握播客網(wǎng)站上節(jié)目傳播趨勢與動態(tài),記錄和下載各類違規(guī)節(jié)目,跟蹤其擴散范圍與演變趨勢,并能對各類注冊并發(fā)布節(jié)目的播客進行登記和跟蹤,對播客網(wǎng)站上傳播的影視節(jié)目版權(quán)信息進行核查。播客視頻節(jié)目監(jiān)管系統(tǒng)在研制了面向播客網(wǎng)站的深度視頻信息采集子系統(tǒng)、播客視頻熱點自動發(fā)現(xiàn)技術(shù)、面向播客的智能化視頻節(jié)目歸類技術(shù)、播客影視節(jié)目排重和傳播動態(tài)分析技術(shù)方面,都有創(chuàng)新。
播客具備WEB2.0時代傳媒形態(tài)的典型特征,如自主的信息傳播方式,以音視頻為主的信息傳播內(nèi)容等。從發(fā)展軌跡來看,播客發(fā)展速度比當(dāng)年博客更為迅猛,這種新傳媒形態(tài)已成為互聯(lián)網(wǎng)視頻傳播的主流。網(wǎng)絡(luò)視聽媒體在豐富人民群眾的精神文化生活的同時,也存在著為不健康的內(nèi)容提供了傳播渠道。例如,境內(nèi)部分網(wǎng)站片面追求經(jīng)濟效益,無視政府法規(guī),在網(wǎng)絡(luò)視聽節(jié)目中播放、轉(zhuǎn)播、鏈接含有色情、暴力甚至反動的節(jié)目內(nèi)容。黨中央和國家領(lǐng)導(dǎo)高度重視信息網(wǎng)絡(luò)視聽節(jié)目傳播管理工作,對互聯(lián)網(wǎng)絡(luò)信息安全保障工作提出了更高的要求,明確廣電總局對IP電視、播客和手機視聽節(jié)目業(yè)務(wù)負有監(jiān)管職責(zé),并多次批示要求“加快完善視聽節(jié)目監(jiān)控中心建設(shè),盡快運作監(jiān)管體系”,“要加強網(wǎng)絡(luò)視頻節(jié)目監(jiān)看,加快完善視頻監(jiān)看平臺建設(shè),以適應(yīng)網(wǎng)絡(luò)斗爭的新形勢”。
播客視頻節(jié)目監(jiān)管系統(tǒng)于2008年10月開始建設(shè),2009年6月投入運行至今,軟硬件運行穩(wěn)定,監(jiān)控范圍涵蓋156家重點播客網(wǎng)站,平均搜索周期小于9小時,已保存節(jié)目元信息數(shù)量超過9500萬條,音視頻平均遺漏率小于2.2%,熱點排行更新周期小于4小時,首頁內(nèi)容提取準確率達到100%,保存節(jié)目信息重復(fù)率小于0.1%。建立了播客網(wǎng)站基礎(chǔ)信息庫、視聽節(jié)目庫、視聽節(jié)目索引及特征庫等各類信息庫,在“打擊整治網(wǎng)絡(luò)淫穢色情等有害信息專項行動”、“六四二十周年專項監(jiān)控”、“新疆7·5事件”、“國慶六十周年”、“茉莉花革命”等重大專項和日常監(jiān)管任務(wù)中,為總局對播客網(wǎng)站管理提供了大量及時、準確的監(jiān)管數(shù)據(jù),為維護國家信息安全和文化安全,提供了有力的技術(shù)支撐手段。
系統(tǒng)設(shè)計以國內(nèi)重點播客網(wǎng)站為監(jiān)測對象,實時采集和分析網(wǎng)站上的視聽節(jié)目信息,發(fā)現(xiàn)最新的音視頻節(jié)目,對熱點信息進行話題聚類與跟蹤,及時掌握網(wǎng)上視聽節(jié)目傳播趨勢與動態(tài);對播客網(wǎng)站上的視聽節(jié)目進行歸類,對電影、電視劇、動漫、新聞等重點類別節(jié)目進行重點監(jiān)管;對發(fā)現(xiàn)的違規(guī)節(jié)目進行記錄和下載取證,跟蹤其擴散范圍與演變趨勢;建立播客發(fā)布者黑白名單,對在播客網(wǎng)站上登記注冊并發(fā)布節(jié)目的播客發(fā)布者按違規(guī)情況進行登記;對已審批播客網(wǎng)站的備案信息進行核查,發(fā)現(xiàn)違規(guī)情況并自動報警提示;對播客網(wǎng)站上傳播的視聽節(jié)目版權(quán)信息進行核查,對侵權(quán)盜版行為進行記錄;通過建立播客網(wǎng)站基礎(chǔ)信息庫、視聽節(jié)目庫、視聽節(jié)目索引及特征庫等各類信息庫,初步建立播客網(wǎng)站視聽節(jié)目信息數(shù)據(jù)庫,為播客網(wǎng)站的監(jiān)管工作提供較為全面、準確的監(jiān)管數(shù)據(jù)資料。
基于內(nèi)容分析技術(shù)對熱點和輿情信息進行發(fā)現(xiàn)和跟蹤是監(jiān)管的重點之一。由于網(wǎng)站節(jié)目類別多樣,熱點分散,同時視頻信息文本內(nèi)容少,需要系統(tǒng)具有較強的節(jié)目自動歸類和熱點話題聚類能力。針對上述問題,播客視頻節(jié)目監(jiān)管系統(tǒng)
在節(jié)目、關(guān)鍵詞、話題等三個層次上進行在熱點信息的發(fā)現(xiàn)和輿情分析。在節(jié)目熱點發(fā)現(xiàn)層次,與傳統(tǒng)的基于點擊量絕對值發(fā)現(xiàn)熱點節(jié)目的方法不同,系統(tǒng)采用了基于節(jié)目點擊量和評論時間變化曲線分析,發(fā)現(xiàn)熱點節(jié)目的策略,取得了很好的效果;在關(guān)鍵詞熱點發(fā)現(xiàn)層次,基于數(shù)據(jù)挖掘方法,并充分結(jié)合播客節(jié)目數(shù)據(jù)的本身特征,包括標題、標簽、分類、熱度、發(fā)布時間等信息,利用關(guān)鍵詞在不同時間段內(nèi)的熱度散布特征,提出了一種面向視頻等短文本數(shù)據(jù)的熱點關(guān)鍵詞發(fā)現(xiàn)算法,在系統(tǒng)應(yīng)用中取得了較好的效果;在話題熱點發(fā)現(xiàn)層次,系統(tǒng)使用了一種新的視頻話題檢測算法。采用二部圖模型表示視頻和關(guān)鍵詞的雙向關(guān)系,通過該模型,視頻不僅可以用關(guān)鍵詞表示,也能用作特征以傳播文本信息。通過分析視頻和關(guān)鍵詞的關(guān)聯(lián)結(jié)構(gòu)能減少文本噪聲,基于該模型對視頻進行聚類,能夠有效發(fā)現(xiàn)最新的熱門視頻事件。在系統(tǒng)實際數(shù)據(jù)的測試表明,該方法具有較好的有效性,方法具有一定的創(chuàng)新性。
播客視頻節(jié)目監(jiān)管系統(tǒng)的建立運行,填補了國內(nèi)對播客網(wǎng)站視頻節(jié)目監(jiān)管的技術(shù)手段空白,進一步擴大了互聯(lián)網(wǎng)視聽節(jié)目有效監(jiān)管范圍,在面向播客網(wǎng)站的深度視頻信息采集、熱點話題、熱點詞匯、熱點節(jié)目分析、智能化視頻節(jié)目歸類等方面取得了新的突破,積累了播客發(fā)布者黑白名單、播客網(wǎng)站影視節(jié)目庫等基礎(chǔ)數(shù)據(jù)。
該系統(tǒng)從2008年10月開始建設(shè),2009年6月上線試運行至今,監(jiān)控目標156家,保存各類節(jié)目元信息9500多萬條,記錄個人播客信息超過800萬,機構(gòu)播客1300多個,播客群組1.6萬個,建立了20個大類83個小類的節(jié)目分類,包含10000多條電影、電視劇、動漫、記錄片的播客影視節(jié)目庫,以及播客網(wǎng)站基礎(chǔ)信息庫、視聽節(jié)目庫、視聽節(jié)目索引庫及特征庫等播客視頻節(jié)目基礎(chǔ)信息庫。
在“打擊整治網(wǎng)絡(luò)淫穢色情等有害信息專項行動”、“六四二十周年專項監(jiān)控”、“新疆7·5事件”、“國慶六十周年”、“茉莉花革命”等一系列重大專項和日常監(jiān)管任務(wù)中為監(jiān)管工作提供了大量及時、準確的監(jiān)管數(shù)據(jù),并為進一步打擊影視節(jié)目盜版源頭,維護影視節(jié)目版權(quán),提供了數(shù)據(jù)基礎(chǔ)和技術(shù)手段。
播客視頻節(jié)目監(jiān)管系統(tǒng)實現(xiàn)了對國內(nèi)156家播客網(wǎng)站上9500萬條視頻節(jié)目的有效監(jiān)管,平均搜索周期小于9小時,音視頻平均遺漏率小于2.2%,熱點排行更新周期小于4小時,首頁內(nèi)容提取準確率達到100%,保存節(jié)目信息重復(fù)率小于0.1%。2010年8月26日,廣電總局科技司組織有關(guān)專家對播客視頻節(jié)目監(jiān)管系統(tǒng)進行了技術(shù)鑒定,鑒定組一致認為該系統(tǒng)具有創(chuàng)新性,填補了國內(nèi)空白,達到國際領(lǐng)先水平。
播客作為一種新興的網(wǎng)上視聽節(jié)目傳播形式,在互聯(lián)網(wǎng)視聽節(jié)目傳播中占有十分重要的地位,并已成為互聯(lián)網(wǎng)視聽節(jié)目傳播的主流形式,播客網(wǎng)站視聽節(jié)目傳播秩序直接關(guān)系到國家文化安全。如今播客視聽節(jié)目傳播的發(fā)展和監(jiān)管是全世界共同面臨的新課題,它具有信息海量、傳播形式多樣且不斷更新、受眾人群眾多等特點,僅僅依靠人工手段開展監(jiān)管工作,根本無法適應(yīng)網(wǎng)絡(luò)視聽節(jié)目的發(fā)展形勢,這對所有網(wǎng)絡(luò)文化的建設(shè)者和管理者而言,既是新的機遇,也是新的挑戰(zhàn)。因此播客視頻節(jié)目監(jiān)管系統(tǒng)挑戰(zhàn)了播客監(jiān)管新課題,適應(yīng)了網(wǎng)絡(luò)斗爭的新形勢。
圖1 系統(tǒng)的軟件架構(gòu)
圖2系統(tǒng)硬件構(gòu)成