摘要:廣播電視節(jié)目自動(dòng)化監(jiān)測(cè)是保證節(jié)目?jī)?nèi)容和質(zhì)量合規(guī)的重要手段。針對(duì)現(xiàn)有監(jiān)測(cè)平臺(tái)存在的實(shí)時(shí)性差、可擴(kuò)展性受限等問(wèn)題,設(shè)計(jì)了一種基于分層架構(gòu)的自動(dòng)化監(jiān)測(cè)平臺(tái)。該平臺(tái)運(yùn)用流式處理技術(shù)來(lái)實(shí)現(xiàn)多源信號(hào)接入,采用深度學(xué)習(xí)算法對(duì)內(nèi)容進(jìn)行智能識(shí)別,構(gòu)建分布式存儲(chǔ)架構(gòu)以提升平臺(tái)性能。實(shí)驗(yàn)結(jié)果表明,該平臺(tái)能夠?qū)崿F(xiàn)快速響應(yīng)(響應(yīng)延遲低至毫秒級(jí)),內(nèi)容識(shí)別準(zhǔn)確率達(dá)到95% 以上,穩(wěn)定性顯著提升。研究成果為廣播電視監(jiān)管提供了可靠的技術(shù)支撐,具有重要的實(shí)踐價(jià)值。
關(guān)鍵詞:廣播電視監(jiān)測(cè);自動(dòng)化平臺(tái);分層架構(gòu);流式處理;內(nèi)容識(shí)別
中圖分類(lèi)號(hào):TN948.1 文獻(xiàn)標(biāo)識(shí)碼:A
0 引言
隨著廣播電視媒體的快速發(fā)展,節(jié)目?jī)?nèi)容和播出方式日趨多樣化,傳統(tǒng)人工監(jiān)測(cè)方式已難以滿(mǎn)足監(jiān)管需求。在此背景下,自動(dòng)化監(jiān)測(cè)技術(shù)為解決這一問(wèn)題提供了新思路。雖然國(guó)內(nèi)外研究機(jī)構(gòu)已在該領(lǐng)域開(kāi)展了大量研究,但現(xiàn)有平臺(tái)仍存在實(shí)時(shí)性不足、可擴(kuò)展性差、智能化程度低等問(wèn)題。因此,研究并設(shè)計(jì)一種高效、智能的自動(dòng)化監(jiān)測(cè)平臺(tái)具有重要意義。本文通過(guò)技術(shù)創(chuàng)新和架構(gòu)優(yōu)化來(lái)提升自動(dòng)化平臺(tái)的監(jiān)測(cè)效率和準(zhǔn)確性,為廣播電視行業(yè)的健康發(fā)展提供有力保障。
1 監(jiān)測(cè)平臺(tái)總體架構(gòu)
1.1 架構(gòu)設(shè)計(jì)原則
廣播電視節(jié)目自動(dòng)化監(jiān)測(cè)平臺(tái)的架構(gòu)設(shè)計(jì)遵循高內(nèi)聚低耦合原則,采用分層結(jié)構(gòu)實(shí)現(xiàn)系統(tǒng)模塊化設(shè)計(jì)。在可擴(kuò)展性方面,架構(gòu)支持水平擴(kuò)展和垂直擴(kuò)展,便于系統(tǒng)功能的持續(xù)優(yōu)化。在可靠性方面,采用分布式設(shè)計(jì)和備份機(jī)制,保障系統(tǒng)穩(wěn)定運(yùn)行。在實(shí)時(shí)性方面,采用流式處理架構(gòu),達(dá)到毫秒級(jí)的數(shù)據(jù)處理響應(yīng)速度。在安全性方面,建立多層防護(hù)體系,確保數(shù)據(jù)傳輸和存儲(chǔ)的安全。在標(biāo)準(zhǔn)化方面,接口設(shè)計(jì)遵循表述性狀態(tài)轉(zhuǎn)移(representational state transfer,REST)規(guī)范,便于系統(tǒng)集成和維護(hù)[1]。
1.2 系統(tǒng)功能劃分
由圖1 可知,廣播電視節(jié)目自動(dòng)化監(jiān)測(cè)平臺(tái)可分為信號(hào)采集層、數(shù)據(jù)處理層、業(yè)務(wù)分析層和應(yīng)用展示層4 個(gè)層次。其中,信號(hào)采集層負(fù)責(zé)接收和處理多源廣播電視信號(hào),支持地面信號(hào)、衛(wèi)星信號(hào)、有線電視信號(hào)和網(wǎng)絡(luò)流媒體信號(hào)的統(tǒng)一接入;數(shù)據(jù)處理層具備特征提取、內(nèi)容識(shí)別、數(shù)據(jù)分析和結(jié)果儲(chǔ)存等核心功能,其采用流式處理框架來(lái)提升處理效率;業(yè)務(wù)分析層負(fù)責(zé)內(nèi)容違規(guī)檢測(cè)、廣告監(jiān)測(cè)以及質(zhì)量分析等業(yè)務(wù),旨在構(gòu)建智能化的分析決策體系;應(yīng)用展示層憑借實(shí)時(shí)監(jiān)控、數(shù)據(jù)報(bào)表和告警管理等功能,實(shí)現(xiàn)了監(jiān)測(cè)結(jié)果的可視化呈現(xiàn)。
1.3 核心模塊設(shè)計(jì)
核心模塊設(shè)計(jì)圍繞信號(hào)處理、內(nèi)容識(shí)別和數(shù)據(jù)分析3 個(gè)關(guān)鍵環(huán)節(jié)展開(kāi)。信號(hào)處理模塊采用FFmpeg 框架進(jìn)行音視頻解碼,通過(guò)實(shí)施多線程并行處理策略來(lái)提升效率;內(nèi)容識(shí)別模塊基于深度學(xué)習(xí)算法實(shí)現(xiàn)畫(huà)面分類(lèi)、文字識(shí)別和語(yǔ)音識(shí)別等功能,同時(shí)構(gòu)建特征庫(kù)以實(shí)現(xiàn)對(duì)信息的快速檢索和匹配;數(shù)據(jù)分析模塊采用分布式計(jì)算框架對(duì)大規(guī)模數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和分析[2]。各模塊通過(guò)消息隊(duì)列實(shí)現(xiàn)解耦,確保系統(tǒng)具有可擴(kuò)展性和可維護(hù)性。
2 關(guān)鍵技術(shù)實(shí)現(xiàn)
2.1 多源信號(hào)采集技術(shù)
多源信號(hào)采集技術(shù)基于統(tǒng)一信號(hào)接入框架,采用專(zhuān)業(yè)解調(diào)器和信號(hào)采集卡實(shí)現(xiàn)地面信號(hào)、衛(wèi)星信號(hào)、有線信號(hào)和網(wǎng)絡(luò)流媒體信號(hào)的接入。信號(hào)接收單元支持?jǐn)?shù)字視頻廣播(digital video broadcasting,DVB)系列標(biāo)準(zhǔn)以及地面數(shù)字多媒體廣播(digitalterrestrial multimedia broadcast,DTMB)等標(biāo)準(zhǔn)協(xié)議,能夠?qū)崿F(xiàn)多制式信號(hào)解調(diào)。針對(duì)互聯(lián)網(wǎng)協(xié)議(internet protocol,IP)流媒體信號(hào),采用實(shí)時(shí)消息傳輸協(xié)議(real-time messaging protocol,RTMP)和基于超文本傳輸協(xié)議(hypertext transfer protocol,HTTP) 的實(shí)時(shí)流(HTTP Live Streaming,HLS)協(xié)議進(jìn)行數(shù)據(jù)流接入。信號(hào)預(yù)處理環(huán)節(jié)采用自適應(yīng)緩沖策略,通過(guò)動(dòng)態(tài)調(diào)整緩沖區(qū)大小來(lái)平衡系統(tǒng)的實(shí)時(shí)性與穩(wěn)定性[3]。信號(hào)采集系統(tǒng)采用并行處理架構(gòu),經(jīng)實(shí)測(cè)系統(tǒng)吞吐量可達(dá)1.2 Gbit/s,單節(jié)點(diǎn)支持32 路信號(hào)并發(fā)接入。信號(hào)采集系統(tǒng)還集成了信號(hào)質(zhì)量評(píng)估模塊,能夠?qū)崟r(shí)監(jiān)測(cè)碼率、丟包率和延遲抖動(dòng)等信號(hào)參數(shù),當(dāng)檢測(cè)到參數(shù)異常時(shí)會(huì)自動(dòng)觸發(fā)信號(hào)源切換機(jī)制,以保障信號(hào)采集的連續(xù)性。
2.2 流式處理框架
采用Apache Flink 開(kāi)源流處理框架實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理,并基于事件驅(qū)動(dòng)模型構(gòu)建數(shù)據(jù)處理鏈路。數(shù)據(jù)流的處理過(guò)程的表達(dá)式如下:
P(S)=F [T(D(S)]。 ( 1)
式中,P 為最終處理結(jié)果;S 為輸入信號(hào)流;F 為分析處理函數(shù);T 為特征提取函數(shù);D 為解碼函數(shù)。
Apache Flink 開(kāi)源流處理框架能夠?qū)⑾到y(tǒng)延遲降至毫秒級(jí),并運(yùn)用Checkpoint 機(jī)制保障數(shù)據(jù)處理準(zhǔn)確可靠。同時(shí),該框架還引入了數(shù)據(jù)質(zhì)量評(píng)估機(jī)制,對(duì)處理過(guò)程中數(shù)據(jù)的完整性和時(shí)效性進(jìn)行評(píng)估,并根據(jù)評(píng)估結(jié)果動(dòng)態(tài)調(diào)整處理策略。該框架通過(guò)反壓機(jī)制實(shí)現(xiàn)負(fù)載的自適應(yīng)調(diào)節(jié),在資源受限情況下能夠保持穩(wěn)定的處理性能。
2.3 智能識(shí)別算法
智能識(shí)別算法利用深度學(xué)習(xí)模型來(lái)完成內(nèi)容識(shí)別,主要包括視頻畫(huà)面分類(lèi)、文字識(shí)別和語(yǔ)音識(shí)別3 個(gè)環(huán)節(jié)。視頻畫(huà)面分類(lèi)采用改進(jìn)的YOLOv5 模型,實(shí)現(xiàn)對(duì)違規(guī)內(nèi)容、臺(tái)標(biāo)及字幕的檢測(cè)。文字識(shí)別通過(guò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(convolutional neuralnetworks,CNN)與Transformer 模型架構(gòu)對(duì)廣播電視場(chǎng)景的字幕、臺(tái)標(biāo)等文字特征進(jìn)行優(yōu)化,中文識(shí)別準(zhǔn)確率可達(dá)98%。語(yǔ)音識(shí)別采用Wav2Vec 模型,通過(guò)預(yù)訓(xùn)練提升特殊場(chǎng)景下的識(shí)別效果。
模型推理階段采用開(kāi)放神經(jīng)網(wǎng)絡(luò)交換(openneural network exchange,ONNX)框架,并使用圖形處理器(graphics processing unit,GPU)實(shí)現(xiàn)圖像的實(shí)時(shí)處理[4]。算法框架集成了模型版本管理和自動(dòng)更新機(jī)制,能支持模型的在線升級(jí)和回滾,在算法持續(xù)優(yōu)化的同時(shí)維持系統(tǒng)穩(wěn)定。
2.4 分布式存儲(chǔ)方案
分布式存儲(chǔ)方案采用分片冗余架構(gòu),其中主節(jié)點(diǎn)負(fù)責(zé)數(shù)據(jù)分片與調(diào)度,數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)存儲(chǔ)與處理。采用一致性哈希算法進(jìn)行數(shù)據(jù)分片,并結(jié)合日志結(jié)構(gòu)合并樹(shù)(log-structured merge tree,LSMTree)與分布式倒排索引來(lái)提升存儲(chǔ)系統(tǒng)性能。系統(tǒng)基于主從復(fù)制機(jī)制實(shí)現(xiàn)數(shù)據(jù)備份,采用智能分級(jí)存儲(chǔ)策略提升訪問(wèn)效率,其可用性達(dá)到了99.99%。
3 平臺(tái)性能測(cè)試與分析
3.1 測(cè)試環(huán)境搭建
采用8 臺(tái)高性能服務(wù)器構(gòu)建分布式架構(gòu),配置256 GB 內(nèi)存、型號(hào)為Intel Xeon Gold 6248R 的中央處理器以及型號(hào)為NVIDIA A100 的GPU。網(wǎng)絡(luò)采用40 GB 以太網(wǎng),其存儲(chǔ)系統(tǒng)的總?cè)萘繛?00TB。軟件環(huán)境以社區(qū)企業(yè)操作系統(tǒng)(communityenterprise operating system,CentOS)8.4 版本為基礎(chǔ),并使用Docker 容器來(lái)實(shí)現(xiàn)資源隔離[5]。信號(hào)接入設(shè)備包括專(zhuān)業(yè)級(jí)衛(wèi)星接收機(jī)、地面電視采集卡和流媒體采集服務(wù)器;監(jiān)控平臺(tái)采用Prometheus 進(jìn)行指標(biāo)采集和存儲(chǔ),結(jié)合Grafana 實(shí)現(xiàn)數(shù)據(jù)可視化;測(cè)試數(shù)據(jù)集包含100 TB 的歷史廣播電視內(nèi)容。
3.2 性能指標(biāo)評(píng)估
平臺(tái)性能評(píng)估從3 個(gè)維度展開(kāi),分別為信號(hào)采集質(zhì)量、內(nèi)容識(shí)別精度和存儲(chǔ)系統(tǒng)穩(wěn)定性。性能測(cè)試結(jié)果顯示,信號(hào)采集單節(jié)點(diǎn)支持32 路高清信號(hào)并發(fā),CPU 占用率為65%,內(nèi)存使用率為75%,帶寬利用率為85%;內(nèi)容識(shí)別模塊的單個(gè)GPU 可處理8 路視頻流,識(shí)別延遲在100 ms 內(nèi),準(zhǔn)確率高達(dá)95%;存儲(chǔ)系統(tǒng)的寫(xiě)入帶寬為3 Gbit/s,讀取帶寬為5 Gbit/s,檢索延遲在10 ms 內(nèi)。系統(tǒng)整體可用性達(dá)到99.99%,故障恢復(fù)時(shí)間小于5 min,系統(tǒng)響應(yīng)延遲在500 ms 內(nèi)。
3.3 系統(tǒng)優(yōu)化策略
針對(duì)性能測(cè)試結(jié)果,實(shí)施多層次優(yōu)化策略。數(shù)據(jù)層面的優(yōu)化包括引入多級(jí)緩存機(jī)制,通過(guò)采用內(nèi)存數(shù)據(jù)庫(kù)來(lái)加速熱點(diǎn)數(shù)據(jù)訪問(wèn),進(jìn)而實(shí)現(xiàn)數(shù)據(jù)分級(jí)存儲(chǔ)。計(jì)算層面的優(yōu)化措施涵蓋GPU 任務(wù)調(diào)度優(yōu)化,通過(guò)采用批處理機(jī)制來(lái)提升GPU 利用率,從而實(shí)現(xiàn)中央處理器與GPU 的負(fù)載均衡。網(wǎng)絡(luò)層面的優(yōu)化聚焦于采用數(shù)據(jù)本地化處理策略,以此減少跨節(jié)點(diǎn)數(shù)據(jù)傳輸,并對(duì)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)進(jìn)行優(yōu)化。存儲(chǔ)層面的優(yōu)化主要采用數(shù)據(jù)預(yù)取機(jī)制來(lái)優(yōu)化數(shù)據(jù)塊,同時(shí)實(shí)施智能數(shù)據(jù)壓縮操作。監(jiān)控層面通過(guò)建立智能告警閾值來(lái)實(shí)現(xiàn)系統(tǒng)資源的動(dòng)態(tài)調(diào)節(jié),從而保障系統(tǒng)在高負(fù)載情況下的穩(wěn)定運(yùn)行。
4 應(yīng)用效果分析
4.1 功能驗(yàn)證
廣播電視節(jié)目自動(dòng)化監(jiān)測(cè)平臺(tái)在某省級(jí)電視臺(tái)進(jìn)行了為期6 個(gè)月的試運(yùn)行。在信號(hào)接入方面,平臺(tái)對(duì)該電視臺(tái)的12 個(gè)高清頻道和25 個(gè)標(biāo)清頻道進(jìn)行全天候監(jiān)測(cè),信號(hào)源類(lèi)型覆蓋衛(wèi)星、地面數(shù)字電視和有線電視。在內(nèi)容識(shí)別方面,自動(dòng)化監(jiān)測(cè)平臺(tái)成功識(shí)別247 起違規(guī)內(nèi)容,臺(tái)標(biāo)識(shí)別準(zhǔn)確率達(dá)到99.5%,字幕識(shí)別準(zhǔn)確率達(dá)到98.2%。自動(dòng)化監(jiān)測(cè)平臺(tái)運(yùn)行期間,未發(fā)生重大監(jiān)測(cè)失誤,監(jiān)測(cè)結(jié)果與人工審核的一致性超過(guò)95%。在質(zhì)量監(jiān)測(cè)方面,自動(dòng)化監(jiān)測(cè)平臺(tái)準(zhǔn)確捕捉389 起音視頻質(zhì)量異常事件,提前預(yù)警128 次技術(shù)故障,有效降低了播出事故率。
4.2 性能評(píng)估
自動(dòng)化監(jiān)測(cè)平臺(tái)在大規(guī)模實(shí)際應(yīng)用中表現(xiàn)出優(yōu)異的性能:信號(hào)處理環(huán)節(jié)平均延遲降至100 ms 以?xún)?nèi),峰值處理能力能夠支持64 路高清信號(hào)并發(fā)接入;內(nèi)容識(shí)別準(zhǔn)確率與傳統(tǒng)人工監(jiān)測(cè)相比提升了40%,處理效率提高8 倍;存儲(chǔ)系統(tǒng)日均數(shù)據(jù)寫(xiě)入量達(dá)到15 TB,檢索響應(yīng)時(shí)間保持在毫秒級(jí)。此外,自動(dòng)化監(jiān)測(cè)平臺(tái)的運(yùn)行穩(wěn)定性顯著提升。在6 個(gè)月的試運(yùn)行期內(nèi), 自動(dòng)化監(jiān)測(cè)平臺(tái)實(shí)現(xiàn)了99.99% 的系統(tǒng)可用性,平均無(wú)故障運(yùn)行時(shí)間達(dá)到2160 h。運(yùn)維人員由原來(lái)的12 人降至3 人,人力成本降低75%。監(jiān)測(cè)任務(wù)響應(yīng)時(shí)間從原來(lái)的分鐘級(jí)提升到秒級(jí),監(jiān)管效率顯著提高。系統(tǒng)性能指標(biāo)對(duì)比如表1 所示。
4.3 應(yīng)用價(jià)值
自動(dòng)化監(jiān)測(cè)平臺(tái)的應(yīng)用效果顯著,實(shí)現(xiàn)了經(jīng)濟(jì)效益和社會(huì)效益雙豐收。在經(jīng)濟(jì)效益方面,該平臺(tái)部署后年均節(jié)省人力成本320 萬(wàn)元,減少播出事故造成的經(jīng)濟(jì)損失約150 萬(wàn)元,設(shè)備運(yùn)維成本降低45%。在社會(huì)效益方面,平臺(tái)的部署顯著提升了廣播電視的內(nèi)容監(jiān)管能力,違規(guī)內(nèi)容識(shí)別準(zhǔn)確率從60% 提升至95%,有效降低了播出風(fēng)險(xiǎn)。在監(jiān)管效率方面,異常事件響應(yīng)時(shí)間從30 min 降至1 min 以?xún)?nèi),突發(fā)事件處理能力大幅提升。平臺(tái)的成功應(yīng)用為廣電行業(yè)智能化轉(zhuǎn)型提供了可復(fù)制的技術(shù)方案,推動(dòng)了行業(yè)技術(shù)的進(jìn)步。媒體內(nèi)容安全保障能力得到了全面提升,為行業(yè)健康發(fā)展提供了有力支撐。
5 結(jié)語(yǔ)
廣播電視節(jié)目自動(dòng)化監(jiān)測(cè)平臺(tái)有效解決了傳統(tǒng)監(jiān)測(cè)平臺(tái)存在的技術(shù)瓶頸。通過(guò)分層架構(gòu)設(shè)計(jì)和關(guān)鍵技術(shù)創(chuàng)新,顯著提升了監(jiān)測(cè)效率和準(zhǔn)確性。測(cè)試結(jié)果表明,該平臺(tái)在實(shí)時(shí)性、準(zhǔn)確性和可擴(kuò)展性等方面均達(dá)到了預(yù)期目標(biāo)。后續(xù)研究將進(jìn)一步優(yōu)化智能識(shí)別算法,提升監(jiān)測(cè)平臺(tái)處理能力,擴(kuò)展監(jiān)測(cè)業(yè)務(wù)范圍,為廣播電視行業(yè)的規(guī)范發(fā)展提供更加可靠的技術(shù)支持。
參考文獻(xiàn)
[1] 賈佃霞. 基于物聯(lián)網(wǎng)的衛(wèi)星數(shù)字廣播電視節(jié)目自動(dòng)化監(jiān)測(cè)系統(tǒng)[J]. 衛(wèi)星電視與寬帶多媒體,2024,21(19):19-21.
[2] 郭威宏. 廣播電視和網(wǎng)絡(luò)視聽(tīng)省級(jí)監(jiān)管平臺(tái)的設(shè)計(jì)與應(yīng)用[J]. 廣播與電視技術(shù),2023,50(3):105-109.
[3] 馬驥. 廣播電視節(jié)目?jī)?nèi)容監(jiān)測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 微型電腦應(yīng)用,2022,38(5):42-44.
[4] 賈存利. 人工智能技術(shù)在廣播電視無(wú)線覆蓋發(fā)射臺(tái)站監(jiān)測(cè)中的應(yīng)用[J]. 電視技術(shù),2024,48(11):129-131.
[5] 劉海歌. 語(yǔ)音智能控制技術(shù)在廣播電視監(jiān)測(cè)系統(tǒng)中的應(yīng)用分析[J]. 電聲技術(shù),2024,48(10):98-100.