潘文宇 邢青

摘要：精彩的足球賽事給大眾文娛生活帶來很多樂趣，針對直播賽事中無法實時識別出精彩的點球、任意球、球員個人信息等問題，本文利用深度學(xué)習(xí)視頻識別處理技術(shù)，提出一種智能的賽事分析方案，探討了足球直播賽事智能分析的可行性，研究了智能分析方案的具體技術(shù)實現(xiàn)。

關(guān)鍵詞：智能視頻分析技術(shù);實時分析;足球比賽

隨著人工智能技術(shù)的發(fā)展，基于深度學(xué)習(xí)的視頻流分析模型在識別、監(jiān)測領(lǐng)域得到了廣泛應(yīng)用。在體育賽事直播中，尤其是足球比賽中，觀眾一般只能通過足球解說人員獲取球員的個人介紹，包括對球員的球技、球員的任意球、點球等進(jìn)行分析解說，因此觀眾獲得的僅僅是聽覺信息。提高觀眾的現(xiàn)場體驗感，將此類信息可視化是一個可行的方法?；谏疃葘W(xué)習(xí)視頻處理技術(shù)可以識別和播報賽事中發(fā)生的行為事件（比如點球、任意球等）;識別場上的行為發(fā)生的球員，將球員的歷史數(shù)據(jù)與比賽進(jìn)行中的事件進(jìn)行關(guān)聯(lián)，智能化地對一場足球賽進(jìn)行集錦剪輯等，做到關(guān)鍵信息的可視化、實時解說、實時展示。因此，本文提出一種足球賽事實時智能分析系統(tǒng)。

1 技術(shù)背景

首先，大數(shù)據(jù)是深度學(xué)習(xí)成功的重要路基。在如今的互聯(lián)網(wǎng)時代，數(shù)據(jù)量的累積是爆炸式的，越來越多的領(lǐng)域正持續(xù)積累著日趨豐富的應(yīng)用數(shù)據(jù)，這對深度學(xué)習(xí)的進(jìn)一步發(fā)展和應(yīng)用至關(guān)重要。不過大數(shù)據(jù)收集是有成本的，并且標(biāo)注成本已經(jīng)開始水漲船高，樣本的好壞直接決定了模型的精確度，所以只有擁有一定技術(shù)實力的公司才能持續(xù)投入研究。在安防領(lǐng)域，像?？低暤扔凶灾餮邪l(fā)實力且在安防行業(yè)深耕多年的公司，運用大量真實視頻監(jiān)控場景的視頻、圖片數(shù)據(jù)作為訓(xùn)練樣本庫，數(shù)據(jù)量大且質(zhì)量較好，通過超過百人團(tuán)隊的數(shù)據(jù)組，對視頻圖像打標(biāo)簽，積累了千萬級別的樣本數(shù)據(jù)，在使用這些數(shù)據(jù)量大且質(zhì)量良好的樣本不斷訓(xùn)練下，對安防監(jiān)控場景下的人、車、物進(jìn)行模式識別的模型也會越來越精確。

其次，高性能硬件平臺計算是引擎助力。深度學(xué)習(xí)模型需要大量的樣本，這就避免不了大量的計算，而以前的硬件設(shè)備不足以訓(xùn)練出復(fù)雜的上百層的深度學(xué)習(xí)模型。2011年谷歌DeepMind用了1000臺機(jī)器、16000個CPU處理的深度模型大概有10億個神經(jīng)元，而現(xiàn)在，只要用幾個GPU，我們就可以完成同樣的計算，并且迭代速度更快。因此，GPU、超級計算機(jī)、云計算等高性能硬件平臺的迅猛發(fā)展讓深度學(xué)習(xí)成為可能，強(qiáng)大的計算能力有助于深度學(xué)習(xí)算法快速實現(xiàn)驗證，并積累更多經(jīng)驗進(jìn)行模型修正，進(jìn)一步提高模型精度。

2 總體設(shè)計

總體架構(gòu)是以海量圖像和視頻、文本、音頻等多源異構(gòu)數(shù)據(jù)存儲為基礎(chǔ)，引入先進(jìn)的人工智能技術(shù)，容器技術(shù)、分布式計算、高性能存儲以及機(jī)器學(xué)習(xí)引擎為支撐，搭建的一套面向媒體行業(yè)的智能分析人工平臺。其主要包括基礎(chǔ)平臺層、學(xué)習(xí)引擎層和業(yè)務(wù)應(yīng)用層，如圖所示：

總體架構(gòu)圖

其基礎(chǔ)平臺層包括分布式存儲平臺、分布式計算平臺、容器編排系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、計算引擎系統(tǒng)、服務(wù)管理發(fā)放、日志系統(tǒng);學(xué)習(xí)引擎層包括視頻識別引擎、語音識別引擎;業(yè)務(wù)應(yīng)用層包括球員識別、類型球識別、智能剪輯、信息可視化。

3 技術(shù)原理

3.1 基礎(chǔ)平臺層

（1）分布式存儲[1]平臺通過構(gòu)建大規(guī)模彈性存儲系統(tǒng)，保證可靠性、可用性和性能的前提下，達(dá)到業(yè)務(wù)的快速拓展。分布式存儲通過緩存達(dá)到加速的目的，通過熱點數(shù)據(jù)的識別達(dá)到性能的高性價比。分布式計算平臺調(diào)度分布式系統(tǒng)的計算資源，包括普通的CPU和GPU資源。設(shè)定資源的算力能力和最優(yōu)計算場景、調(diào)度優(yōu)先級。比如推理時先選擇GPU，當(dāng)GPU資源不滿足時選擇CPU以達(dá)到最大利用率地使用計算資源。當(dāng)任務(wù)計算節(jié)點出現(xiàn)故障時，發(fā)送任務(wù)到其他節(jié)點繼續(xù)運算。

（2）容器編排系統(tǒng)支持多層安全防護(hù)、準(zhǔn)入機(jī)制、多租戶應(yīng)用支撐、透明的服務(wù)注冊、服務(wù)發(fā)現(xiàn)、內(nèi)建負(fù)載均衡、強(qiáng)大的故障發(fā)現(xiàn)和自我修復(fù)機(jī)制、服務(wù)滾動升級和在線擴(kuò)容、可擴(kuò)展的資源自動調(diào)度機(jī)制、多粒度的資源配額管理能力。

（3）數(shù)據(jù)庫系統(tǒng)滿足元數(shù)據(jù)存儲，知識存儲，關(guān)系存儲以及不同維度的搜索需要。

（4）計算引擎系統(tǒng)包括離線批處理平臺和實時處理平臺。離線批處理平臺建立在公有云環(huán)境上，計算引擎采用Apache Spark 2.0，支持分布式彈性數(shù)據(jù)集的快速計算和緩存。在計算引擎基礎(chǔ)上部署了Spark Job Server，最大化地利用了集群的計算資源，簡化了任務(wù)提交方法，提升了任務(wù)提交響應(yīng)，可通過Restful接口提交和管理離線批處理任務(wù)。平臺定期對Spark Job Server和計算引擎進(jìn)行心跳、任務(wù)數(shù)、任務(wù)運行情況的測量和監(jiān)控，確保發(fā)生系統(tǒng)故障或系統(tǒng)過載時能及時處理。

（5）實時處理平臺從數(shù)據(jù)管道實時訂閱數(shù)據(jù)流，并進(jìn)行分布式實時處理，采用的核心技術(shù)主要包括Apache Storm及Apache Spark Streaming。

（6）服務(wù)管理發(fā)放主要針對計算資源、存儲資源進(jìn)行管理。對于離線批處理平臺、實時處理平臺，需對計算資源進(jìn)行集中整合，并且具備計算資源的按需伸縮能力。

（7）日志系統(tǒng)提供針對日志類數(shù)據(jù)的存儲、檢索與分析服務(wù)，用戶無須開發(fā)就能快捷完成數(shù)據(jù)定制化分詞、存儲、檢索、分析功能，幫助提升運維、運營效率，快速查找和定位問題，高效索引和搜索海量數(shù)據(jù)，建立海量索引處理能力。

3.2 學(xué)習(xí)引擎層

（1）原始的視頻圖像實際上是一種非結(jié)構(gòu)化的數(shù)據(jù)，它不能直接被計算機(jī)讀取和識別，為了讓視頻圖像在足球賽事中更好地應(yīng)用，使用視頻識別引擎對視頻圖像進(jìn)行結(jié)構(gòu)化處理。將視頻內(nèi)容（人、物、活動目標(biāo)）特征屬性自動提取技術(shù)，對視頻內(nèi)容按照語義關(guān)系，采用目標(biāo)分割、時序分析、對象識別、深度學(xué)習(xí)等處理手段，分析和識別目標(biāo)信息，組織成可供計算機(jī)和人理解的文本信息的技術(shù)。主要包括以下內(nèi)容：

①事件拆條：通過智能化技術(shù)將已播出的節(jié)目拆條成一條條獨立的條目，然后用于豐富和完善新聞資訊節(jié)目數(shù)據(jù)的信息通道，提高節(jié)目內(nèi)容的生產(chǎn)效率以及拆條后的視頻質(zhì)量。

②字幕提取：制定食品文件，對指定區(qū)域的字幕進(jìn)行識別，識別出文字;支持中文、英文的字幕識別[3]。節(jié)目畫面中往往已經(jīng)有編輯好的標(biāo)題，可以直接用于拆條后素材片段的標(biāo)題。使用字幕識別技術(shù)，拆條系統(tǒng)只需要框選需要識別的標(biāo)題畫面，系統(tǒng)會自動將畫面識別成標(biāo)題文字，簡單快捷。

③結(jié)構(gòu)化標(biāo)準(zhǔn)：事件元數(shù)據(jù)管理[4]，所屬頻道、節(jié)目、播出時間;按日期、時間段分段管理，某日期/時間內(nèi)拆條事件;事件預(yù)覽，時間視頻、內(nèi)容、文本、標(biāo)題等匹配預(yù)覽。

（2）語音識別引擎將音頻文件識別成文字[4]，以文本形式輸出，支持聲紋識別，并支持語音斷點識別。語音識別模塊通過對指定音頻通道的音頻基帶信號進(jìn)行解析，按照語音斷句記錄每個識別語句的起始時碼、結(jié)束時碼和識別的文本，識別結(jié)果會在物理素材的同目錄下生成一個和物理素材同txt文檔。拆條系統(tǒng)將此識別結(jié)果封裝成字幕文件，并和素材的其他數(shù)據(jù)信息一同存入數(shù)據(jù)庫的素材信息表中。

利用視頻識別及語音識別服務(wù)，智能判定直播開始與結(jié)束。利用語音識別技術(shù)，識別不同人物語音，并據(jù)此對直播進(jìn)行打點，實現(xiàn)快速拆條。

3.3 業(yè)務(wù)應(yīng)用層

包括球員識別、類型球識別、智能剪輯、信息可視化。利用學(xué)習(xí)引擎層訓(xùn)練提取的模型參數(shù)，對輸入的直播視頻流進(jìn)行目標(biāo)監(jiān)測、圖像分割，獲取的信息通過大數(shù)據(jù)技術(shù)構(gòu)建可視化模型[5]，直觀地展示處理結(jié)果。

4 結(jié)語

通過三層架構(gòu)的視頻處理模型，對直播的足球比賽進(jìn)行實時處理，以識別和播報賽事中發(fā)生的行為事件（比如點球、任意球等）;識別場上的行為發(fā)生的球員，將球員的歷史數(shù)據(jù)與比賽進(jìn)行中的事件進(jìn)行關(guān)聯(lián)，智能化地對一場足球賽進(jìn)行集錦剪輯等，做到關(guān)鍵信息的可視化、實時解說、實時展示。日后的業(yè)務(wù)中會有更多的需求將被實現(xiàn)，利用智能視頻處理分析技術(shù)將極大地提高體育賽事的節(jié)目效果，同時節(jié)省了人力物力，將會取得良好的經(jīng)濟(jì)效益和社會效益。

參考文獻(xiàn)：

[1]謝沖.海量矢量數(shù)據(jù)的分布式存儲及時空查詢[D].湖北：武漢大學(xué)，2019.

[2]張鈺，基于云架構(gòu)的音頻采錄拆條系統(tǒng)的設(shè)計與實現(xiàn)[J].電聲技術(shù)，2017，41（2）：4853.

[3]王智慧，李佳桐，謝斯言，等.兩階段的視頻字幕檢測和提取算法[J].計算機(jī)科學(xué)，2018，45（8）：5053，62.

[4]張末.新一代硬盤播出系統(tǒng)的設(shè)計與實現(xiàn)[D].遼寧：東北大學(xué)，2012.

[5]胡立如，陳高偉.可視化學(xué)習(xí)分析：審視可視化技術(shù)的作用和價值[J].開放教育研究，2020，26（2）：6374.