李偉男

（中央廣播電視總臺，北京 100020）

1.數(shù)據(jù)分析模塊的背景與意義

問卷調(diào)查指的是借助結(jié)構(gòu)化問卷，從一定數(shù)量的個(gè)體樣本或人口單位中回收信息的方法。借助問卷這一工具，調(diào)研人員能夠?qū)ι鐣顒舆^程進(jìn)行系統(tǒng)、具體的測量，并運(yùn)用統(tǒng)計(jì)手段對結(jié)果進(jìn)行量化描述和分析。[1]傳統(tǒng)的問卷調(diào)查往往存在著數(shù)據(jù)采集方式比較單一，調(diào)查范圍相對有限，數(shù)據(jù)采集上報(bào)及時(shí)性不夠，數(shù)據(jù)質(zhì)量核驗(yàn)工作繁瑣容易出錯(cuò)、結(jié)果展示不夠及時(shí)等問題。

然而，隨著大數(shù)據(jù)、互聯(lián)網(wǎng)等技術(shù)的發(fā)展，亟需通過改變傳統(tǒng)的業(yè)務(wù)流程，采用智能化的數(shù)據(jù)入庫方式、多種形式的可視化展現(xiàn)方式對分析結(jié)果進(jìn)行展現(xiàn)，并為多類型的用戶提供服務(wù)。[2]基于互聯(lián)網(wǎng)技術(shù)的媒體占據(jù)重要市場，是立足于歷史、聚焦于技術(shù)革新的發(fā)展成果，這種變化的突出表現(xiàn)在于傳媒企業(yè)建設(shè)全面靠近互聯(lián)網(wǎng)。[3]

通過對收集的數(shù)據(jù)進(jìn)行多方位的分析，一方面可以服務(wù)于每年一次的大調(diào)查工作；另一方面還可以服務(wù)于各節(jié)目部門的相關(guān)調(diào)查需求。建設(shè)在線調(diào)查服務(wù)平臺，實(shí)現(xiàn)調(diào)查問卷精細(xì)化設(shè)計(jì)、調(diào)查問卷自動化收集、調(diào)查數(shù)據(jù)可視化高效展現(xiàn)、調(diào)查數(shù)據(jù)權(quán)威精準(zhǔn)發(fā)布的在線調(diào)查全流程管控。

數(shù)據(jù)采集。提供對發(fā)布的調(diào)研問卷的數(shù)據(jù)采集管理，包括用戶ID識別認(rèn)證、掃描方式多樣化、防作弊機(jī)制、地理位置采集、終端信息采集等。

問卷管理。對調(diào)查問卷進(jìn)行配置，能夠生成不同類型、不同樣式的調(diào)研問卷；提供對調(diào)研問卷列表的基礎(chǔ)管理、發(fā)布等；對當(dāng)前執(zhí)行的調(diào)研問卷提供進(jìn)度統(tǒng)計(jì)、問卷分析等。

數(shù)據(jù)分析。面向不同的用戶提供問題分析、受訪人分析、關(guān)聯(lián)分析、時(shí)序分析、指數(shù)曲線、地區(qū)排名等數(shù)據(jù)分析應(yīng)用服務(wù)。

數(shù)據(jù)發(fā)布。提供將分析應(yīng)用結(jié)果實(shí)時(shí)推動至Web端、可視化大屏（PC端）、微信公眾號、其他網(wǎng)絡(luò)新媒體的服務(wù)。

會員管理。針對調(diào)查對象進(jìn)行分析，將注冊的用戶納入央視大調(diào)查的會員管理體系，提供會員信息的查看、消息發(fā)布、社區(qū)互動、維護(hù)管理等。

數(shù)據(jù)治理。數(shù)據(jù)治理包括數(shù)據(jù)標(biāo)準(zhǔn)體系（指標(biāo)體系、口徑標(biāo)準(zhǔn)、標(biāo)簽分類等）、分析指標(biāo)體系（受訪者對象分析、調(diào)查主題分析、檢索模式等）和數(shù)據(jù)庫建設(shè)（主題數(shù)據(jù)庫和專題）三方面的工作。

運(yùn)維管理包括服務(wù)器管理、應(yīng)用管理、安全管理等。

2.數(shù)據(jù)分析模塊的需求

數(shù)據(jù)分析包括基于建模數(shù)據(jù)的主題分析、數(shù)據(jù)建模能力、多維度分析能力、數(shù)據(jù)可視化能力和數(shù)據(jù)分析管理能力。[4]

2.1 基于建模數(shù)據(jù)的主題分析

需要支持問題分析、受訪人分析、歷史分析（時(shí)序）、地區(qū)排名、指數(shù)曲線等適應(yīng)大調(diào)查特點(diǎn)的數(shù)據(jù)分析。支持分析指標(biāo)模型及邏輯的可視化定制。

2.2 數(shù)據(jù)建模能力

數(shù)據(jù)建模在本系統(tǒng)中的主要是數(shù)據(jù)挖掘的方法來實(shí)現(xiàn)。數(shù)據(jù)挖掘是按既定目標(biāo)，對大量數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化。[5]數(shù)據(jù)建模需支持Oracle、MySQL、SQL Server、PostgreSQL等常見的關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)源。支持Excel、CSV文件數(shù)據(jù)源。支持不同數(shù)據(jù)源的跨Schema表關(guān)聯(lián)查詢。支持圖形化拖拽方式進(jìn)行數(shù)據(jù)關(guān)聯(lián)建模，并支持建模數(shù)據(jù)實(shí)時(shí)預(yù)覽。支持自定義字段，可創(chuàng)建新的數(shù)據(jù)字段。支持字段名更改，并能夠自定義字段排序規(guī)則。創(chuàng)建的數(shù)據(jù)集模型支持導(dǎo)出為Excel文件。支持手寫SQL方式創(chuàng)建數(shù)據(jù)集。

2.3 多維度分析能力

OLAP技術(shù)中比較典型的應(yīng)用是對多維數(shù)據(jù)的切片和切塊、鉆取、旋轉(zhuǎn)等,它便于使用者從不同角度提取有關(guān)數(shù)據(jù)。[6]通過拖拽形式創(chuàng)建維度層次，要能夠調(diào)整維度層次中不同層次順序及命名。支持求和、最大值、最小值、平均值、計(jì)數(shù)、不重復(fù)計(jì)數(shù)等聚合方式，并支持同環(huán)比計(jì)算。同時(shí)要支持按照升序、降序、自定義規(guī)則進(jìn)行排序，并支持主次排序維度。支持時(shí)間類型字段的自動拆分，要能夠拆分為年、季度、月、周、日不同粒度。支持過濾篩選，時(shí)間類型字段能夠設(shè)置時(shí)間篩選粒度及時(shí)間范圍，并且字符類型字段要具備通配符匹配功能。支持聯(lián)動鉆取分析，可以根據(jù)設(shè)置的維度層次進(jìn)行上卷、下鉆、查看明細(xì)功能。

2.4 數(shù)據(jù)可視化能力

數(shù)據(jù)可視化技術(shù)可以快速的表達(dá)繁多的數(shù)據(jù)和信息進(jìn)行圖像化,從而降低數(shù)據(jù)的認(rèn)知難度,幫助人們理解數(shù)據(jù)。[7]通過對數(shù)據(jù)分析挖掘形成的趨勢規(guī)律，是數(shù)據(jù)價(jià)值的體現(xiàn)。通過數(shù)據(jù)可視化手段將這些價(jià)值呈現(xiàn)出來也是數(shù)據(jù)實(shí)踐的重要一環(huán)。[8]大屏所有展示內(nèi)容都通過工具配置，不需要編寫代碼，能夠做到快速構(gòu)建，快速變更，維護(hù)方便。支持設(shè)置分辨率大小或自適應(yīng)，固定分辨率下，支持按照原始大小或縮放長邊鋪滿展現(xiàn)。支持故事板播放運(yùn)行，需支持兩種播放效果，一是一屏展現(xiàn)所有內(nèi)容，二是多屏翻頁展現(xiàn)。

2.5 數(shù)據(jù)分析管理能力

數(shù)據(jù)管理模塊支持URL分享，并支持公開、密碼私密分享兩種方式。支持對組織結(jié)構(gòu)、用戶、角色進(jìn)行統(tǒng)一的管理，支持與其他系統(tǒng)進(jìn)行對接實(shí)現(xiàn)單點(diǎn)登錄等功能。

3.數(shù)據(jù)分析模塊的設(shè)計(jì)方案

3.1 基于建模數(shù)據(jù)的主題分析

如圖1所示，建立基于問題分析、受訪人分析、歷史分析（時(shí)序）、地區(qū)排名、指數(shù)曲線等適應(yīng)大調(diào)查特點(diǎn)的數(shù)據(jù)分析接口。

圖1 基于主題的數(shù)據(jù)分析界面

此外，還設(shè)計(jì)了支持分析指標(biāo)模型及邏輯的可視化定制頁面，如圖2所示。

圖2 數(shù)據(jù)分析列表

3.2 數(shù)據(jù)模型的設(shè)計(jì)

針對數(shù)據(jù)分析模型需要支持多種不同的數(shù)據(jù)源，設(shè)計(jì)如圖3所示的多數(shù)據(jù)源類型的數(shù)據(jù)接入或存儲方案。該設(shè)計(jì)方案支持可視化快速創(chuàng)建數(shù)據(jù)集，用戶可拖拽數(shù)據(jù)源中多個(gè)數(shù)據(jù)表搭建數(shù)據(jù)關(guān)聯(lián)關(guān)系，數(shù)據(jù)表間通過連接線清晰展現(xiàn)數(shù)據(jù)關(guān)聯(lián)關(guān)系。如果兩個(gè)表之間存在主外鍵關(guān)聯(lián)，會自動建立關(guān)聯(lián)關(guān)系，如果沒有會根據(jù)相同的字段名稱建立關(guān)聯(lián)，支持關(guān)聯(lián)關(guān)系的修改。支持自定義字段功能，支持以下五大類：時(shí)間計(jì)算、數(shù)字計(jì)算、字符計(jì)算、關(guān)系計(jì)算和邏輯計(jì)算。支持通過數(shù)據(jù)可視化窗口實(shí)時(shí)查看勾選的字段以及自定義字段的數(shù)據(jù)內(nèi)容及格式。

圖3 數(shù)據(jù)源類型

針對高級需求還支持可以手寫SQL方式，實(shí)現(xiàn)數(shù)據(jù)建模過程，如圖4所示。創(chuàng)建的數(shù)據(jù)集模型支持導(dǎo)出為Excel文件。支持手寫SQL方式創(chuàng)建數(shù)據(jù)集。

圖4 數(shù)據(jù)建模

3.3 數(shù)據(jù)多維度分析設(shè)計(jì)

如圖5所示，設(shè)計(jì)支持多種數(shù)據(jù)聚合方式并支持同環(huán)比計(jì)算的數(shù)據(jù)多維度分析模塊。用戶可以隨時(shí)獲得數(shù)據(jù)不同維度的分析結(jié)果。

圖5 數(shù)據(jù)聚合方式設(shè)計(jì)

此外，支持多種排序方式，排序方式主要包括排序順序、Top數(shù)據(jù)、排序依據(jù)、排序提示幾個(gè)模塊，并支持多字段排序疊加。

升序：升序?yàn)楫?dāng)前排序的正常升序排序。當(dāng)對度量字段進(jìn)行排序時(shí)，為當(dāng)前度量的數(shù)字升序；當(dāng)對維度字段進(jìn)行排序時(shí)，為當(dāng)前維度排序依據(jù)的升序。

降序：降序?yàn)楫?dāng)前排序的正常降序排序。當(dāng)對度量字段進(jìn)行排序時(shí)，為當(dāng)前度量的數(shù)字降序；當(dāng)對維度字段進(jìn)行排序時(shí)，為當(dāng)前維度排序依據(jù)的降序。

Top數(shù)據(jù)：Top數(shù)據(jù)功能只對度量有效，支持兩種選擇方式，當(dāng)選擇排序順序?yàn)樯驎r(shí)，UI變?yōu)椤扒癬_個(gè)”，當(dāng)選擇排序順序?yàn)榻敌驎r(shí)，UI變?yōu)椤昂骭_個(gè)”。

默認(rèn)排序：即為數(shù)據(jù)查詢的原始順序，配合排序順序選擇是升序（正序）或降序（逆序）。

字母/拼音順序：按照當(dāng)前字段的字母/拼音順序進(jìn)行排序。

其他字段排序：選擇其他的字段來排序選擇的字段，并支持聚合，如圖6所示，當(dāng)選擇字段后，需要同時(shí)選擇該字段的聚合方式，并配合排序順序，以聚合后的結(jié)果作為依據(jù)來排選擇的字段。

圖6 字符類型過濾條件

手動排序：手動排序即支持用戶手動調(diào)整排序規(guī)則，系統(tǒng)默認(rèn)讀取選擇排序字段的distinct值，用戶可以自行拖拽、添加、刪除字段來調(diào)整先后順序，然后形成排序規(guī)則，并按照此規(guī)則排圖表數(shù)據(jù)。

該模塊提供多維度探索分析功能，用戶可根據(jù)數(shù)據(jù)分析需求自由拖拽數(shù)據(jù)集中的維度和度量完成數(shù)據(jù)綁定，并自動生成對應(yīng)可視化圖表。在數(shù)據(jù)分析階段還支持對字段的二次加工，公式種類分為六大類：時(shí)間計(jì)算、數(shù)字計(jì)算、字符計(jì)算、關(guān)系計(jì)算、邏輯計(jì)算、聚合計(jì)算。對于分組數(shù)據(jù)，還支持拖拽維度改變分組層次，并進(jìn)行組合分析。支持?jǐn)?shù)據(jù)上卷、下鉆、鉆透、切片、切塊，可以完成從粗粒度數(shù)據(jù)到明細(xì)數(shù)據(jù)的逐層探查，并自動生成對應(yīng)可視化圖表，幫助用戶發(fā)現(xiàn)業(yè)務(wù)根本問題，如圖7所示。

圖7 數(shù)據(jù)鉆取

3.4 數(shù)據(jù)可視化設(shè)計(jì)

可視化展示離不開圖表，提供數(shù)10種具有動態(tài)交互性可拓展的圖表，如圖8所示。

圖8 可視化圖表

支持基于GIS地圖的數(shù)據(jù)可視化方法，包括軌跡圖、熱力圖、標(biāo)記點(diǎn)地圖，GIS地圖支持在線的高德地圖、必應(yīng)地圖、谷歌地圖等，也可支持基于WMS、WMTS標(biāo)準(zhǔn)的非在線地圖產(chǎn)品，GIS地圖底圖可隨意切換。

支持網(wǎng)格式布局，將上述元素拖拽到上、下、左、右、中等位置，并支持通過拖拽的方式改變某一區(qū)域的大?。恢С质褂米杂蓧K完成圖冊的無網(wǎng)格約束的自由布局。支持設(shè)置圖表間聯(lián)動交互，并且支持跨數(shù)據(jù)源聯(lián)動，幫助用戶動態(tài)分析數(shù)據(jù)、深入探索數(shù)據(jù)間復(fù)雜關(guān)系，如圖9所示。

圖9 聯(lián)動展示

3.5 數(shù)據(jù)分析管理設(shè)計(jì)

內(nèi)置多種主題風(fēng)格樣式，支持一鍵快速切換各種主題，針對于圖冊主題有更為特殊的要求，還支持主題的自定義功能，通過圖形界面的方式增加自定義主題。針對于一個(gè)圖冊中的多個(gè)圖表分別使用不同主題的需求，提供在圖冊中圖表保留本身主題的功能，即圖表可以不使用圖冊的主題，如圖10所示。

圖10 圖冊主題

4.數(shù)據(jù)分析模塊的應(yīng)用實(shí)踐

通過建設(shè)在線調(diào)查平臺的數(shù)據(jù)多維度分析模塊，可以提供數(shù)據(jù)分析結(jié)果應(yīng)用，以及分析結(jié)果并未公布。一方面可以適應(yīng)多種不同數(shù)據(jù)源，建立相應(yīng)的數(shù)據(jù)集，另一方面，可以提供豐富的可視化界面，用戶可以從不同的維度了解數(shù)據(jù)分析的結(jié)果。

5.下一步工作

在未來的工作中，基于在線調(diào)查服務(wù)平臺，擴(kuò)展數(shù)據(jù)分析結(jié)果的應(yīng)用，融合最新的指數(shù)分析指標(biāo)算法。同時(shí)，可以接入移動端、微信微博等社交媒體，將數(shù)據(jù)分析結(jié)果直接發(fā)布。