● 確定評價指標
根據(jù)評價目的、種類和內(nèi)容以及傳播方式來確定評價指標。評價指標體系包括形成評價、過程評價、效果評價。指標要有敏感性、特異性和可獲得性。
評估內(nèi)容包括參與單位個數(shù)、參與人數(shù)、傳播材料發(fā)放數(shù)量、信息可接受性、活動宣傳報道情況、活動知曉率、成本效益等。
例如舉辦了一次傳播活動,評價時可以觀察群眾的關注度和參與度;可通過現(xiàn)場問卷了解群眾對本次活動內(nèi)容、形式是否感興趣,對活動組織是否滿意,對傳播的知識是否有印象;活動結束后媒體和網(wǎng)絡報道的數(shù)量、內(nèi)容、閱讀量、轉(zhuǎn)載量等可作為活動影響力的評價指標等。
● 確定評價方法
根據(jù)傳播目的、傳播方式等確定評價方法,通過定性或定量的方法來收集相關數(shù)據(jù)。
評估常用的數(shù)據(jù)收集方法有定量和定性兩種,通常情況下會綜合使用兩種方法。
定量方法側(cè)重于使用量化的數(shù)據(jù)描述、解釋或預測現(xiàn)象,常用的定量方法包括問卷調(diào)查、健康指標測量等。
定性方法側(cè)重解釋或說明現(xiàn)象發(fā)生的原因,常用的定性方法包括查閱工作記錄、文件資料、觀察法、個別訪談、小組討論等。
● 開展效果評價
制訂健康傳播效果評價方案,包括評價背景、目的、對象、指標、方法、時間安排、組織分工和質(zhì)量控制等內(nèi)容。評價須在相關理論的指導下開展,客觀反映活動的直接效果和社會影響。
● 撰寫評價報告
根據(jù)評價目的、評價指標,對定性和定量數(shù)據(jù)進行分析并撰寫報告。項目類型不同,評價報告所要求的內(nèi)容和格式也不完全一致。
(一)數(shù)據(jù)預處理
數(shù)據(jù)庫預處理包括三項主要工作:一是進行數(shù)據(jù)庫清理,二是進行數(shù)據(jù)的編碼、賦值,三是檢驗數(shù)據(jù)分布是否符合預先擬定的數(shù)據(jù)統(tǒng)計、特別是參數(shù)檢驗條件。
在數(shù)據(jù)庫清理中,首先要評估數(shù)據(jù)錄入的準確性??梢酝ㄟ^統(tǒng)計軟件程序?qū)彶閿?shù)據(jù)是否符合邏輯,是否存在異常值,是否存在缺失值以及缺失數(shù)據(jù)的多少。確定數(shù)據(jù)剔除標準,按標準剔除不符合要求的樣本。
對于問卷調(diào)查,通常需對數(shù)據(jù)進行編碼和賦值。需要編制編碼與賦值指南,逐一說明每個條目的編碼和賦值情況,便于后續(xù)進行數(shù)據(jù)分析時,團隊成員對于條目的編碼、賦值保持一致。
大多數(shù)參數(shù)檢驗對自變量與因變量之間的關系、變量分布、方差齊性、變量間共線性有一定的要求,因此,需要在數(shù)據(jù)預處理階段進行相關分析判斷,以確定現(xiàn)有數(shù)據(jù)是否符合預先確定的統(tǒng)計要求。如果達不到要求,則需要根據(jù)數(shù)據(jù)的具體特點,選擇適宜的統(tǒng)計分析方法。
(二)定性分析
健康教育中常用的定性研究方法包括專題小組討論、個人訪談、參與式觀察、文獻研究等。使用定性方法分析數(shù)據(jù)有助于深入理解所關注的問題。
定性分析的樣本量通常較小,包括以下3個步驟:
1. 簡化數(shù)據(jù):通過對數(shù)據(jù)的選擇、聚焦、濃縮和轉(zhuǎn)換,確定“哪些數(shù)據(jù)能夠最好地回答評估問題”。
2. 展示數(shù)據(jù):通過圖表、矩陣或文本等形式,展示定性調(diào)查的結果。具體做法是首先對文本(或圖像、視頻等)中包含相同信息或彼此關聯(lián)的段落進行編碼或標記、歸類并對所選段落中的相同點進行進一步解釋,最終形成不同形式的展示。
3. 得出結論及驗證:重新審查數(shù)據(jù)以驗證、核實或確認所確定的主題和展示方式。
(三)定量分析
在健康教育中,常見的定量分析方法包括描述性統(tǒng)計分析和推斷性統(tǒng)計分析,根據(jù)評估目的選擇合適的統(tǒng)計方法和統(tǒng)計指標。
1. 描述性統(tǒng)計方法:使用描述性統(tǒng)計方法分析數(shù)據(jù),目的是闡述研究對象的特征、健康問題在特定人群中的分布等,通常用絕對數(shù)、百分比、率、均數(shù)等表示。
2. 推斷性統(tǒng)計方法:推斷性統(tǒng)計方法用于解釋現(xiàn)象,在健康教育中一般用于解釋觀察指標受哪些因素的影響、健康教育干預效果等。常用方法有3種:
(1)t檢驗與方差分析:t檢驗(student's t test,亦稱student t檢驗)用于比較兩個樣本均數(shù)是否存在差異,如比較某一人群干預前后健康知識得分的變化、體重的變化;方差分析用于兩組以上人群指標值的差異比較,如不同文化程度(大學及以上、高中、初中級以下)居民的健康知識得分是否存在差異等。
(2)卡方檢驗:用于比較兩個或兩個以上樣本構成是否存在差異,如干預前后人群的吸煙率是否發(fā)生改變,超重肥胖比例是否發(fā)生改變等。
(3)回歸分析:多元線性回歸用于因變量為連續(xù)變量時,分析因變量的影響因素,如人群體重變化的影響因素;邏輯回歸(logistic regression)用于因變量為分類變量時,分析因變量的影響因素,如人群吸煙的影響因素。
行為的影響因素是多層面、多因素的,因此,多元回歸分析更能科學地解釋健康教育綜合干預的效果。
分析結果可以通過數(shù)字、表格、條圖、餅圖、線圖或地圖等形式進行展示。