陳東華 張潤彤

(1.對外經(jīng)濟(jì)貿(mào)易大學(xué)信息學(xué)院，北京 100029；2.北京交通大學(xué)經(jīng)濟(jì)管理學(xué)院，北京 100044)

隨著醫(yī)療信息化的快速發(fā)展、新型醫(yī)療健康設(shè)備廣泛使用和互聯(lián)網(wǎng)醫(yī)療平臺迭代更新，海量且類型多樣的醫(yī)療健康數(shù)據(jù)分析應(yīng)用尤為迫切[1]。近年來，智慧醫(yī)療的興起預(yù)示著醫(yī)療健康4.0產(chǎn)業(yè)的快速發(fā)展，傳統(tǒng)醫(yī)療模式逐漸向大健康模式轉(zhuǎn)變。臨床決策支持的準(zhǔn)確性直接關(guān)系到患者的生命健康安全，而高效的多模態(tài)數(shù)據(jù)分析方法能改善現(xiàn)有單模態(tài)數(shù)據(jù)驅(qū)動的臨床決策支持可靠性[2-3]。在我國，諸如心腦血管疾病、癌癥、糖尿病、慢性阻塞性肺病等慢性病已成為嚴(yán)重威脅居民健康的疾病，成為影響國家經(jīng)濟(jì)社會發(fā)展的重大公共衛(wèi)生問題。我國高血壓患病率高達(dá)25%，糖尿病患病率超過10%，心血管病占居民疾病死亡構(gòu)成比例超過40%，帕金森病患者數(shù)量約占全球該疾病患者的30%以上等，這些患者的診療和健康管理需要結(jié)合多方面數(shù)據(jù)源的綜合性決策支持。每一種信息的來源或者形式可以視為一種模態(tài)，而多種模態(tài)的數(shù)據(jù)融合稱之為多模態(tài)數(shù)據(jù)融合。Chandrasekaran G等認(rèn)為，多模態(tài)情感分析提供了基于視頻、音頻和文本組合進(jìn)行觀點分析的方法，這在理解人類行為方面超越了傳統(tǒng)的基于文本的情感分析[4]。由此可見，實現(xiàn)這些慢病患者龐大人群的早期篩選、風(fēng)險預(yù)測、預(yù)警與綜合干預(yù)管理更離不開高效的多模態(tài)醫(yī)療健康數(shù)據(jù)分析和挖掘[5]。

我國醫(yī)療信息化經(jīng)歷了30多年的探索和發(fā)展，現(xiàn)階段正在加速推進(jìn)以電子病歷為核心的智慧醫(yī)院建設(shè)?！丁敖】抵袊?030”規(guī)劃綱要》提出了要建設(shè)我國健康信息化服務(wù)體系，全面夯實全民健康信息化標(biāo)準(zhǔn)基礎(chǔ)，大力豐富全民健康信息化應(yīng)用，充分利用信息化、智能化的新興技術(shù)，支撐以人民健康為中心的全周期整合型醫(yī)療健康服務(wù)體系建設(shè)，推動我國醫(yī)療信息化邁向數(shù)字健康新時代。新冠疫情全球大流行背景下催生了我國智慧醫(yī)療行業(yè)的快速發(fā)展，多模態(tài)醫(yī)學(xué)數(shù)據(jù)從數(shù)量和維度上也在快速地增長，多模態(tài)數(shù)據(jù)驅(qū)動的智慧醫(yī)療決策支持場景不斷拓展。數(shù)字健康數(shù)據(jù)是多模態(tài)和高維的[6]?；颊叩慕】禒顟B(tài)可以通過多種信號來表示，包括醫(yī)學(xué)成像、臨床變量、基因組測序、臨床醫(yī)生與患者之間的對話以及來自可穿戴設(shè)備的連續(xù)信號等。臨床決策支持、在線健康管理以及遠(yuǎn)程醫(yī)療服務(wù)成為典型的3個場景。然而，在這些場景上如何解決多模態(tài)醫(yī)學(xué)數(shù)據(jù)環(huán)境的決策支持精度不足、在線健康信息不可靠、醫(yī)療服務(wù)質(zhì)量難以評估等成為互聯(lián)網(wǎng)醫(yī)療發(fā)展的障礙。

本文以好大夫在線網(wǎng)站數(shù)據(jù)為例，提取在線醫(yī)生的多模態(tài)信息特征并進(jìn)行融合，利用多種數(shù)據(jù)挖掘方法研究這些多模態(tài)數(shù)據(jù)特征對患者用戶決策行為的影響。首先，我們收集好大夫網(wǎng)站中與醫(yī)生和患者相關(guān)的多模態(tài)信息，包括醫(yī)生基礎(chǔ)信息、醫(yī)生發(fā)布文本帖子、音頻文章、視頻文章、醫(yī)生頭像等不同形式的數(shù)據(jù)；然后，對這些多模態(tài)信息進(jìn)行特征抽取和情感分析，在此基礎(chǔ)上研究好大夫網(wǎng)站中醫(yī)生信息、發(fā)布的音頻文章、視頻文章等多模態(tài)信息對醫(yī)生和患者決策行為的影響。最后，進(jìn)一步深入探討互聯(lián)網(wǎng)醫(yī)療多模態(tài)數(shù)據(jù)融合與互聯(lián)網(wǎng)用戶決策行為的關(guān)系，為實現(xiàn)高質(zhì)量的互聯(lián)網(wǎng)醫(yī)療健康服務(wù)的決策支持提供借鑒。

1 文獻(xiàn)綜述

大數(shù)據(jù)驅(qū)動的智慧醫(yī)療健康決策正在面臨著不斷累積的多模態(tài)數(shù)據(jù)和復(fù)雜的智慧醫(yī)療場景引發(fā)的各類問題和挑戰(zhàn)[7]。其問題包括醫(yī)學(xué)數(shù)據(jù)完整性差、多模態(tài)數(shù)據(jù)內(nèi)部具有異質(zhì)性、多模態(tài)數(shù)據(jù)融合算法尚未成熟、多學(xué)科交叉研究協(xié)作機制不完善等，這些問題在當(dāng)前亟待解決。我們分別從健康信息素養(yǎng)對在線用戶決策行為的影響、社會行為理論對患者健康決策能力的提升以及多模態(tài)信息在互聯(lián)網(wǎng)醫(yī)療的應(yīng)用三方面進(jìn)行文獻(xiàn)綜述。

1.1 健康信息素養(yǎng)對在線用戶決策行為影響研究

在線健康社區(qū)中患者健康信息素養(yǎng)對其決策的影響密切相關(guān)?！敖】敌畔⑺仞B(yǎng)(Health Information Literacy)”的研究經(jīng)歷了一個概念演變的過程，是“信息素養(yǎng)(Information Literacy)”概念和“健康素養(yǎng)(Health Literacy)”概念的交叉融合。該概念在信息能力與健康素養(yǎng)的交匯融合中突顯出健康信息素養(yǎng)的重要性與內(nèi)涵元素。由于健康素養(yǎng)與信息的緊密聯(lián)系，美國醫(yī)學(xué)圖書館學(xué)將健康信息素養(yǎng)定義為“健康信息素養(yǎng)指一系列識別健康信息需求、知曉如何獲得健康信息并評估健康信息、并利用健康信息做出良好健康決策的能力總和”。

在開放社交媒體環(huán)境中非權(quán)威健康信息影響用戶健康信息素養(yǎng)的形成。在互聯(lián)網(wǎng)環(huán)境中，由于信息是開放的，在個體特征方面，年齡、性別、健康素養(yǎng)等因素對在線用戶的失真信息可信度判斷具有顯著影響，比如，大學(xué)生對媒體健康信息具有偏向性和盲目性[8-9]。比如，患有慢性疾病的老年人會傾向于查詢相關(guān)健康信息，并使用這些信息解決或者緩解目前的健康問題，其健康信息素養(yǎng)也會因此提升[10]。郭昊男等總結(jié)了國外在線健康社區(qū)的經(jīng)驗，包括開發(fā)健康信息質(zhì)量測評工具、用戶電子健康素養(yǎng)的測評、用戶電子健康記錄的保護(hù)措施，并認(rèn)為未來應(yīng)從提高在線醫(yī)療健康網(wǎng)站信息質(zhì)量、提升全民電子健康素養(yǎng)和保障在線健康社區(qū)用戶數(shù)據(jù)信息安全的角度提升社區(qū)服務(wù)質(zhì)量[11]。社交媒體的健康信息可靠性及用戶信任是其中的關(guān)鍵。唐旭麗等在傳統(tǒng)信息采納模型的基礎(chǔ)上，融入社會支持理論,綜合考慮健康素養(yǎng)和信任的關(guān)鍵作用，利用結(jié)構(gòu)方程模型,用戶的健康素養(yǎng)對來源可信度和信息支持間的關(guān)系起到正向調(diào)節(jié)作用,對論據(jù)質(zhì)量和信息支持間的關(guān)系起到負(fù)向調(diào)節(jié)作用[12]。

當(dāng)期，國內(nèi)缺乏對在線公眾用戶健康信息素養(yǎng)的評價研究。我國除了國家衛(wèi)生計生委編制的全國居民健康素養(yǎng)監(jiān)測調(diào)查問卷，目前還沒有影響力較大的全面、專門用于健康信息素養(yǎng)的評價工具，這嚴(yán)重制約了健康信息素養(yǎng)研究的開展。國外已有一些相對成熟的健康信息素養(yǎng)測評工具，包括功能性健康信息素養(yǎng)測評工具、交互性健康信息素養(yǎng)測評工具、批判性健康信息素養(yǎng)測評工具等[13]。應(yīng)借鑒國外相關(guān)經(jīng)驗，發(fā)展適用于我國文化環(huán)境的健康信息素養(yǎng)測評工具。

1.2 社會行為理論在健康信息素養(yǎng)提升的研究

社會行為學(xué)、管理學(xué)和心理學(xué)相關(guān)理論在健康信息素養(yǎng)影響機理研究和提升路徑發(fā)揮重要作用。學(xué)者們對在線健康社區(qū)的理論和模型大多都是基于心理學(xué)等學(xué)科理論，如社會文化理論、技術(shù)接受模型等經(jīng)典理論模型。

首先，在線健康社區(qū)的各類知識共享機制研究能推動在線用戶對信息的信任，也增強用戶的健康信息素養(yǎng)。張星等將社會交換理論、社會支持理論和信任理論相結(jié)合研究影響在線健康社區(qū)用戶持續(xù)知識貢獻(xiàn)意愿的因素，結(jié)果表明，對用戶的信任正向影響對社區(qū)的信任，對社區(qū)的信任顯著正向影響持續(xù)知識貢獻(xiàn)意愿，時間與精力對持續(xù)知識貢獻(xiàn)意愿有顯著負(fù)向影響[14]。覃子珍等則從收支博弈視角解析用戶在社交媒體中的持續(xù)搜索健康信息的心理路徑，總結(jié)出平臺的技術(shù)特性和便利性可有效提升用戶對社交媒體健康信息搜索價值的感知,當(dāng)用戶搜索健康信息時會弱化對社交平臺風(fēng)險的感知,而健康信息的有用性才是影響用戶感知價值和達(dá)到滿意的根本。Gupta V等提出了一種新的情感關(guān)懷方案，分析與COVID-19相關(guān)的實時推文中包含的多模態(tài)文本數(shù)據(jù)，其中研究了自然、封鎖、健康、教育、市場和政治等多個類別的八級情緒，分別為憤怒、預(yù)期、厭惡、恐懼、喜悅、悲傷、驚訝和信任[15]。Moro C等描述了在使用技術(shù)教育健康學(xué)生時集成多模態(tài)數(shù)據(jù)的一系列選項[16]。由于健康和醫(yī)學(xué)教育的動態(tài)和不斷變化的性質(zhì)，教育工作者在將多模態(tài)學(xué)習(xí)引入他們各自的課程時也帶來巨大的收益。

目前國內(nèi)尚缺乏統(tǒng)一的在線健康信息共享的信用檔案體系數(shù)據(jù)，難以量化其中指標(biāo)，在線健康信息的真實性、準(zhǔn)確性將直接影響用戶的判斷，建設(shè)效果也難以量化[17]。而王兆侖認(rèn)為，互聯(lián)網(wǎng)醫(yī)療信息平臺要不斷加強醫(yī)療標(biāo)準(zhǔn)的應(yīng)用,加強信息的可信度建設(shè)，不斷優(yōu)化互聯(lián)網(wǎng)醫(yī)療信息信任生態(tài)[18]。彭昱欣等結(jié)合動機理論和社會資本理論，從多個維度探討影響醫(yī)學(xué)專業(yè)用戶知識共享意愿的因素，發(fā)現(xiàn)醫(yī)學(xué)專業(yè)用戶知識共享意愿與普通用戶之間的共享行為的差異，彌補對醫(yī)學(xué)專業(yè)用戶研究較少的問題[19]。桂平等基于網(wǎng)絡(luò)口碑和社會交換理論，發(fā)現(xiàn)互惠、聲望追求和利他顯著影響健康知識共享意愿，而信任對共享意愿的影響沒有得到支持[20]。

從以上研究可以知道，信息質(zhì)量、服務(wù)質(zhì)量、系統(tǒng)質(zhì)量正向影響自我推薦意愿；在線醫(yī)療平臺認(rèn)知聲譽、醫(yī)生認(rèn)知聲譽、醫(yī)院認(rèn)知聲譽正向影響從眾推薦意愿；從眾推薦意愿對在線健康行為的影響不具有顯著調(diào)節(jié)作用[21]。因此，信任理論在互聯(lián)網(wǎng)醫(yī)療用戶間信任和健康決策行為發(fā)揮重要作用。

1.3 多模態(tài)信息在互聯(lián)網(wǎng)醫(yī)療的應(yīng)用研究

在線環(huán)境中，醫(yī)學(xué)專業(yè)用戶能持續(xù)貢獻(xiàn)可信的多模態(tài)在線健康信息，在用戶之間建立起信任，消除在線患者決策不確定性。張帥等通過探究在線健康社區(qū)用戶持續(xù)參與行為的演化規(guī)律及動力機制，發(fā)現(xiàn)其用戶持續(xù)參與行為與其他付出成本、聲譽收益和社會支持收益密切相關(guān)[22]。Koteyko N等學(xué)者研究了Facebook在Ⅰ型和Ⅱ型糖尿病用戶的生活中的作用，以及他們在持續(xù)代表長期生活狀況時采用的多模態(tài)話語實踐[23]。該研究發(fā)現(xiàn)，研究參與者進(jìn)行的多模態(tài)活動包括建立與糖尿病管理相關(guān)的個人專業(yè)知識，融入了更廣泛的糖尿病相關(guān)社交網(wǎng)絡(luò)，通過語言和視覺提升了自我管理的能力。成全等提出，實現(xiàn)多源異構(gòu)信息資源融合的在線健康社區(qū)多層級融合框架，從數(shù)據(jù)級融合、特征級融合及決策級融合逐層剖析在線健康信息多層級融合的實現(xiàn)路徑[24]。

互聯(lián)網(wǎng)上單一方面的健康信息往往是片面而不可靠。在線健康社區(qū)中阻礙構(gòu)建可靠的健康問答系統(tǒng)的兩個特點是：首先，醫(yī)生的答案通常用短文本編寫，這會產(chǎn)生數(shù)據(jù)稀疏問題；然后，問答系統(tǒng)采用質(zhì)量控制機制，難以體現(xiàn)大眾的智慧。Hu Z等不僅結(jié)合了答案的標(biāo)準(zhǔn)文本特征，而且還從其他模態(tài)中引入了一組獨特的非文本特征，例如，非常流行使用的表面語言特征和新穎的社會特征來提升分類精度[25]。Triantafyllopoulos D等學(xué)者引用了一種用于癲癇管理的多模態(tài)實時分析系統(tǒng)的實現(xiàn)，對持續(xù)動態(tài)的患者生理信號監(jiān)測，這將改善患者的治療并實現(xiàn)積極的個人健康管理[26]。

多模態(tài)數(shù)據(jù)分析已經(jīng)在數(shù)字健康領(lǐng)域發(fā)揮重要的作用。Sindoni M G采用多模態(tài)話語分析方法來研究如何在預(yù)防自殺的心理健康話語中鼓勵和表達(dá)同伴支持[27]。與之前的研究不同，該研究側(cè)重于使用多模態(tài)資源(如頁面的視覺效果、布局和超鏈接)關(guān)聯(lián)人際關(guān)系，以了解在線平臺中專業(yè)醫(yī)療健康服務(wù)提供者和醫(yī)護(hù)人員如何將身份具體化。Yang X等提出了一種利用社交媒體上多模態(tài)數(shù)據(jù)自動檢測藥物濫用和處理的新方法，能夠識別與毒品相關(guān)的帖子并分析與毒品相關(guān)的用戶帳戶行為模式[28]。黃曉斌等通過了解在線健康社區(qū)中青少年用戶的健康信息需求及主題分布情況，為平臺滿足青少年用戶的健康信息需求提供借鑒[29-30]。結(jié)合可穿戴設(shè)備技術(shù)，Kaczmarek M等展示了基于傳感器的多模態(tài)數(shù)據(jù)分析平臺，旨在識別老年人在家中進(jìn)行的活動。Emokpae L E等提出的解決方案實現(xiàn)了具有多模態(tài)生理傳感能力的物聯(lián)網(wǎng)系統(tǒng)，傳感器節(jié)點集成在可穿戴襯衫中，以無創(chuàng)方式進(jìn)行連續(xù)監(jiān)測，并在網(wǎng)關(guān)處使用先進(jìn)的機器學(xué)習(xí)技術(shù)收集和分析數(shù)據(jù)，以便醫(yī)療健康服務(wù)提供者進(jìn)行遠(yuǎn)程訪問[31]。

多模態(tài)數(shù)據(jù)融合分析對在線健康社區(qū)平臺創(chuàng)新應(yīng)急服務(wù)水平的提升也具有重要意義。郭鳳儀等研究發(fā)現(xiàn)，情感強度與話題突發(fā)強度存在正向弱相關(guān)關(guān)系，隨著話題突發(fā)強度增強，其用戶情感類型也會有所不同。鄧君等基于兩級傳播理論對在線健康社區(qū)意見領(lǐng)袖交互行為進(jìn)行研究，發(fā)現(xiàn)百度“自閉癥吧”整體網(wǎng)絡(luò)具有小世界效應(yīng)，識別出的意見領(lǐng)袖各項個體指標(biāo)數(shù)值均偏高，處于整體網(wǎng)絡(luò)核心位置，有利于推動信息在來源層、意見領(lǐng)袖層和受眾層間穩(wěn)定流動[32]。因此，在線健康社區(qū)用戶的不同種類知識共享行為的影響因素，知識的自我效能對一般健康知識和特殊健康知識共享行為均有顯著正向影響[33]。

2 方 法

2.1 數(shù)據(jù)獲取

我們首先獲取好大夫4 739名信息量較為豐富的醫(yī)生網(wǎng)站數(shù)據(jù)，這些數(shù)據(jù)包括醫(yī)生的基本信息、患者診后評價數(shù)據(jù)、醫(yī)生收到禮物數(shù)據(jù)、付款醫(yī)生文章以及這些文章的評論、點贊和價格等數(shù)據(jù)。同時，為了研究在線健康社區(qū)多模態(tài)信息對決策的影響，我們同時收集了每個醫(yī)生的非文本信息，包括在線醫(yī)生上傳的頭像、發(fā)布的語音文章、視頻科普文章等信息，供我們后續(xù)分析。

具體使用的數(shù)據(jù)包括在線醫(yī)生基本介紹、診后患者評論、收到的患者禮物、發(fā)布的科普文章統(tǒng)計信息、語音視頻文章等數(shù)據(jù)：

1)在線醫(yī)生基本介紹

我們收集了4 739名醫(yī)生基本介紹信息。這些公開的關(guān)鍵信息包括醫(yī)生的職位、服務(wù)患者數(shù)、是否推薦、推薦熱度、患者滿意度等信息。然后，針對醫(yī)生的服務(wù)質(zhì)量，收集了醫(yī)生的回復(fù)速度、所在醫(yī)院級別、圖文問診價格、電話問診價格、是否是專家、態(tài)度評價分?jǐn)?shù)、診療評價分?jǐn)?shù)等信息。

2)醫(yī)生診后患者評論

為了驗證醫(yī)生在線服務(wù)質(zhì)量，我們還收集了每位醫(yī)生診后患者評論，共約26萬條患者評論。這些信息包括結(jié)構(gòu)化的數(shù)據(jù)，如評價渠道、評價類型、對醫(yī)生的態(tài)度、效果和技能的評價、患者提供的標(biāo)簽以及非結(jié)構(gòu)化的評論文本等。

3)醫(yī)生收到的患者禮物信息

這些信息包括每位醫(yī)生獲得的總患者數(shù)、收到的總禮物數(shù)以及每個禮物的詳情，共3萬多條禮物贈送記錄。

4)醫(yī)生發(fā)布的文章統(tǒng)計信息

進(jìn)一步地，我們收集了醫(yī)生發(fā)布文章的關(guān)鍵信息，約10萬篇，包括醫(yī)學(xué)科普、語音文章、視頻文章等類別的文章信息，文章的關(guān)鍵信息包括文章的閱讀量、評論數(shù)、評分、是否為付款文章、收聽次數(shù)和觀看次數(shù)等。

5)醫(yī)生發(fā)布的語音視頻文章內(nèi)容

為了進(jìn)一步研究多模態(tài)信息對在線醫(yī)療健康社區(qū)患者決策的影響，我們還收集了醫(yī)生和患者用戶的相關(guān)多模態(tài)信息，如醫(yī)生發(fā)布醫(yī)學(xué)科普文章(占41.08%)、語音文章(占4.31%)、視頻文章(占7.24%)、醫(yī)生的頭像(4 739張)、醫(yī)生發(fā)布的圖文朋友圈(1 007條)等信息，這些非結(jié)構(gòu)化信息在本文研究中進(jìn)行處理并轉(zhuǎn)換為能適合數(shù)據(jù)分析的情感和行為標(biāo)簽。

2.2 多模態(tài)信息處理

基于所收集的數(shù)據(jù)，我們研究多模態(tài)信息融合下的醫(yī)生在線行為與患者在線關(guān)系。醫(yī)生多模態(tài)信息的內(nèi)容包括醫(yī)生發(fā)表的朋友圈帖子文本、語音文章、視頻文章以及醫(yī)生頭像信息。表1匯總了非文本的多模態(tài)數(shù)據(jù)處理后得到的結(jié)果示例以及數(shù)據(jù)處理方法。本文研究思路如圖1所示。其中，我們擬綜合采用回歸分析、關(guān)系挖掘以及深度學(xué)習(xí)等方法來對這些數(shù)據(jù)挖掘并嘗試解釋其關(guān)聯(lián)關(guān)系。體現(xiàn)患者決策行為的相關(guān)指標(biāo)包括患者對醫(yī)生的評分、診后評價、閱讀量、禮物量和付款文章等指標(biāo)。

表1 非文本的醫(yī)生多模態(tài)數(shù)據(jù)處理方法、原始分析結(jié)果以及使用的特征提取工具

2.2.1 在線健康社區(qū)文本信息與患者決策關(guān)系分析

在線健康社區(qū)文本信息是在線患者了解并選擇在線醫(yī)生服務(wù)的主要來源。這些信息不僅包括結(jié)構(gòu)化后的定量評價分?jǐn)?shù)(比如0～5分的評價)，還包括患者生成的定性敘述性文本(比如診后患者評論)、醫(yī)生發(fā)布的科普文章、醫(yī)生在個人朋友圈發(fā)布的各類帖子內(nèi)容。這些數(shù)據(jù)都包含了海量豐富的信息，如何從這些海量文本提取有效信息，供在線健康社區(qū)患者決策，這是一個關(guān)鍵的問題。除了結(jié)構(gòu)化的信息，我們對文本的分析主要分兩方面：

1)醫(yī)生的文本情感值分析

首先，對在線醫(yī)生發(fā)布的文章、醫(yī)生朋友圈發(fā)布的帖子文本信息等進(jìn)行分析，并從中提取文本中醫(yī)生的情感信息，以此作為研究在線醫(yī)生的情感與其決策行為關(guān)系的研究基礎(chǔ)。

2)患者的文本情感值分析

然后，我們分析患者診后評論的文本數(shù)據(jù)。每個醫(yī)生對應(yīng)的患者評價情感信息將會被匯總，給出平均情感值。

在以上兩者文本情感值的基礎(chǔ)上，將這兩者的情感值信息與醫(yī)生和患者其他信息關(guān)聯(lián)，供后續(xù)進(jìn)一步分析。

2.2.2 醫(yī)生音頻文章情感對患者決策的影響分析

醫(yī)生發(fā)布的音頻文章包含了醫(yī)生情感信息。我們在收集的在線醫(yī)生音頻數(shù)據(jù)基礎(chǔ)上研究這些音頻文章對患者決策的影響分析。首先，我們對每個在線醫(yī)生發(fā)布的音頻進(jìn)行情感分析，根據(jù)設(shè)定的時間間隔(如5秒)對每一個音頻進(jìn)行拆分，并對每一片段音頻醫(yī)生的說話語氣進(jìn)行情感分析。最終，每一篇語音文章轉(zhuǎn)換為一個情感標(biāo)簽序列。每一部分音頻的情感類別可以設(shè)置為7個類別和標(biāo)簽，分別為“生氣(angry，A)”“驚恐(fear，F(xiàn))”“高興(happy，H)”“中立(neutral，N)”“悲傷(sad，S)”“驚喜(surprise，S)”以及“厭惡(disgust，D)”，每一個類別的情感都被標(biāo)記為一定的概率，即每一個音頻每一時刻的情感都是由具有不同概率的情感標(biāo)簽組成的。

圖1 研究思路

為了對每個語音文章獲得一個代表性的指標(biāo)表示其主要情感，我們對具有時間特征的語音文章情感標(biāo)記序列進(jìn)行匯總，分別統(tǒng)計屬于不同情感類別的標(biāo)簽數(shù)，并獲取其所占的比例。得到一個語音文章的總體特征，而其中所占主導(dǎo)的情感將會被作為該語音文章的主要情感。

為了分析每個醫(yī)生語音文章的特點，我們?yōu)槊總€擁有語音文章的醫(yī)生語音數(shù)據(jù)進(jìn)行挖掘，并對多個語音數(shù)據(jù)進(jìn)行綜合和匯總。最終，每個醫(yī)生都被賦予一個主要情感標(biāo)簽，與其他數(shù)據(jù)進(jìn)行關(guān)聯(lián)。分析語音文章的情感對患者用戶決策行為的影響可以從語音文章的情感時間序列變化、語音文章的主導(dǎo)情感以及語音文章發(fā)布數(shù)等關(guān)鍵指標(biāo)與醫(yī)生的服務(wù)態(tài)度、診療效果等患者評價指標(biāo)進(jìn)行相關(guān)性分析。

2.2.3 醫(yī)生視頻文章情感對患者決策的影響分析

我們分析了醫(yī)生發(fā)布的視頻文章對患者決策的影響分析。首先，我們獲取擁有視頻文章的醫(yī)生數(shù)據(jù)，對每一個視頻進(jìn)行視頻流分析。這里，我們主要對視頻中醫(yī)生的動態(tài)形象進(jìn)行分析，并使用視頻情感抽取工具抽取每隔一段時間的醫(yī)生情感特征。這些情感標(biāo)簽包括“生氣(angry)”“驚恐(fear)”“高興(happy)”“中立(neutral)”“悲傷(sad)”“驚喜(surprise)”以及“厭惡(disgust)”。最終，一個視頻轉(zhuǎn)換為一個情感標(biāo)簽時間序列，從而可以獲得醫(yī)生視頻文章情感的信息。

由于醫(yī)生可能擁有多個視頻，因為對多個視頻文章情感序列的匯聚和融合能更方便我們整體上獲得醫(yī)生在科普視頻中的情感特征?；卺t(yī)生的科普文章情感標(biāo)簽數(shù)據(jù)，我們可以分析醫(yī)生視頻多模態(tài)信息與其患者決策的關(guān)系。首先，考慮到視頻具有時間特征，因為視頻情感時間序列的分析和對比是需要的；在此基礎(chǔ)上，我們獲得視頻主要情感標(biāo)簽，然后與其他患者評價相關(guān)的指標(biāo)進(jìn)行相關(guān)性分析。

2.2.4 在線醫(yī)生形象對患者決策的影響分析

在線醫(yī)生形象對患者初始決策行為可能具有重要的影響。比如，患者可能更愿意選擇平臺中醫(yī)生頭像看起來更專業(yè)的醫(yī)生。

首先，獲取在線醫(yī)生的頭像，并對醫(yī)生頭像形象進(jìn)行分析，獲得其中的情感特征，主要包括情感類別、顏值評分、微笑評分、臉部質(zhì)量評分等特征。

然后，將這些在線臉部特征與其他醫(yī)生和患者指標(biāo)進(jìn)行相關(guān)性分析，研究在線醫(yī)生形象對患者決策行為的影響。醫(yī)生在網(wǎng)站上傳的頭像表情、臉部等特征可以用于研究在線醫(yī)生形象與患者決策行為的影響。

2.3 醫(yī)生多模態(tài)信息融合對患者決策行為的影響

基于好大夫在線網(wǎng)站的醫(yī)生與患者多模態(tài)信息，我們構(gòu)建了兩類基于前饋神經(jīng)網(wǎng)絡(luò)(Feed-forward Neural Network，F(xiàn)NN)的在線患者用戶決策行為多模態(tài)預(yù)測模型，融合包含連續(xù)變量和分類變量的多模態(tài)數(shù)據(jù)，檢驗醫(yī)生多模態(tài)信息對在線患者各類決策行為的預(yù)測精度，從而探究在線醫(yī)生多模態(tài)信息融合對患者決策行為的影響。表2展示了我們采用的訓(xùn)練數(shù)據(jù)集示例數(shù)據(jù)，其中不僅包含連續(xù)變量和分類變量，還融合了頭像、音頻、視頻和文本的綜合情感特征。

基于PyTorch深度學(xué)習(xí)框架，我們在讀取訓(xùn)練數(shù)據(jù)集時每次可以獲得連續(xù)特征變量(比如文章總數(shù))、分類特征變量(比如醫(yī)院級別)以及輸出樣本值(評價分?jǐn)?shù))。然后，我們建立一個包含兩個隱藏層、針對分類變量的嵌入層以及必要的丟棄(Dropout)層和批標(biāo)準(zhǔn)化(Batch Normalization)層的FNN模型，構(gòu)建的深度學(xué)習(xí)模型如圖2所示。

表2 融合多模態(tài)數(shù)據(jù)情感值的醫(yī)生患者數(shù)據(jù)集示例(部分字段)

圖2 基于前饋神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型構(gòu)建

1)基于醫(yī)生在線行為的患者決策行為評價預(yù)測模型構(gòu)建

首先，我們基于圖2的模型建立第一類預(yù)測模型，研究體現(xiàn)醫(yī)生在線行為的平臺指標(biāo)與患者相關(guān)評價指標(biāo)的關(guān)系。該模型使用的輸入指標(biāo)包括文章總數(shù)、付款文章總數(shù)、語音文章總數(shù)、視頻文章總數(shù)、回復(fù)速度、是否專家、醫(yī)院級別、頭像情感、音頻情感、視頻情感、圖文問診價格、電話問診價格和文本情感值。而模型輸出指標(biāo)評價分?jǐn)?shù)、態(tài)度評價(%)、效果評價(%)、總禮物數(shù)、療效滿意度和總患者數(shù)。輸入特征中保護(hù)連續(xù)變量(如文章總數(shù))和分類變量(頭像情感)。建立深度學(xué)習(xí)模型對數(shù)據(jù)集進(jìn)行訓(xùn)練和性能評估，匯總對比相關(guān)的預(yù)測指標(biāo)。為了使得建立的模型更具有魯棒性，我們引入閾值參數(shù)e解決預(yù)測值與實際值的差異問題，即若預(yù)測值落在e決定的某一個值范圍內(nèi)，則認(rèn)為該預(yù)測是準(zhǔn)確的。比如，若實際值為95而e=5，則當(dāng)預(yù)測值落在[90,100]區(qū)間內(nèi)，認(rèn)為該預(yù)測值是準(zhǔn)確的。最終，在模型訓(xùn)練的過程中，我們通過統(tǒng)計預(yù)測準(zhǔn)確數(shù)來計算模型的性能。

2)基于醫(yī)生多模態(tài)信息融合的患者決策行為預(yù)測模型構(gòu)建

然后，我們建立第二類預(yù)測模型，檢測醫(yī)生多模態(tài)信息情感融合對患者決策行為的影響。該類模型中，我們采用的輸入特征包括頭像情感、音頻情感、視頻情感以及文本情感值。而待預(yù)測特征包括評價分?jǐn)?shù)、態(tài)度評價、效果評價、總禮物數(shù)、總患者數(shù)、文章總數(shù)、付款文章總數(shù)、語音文章總數(shù)以及視頻文章總數(shù)，如圖3所示。同樣，我們也采用第一類模型中閾值參數(shù)e來控制模型訓(xùn)練過程中計算模型預(yù)測精度不穩(wěn)定問題。

在以上兩類模型，我們使用的數(shù)據(jù)集將分為訓(xùn)練集和測試集。最終，我們通過對比構(gòu)建的模型在預(yù)測不同患者評價指標(biāo)的精度，來分析這些指標(biāo)之間可能存在的關(guān)聯(lián)關(guān)系。

3 結(jié)果分析

首先，對醫(yī)生與患者用戶數(shù)據(jù)采用Pearson、Spearman以及Kendalltau系數(shù)分析不同指標(biāo)的相關(guān)性。在此基礎(chǔ)上，研究醫(yī)生多模態(tài)信息對患者在線決策行為的影響，利用深度學(xué)習(xí)方法，挖掘分析潛在的用戶決策行為規(guī)律。

3.1 基本指標(biāo)的相關(guān)性

首先，我們對在線醫(yī)生行為與患者的Pearson相關(guān)性進(jìn)行探索，得到結(jié)果如表3所示。表3(a)顯示了兩個指標(biāo)之間的Pearson相關(guān)性和p值(p≤0.05)，由此可見，圖文問診價格與態(tài)度評價、態(tài)度滿意度呈現(xiàn)弱負(fù)相關(guān)性，而與評價分?jǐn)?shù)呈現(xiàn)正相關(guān)性。電話問診價格和醫(yī)生發(fā)布的文章總數(shù)也與評價分?jǐn)?shù)呈現(xiàn)正相關(guān)性。由此可見，圖文問診價格的提升反而會影響患者用戶的體驗，而通過電話問診價格提升一定程度上會提高評價分?jǐn)?shù)。醫(yī)生發(fā)布文章數(shù)越多，也能一定程度上提升其評價分?jǐn)?shù)。

我們同時分析了在線醫(yī)生的行為與其他指標(biāo)的影響。表3(b)顯示，圖文問診價格、電話問診價格與醫(yī)生收到的禮物總數(shù)呈現(xiàn)正相關(guān)性，同時，高的問診價格也對平均評價、平均文章付款人數(shù)有一定的影響。部分醫(yī)生發(fā)布了需要付費才能查看的文章，而表3(b)的結(jié)果顯示了付款文章總數(shù)的提升也能提升醫(yī)生平均評價分?jǐn)?shù)。針對語音文章，我們也發(fā)現(xiàn)提升語音文章總數(shù)也能一定程度上帶來患者用戶閱讀量的提升。

醫(yī)生自身的職稱以及平臺回復(fù)速度也是影響因素。表3(c)顯示了醫(yī)生的回復(fù)速度和是否是專家對醫(yī)生收到總禮物數(shù)、服務(wù)患者數(shù)、價格調(diào)整的影響。由此可見，回復(fù)速度與服務(wù)患者數(shù)、總禮物數(shù)呈現(xiàn)負(fù)相關(guān)性，而醫(yī)生是否是專家與服務(wù)患者數(shù)、評價分?jǐn)?shù)、總禮物數(shù)、咨詢價格因素呈現(xiàn)正相關(guān)性。圖4匯總了醫(yī)院級別與其他因素的F值(p≤0.05)，這些關(guān)系呈現(xiàn)顯著水平。而醫(yī)院級別與圖文問診價格和電話問診價格的相關(guān)性比其他因素相關(guān)性高。同時，醫(yī)院級別對評價分?jǐn)?shù)的影響也是具有較為顯著的差異。

3.2 醫(yī)生多模態(tài)信息情感對患者決策行為的影響分析

我們分別對好大夫網(wǎng)站中醫(yī)生朋友圈帖子、語音文章、視頻文章以及醫(yī)生頭像情感類型進(jìn)行統(tǒng)計。圖5(a)對醫(yī)生朋友圈發(fā)布的圖文帖子信息情感類型進(jìn)行分析。由此可見，醫(yī)生在朋友圈發(fā)布的帖子內(nèi)容更多得是積極向上的情感或中立的情感。

然后，圖5(b)匯總了醫(yī)生發(fā)布的語音文章情感類別分布。醫(yī)生在語音文章所表現(xiàn)的情感更多體現(xiàn)在驚恐(fear)這一標(biāo)簽，這可能是因為醫(yī)生往往需要講到疾病出現(xiàn)的癥狀和不良反應(yīng)，因此會體現(xiàn)出擔(dān)憂和驚恐的情緒，部分語音文章的情感體現(xiàn)是高興(happy)類別，證明部分語音文章嘗試鼓勵患者，而有極少部分是體現(xiàn)悲傷的情感。而其他類別的情感，如厭惡、中立、驚喜等，沒有體現(xiàn)在語音情感上。圖5(c)描述了醫(yī)生發(fā)布的視頻文章情感類型分布。由此發(fā)現(xiàn)，視頻文章中出現(xiàn)較多的情感類別是悲傷和中立。其次是快樂情感類別的文章。也存在其他情感類別的視頻文章，比如生氣、驚喜和恐懼等。圖5(d)則描述了醫(yī)生頭像情感分布情況，大部分醫(yī)生頭像呈現(xiàn)中立的情感，也有相當(dāng)一部分醫(yī)生頭像呈現(xiàn)快樂的情感。

同時，我們分別對醫(yī)生的語音文章、視頻文章以及頭像的情感類別差異與患者用戶行為相關(guān)的指標(biāo)進(jìn)行相關(guān)性分析，得到F值，并獲得對應(yīng)的p值。語音相關(guān)的F值我們使用p≤0.05篩選語音和視頻文章的F值。計算結(jié)果表明，視頻情感類別與患者行為相關(guān)指標(biāo)p都大于0.1，無法拒絕原假設(shè)，因此可以認(rèn)為視頻的情感類別難以區(qū)分其他指標(biāo)。而基于語音文章和頭像計算的F值對比如圖6和圖7所示。首先，將語音文章的主要情感類別與用戶對醫(yī)生的評價進(jìn)行相關(guān)性分析(p≤0.05)，獲得不同因素與語音文章主要情感類別的影響程度，如圖6所示。該圖可見，根據(jù)F值大小，主要情感類別與對醫(yī)生態(tài)度評價比其他因素更大。其他可能的影響因素包括療效滿意度、效果評價、平均語音文章閱讀量、平均視頻文章閱讀量等。圖7顯示了用戶頭像情感類型對醫(yī)生服務(wù)特征的影響。由此可見，頭像的主要情感類型與醫(yī)生文章的平均閱讀量和圖文問診價格相比其他因素影響大，其他相關(guān)的因素包括電話問診價格、平均視頻文章閱讀量以及醫(yī)生的視頻文章總數(shù)。

表3 醫(yī)生行為、患者評價以及平臺與醫(yī)生交互之間的相關(guān)性分析(p≤0.05)

3.3 醫(yī)生多模態(tài)信息融合對在線患者決策行為預(yù)測分析

圖8比較了基于在線醫(yī)生多模態(tài)信息的患者決策行為預(yù)測精度。該圖顯示了，在線醫(yī)生多模態(tài)信息融合能很好預(yù)測出總禮物數(shù)，達(dá)到精度0.95；而對于預(yù)測患者評價分?jǐn)?shù)和總患者數(shù)分別能達(dá)到0.61和0.56。而多模態(tài)信息卻難以有效地對患者的態(tài)度評價、效果評價和療效滿意度指標(biāo)進(jìn)行預(yù)測。我們通過分析態(tài)度評價、效果評價和療效滿意度的數(shù)值分析，發(fā)現(xiàn)大部分的評價分?jǐn)?shù)趨向于滿分，這導(dǎo)致了基于多模態(tài)信息來預(yù)測各類指標(biāo)的困難，也體現(xiàn)了患者偏向于給醫(yī)生一個較好的態(tài)度和療效評價分?jǐn)?shù)。總結(jié)起來，醫(yī)生多模態(tài)信息能很好地影響總禮物數(shù)和總患者數(shù)，而與患者對醫(yī)生的態(tài)度和治療效果等指標(biāo)影響非常弱。

圖6 不同語音情感與體現(xiàn)患者行為關(guān)鍵指標(biāo)相關(guān)性的F值對比(p≤0.05)

圖7 不同醫(yī)生頭像情感與體現(xiàn)患者行為關(guān)鍵指標(biāo)相關(guān)性的F值對比(p≤0.10)

為了進(jìn)一步檢驗醫(yī)生多模態(tài)信息情感對患者決策行為的影響，圖9匯總了醫(yī)生的多模態(tài)信息情感預(yù)測各關(guān)鍵指標(biāo)的精度。從圖9中我們發(fā)現(xiàn)，多模態(tài)信息情感能很好地預(yù)測總禮物數(shù)、付款文章總數(shù)和語音文章總數(shù)，分別達(dá)到0.96、0.84、0.82和0.80的精度。而該模型也能較好地對總患者數(shù)、評價分?jǐn)?shù)以及文章總數(shù)預(yù)測，分別達(dá)到0.58、0.55以及0.48精度。類似于圖8的分析結(jié)果，對于態(tài)度評價和效果評價卻同樣地難以有效進(jìn)行。由此可以總結(jié)，醫(yī)生在該平臺發(fā)布的各類多模態(tài)信息，包括朋友圈帖子、語音文章和視頻文章體現(xiàn)出來的情感與醫(yī)生收到的患者總禮物數(shù)、醫(yī)生自身發(fā)布的付款文章總數(shù)、語音文章總數(shù)和視頻文章總數(shù)具有明顯的影響，而與醫(yī)生態(tài)度評價和效果評價沒有太多直接關(guān)系。醫(yī)生在多模態(tài)信息中體現(xiàn)的情感與醫(yī)生自身平臺參與意愿(如更愿意發(fā)布視頻文章、語音文章等)密切相關(guān)，同樣也能吸引更多的患者，同時也相應(yīng)地提高其評價分?jǐn)?shù)。

圖9 基于醫(yī)生多模態(tài)信息情感特征的患者決策行為指標(biāo)值預(yù)測精度對比

4 討 論

本文以好大夫在線網(wǎng)站的醫(yī)生多模態(tài)數(shù)據(jù)為基礎(chǔ)，研究醫(yī)生多模態(tài)信息融合與在線患者決策行為的關(guān)系。研究結(jié)果發(fā)現(xiàn)，醫(yī)生發(fā)布各類信息(如帖子、語音和視頻)的意愿越強，評價分?jǐn)?shù)越高。而且，醫(yī)院級別對患者給醫(yī)生的評價分?jǐn)?shù)影響也是具有顯著的差異。針對多模態(tài)信息研究發(fā)現(xiàn)，醫(yī)生在朋友圈發(fā)布的帖子內(nèi)容多數(shù)是積極向上的情感或中立的情感，而在語音或視頻文章中體現(xiàn)的情感更多傾向于恐懼或悲傷。大部分的醫(yī)生頭像呈現(xiàn)是中立或者高興的情感，這些多模態(tài)信息顯著地影響醫(yī)生收到患者的禮物數(shù)、付費文章數(shù)以及服務(wù)患者總數(shù)。因此，這給了互聯(lián)網(wǎng)醫(yī)療未來發(fā)展的啟示是，應(yīng)鼓勵醫(yī)生通過語音、視頻、朋友圈帖子等非傳統(tǒng)形式分享他們專業(yè)知識以及與患者交流，這樣會提高患者用戶對平臺粘性，也提高患者獲取在線付費服務(wù)的意愿。

多模態(tài)數(shù)據(jù)的有效利用推動互聯(lián)網(wǎng)醫(yī)療高質(zhì)量的發(fā)展和轉(zhuǎn)型。本文所使用的好大夫網(wǎng)站平臺語音和視頻文章數(shù)據(jù)，更多是提前錄制好的語音和視頻，我們研究發(fā)現(xiàn)，有少量的視頻是無效的宣傳視頻。這相比于醫(yī)生實時直播的多模態(tài)分析具有一定的局限性。隨著信息技術(shù)的發(fā)展，當(dāng)前許多醫(yī)生嘗試使用直播的方式與患者實時交流以及分享專業(yè)知識。直播中多模態(tài)數(shù)據(jù)的分析將進(jìn)一步推動各類互聯(lián)網(wǎng)醫(yī)療的決策創(chuàng)新。在這些多模態(tài)數(shù)據(jù)分析中離不開人工智能技術(shù)的應(yīng)用。國務(wù)院辦公廳2016年發(fā)布的《關(guān)于促進(jìn)和規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的指導(dǎo)意見》[34]提及“推動醫(yī)療健康人工智能標(biāo)準(zhǔn)化建設(shè)”“規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)化建設(shè)”等。黨的十九屆五中全會通過的《中共中央關(guān)于制定國民經(jīng)濟(jì)和社會發(fā)展第十四個五年規(guī)劃和二〇三五年遠(yuǎn)景目標(biāo)的建議》[35]提及“全面推進(jìn)健康中國建設(shè)”，要加快壯大新一代信息技術(shù)、強化以人工智能、生命科學(xué)等前沿領(lǐng)域為代表的國家戰(zhàn)略科技力量建設(shè)等建議。由此可見，邁入“十四五”時期，推動多模態(tài)數(shù)據(jù)驅(qū)動的智慧醫(yī)療人工智能和決策支持技術(shù)推廣尤為必要，關(guān)乎我國人民的生命健康安全，將是增進(jìn)民生福祉、實現(xiàn)“健康中國2030”規(guī)劃綱要目標(biāo)的重要舉措。

多模態(tài)醫(yī)療健康數(shù)據(jù)分析不再局限于醫(yī)院、診所、實驗室、研究機構(gòu)等地點的數(shù)據(jù)使用，這些數(shù)據(jù)也能來自互聯(lián)網(wǎng)醫(yī)療、移動APP、可穿戴設(shè)備等新興健康數(shù)據(jù)源。據(jù)《2020中國互聯(lián)網(wǎng)醫(yī)療行業(yè)研究報告》顯示，中國互聯(lián)網(wǎng)醫(yī)院月接診患者超過3億人次，月活躍用戶規(guī)模超過5 400萬，在線醫(yī)療月活用戶峰值超6 000萬，月活用戶同比增長17%。新冠疫情催生了“互聯(lián)網(wǎng)+醫(yī)療健康”數(shù)字經(jīng)濟(jì)新業(yè)態(tài)和新模式快速發(fā)展，也對多模態(tài)醫(yī)療健康數(shù)據(jù)的利用產(chǎn)生迫切的需求。元宇宙概念的廣泛關(guān)注也推動人們開始思考將沉浸式虛擬現(xiàn)實環(huán)境引入醫(yī)生與患者交互，多模態(tài)數(shù)據(jù)精準(zhǔn)分析若為迫切。本文研究結(jié)果表明，語音文章主要情感類別對醫(yī)生態(tài)度評價影響比其他因素更大。而醫(yī)生頭像的主要情感類型與醫(yī)生文章的平均閱讀量和圖文問診價格相比其他因素影響大，其他相關(guān)的可能因素包括電話問診價格、平均視頻文章閱讀量以及醫(yī)生的視頻文章總數(shù)。

當(dāng)前在線健康社區(qū)用戶往往接觸各種形式的多模態(tài)信息。首先，患者尋找醫(yī)生時給患者的第一印象很多時候是醫(yī)生的頭像圖片。本文也對醫(yī)生頭像情感表現(xiàn)與其患者用戶行為關(guān)聯(lián)進(jìn)行研究，發(fā)現(xiàn)醫(yī)生頭像情感對醫(yī)生文章閱讀量以及圖文問診價格的影響較大?；颊呓佑|到在線音頻、視頻等內(nèi)容，更可能獲得更高健康素養(yǎng)，降低患者用戶慢性病的健康風(fēng)險。研究結(jié)果表明，醫(yī)生多模態(tài)信息也能較明顯地影響總禮物數(shù)和總患者數(shù)，而針對醫(yī)生的態(tài)度和治療效果等評價指標(biāo)影響非常弱。而在醫(yī)生多模態(tài)信息中體現(xiàn)的情感與醫(yī)生自身平臺參與意愿(如更愿意發(fā)布視頻文章、語音文章等)密切相關(guān)。醫(yī)生參與意愿的上升也能吸引更多的患者，從而進(jìn)一步提高其評價分?jǐn)?shù)。

在線健康社區(qū)中用戶的健康信息素養(yǎng)對如何高效地訪問這些多模態(tài)信息影響非常大[36]。Moro C等通過研究發(fā)現(xiàn)，慢性疾病人群對最新技術(shù)存在較低的使用率。隨著年齡的增長，用戶健康信息甄別能力呈現(xiàn)下降的趨勢，農(nóng)村老年人和大學(xué)生的健康信息素養(yǎng)顯著不一樣[37]。不同年齡的患者決策行為也是存在差異。比如，在線平臺老年用戶對熟練地掌握平臺中視頻、音頻播放和使用有困難，而無法對這些多模態(tài)信息進(jìn)行甄別，這不能僅僅依賴醫(yī)生創(chuàng)造內(nèi)容，還得需要平臺技術(shù)支持。唐坤孟等在研究好大夫真實醫(yī)生團(tuán)隊數(shù)據(jù)后，發(fā)現(xiàn)團(tuán)隊聲譽、團(tuán)隊規(guī)模、團(tuán)隊回復(fù)速度、團(tuán)隊登錄行為對患者選擇行為具有積極影響，團(tuán)隊回復(fù)速度與患者的醫(yī)療團(tuán)隊選擇之間存在中介效應(yīng)[38]。楊雪潔等通過分析好大夫網(wǎng)站數(shù)據(jù)，發(fā)現(xiàn)知識的相關(guān)性、時效性、原創(chuàng)性與知識源可信度都對用戶知識采納產(chǎn)生影響，疾病的類型調(diào)節(jié)了相關(guān)性、時效性、原創(chuàng)性與知識采納之間的關(guān)系[39]。平臺也應(yīng)將多模態(tài)信息以更加合理和高效的方式呈現(xiàn)給患者用戶，而不是單純依賴醫(yī)生用戶自身的意愿分享。

本文在研究中遇到了不少的挑戰(zhàn)。首先是，國內(nèi)互聯(lián)網(wǎng)醫(yī)療平臺的數(shù)據(jù)采集、分析和挖掘。從現(xiàn)有在線健康社區(qū)獲取海量多模態(tài)數(shù)據(jù)進(jìn)行挖掘分析是難點。其次，我們使用數(shù)據(jù)挖掘研究方法定量地研究醫(yī)生、患者和平臺之間的相關(guān)性問題。不同在線平臺的用戶社交方式不完全一致，各類數(shù)據(jù)形式各樣，因此如何采用統(tǒng)一方法來定量地研究其中醫(yī)生、患者和平臺之間的交互機制需要進(jìn)一步調(diào)研。未來我們將通過文獻(xiàn)調(diào)研、問卷調(diào)查等形式充分了解在線患者和醫(yī)生的信息需求，從而更加準(zhǔn)確了解互聯(lián)網(wǎng)醫(yī)療用戶決策行為產(chǎn)生的機理。

5 結(jié) 語

在線健康社區(qū)多模態(tài)信息形式復(fù)雜、處理困難、難以定量等特點阻礙了這些信息的有效利用，也使得平臺難以基于這些多模態(tài)數(shù)據(jù)推動在線患者用戶決策支持?，F(xiàn)有研究較少有研究在線健康社區(qū)多模態(tài)數(shù)據(jù)與醫(yī)生、患者決策行為相關(guān)性。本文以好大夫在線網(wǎng)站的醫(yī)生帖子、語音、視頻、頭像等非結(jié)構(gòu)化信息為研究對象，深入研究這些多模態(tài)信息融合與患者用戶決策行為的關(guān)系。其中，充分采用文本挖掘、音頻分析、視頻分析、圖像分析等數(shù)據(jù)挖掘技術(shù)，從非結(jié)構(gòu)化數(shù)據(jù)中提取有效的特征并嘗試融合分析，應(yīng)用于在線患者用戶決策行為研究中。研究結(jié)果表明，醫(yī)療健康服務(wù)提供者應(yīng)鼓勵在線醫(yī)生通過語音、視頻、朋友圈帖子等非傳統(tǒng)形式分享專業(yè)知識，這樣會增強患者用戶對平臺的粘性，吸引患者獲取服務(wù)和付費的意愿，進(jìn)一步推動可持續(xù)的、可信的以及多模態(tài)數(shù)據(jù)驅(qū)動的在線健康社區(qū)智能決策支持。