楊豐春 鄭 思 李 姣
(中國醫(yī)學(xué)科學(xué)院/北京協(xié)和醫(yī)學(xué)院 醫(yī)學(xué)信息研究所 醫(yī)學(xué)智能計(jì)算研究室, 北京100020)
機(jī)器學(xué)習(xí)是指將預(yù)測模型與數(shù)據(jù)進(jìn)行擬合,或者在數(shù)據(jù)中識別具有信息性的分組的過程[1]。在面對樣本量巨大或擁有大量特征的數(shù)據(jù)集時(shí),機(jī)器學(xué)習(xí)方法可以建立自動(dòng)化的數(shù)據(jù)分析過程,從數(shù)據(jù)集中不斷學(xué)習(xí)知識并逐漸提高對新數(shù)據(jù)的預(yù)測能力。目前,機(jī)器學(xué)習(xí)模型已廣泛應(yīng)用于疾病預(yù)防、診斷、治療和預(yù)后的相關(guān)預(yù)測,如疾病風(fēng)險(xiǎn)預(yù)測[2]、患者再次入院預(yù)測[3]、死亡預(yù)測[4]、藥物相互作用預(yù)測[5]和患者護(hù)理需求預(yù)測[6]等方面,并且取得了良好的預(yù)測性能[7]。
將機(jī)器學(xué)習(xí)應(yīng)用于臨床醫(yī)學(xué)的主要目標(biāo)包括:①對預(yù)測任務(wù)做出準(zhǔn)確的預(yù)測和判斷;②利用訓(xùn)練好的模型指導(dǎo)臨床實(shí)踐和臨床研究[8]。但是在目前的機(jī)器學(xué)習(xí)應(yīng)用過程中,大多數(shù)研究專注于預(yù)測準(zhǔn)確性,而忽略了結(jié)合具體數(shù)據(jù)對預(yù)測結(jié)果進(jìn)行解釋。由于機(jī)器學(xué)習(xí)模型的復(fù)雜性,用于產(chǎn)生最終輸出的過程往往缺乏透明度,模型結(jié)果通常很難解釋。此外,在臨床應(yīng)用中,機(jī)器學(xué)習(xí)模型通常只在一個(gè)狹窄的環(huán)境中針對特定的疾病進(jìn)行訓(xùn)練和評估,并依賴于個(gè)人的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)專業(yè)技術(shù)知識。為了便于醫(yī)療工作者理解機(jī)器學(xué)習(xí)模型做出預(yù)測的依據(jù),還需要進(jìn)一步對高度復(fù)雜的預(yù)測模型進(jìn)行解釋。模型的高解釋性意味著終端用戶可以更容易理解和解釋未來的預(yù)測,機(jī)器學(xué)習(xí)的可解釋性與實(shí)現(xiàn)高預(yù)測準(zhǔn)確性同樣重要[9]。
本文將概述可解釋機(jī)器學(xué)習(xí)方法及其在疾病預(yù)測中的工作流程,通過利用臨床結(jié)構(gòu)化數(shù)據(jù)構(gòu)建應(yīng)用實(shí)例,并從全局和局部兩個(gè)方面對預(yù)測模型進(jìn)行解釋。本研究不關(guān)注建立在非結(jié)構(gòu)化數(shù)據(jù)(如不同類型的醫(yī)學(xué)圖像、文本或其他基于信號的數(shù)據(jù))上的機(jī)器學(xué)習(xí)模型的可解釋性研究。
數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)場景中,可解釋性被定義為機(jī)器學(xué)習(xí)方法向人類解釋或呈現(xiàn)可解釋的術(shù)語的能力[10]。根據(jù)不同的機(jī)器學(xué)習(xí)模型在對預(yù)測結(jié)果的解釋性方面的不同,可以分為具有內(nèi)在解釋性的機(jī)器學(xué)習(xí)方法和自身解釋性能比較差的機(jī)器學(xué)習(xí)方法。
內(nèi)在可解釋性是指已訓(xùn)練好的模型無需額外的信息就可以理解模型的決策過程或決策依據(jù),這類解釋性發(fā)生在訓(xùn)練之前,也稱為事前可解釋性。這類模型有樸素貝葉斯、線性回歸、決策樹、基于規(guī)則的方法等。決策樹和回歸模型都只能提供有限的可解釋性,特別是在捕獲數(shù)據(jù)中的非線性的情況。決策樹由于其圖形化的表示,可以輕松地概覽它復(fù)雜的模型運(yùn)算過程;影響模型預(yù)測的最重要的特征往往顯示在樹的頂部,這也可以表示特征在預(yù)測中的相對重要性。
不可解釋模型或黑箱模型通常是只關(guān)注結(jié)果的復(fù)雜模型,例如,分類器集成模型或深度神經(jīng)網(wǎng)絡(luò),這類模型往往可以取得較高的預(yù)測準(zhǔn)確率。針對這類模型的解釋,往往是在模型訓(xùn)練好之后進(jìn)行的,所以也稱之為事后可解釋性。
對于不可解釋機(jī)器學(xué)習(xí)模型的可解釋方法,可以分為局部可解釋性和全局可解釋性[8]。傳統(tǒng)上,機(jī)器學(xué)習(xí)研究的重點(diǎn)是全局可解釋性,以幫助理解機(jī)器學(xué)習(xí)模型的所有可能輸入和模型所做的所有預(yù)測空間之間的關(guān)系,相比之下局部可解釋性是幫助理解對特定樣本或訓(xùn)練后的預(yù)測函數(shù)的一個(gè)小的、特定區(qū)域的預(yù)測。
模型的局部解釋方法[11]旨在幫助人們理解學(xué)習(xí)模型針對每一個(gè)特定輸入病例的決策過程和決策依據(jù)。模型的局部可解釋性以輸入樣本為導(dǎo)向,通過分析輸入樣本的每一維特征對模型最終決策結(jié)果的貢獻(xiàn)來實(shí)現(xiàn)對決策的解釋。局部解釋技術(shù)直到最近才被頻繁使用,它們適合用于沒有解釋性或弱解釋性模型的個(gè)性化水平上對預(yù)測結(jié)果進(jìn)行特征重要性分析。
局部可解釋性技術(shù)(interpretable model-agnostic explanation, LIME)是一種使用簡單的模型來對復(fù)雜的模型進(jìn)行解釋的方法,常用于在解釋黑盒機(jī)器學(xué)習(xí)模型的單個(gè)樣本的預(yù)測。LIME的原理是產(chǎn)生一個(gè)新的數(shù)據(jù)集(這個(gè)數(shù)據(jù)集是通過對某一個(gè)樣本量的數(shù)據(jù)集合進(jìn)行變換得到),然后在這個(gè)新的數(shù)據(jù)集上訓(xùn)練一個(gè)可解釋的模型。目標(biāo)是可解釋的模型在新數(shù)據(jù)集上的預(yù)測結(jié)果和復(fù)雜模型在該數(shù)據(jù)集上的預(yù)測結(jié)果是相似的。該方法表述如下式所示:
f表示原始的模型, 即需要解釋的模型;g表示簡單模型,G是可解釋模型的一個(gè)集合, 如所有可能的線性模型;πx表示新數(shù)據(jù)集中的數(shù)據(jù)x’與原始數(shù)據(jù)x的距離;Ω(g)表示模型g的復(fù)雜程度。
Shaply值是基于博弈論思想的一種局部解釋方法[12]。其基本的設(shè)計(jì)思想是:首先計(jì)算一個(gè)特征加入到模型當(dāng)中時(shí)的邊際貢獻(xiàn),然后計(jì)算該特征在所有特征序列中不同的邊際貢獻(xiàn),最后計(jì)算該特征的Shaply值,即該特征所有邊際貢獻(xiàn)的均值。Shaply值計(jì)算的優(yōu)勢在于能夠反映出樣本中每一個(gè)特征對預(yù)測結(jié)果的影響力,而且還可以指出其影響程度的正負(fù)性。
全局可解釋性[13]是指在全局層面上為模型內(nèi)部的情況提供解析,幫助人們從整體上理解模型背后的復(fù)雜邏輯以及內(nèi)部的工作機(jī)制。例如,模型是如何學(xué)習(xí)的、模型從訓(xùn)練數(shù)據(jù)中學(xué)到了什么、模型是如何進(jìn)行決策的等,這要求研究人員能以人類可理解的方式來表示一個(gè)復(fù)雜模型的訓(xùn)練過程。有研究[14]顯示,特定群體可解釋性方法應(yīng)被稱為群體特異可解釋性,在這種方法中,他們只關(guān)注與預(yù)測結(jié)果相關(guān)的人口亞群體的特征。全局可解釋性技術(shù)[15]:包括置換特征重要性[16]、部分依賴圖[17]和個(gè)人條件期望[18]、全局代理模型[19]等。
置換特征重要性:通過計(jì)算置換特征后模型預(yù)測誤差的增加來衡量特征的重要性。如果置換某特征值會(huì)增加模型預(yù)測的誤差,則該特征是“重要的”,說明模型依賴于該特征進(jìn)行預(yù)測,如果模型的預(yù)測誤差不變則該特征是“不重要的”。部分依賴圖:顯示了單個(gè)特征對先前擬合模型預(yù)測的結(jié)局的邊際效應(yīng),預(yù)測函數(shù)固定在所選特征的值上,并在其他特征上取平均值。部分依賴圖的解釋方式與回歸模型相同。個(gè)體條件期望:通過顯示數(shù)據(jù)集中每個(gè)實(shí)例的估計(jì)功能關(guān)系,可以將個(gè)體條件期望圖視為部分依賴圖的分解視圖。其中每個(gè)實(shí)例顯示一條線,顯示當(dāng)特征發(fā)生變化時(shí)該實(shí)例的預(yù)測如何變化。全局代理模型:使用簡單的可解釋機(jī)器學(xué)習(xí)模型(如線性回歸、決策樹)來擬合復(fù)雜機(jī)器學(xué)習(xí)模型的預(yù)測,它們不需要有關(guān)黑盒模型的內(nèi)部工作過程和超參數(shù)設(shè)置等信息。使用用于訓(xùn)練弱解釋性模型的數(shù)據(jù)集(或具有相同分布的數(shù)據(jù)集)作為訓(xùn)練集、該模型的預(yù)測結(jié)果作為預(yù)測值來訓(xùn)練可解釋模型。評價(jià)代理模型與被解釋模型的相似性的計(jì)算方式如下:
機(jī)器學(xué)習(xí)方法在疾病預(yù)測中的應(yīng)用,可以歸納為如圖1所示的工作流程。
圖1 可解釋機(jī)器學(xué)習(xí)方法在疾病預(yù)測過程中的工作流程Fig.1 Workflow of interpretable machine learning methods in disease prediction
①疾病預(yù)測問題定義:確定需要待研究的疾病預(yù)測問題并進(jìn)行定義,主要包括確定研究所關(guān)注的結(jié)局變量以及臨床所關(guān)心的與該結(jié)局相關(guān)的臨床指標(biāo);
②數(shù)據(jù)采集和數(shù)據(jù)清洗:根據(jù)所確定的研究問題來確定需要獲取的數(shù)據(jù)。對數(shù)據(jù)進(jìn)行預(yù)處理,使其可以供模型輸入,該過程主要包括對數(shù)據(jù)進(jìn)行缺失值的處理、非連續(xù)性變量的處理等;③數(shù)據(jù)集劃分:在機(jī)器學(xué)習(xí)方法中,需要對數(shù)據(jù)進(jìn)行劃分,設(shè)置訓(xùn)練集用于機(jī)器學(xué)習(xí)模型的訓(xùn)練,設(shè)置測試集用于機(jī)器學(xué)習(xí)模型性能的驗(yàn)證;④機(jī)器學(xué)習(xí)模型選擇:依據(jù)研究的臨床問題以及獲取的臨床數(shù)據(jù),選擇合適的機(jī)器學(xué)習(xí)模型用于臨床任務(wù);⑤模型構(gòu)建與評估:基于訓(xùn)練數(shù)據(jù)集進(jìn)行模型構(gòu)建,并在測試集上進(jìn)行模型性能的評估;⑥機(jī)器學(xué)習(xí)模型解釋:對訓(xùn)練后的模型決策進(jìn)行解釋與分析;⑦形成臨床決策參考方案:獲得模型決策方案和模型決策相關(guān)的因素,為臨床決策提供參考。
數(shù)據(jù)來源于重癥監(jiān)護(hù)醫(yī)學(xué)數(shù)據(jù)庫(Medical Information Mart for Intensive Care, MIMIC)-Ⅳ數(shù)據(jù)庫,MIMIC-Ⅳ數(shù)據(jù)庫是由麻省理工學(xué)院計(jì)算生理學(xué)實(shí)驗(yàn)室及其合作研究機(jī)構(gòu)創(chuàng)建并維護(hù)的大型公開數(shù)據(jù)庫,收集了2008年至2019年間美國馬薩諸塞州(Massachusetts)波士頓市三級學(xué)術(shù)醫(yī)療中心住院患者的臨床信息,主要包括患者的人口學(xué)信息、實(shí)驗(yàn)室檢查值、藥物治療記錄、記錄的生命體征等。在獲得數(shù)據(jù)使用權(quán)限后,筆者從MIMIC-Ⅳ數(shù)據(jù)庫中獲取膿毒血癥患者的臨床數(shù)據(jù),并按照以下標(biāo)準(zhǔn)納入19 903名研究對象:①年齡大于18歲且小于89歲;②重癥加強(qiáng)護(hù)理病房(intensive care unit, ICU)住院時(shí)間超過24 h;③對于存在多條ICU住院記錄的患者,僅選取最后一條記錄。每名患者包含18個(gè)屬性,具體屬性特征名稱及含義如表1所示。本研究利用的研究信息不含有使受試者的身份被直接識別或通過與其相關(guān)的識別物識別的信息,屬于免除倫理審查。作為歷史性研究可免除研究對象知情同意。
表1 患者特征名稱及其含義Tab. 1 Patient features and their definition
對于處理好的樣本數(shù)據(jù),采用具有內(nèi)在解釋性的模型(決策樹[20]、邏輯回歸[21])以及不可解釋的集成模型[隨機(jī)森林[22],XGBoost[23],輕量梯度提升機(jī)(light gradient boosting machine,LightGBM)[15]]來構(gòu)建膿毒血癥死亡風(fēng)險(xiǎn)預(yù)測模型,并對不同模型預(yù)測性能進(jìn)行比較。本文算法使用Python(version 3.8)編程語言基于sklearn(version 1.1.0)機(jī)器學(xué)習(xí)工具包實(shí)現(xiàn)。模型評價(jià)采用十折交叉驗(yàn)證得到的準(zhǔn)確性(accuracy)、靈敏度(sensitivity)、特異度(specificity)、受試者工作特征曲線下面積(area under curve,AUC)等指標(biāo)(表2)。相對而言,與具有內(nèi)在可解釋性的機(jī)器學(xué)習(xí)方法(邏輯回歸模型, 決策樹模型的AUC值分別為0.78,0.79)相比,解釋性較差的集成模型預(yù)測性能更好,其中性能最好的是利用LightGBM構(gòu)建的預(yù)測模型(AUC值為0.91),詳見圖2。
圖2 算法模型性能對比Fig.2 Algorithm performance comparison
表2 模型預(yù)測性能對比Tab. 2 Comparison of model prediction performance (%)
對預(yù)測性能最好的LightGBM模型,分別利用四種全局可解釋性技術(shù)(特征重要性、部分依賴圖、個(gè)體條件期望、全局代理模型)和兩種局部解釋技術(shù)(LIME和Shapley值)對預(yù)測結(jié)果進(jìn)行解釋。
3.2.1 全局可解釋技術(shù)
1)特征重要性
圖 3顯示了所有輸入特征在膿毒血癥死亡風(fēng)險(xiǎn)預(yù)測中的置換特征重要性排名[24]。如圖所示,醫(yī)院住院時(shí)長是影響膿毒血癥患者死亡風(fēng)險(xiǎn)最重要的特征,其次是重癥監(jiān)護(hù)室看護(hù)時(shí)間。Charlson合并癥指數(shù)、最大排尿量[25]、服用抗生素藥物數(shù)量等也是比較重要的影響因素。
2)部分依賴圖和個(gè)體條件期望圖
選取特征重要性靠前的四個(gè)特征進(jìn)行分析。圖4顯示了重要特征的部分依賴圖和個(gè)體條件期望圖,黃線顯示了住院時(shí)間、ICU住院時(shí)間、Charlson合并癥指數(shù)、最大排尿量對膿毒血癥死亡風(fēng)險(xiǎn)概率的部分依賴圖。圖4中藍(lán)線顯示的是該特征個(gè)體死亡風(fēng)險(xiǎn)概率的條件期望圖(本實(shí)驗(yàn)隨機(jī)挑選50個(gè)樣本展示)。圖4A顯示住院時(shí)間的特征部分依賴圖可以看出,在總住院時(shí)長為20 d以內(nèi)時(shí),隨著住院時(shí)長的增加,膿毒血癥的死亡風(fēng)險(xiǎn)從0.8降低到0.25,然后處于穩(wěn)定狀態(tài)。圖4B顯示ICU住院時(shí)長的部分依賴圖呈現(xiàn)出相反的趨勢,在ICU住院時(shí)長15 d內(nèi),膿毒
圖4 重要特征的部分依賴圖和個(gè)體條件期望Fig.4 Partial dependence plots for the highly ranked features
血癥的死亡風(fēng)險(xiǎn)增加,之后保持平穩(wěn)。圖4C顯示日最大排尿量在2 000 mL之內(nèi)時(shí),表現(xiàn)出隨著最大排尿量增加,患者死亡風(fēng)險(xiǎn)降低的趨勢。圖4D顯示代表合并癥評分的Charlson合并癥指數(shù),在10分以內(nèi)也表現(xiàn)出增加死亡風(fēng)險(xiǎn)的趨勢。
3)全局代理模型
使用原始數(shù)據(jù)集訓(xùn)練具有內(nèi)在解釋性的決策樹模型,以LightGBM模型的預(yù)測結(jié)果作為該模型的結(jié)局。本研究通過設(shè)置決策樹模型的深度參數(shù)(在一定程度上反映了決策的復(fù)雜度)來評價(jià)不同深度條件下決策樹模型對LightGBM模型的擬合能力。結(jié)果顯示(表3),隨著決策樹深度的增加,代理模型的預(yù)測能力不斷增加,但達(dá)到一定深度后擬合能力不再提升。
表3 代理模型復(fù)雜度和與被代理模型相似性的關(guān)系Tab. 3 The relationship between global surrogate model complexity and interpretability
3.2.2 局部可解釋技術(shù)
由于LIME和Shapley值解釋器是基于實(shí)例的解釋器,因此在下文中,基于從測試數(shù)據(jù)集中隨機(jī)選擇的兩個(gè)實(shí)例來評估這兩個(gè)解釋器。展示兩個(gè)已被預(yù)測模型正確預(yù)測的實(shí)例,一個(gè)來自正確預(yù)測為死亡高風(fēng)險(xiǎn)(true positive)組的實(shí)例,另一個(gè)實(shí)例來自正確預(yù)測為死亡的低風(fēng)險(xiǎn)(true negative)組。
正確預(yù)測的真陽性案例的描述如下:ICU住院時(shí)長=14.33 d,普通住院時(shí)長=14.42 d,最大尿量=558 mL,通氣狀態(tài)等級=4,服用抗生素?cái)?shù)量=13,最大吸入量=5。圖5A顯示了利用LIME對該實(shí)例的解釋,綠色的特征表示該特征支持預(yù)測結(jié)果為陽性即死亡,紅色的特征表示該特征不支持預(yù)測為死亡。該實(shí)例中ICU住院時(shí)長大于7.56 d,排尿量小于905 mL,通氣狀態(tài)為4,抗生素使用量大于8種,最大吸入量大于1.7,這些特征值會(huì)增加死亡概率。圖5B顯示了利用Shaply值對該病例的解釋,也提示該病例的ICU住院天數(shù)、最大排尿量、最大吸入量、抗生素使用數(shù)量等特征增加了該病例的死亡風(fēng)險(xiǎn)。并且兩個(gè)解釋器都認(rèn)為該病例的住院時(shí)長特征不支持預(yù)測為死亡。
正確預(yù)測的真陰性案例:用LIME解釋時(shí),該實(shí)例的描述如下:ICU住院時(shí)長=1.5 d,最高體溫=36.67 ℃,最大尿量=2 585 mL,通氣狀態(tài)等級=4,最大呼吸頻率=24,Charlson合并癥指數(shù)=5。圖5C顯示了利用LIME對該實(shí)例的解釋,ICU住院時(shí)長、最大排尿量、呼吸頻率、Charlson合并癥指數(shù)等特征支持預(yù)測死亡風(fēng)險(xiǎn)低。圖5D顯示了利用Shaply值對該病例的解釋,也提示這些特征支持預(yù)測結(jié)局為低風(fēng)險(xiǎn)。
圖5 模型正確預(yù)測案例基于局部可解釋性的可視化解釋Fig.5 Local interpretable of the model’s correct prediction cases
總結(jié)兩類模型解釋方法可以得出:從基于LightGBM的膿毒血癥死亡風(fēng)險(xiǎn)預(yù)測模型的全局模型解釋分析中可以看出,住院天數(shù)、ICU住院天數(shù)、Charlson合并癥指數(shù)、最大排尿量、抗生素使用數(shù)量等是對模型預(yù)測結(jié)果比較重要的特征。依據(jù)部分依賴圖和個(gè)體期望可以進(jìn)一步分析出患者的死亡風(fēng)險(xiǎn)隨著不同特征的具體變化趨勢而變化。例如,ICU住院時(shí)長越長、查爾斯死亡指數(shù)越高,死亡風(fēng)險(xiǎn)也越高;隨著個(gè)體日最大排尿量的增加、住院天數(shù)的增加,死亡風(fēng)險(xiǎn)降低。局部可解釋性技術(shù)則可以從樣本級別給出個(gè)體死亡風(fēng)險(xiǎn)預(yù)測的詳細(xì)解釋。
全局解釋方法可以使臨床醫(yī)生了解在整個(gè)特征空間內(nèi)模型的響應(yīng)趨勢。相比之下,局部解釋方法可以對特定個(gè)體進(jìn)行基于特征的決策解釋。在實(shí)踐中,這兩種方法都可以協(xié)助臨床醫(yī)生進(jìn)行醫(yī)療過程的有效決策。
本文討論了現(xiàn)在臨床環(huán)境中使用的機(jī)器學(xué)習(xí)方法的解釋性,根據(jù)是否存在內(nèi)在解釋性,將模型分為具有內(nèi)在解釋性的模型(事前解釋性)和解釋性差的事后模型。并以膿毒血癥患者死亡風(fēng)險(xiǎn)研究作為研究實(shí)例比較不同類型的機(jī)器學(xué)習(xí)方法的預(yù)測性能,復(fù)雜集成模型擁有較高的預(yù)測性能,但是解釋性較差,然后使用機(jī)器學(xué)習(xí)解釋方法分別對模型進(jìn)行基于人群和個(gè)體的解釋。
理解機(jī)器學(xué)習(xí)的工作原理,研究透明的、可解釋且可證明的機(jī)器學(xué)習(xí)技術(shù)有助于推動(dòng)其在各領(lǐng)域的擴(kuò)展應(yīng)用。雖然目前的解釋方法可以在人群和個(gè)體層面上對機(jī)器學(xué)習(xí)模型的預(yù)測結(jié)局進(jìn)行分析解釋,但是解釋結(jié)果依然不夠清晰,并且存在因?yàn)槟P褪腔谔囟ㄈ巳河?xùn)練產(chǎn)生,在模型遷移能力方面往往受限于訓(xùn)練人群?,F(xiàn)有的解釋方法的決策依據(jù)多為統(tǒng)計(jì)學(xué)方法,依賴對機(jī)器學(xué)習(xí)模型的結(jié)果再分析解讀,缺乏結(jié)合具體臨床意義進(jìn)行推理的解釋方法。隨著因果推斷技術(shù)的發(fā)展,該技術(shù)被用于臨床數(shù)據(jù)分析,可以提高決策可解釋性[26]。并且基于圖神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)方法在臨床結(jié)構(gòu)化數(shù)據(jù)分析中的應(yīng)用,提供了基于領(lǐng)域知識圖譜進(jìn)行機(jī)器學(xué)習(xí)方法解釋的可能性。
利益沖突所有作者均聲明不存在利益沖突。
作者貢獻(xiàn)聲明楊豐春:負(fù)責(zé)研究設(shè)計(jì),數(shù)據(jù)獲取與分析,論文撰寫;鄭思:負(fù)責(zé)算法設(shè)計(jì)、論文撰寫與修改;李姣:負(fù)責(zé)研究設(shè)計(jì),研究方案實(shí)施,論文撰寫與修改。