AGREE-REX研究團隊(2019) 王瑞 翻譯 張崇凡 審校
翻譯單位 復旦大學附屬兒科醫(yī)院臨床指南制作評價中心 上海,201102 王瑞,E-mail:wangruisisu@163.com;張崇凡,E-mail:chongfan_zhang@fudan.edu.cn
1.1 背景 臨床實踐指南(以下簡稱“指南”)是在對證據(jù)進行系統(tǒng)評價以及對可選治療方案的利弊進行評估后形成的系統(tǒng)化的聲明,旨在優(yōu)化患者的治療方案。指南應體現(xiàn)研究證據(jù)、價值觀念和當?shù)厍闆r,并給出臨床、管理和政策層面的醫(yī)療保健決策和判斷。
指南研究與評估系統(tǒng)(AGREE)Ⅱ已經(jīng)成為國際通用的方法學工具,用于指南的制定、報告和評價。指南的制定必須滿足嚴格的方法學要求,但仍不足以確保指南推薦意見應用于臨床時具備可信性或可實施性。因此,在研究證據(jù)的基礎上,國際指南研究團隊研發(fā)了指南研究與評估系統(tǒng):最佳推薦意見的質量評價工具(AGREE-REX) 。
AGREE-REX是評價指南推薦意見質量的有效且可靠的工具,提供了制定和報告推薦意見的策略,旨在提升指南推薦意見的質量,確保其在臨床上的可信性、可靠性和可實施性,是對AGREE Ⅱ的補充。
高質量指南推薦意見必須具備的要素:①推薦意見的臨床可信性應基于現(xiàn)有證據(jù),以及推薦意見對目標用戶、使用環(huán)境、患者或人群的適用性;②形成推薦意見的過程中,應考慮到所有利益相關者的價值觀;③推薦意見的可實施性。
AGREE-REX可應用于與臨床或衛(wèi)生主題相關的指南,也可用于與醫(yī)療衛(wèi)生保健各環(huán)節(jié)(改善健康、預防、篩查、診斷、治療/干預、隨訪)相關的指南。
1.2 AGREE-REX的研發(fā) 由國際臨床實踐指南和知識轉化團隊負責(研究團隊成員名單,見本文8.1)。①進行文獻綜述,明確影響指南可實施性的因素;②基于指南可實施性的決策卓越模型(GUIDE-M),創(chuàng)建AGREE-REX的條目;③開展一系列的評估和修改工作,以確保該工具的實用性、可靠性和有效性,便于指南工作人員使用。
1.3 AGREE-REX的用戶 也稱應用AGREE-REX的利益相關群體。(1)指南制定者:①評價現(xiàn)有指南的質量、可實施性和適用性,②為指南制定提供方法學策略,有助于形成高質量的推薦意見。(2)指南證據(jù)應用者:對指南推薦意見進行評價,以確定其在臨床上的適用性。(3)政策制定者、衛(wèi)生管理者、項目經(jīng)理和專業(yè)組織:可以幫助決定指南推薦意見是否會對臨床實踐策略和政策設計產(chǎn)生影響。(4)研究人員:評估特定主題領域內指南推薦意見的質量。(5)指南數(shù)據(jù)庫管理人員:將指南納入數(shù)據(jù)庫之前,利用AGREE-REX評價指南推薦意見的質量。(6)教育工作者:在AGREE-REX講解指南推薦意見的制定和報告過程中,需要具備的核心能力與批判性評估技能。(7)其他:有意為改進指南推薦意見的制定、報告和評價提供支持的人。
1.4 AGREE-REX的領域、條目和標準 共3個領域9個條目,聚焦于影響指南推薦意見質量的不同因素。領域1臨床適用性:3個條目(證據(jù)、用戶適用性、患者/人群適用性);領域2價值觀和偏好:4個條目(用戶、患者/人群、政策/決策制定者、指南制定者);領域3可實施性:2個條目(目的、地區(qū)適用性)。每個條目都有1個操作定義和詳細的(2~10個)標準列表。
1.5 AGREE-REX的使用概述 AGREE-REX用于評價指南制定者對推薦意見質量的優(yōu)化程度,也用于說明指南制定和報告的要求。
1.5.1 如何使用AGREE-REX進行評價 AGREE-REX中的每個條目都有2個評價表。第1個表格(必填)用于評價推薦意見的制定是否符合條目標準,用戶對該條目的總體質量進行評定。第2個表格(選填)用于評價特定環(huán)境下指南推薦意見的適宜性或適用性。AGREE-REX中的所有條目都使用7分等距量表進行評價(1分最差,7分最好)。
根據(jù)需求決定用AGREE-REX評價指南推薦意見,或應用于單個指南推薦意見(或若干個感興趣的推薦意見),或一組指南推薦意見(例如,相同主題或同類主題),或所有指南推薦意見。
1.5.2 如何使用AGREE-REX制定推薦意見和進行報告 AGREE-REX條目的標準可為推薦意見的制定提供指導方案,明確了推薦意見制定過程中應考慮到的質量控制因素和指南文件報告規(guī)范。應在一開始就找出與特定指南項目無關的條目標準,并在最終的指南出版文件中進行說明。
1.5.3 如何同時使用AGREE-REX和其他AGREE工具 AGREE-REX是對AGREE Ⅱ和AGREE GRS的補充。AGREE Ⅱ和AGREE GRS是對指南制定全流程的評價,而AGREE-REX的評價對象為指南推薦意見的制定和報告。對于AGREE工具的組合使用,目前尚無標準或規(guī)定。
建議如下:(1)聯(lián)合使用AGREE報告清單和AGREE-REX報告清單為指南制作和報告規(guī)范提供支持。(2)聯(lián)合使用AGREE-REX與AGREE Ⅱ或AGREE GRS為完成評價目標提供支持。(3)如果評價目標包括在候選指南中進行選擇,或對候選指南的質量進行排序,可以采用下述方法提高效率:①使用AGREE Ⅱ或AGREE GRS從候選指南中選出符合方法學最低標準的指南(例如,滿足≥50%的條目標準或領域要求),然后使用AGREE-REX對指南推薦意見的質量進行評價,該方法適用于排除所有不符合方法學最低標準的指南;②使用AGREE-REX從候選指南中選出符合推薦意見最低質量標準的指南(例如,AGREE-REX總評分的≥50%),然后再使用AGREE Ⅱ或AGREE GRS進行評價,該方法適用于排除所有不符合推薦意見最低質量標準的指南。
1.5.4 其他資源 AGREE-REX的用戶應熟知基本的循證醫(yī)學實踐原則和指南的關鍵部分。如果您剛接觸指南,可從以下渠道獲取更多信息:①Appraisal of Guidelines Research and Evidence (AGREE), www.agreetrust.org;②Grading of Recommendations Assessment, Development, and Evaluation (GRADE), www.gradeworkinggroup.org;③Guidelines International Network (G-I-N), www.g-i-n.net。
與AGREE-REX應用相關的其他輔助信息將陸續(xù)在AGREE官網(wǎng)上公布( www.agreetrust.org )。
為了更好地使用AGREE-REX,請在使用前仔細閱讀該說明。
2.1 如何評價
2.1.1 審查和準備 在應用AGREE-REX之前,需要對指南全文及其輔助信息(例如表格、附錄)和單獨發(fā)布的指南相關文件(例如方法協(xié)議)進行全面審查。
2.1.2 評價推薦意見的選擇 應在開始評價之前確定,選擇評價單個、一組或全部推薦意見,并說明理由。
在下列情況中,可以將AGREE-REX應用于單個或一組推薦意見:①用戶認為指南推薦意見的質量參差不齊;②用戶只對改編、推廣、實施部分或單個推薦意見有興趣。
在下列情況中,可以將AGREE-REX應用于指南中的所有推薦意見:①用戶認為指南中所有推薦意見的質量水平一致;②用戶對改編、推廣、實施全部指南推薦意見有興趣;③用戶受資源和時間的限制,無法對每個(或每組)推薦意見進行單獨評價。
2.1.3 評分表和評價程序 AGREE-REX中的每個條目下都有2個評價表。1個用于評價整體質量(必填),1個用于評價適用性(選填)。此外,AGREE-REX中還有2個針對所有推薦意見的綜合評價表 (同樣也是1個必填和1個選填)。
評價條目整體質量(必填): 旨在確定推薦意見形成過程中,是否考慮到了有助于提升臨床可信性、可靠性和可實施性的標準。1分:沒有或未考慮與AGREE-REX條目標準相關的信息;7分:在形成推薦意見時對條目標準進行了充分仔細的考量;2~6分:在形成推薦意見時只考慮到了部分條目標準,或條目標準與推薦意見之間的最佳關聯(lián)程度不確定。
評價者應在所賦分中給出評分理由,這有助于與其他評價者開展討論。
評價條目與適用環(huán)境適用性(選填):考慮指南推薦意見是否適用于特定的臨床環(huán)境時可填寫。1分:沒有與AGREE-REX條目標準相關的信息,或條目標準的解讀與推薦意見的應用環(huán)境不相符;7分:推薦意見質量非常好,條目標準的解讀與推薦意見的應用環(huán)境相符;2~6分:部分條目標準的解讀與推薦意見的應用環(huán)境相符。
綜合評價表:用戶可根據(jù)評價者對指南推薦意見的評價做出判斷。評價至少包括在恰當應用環(huán)境下使用這些推薦意見(必填),還可包括在評價者應用環(huán)境下使用這些推薦意見(選填)。評價者有3個選項:①推薦;②推薦,但需要修改;③不推薦。
2.1.4 計算AGREE-REX分數(shù) 可采用多種方法計算和報告AGREE-REX的評價結果,例如條目分數(shù)、領域分數(shù)或整體分數(shù)。此外,AGREE-REX用戶必須決定是否使用多名評價者的個人評分進行計算,或是否需要所有評價者達成共識分數(shù)。
2.1.5 使用評價者個人分數(shù)與共識分數(shù) 評價者就評價分數(shù)進行面對面共識時,用戶可以選擇基于共識的AGREE-REX的條目分數(shù);反之,基于AGREE-REX工具可靠性評價的數(shù)據(jù),至少需要5位獨立的評價者,展現(xiàn)了多名評價者AGREE-REX評價的不同觀點和多樣性。
2.1.6 條目分數(shù)、領域分數(shù)和整體分數(shù)
條目分數(shù):評價者就評價分數(shù)進行面對面共識時,共識分數(shù)為條目分數(shù);反之,取所有評價者根據(jù)7分量表對每個條目賦分的平均值。
客觀展現(xiàn)的條目分數(shù)是基于沒有對條目做任何權重的判斷,也使得用戶可以在不同條目評分下進行觀察和比較。
領域分數(shù):先將1個領域內所有的條目分數(shù)相加(1個領域內條目分數(shù)的總和在下述公式中稱為“實際得分”),根據(jù)公式將總分轉化為最大可能得分百分比。如果條目分數(shù)是通過共識方法得出的,下列公式同樣適用。報告領域分數(shù)允許用戶基于領域主題進行觀察和比較(例如臨床適用性、價值觀和可實施性)。需要說明的是,將9個條目劃分到3個領域,不是根據(jù)經(jīng)驗性證據(jù),而是基于聚類表面效度;沒有經(jīng)驗性證據(jù)對領域內條目的權重或相對重要性做出判斷。在下列公式中,所有條目在領域內都具有相同的權重。
評價者沒有就評價分數(shù)進行面對面共識時,例如5名評價者針對領域1(臨床適用性)各條目 的評分如表1。
表1 評價者對領域1條目分別評分
最高可能得分= 7(最高質量)× 3(條目數(shù))× 5(評價者數(shù)量)= 105
最低可能得分= 1(最低質量)× 3(條目數(shù))× 5(評價者數(shù)量)= 15
領域分數(shù)為: (實際得分-最低可能得分)/(最高可能得分-最低可能得分)
亦即:(74-15)/(105-15)×100%=66%
評價者就評價分數(shù)進行面對面共識時,例如多名評價者就領域1(臨床適用性)各條目的分數(shù)達成共識:條目1為4分,條目2為6分,條目3為4分,總分為14分。
領域分數(shù)為: (共識分數(shù)-最低可能得分)/(最高可能得分-最低可能得分)
亦即:(14-3)/(21-3)×100%=61%
整體分數(shù):將所有9個條目的分數(shù)相加,使用上述公式將總分轉化為最大可能得分百分比。如果條目分數(shù)是通過共識方法得出的,該公式同樣適用。整體分數(shù)量化了指南推薦意見的質量,便于在多個指南間進行比較。但是,整體分數(shù)本身并不能反映指南推薦意見的強弱。此外,整體分數(shù)賦予每個條目相同的權重,但沒有經(jīng)驗性證據(jù)對每個條目在評價指南推薦意見質量方面的相對重要性做出判斷。
2.1.7 AGREE-REX分數(shù)解讀 目前,沒有經(jīng)驗性證據(jù)表明某個推薦意見的質量得分(條目分數(shù)、領域分數(shù)或整體分數(shù))與推薦意見的具體實施(例如,采用與推廣)或特定臨床結局之間的關系,自然不利于確定質量閾值,以區(qū)分高、中、低質量的指南推薦意見?;诖?,提供了下述質量閾值設置方法以供參考:①用戶可以對候選指南的領域分數(shù)或整體分數(shù)進行等距三分位分割,將文件質量分為高、中、低3個等級;②用戶可以通過利益相關者(見本文1.3)或評價者之間的共識來確定閾值分數(shù)。例如,整體分數(shù)> 70%的指南可以被定義為高質量,整體分數(shù)<30%的為低質量,其他為中等質量;③用戶基于決策目的可能會重視某一個條目或領域,并根據(jù)該條目或領域確定閾值;④用戶可以使用AGREE-REX分數(shù)作為連續(xù)變量,進行建模練習以確定AGREE-REX分數(shù)與預測結果之間的對應關系,并將該分數(shù)用作閾值。
在使用AGREE-REX進行評價之前,應由所有利益相關方組成的討論組來選擇質量或適用性閾值的設置方法。閾值設置方法的選擇應以指南的使用環(huán)境為指導,并對具體環(huán)境下不同條目和標準的重要性進行評估。例如,利益相關者可以使用分數(shù)對指南進行比較,確定指南的局限性,或選擇高質量的指南來實施。
2.2 其他評價因素
2.2.1 表述清晰 針對每個條目進行評價時,還需要考慮以下問題:①是否通順易懂,不易引起歧義,②信息是否容易在指南中找到,是否在指南中顯而易見,③指南是否提供給用戶一定程度的透明性,是否透明地展現(xiàn)了推薦意見的產(chǎn)生過程。
2.2.2 AGREE-REX條目的適用性 AGREE-REX條目可能不適用于特定指南的評價。出現(xiàn)這種情況時,有2種策略可選擇,一是跳過不適用的條目,二是將該條目評為1分(信息缺失)。需要說明的是,應事先就策略選擇做出決定,并進行解釋說明;跳過不適用的條目或條目評1分時均應解釋原因。原則上,不鼓勵在評價過程中跳過某個條目。
2.2.3 用戶在評價過程中的判斷 如何應用AGREE-REX以及實際的評價過程都需要一定程度的判斷。用戶應明確選擇,并給出選擇的理由。
3.1 領域1 臨床適用性
條目1 證據(jù) 審慎地對待現(xiàn)有證據(jù)的質量和結果,產(chǎn)生高質量的推薦意見應基于對現(xiàn)有證據(jù)質量和結果的徹底審查。在形成推薦意見和制定指南時,應該考慮到以下問題:①指南對與支撐證據(jù)研究設計相關的偏倚風險進行了評估;②指南對結果一致性進行了描述(各研究之間結果的相似性);③指南考慮了臨床問題或衛(wèi)生問題證據(jù)的方向性(確切的干預措施、人群和利益結局);④指南表明了結果的精確性(例如,個別研究或Meta分析的置信區(qū)間寬度);⑤指南描述了推薦意見的利弊程度;⑥指南評估了發(fā)表偏倚的可能性;⑦指南說明了存在混雜因素的可能性(如果適用);⑧指南指出了劑量反應梯度(如果適用)。
條目2 目標用戶適用性 用于評價推薦意見對目標用戶實踐環(huán)境的適用程度。在形成推薦意見和制定指南時,應該考慮到以下問題。(1)指南解決了與目標用戶相關的臨床問題或衛(wèi)生問題; (2)一致性體現(xiàn)在以下幾個方面要求:①目標用戶的實踐范圍與目標患者/人群一致,②目標用戶的實踐范圍與推薦意見的行動一致,③推薦意見方向(支持或反對某具體行為)與利弊權衡一致,④推薦意見的確定性或強度與利弊權衡保持一致。
條目3 患者/人群適用性 用于評價推薦意見實施的預期結局與預期患者/人群的相關程度及被認可程度。在形成推薦意見和制定指南時,應該考慮到以下問題。(1)指南包括與目標患者/人群相關的結局,這些結局通常被稱為患者重要結局、以患者為中心的結局、患者報告結局或患者體驗;①在形成證據(jù)體時已考慮到相關結局,②推薦意見實施會影響與患者/人群相關的結局(如,提升良好的患者相關結局,減輕不良的患者相關結局)。(2)指南報告了患者結局重要性的判定方法。(3)指南描述了如何制定適用于單個(或一組)患者或特定人群(如,根據(jù)年齡、性別、種族、合并癥)的推薦意見。
3.2 領域2 價值觀和偏好
條目4 目標用戶 指南目標用戶(醫(yī)療保健提供者、政策制定者、管理者)推介推薦意見時,是基于對目標人群價值觀和偏好(生存、不良反應、生活質量、成本、便利性)的考量。在制定指南的過程中,考慮用戶的價值觀和偏好非常重要,因為用戶的價值觀和偏好會影響推薦意見是否會被接受并踐行。在形成推薦意見和制定指南時,應該考慮到以下問題。①已對用戶的價值觀和偏好進行了探討和考量。②已考慮到了影響用戶接受推薦意見的因素(例如,是否接受學習新的臨床技能或改變現(xiàn)有流程)。③對推薦意見做出區(qū)分:有些推薦意見具有一定的臨床靈活性,適合于不同的個體患者,便于臨床決策;有些推薦意見則不太適合臨床決策。④指南描述了臨床上可接受的推薦意見的范圍,包括首選方案(如果相關),并說明理由。
條目5 患者/人群 患者/人群在接受推薦意見時,是基于個人價值觀和偏好的考量。在制定指南的過程中,考慮患者或人群的價值觀和偏好非常重要,會影響推薦意見是否會被接受和踐行。在形成推薦意見和制定指南時,應該考慮到以下問題。①已對目標人群(包括患者、家屬和護理人員,如果適用)價值觀和偏好進行了充分的探討和考量。②已考慮到影響患者/人群接受推薦意見的因素(例如,動機、依從性、期望、感知有效性)。③指南根據(jù)患者的選擇或價值觀對決策過程的影響大小對推薦意見進行了區(qū)分。④指南對協(xié)助患者做出決策是否有益進行了陳述。
條目6 政策/決策制定者 政策/決策制定者在制定衛(wèi)生政策時,是基于對政策利益相關人群價值觀和偏好的考量。政策利益相關者的價值觀和偏好會對指南推薦意見在衛(wèi)生保健系統(tǒng)中的實施(例如,提供資源或資金支持)產(chǎn)生影響。在形成推薦意見和制定指南時,應該考慮到以下問題:①已對相關政策和決策者的需求進行了充分的探討和考量。②已對推薦意見對政策和系統(tǒng)決策層面的影響進行了考量。③已對推薦意見對健康公平性和普適性的影響進行了考量。④指南描述了如何使政策與推薦意見保持一致。
條目7 指南制定者 指南制定者在制定推薦意見時,是基于對利益結局的考量。指南制定者的價值觀會對利益結局的選擇、指南制作方法、不同利益相關者觀點的整合方法,以及利弊權衡的解釋產(chǎn)生影響。在形成推薦意見和制定指南時,應該考慮到以下問題:①明確說明指南制定者在指南制作過程中的價值觀和偏好。②明確說明指南制定者的價值觀和偏好如何影響其對利弊權衡的解釋。③明確說明價值觀和偏好的整合方法,包括利益相關者(例如,目標用戶、患者/人群、決策者)的不同價值觀和偏好的處理方法。
3.3 領域3 可實施性
條目8 目的 指南可以實現(xiàn)多種實施目標,例如影響醫(yī)療保健決策、促進臨床討論、提供制定或改進臨床政策的理由,或明確反映臨床或人群健康目標的措施。在形成推薦意見和制定指南時,應該考慮到以下問題。①指南推薦意見與指南實施目標一致(例如,用于宣傳、政策變化等)。②已描述采納推薦意見對個人(例如,患者、人群、目標用戶)、組織或系統(tǒng)的預期影響。
條目9 地區(qū)適用性 用于評價指南推薦意見在應用環(huán)境、患者/人群以及醫(yī)療保健系統(tǒng)中實施時的適用性。如果指南說明促進推薦意見實施的建議、工具和資源,則更容易被采納。在形成推薦意見和制定指南時,應該考慮到以下問題。(1)指南描述了當前實踐所需要的變化類型和程度。(2)指南根據(jù)地區(qū)適應性的強弱對推薦意見進行區(qū)分。(3)指南闡明了對其成功傳播至關重要的相關因素。(4)指南制定者考慮到了影響推薦意見是否被采納的因素,并從以下方面為指南實施者提供建議:①如何針對地區(qū)情況制定推薦意見;②實施推薦意見所需的資源(例如,人力資源、設備等)以及相關成本;③對推薦意見(如果適用)進行經(jīng)濟分析(例如成本效益或成本效用);④實施推薦意見所需人員的能力和培訓;⑤實施推薦意見和監(jiān)管推薦意見接受情況所需的數(shù)據(jù);⑥提供策略以提升各利益相關者對推薦意見的接受度;⑦可用于衡量推薦意見實施和質量改進的標準。
3.4 綜合評價 ①推薦;②推薦,但需要修改;③不推薦。在恰當應用環(huán)境下,是否會推薦使用這些指南推薦意見,在評價者應用環(huán)境下,是否會推薦使用這些指南推薦意見。
本文由多國專家學者共同合作完成,可用于教學活動、質量保證項目和指南的批判性評價,不得用于商業(yè)用途或產(chǎn)品營銷。在符合AGREE辦公室協(xié)議的前提下,歡迎各國進行相關翻譯工作,協(xié)助將本文翻譯成其他語言。
AGREE-REX中文版翻譯得到了AGREE-REX研究團隊(2019)授權。
AGREE-REX是評價臨床實踐指南推薦意見質量的工具。作者對AGREE-REX的任何不當使用均不承擔責任。
AGREE-REX Research Team (2019).The Appraisal of Guidelines Research & Evaluation—Recommendation EXcellence (AGREE-REX) [Electronic version].Retrieved AGREE-REX工具的開發(fā)得到了加拿大衛(wèi)生研究院的資助。 8.1 AGREE-REX研究團隊 研究團隊成員:Dr. M.C.Brouwers (Principal Investigator), McMaster University, Hamilton, Ontario and University of Ottawa, Ottawa, Ontario, Canada;Dr. P. Alonso-Coello, Iberoamerican Cochrane Centre, Barcelona, Spain;Dr. J.S.Burgers, Dutch College of General Practitioners, Utrecht, The Netherlands;Dr. F. Cluzeau, Global Health and Development Group, Imperial College London, UK;Dr. I.D.Florez, Universidad de Antioquia, Medellin, Colombia and McMaster University, Hamilton, Ontario, Canada;Dr. B. Fervers, Cancer et Environement, Centre Léon Bérard, France and Université de Lyon, Université Claude Bernard Lyon 1, Villeurbanne, France;Dr. A. Gagliardi, University Health Network, University of Toronto, Toronto, Ontario, Canada;Dr. I.D.Graham, Ottawa Hospital Research Institute, University of Ottawa, Ottawa, Ontario, Canada;Dr. J. Grimshaw, Ottawa Hospital Research Institute, University of Ottawa, Ottawa, Ontario, Canada;Dr. S.E.Hanna, McMaster University, Hamilton, Ontario, Canada;Dr. M. Kastner, North York General Hospital, Toronto, Ontario, Canada;Ms. K. Kerkvliet, McMaster University, Hamilton, Ontario, Canada;Dr. M.E.Kho, McMaster University, Hamilton, Ontario Canada;Dr. A. Qaseem, American College of Physicians, Philadelphia, Pennsylvania, USA;Dr. H. Schünemann, McMaster University, Hamilton, Ontario, Canada;Ms. K. Spithoff, McMaster University, Hamilton, Ontario, Canada;Dr. S. Straus, Li Ka Shing Knowledge Institute, St. Michael's Hospital, Toronto, Ontario, Canada 8.2 致謝 Dr. O. Bhattacharyya, Women’s College Hospital, University of Toronto, Toronto, Ontario, Canada;Dr. G.P.Browman, British Columbia Cancer Agency, Vancouver Island, Canada;Dr. P. Littlejohns, King’s College London, London, UK;Ms. J. Makarski, McMaster University, Hamilton, Ontario, Canada;Dr. L. Zitzelsberger, Quebec, Canada 8.3 AGREE辦公室 agree@mcmaster.ca 8.4 AGREE官方網(wǎng)站 www.agreetrust.org7 經(jīng)費來源
8 AGREE-REX開發(fā)過程、研究團隊和其他資源信息