王權(quán)，王浩，孟祥峰，劉艷珍，任海萍

中國(guó)食品藥品檢定研究院 光機(jī)電室，北京 100050

引言

人工智能近年來呈加速發(fā)展態(tài)勢(shì)，在各個(gè)領(lǐng)域不斷滲透，在醫(yī)學(xué)+人工智能領(lǐng)域也有著比較大的突破，尤其是在醫(yī)學(xué)影像與診斷方面涌現(xiàn)了許多算法和產(chǎn)品，聲稱計(jì)算機(jī)輔助診斷與探測(cè)，例如病灶檢出[1]、疾病分類或分期[2-3]、病灶分割[4]等功能。人工智能醫(yī)療器械已成為醫(yī)療器械的新生力量，產(chǎn)品的質(zhì)量評(píng)價(jià)與管理體系是監(jiān)管科學(xué)急需解決的問題。質(zhì)量管理方面的一個(gè)重要問題是人員如何管理。

目前，該類醫(yī)療器械大多使用深度學(xué)習(xí)[5]、卷積神經(jīng)網(wǎng)絡(luò)[6]等監(jiān)督學(xué)習(xí)算法，決定了產(chǎn)業(yè)的發(fā)展需要高質(zhì)量的數(shù)據(jù)集。數(shù)據(jù)集的建設(shè)需要在不同環(huán)節(jié)投入大量人力資源，比如原始數(shù)據(jù)的采集、數(shù)據(jù)入庫(kù)前的篩選與審核、數(shù)據(jù)標(biāo)注和數(shù)據(jù)管理等方面。雖然不同數(shù)據(jù)集的內(nèi)容、特點(diǎn)、用途各不相同，各個(gè)環(huán)節(jié)的人員職能和要求也不一樣，但人員管理對(duì)數(shù)據(jù)集質(zhì)量管理的影響力是相似的，具有共性特征。

由于人工智能醫(yī)療器械行業(yè)的發(fā)展對(duì)數(shù)據(jù)集的需求很大，國(guó)內(nèi)外臨床機(jī)構(gòu)[7]、科研院所[8]、企業(yè)[9]、政府部門[10]等不同團(tuán)體在廣泛開展數(shù)據(jù)集的建設(shè)，然而不同機(jī)構(gòu)在人員資質(zhì)、能力、組織、管理方面的差異容易導(dǎo)致數(shù)據(jù)集質(zhì)量差異。這些差異可能使得同一產(chǎn)品在不同數(shù)據(jù)集上的性能表現(xiàn)差別巨大，對(duì)訓(xùn)練、優(yōu)化、評(píng)價(jià)造成困惑，制約產(chǎn)品研發(fā)和行業(yè)發(fā)展。因此需要在人員管理方面加強(qiáng)研究，提高認(rèn)識(shí)，以促進(jìn)規(guī)范的形成。本文的主要研究?jī)?nèi)容是分析人員對(duì)數(shù)據(jù)集質(zhì)量的影響，討論加強(qiáng)人員管理的方法，從人員管理角度幫助提高人工智能醫(yī)療器械數(shù)據(jù)集的質(zhì)量。

1 人員對(duì)數(shù)據(jù)集質(zhì)量的影響

人工智能醫(yī)療器械用數(shù)據(jù)集的建設(shè)，按時(shí)間先后一般可分為四個(gè)階段。人員活動(dòng)對(duì)質(zhì)量的影響按階段分別描述如下。

1.1 數(shù)據(jù)采集階段

人工智能醫(yī)療器械用的數(shù)據(jù)集一般以采集臨床數(shù)據(jù)為主，其采集流程與臨床試驗(yàn)相似，又可分為前瞻式和回顧式兩種路徑。前瞻式的數(shù)據(jù)采集路徑意味著專業(yè)人員實(shí)際操作各種數(shù)據(jù)采集終端或儀器，在臨床條件下采集未來患者的數(shù)據(jù)，例如醫(yī)學(xué)影像、電生理、臨床檢驗(yàn)等。人員的操作能力、規(guī)范程度對(duì)數(shù)據(jù)質(zhì)量有直接影響。以眼底圖像彩照的采集為例，前瞻式路徑需要專人操作眼底相機(jī)對(duì)招募的患者眼底進(jìn)行拍照，由于臨床閱片對(duì)照片的分辨率、視野、成像位置、曝光度有明確的要求，人員能否正確執(zhí)行拍照規(guī)范將決定圖像質(zhì)量是否可接受。

回顧式的數(shù)據(jù)采集路徑意味著從過去的臨床試驗(yàn)或臨床數(shù)據(jù)中抽取一部分成為數(shù)據(jù)集。參與抽樣的人員必須對(duì)抽樣方案、原始數(shù)據(jù)來源和特點(diǎn)有足夠的理解，最好有統(tǒng)計(jì)學(xué)背景或接受培訓(xùn)，否則人員的隨意抽樣容易導(dǎo)致數(shù)據(jù)集的統(tǒng)計(jì)偏倚，危害數(shù)據(jù)集的質(zhì)量。

1.2 數(shù)據(jù)審核

采集的臨床數(shù)據(jù)在被數(shù)據(jù)集接收之前，需要專人對(duì)數(shù)據(jù)進(jìn)行審核與分析，以確認(rèn)數(shù)據(jù)的合規(guī)性、質(zhì)量、容量、多樣性、完整性等是否滿足數(shù)據(jù)集的要求。這要求數(shù)據(jù)審核人員充分掌握臨床法規(guī)、數(shù)據(jù)格式、統(tǒng)計(jì)維度、數(shù)據(jù)質(zhì)量評(píng)價(jià)等要點(diǎn)。例如，對(duì)于胸部CT影像肺結(jié)節(jié)數(shù)據(jù)集的建設(shè)而言，如果數(shù)據(jù)審核人員不了解CT圖像的標(biāo)準(zhǔn)格式，不了解各字段含義，那么將無法對(duì)DICOM字段中的關(guān)鍵信息進(jìn)行審核，容易把未脫敏的數(shù)據(jù)、不可用的數(shù)據(jù)納入數(shù)據(jù)集，從而帶來質(zhì)量隱患。

1.3 數(shù)據(jù)標(biāo)注

數(shù)據(jù)集必須建立參考標(biāo)準(zhǔn)，需要標(biāo)注人員對(duì)臨床數(shù)據(jù)給出明確的疾病定性、分期、病灶位置、病灶區(qū)域分割、尺寸測(cè)量等信息。對(duì)于某些臨床領(lǐng)域而言，臨床金標(biāo)準(zhǔn)不容易獲得，而標(biāo)注人員的判斷決定參考標(biāo)準(zhǔn)的質(zhì)量。以胸部CT影像中的肺結(jié)節(jié)標(biāo)注為例，由于臨床條件限制和患者的意愿，通過穿刺活檢獲得每一個(gè)結(jié)節(jié)的病理切片是不現(xiàn)實(shí)的，病理金標(biāo)準(zhǔn)難以收集，此時(shí)參考標(biāo)準(zhǔn)主要基于標(biāo)注醫(yī)生對(duì)影像的分析。

人工智能醫(yī)療器械必須在標(biāo)注正確的數(shù)據(jù)集上進(jìn)行訓(xùn)練和特征提取，才有可能給出符合臨床醫(yī)生判斷的輔助診斷結(jié)論。如果標(biāo)注人員給出的參考標(biāo)準(zhǔn)偏離臨床實(shí)際，將直接導(dǎo)致參考標(biāo)準(zhǔn)的偏倚，產(chǎn)品的性能可能無法滿足臨床需求，甚至出現(xiàn)系統(tǒng)性的偏差、漏診、誤診等情況，這也是數(shù)據(jù)集質(zhì)量的嚴(yán)重風(fēng)險(xiǎn)。

1.4 數(shù)據(jù)管理

數(shù)據(jù)集標(biāo)注完成后，數(shù)據(jù)的歸檔、管理、分發(fā)等環(huán)節(jié)同樣需要專人進(jìn)行操作，管理人員對(duì)于數(shù)據(jù)安全、數(shù)據(jù)可用性有重要影響。例如，如果管理人員錯(cuò)誤地對(duì)數(shù)據(jù)進(jìn)行歸檔、命名、分組，容易造成數(shù)據(jù)分類的錯(cuò)誤，或與參考標(biāo)準(zhǔn)矛盾，影響數(shù)據(jù)的正常使用。如果管理人員在存儲(chǔ)方面操作混亂，缺乏溯源，有可能引起數(shù)據(jù)丟失或重復(fù)，也會(huì)造成數(shù)據(jù)集的質(zhì)量隱患。管理人員的網(wǎng)絡(luò)安全意識(shí)如果淡薄，可能造成數(shù)據(jù)泄露，這對(duì)于封閉測(cè)試集、尤其是第三方評(píng)測(cè)數(shù)據(jù)集將產(chǎn)生嚴(yán)重后果。

以上列舉的種種問題，說明在數(shù)據(jù)集的建設(shè)過程中有必要重視和明晰人員管理，以保證數(shù)據(jù)集的質(zhì)量。實(shí)際上，人員管理具有共性特征和要素，在下一節(jié)進(jìn)行具體分析。

2 對(duì)人員管理要素的思考

由于人工智能醫(yī)療器械用的數(shù)據(jù)集較多使用臨床數(shù)據(jù)，數(shù)據(jù)集的建設(shè)過程與臨床試驗(yàn)存在很多相似之處。同時(shí)，人員管理作為人工智能醫(yī)療器械質(zhì)量管理的一個(gè)子命題，可以借鑒醫(yī)療器械監(jiān)管法規(guī)與質(zhì)量管理標(biāo)準(zhǔn)的思想。從這兩個(gè)角度出發(fā)，人員管理的要素可以概括為以下四個(gè)方面。

（1）合規(guī)管理?？紤]到與臨床試驗(yàn)（尤其是回顧式臨床試驗(yàn)）的相似性，參與數(shù)據(jù)集建設(shè)的人員無論角色、分工、權(quán)限，都可能接觸患者數(shù)據(jù)，其活動(dòng)應(yīng)當(dāng)符合醫(yī)學(xué)倫理、患者隱私保護(hù)、網(wǎng)絡(luò)安全和其他相關(guān)法規(guī)的要求。這關(guān)系到數(shù)據(jù)集的合法性與合規(guī)性，因此合規(guī)管理是人員管理的首要內(nèi)容和強(qiáng)制內(nèi)容。

（2）能力管理。在數(shù)據(jù)集的建設(shè)中，人員的能力決定了預(yù)期目標(biāo)的實(shí)現(xiàn)程度和效率，與最終的數(shù)據(jù)質(zhì)量有直接關(guān)系，例如標(biāo)注醫(yī)生的能力會(huì)影響標(biāo)注結(jié)果和參考標(biāo)準(zhǔn)的正確性，成像設(shè)備操作人員的能力會(huì)影響原始數(shù)據(jù)的可用性。人員的能力具體包含了人員的從業(yè)資質(zhì)和執(zhí)行任務(wù)的能力。人員能力管理是動(dòng)態(tài)過程，貫穿于數(shù)據(jù)集建設(shè)的全過程，不僅要保證參與數(shù)據(jù)集建設(shè)的人員能力達(dá)到預(yù)設(shè)的要求，還要對(duì)人員能力的變化進(jìn)行觀測(cè)和控制，并提供及時(shí)的指導(dǎo)和干預(yù)。

（3）過程管理。數(shù)據(jù)集的建設(shè)是一個(gè)有組織有體系的工程，人員活動(dòng)的效果不僅需要個(gè)人能力達(dá)標(biāo)，還需要有效的過程管理，形成戰(zhàn)斗力。在數(shù)據(jù)標(biāo)注過程中，有效的過程管理尤為重要，能夠充分調(diào)動(dòng)人力資源，彌補(bǔ)個(gè)體差異和能力限制帶來的影響，優(yōu)化數(shù)據(jù)標(biāo)注的決策過程和質(zhì)量控制；反之會(huì)影響參考標(biāo)準(zhǔn)的正確性，降低數(shù)據(jù)集的使用價(jià)值。

（4）責(zé)任管理。根據(jù)醫(yī)療器械生產(chǎn)質(zhì)量管理體系標(biāo)準(zhǔn)[11]ISO13485-2016的思想，人員管理還應(yīng)該包含責(zé)任管理，使所有參與人員明確自身責(zé)任，并對(duì)所有人員的活動(dòng)建立記錄。責(zé)任管理是過程管理的基礎(chǔ)，有助于保證人員活動(dòng)的真實(shí)性和可追溯性，有助于對(duì)人員活動(dòng)進(jìn)行監(jiān)控、反饋和糾正。

3 人員管理措施的實(shí)例分析

以上四要素概括了人員管理的共性特征，內(nèi)容較為抽象，但在國(guó)內(nèi)外數(shù)據(jù)集的建設(shè)實(shí)踐中得到了體現(xiàn)。本節(jié)結(jié)合具體實(shí)例，討論人員管理應(yīng)當(dāng)如何具體實(shí)施。

在合規(guī)管理方面，主要的措施包括對(duì)人員開展法律法規(guī)的教育、培訓(xùn)、考核等內(nèi)容，并以技術(shù)手段提供保障。合規(guī)管理應(yīng)當(dāng)在數(shù)據(jù)集建設(shè)的早期進(jìn)行。這方面的實(shí)例是美國(guó)的各種臨床數(shù)據(jù)集建設(shè)。在美國(guó)，任何需要在工作中接觸臨床患者數(shù)據(jù)的人員首先會(huì)接受，健康保險(xiǎn)攜帶和責(zé)任法案培訓(xùn)，通過考核后方可上崗，并且定期重新溫習(xí)和考試，作為對(duì)患者隱私保護(hù)法規(guī)的強(qiáng)制培訓(xùn)，目的是保證患者隱私和患者數(shù)據(jù)不被泄露。同時(shí)，涉及患者數(shù)據(jù)的存儲(chǔ)介質(zhì)、網(wǎng)絡(luò)訪問也要求有嚴(yán)格的加密和權(quán)限約束。我國(guó)的網(wǎng)絡(luò)安全法[12]已經(jīng)實(shí)施，國(guó)家藥監(jiān)局在臨床試驗(yàn)和計(jì)算機(jī)網(wǎng)絡(luò)安全方面也發(fā)布了相關(guān)的法規(guī)和指導(dǎo)原則[13-15]，建議用于數(shù)據(jù)集建設(shè)相關(guān)人員的合規(guī)性培訓(xùn)，并根據(jù)法規(guī)要求配備必要的技術(shù)資源，保障合規(guī)管理的有效性。

在能力管理方面，主要的措施包括資質(zhì)審核、考試選拔、規(guī)范培訓(xùn)、工作表現(xiàn)監(jiān)控和過程考核等內(nèi)容。這方面的案例是英國(guó)，國(guó)家醫(yī)療服務(wù)體系）糖網(wǎng)篩查項(xiàng)目中對(duì)標(biāo)注人員的能力管理[16]。英國(guó)是運(yùn)用人工智能進(jìn)行糖網(wǎng)篩查較早的國(guó)家，廣泛開展眼底圖像的標(biāo)注，制定了標(biāo)注質(zhì)量管理規(guī)范。該規(guī)范在人員管理方面，要求參與標(biāo)注的人員根據(jù)角色和分工考察職業(yè)資質(zhì)，比如是否有醫(yī)師執(zhí)照；報(bào)名人員必須接受考試和培訓(xùn)，并討論了考題的設(shè)計(jì)；正常工作人員每年有工作量的最低要求，以保證熟練程度；同時(shí)，在標(biāo)注過程中對(duì)個(gè)人的表現(xiàn)進(jìn)行監(jiān)控，例如要求一定量的重復(fù)標(biāo)注；考核不達(dá)標(biāo)的人員可以接受再教育。這些措施從不同角度保證人員的能力，值得借鑒。國(guó)內(nèi)數(shù)據(jù)集建設(shè)實(shí)踐中，人員的能力管理應(yīng)當(dāng)綜合國(guó)內(nèi)外臨床應(yīng)用的標(biāo)準(zhǔn)、專家共識(shí)和其他指導(dǎo)文件進(jìn)行設(shè)計(jì)。

在過程管理方面，主要的措施是明確角色、分工、組織和流程質(zhì)控。英國(guó)的糖網(wǎng)篩查標(biāo)注規(guī)范[16]在角色與分工方面同樣提供了良好的參考。該規(guī)范把標(biāo)注任務(wù)分成了四個(gè)等級(jí)，分別是第一級(jí)、第二級(jí)、仲裁級(jí)和轉(zhuǎn)診級(jí)。第一級(jí)主要標(biāo)注健康的眼底圖像；第二級(jí)主要標(biāo)注能看到糖尿病視網(wǎng)膜病變的眼底圖像；仲裁級(jí)主要對(duì)第一級(jí)和第二級(jí)標(biāo)注人員之間的爭(zhēng)議進(jìn)行仲裁；轉(zhuǎn)診級(jí)主要對(duì)于糖網(wǎng)病變給出最終的轉(zhuǎn)診意見，是其中的最高級(jí)別。這種分級(jí)標(biāo)注的機(jī)制考慮了不同標(biāo)注人員在資質(zhì)和經(jīng)驗(yàn)方面的差別，同時(shí)也允許經(jīng)過考核的標(biāo)注人員扮演更高級(jí)別的角色。另一個(gè)案例是美國(guó)肺部影像數(shù)據(jù)庫(kù)（Lung Imaging Database Consortium，LIDC）[17]。由于肺部CT每個(gè)病例的數(shù)據(jù)量較大且涉及三維，肺結(jié)節(jié)的標(biāo)注相比眼底彩照復(fù)雜。根據(jù)臨床文獻(xiàn)報(bào)道，醫(yī)生標(biāo)注肺結(jié)節(jié)的個(gè)體差異不容忽視[18]，因此LIDC的標(biāo)注過程有四名醫(yī)生同時(shí)背靠背進(jìn)行一輪標(biāo)注，然后進(jìn)行合并。四名醫(yī)生對(duì)合并之后的結(jié)果進(jìn)行再次審核。這種交叉檢查與集體決策的組織方式能夠起到減少個(gè)體差異和提高病灶發(fā)現(xiàn)能力的作用。這兩個(gè)案例表明，過程管理要與數(shù)據(jù)標(biāo)注的具體工作和難點(diǎn)相匹配。

在責(zé)任管理方面，主要的措施包括領(lǐng)導(dǎo)機(jī)制、溝通機(jī)制、授權(quán)機(jī)制和活動(dòng)記錄的建立等。這些措施可以看作是對(duì)ISO13485-2016中關(guān)于責(zé)任、權(quán)力與溝通的大原則的細(xì)化。仍然以英國(guó)糖網(wǎng)篩查標(biāo)注規(guī)范[16]為例，該規(guī)范從責(zé)任角度定義了四種重要角色，包括糖網(wǎng)篩查服務(wù)的提供者（類似于管理者代表，負(fù)責(zé)標(biāo)注體系的建立和運(yùn)行，對(duì)質(zhì)量總體負(fù)責(zé)，對(duì)質(zhì)量保證活動(dòng)報(bào)告進(jìn)行審核）、臨床/標(biāo)注領(lǐng)導(dǎo)者（負(fù)責(zé)執(zhí)行和維持質(zhì)量保證活動(dòng)）、項(xiàng)目委員會(huì)（定期開會(huì)，監(jiān)督重要的內(nèi)部質(zhì)量活動(dòng)）、質(zhì)量審核員（來自外部，對(duì)內(nèi)部質(zhì)量保證活動(dòng)進(jìn)行審核和確認(rèn)）。同時(shí)，這四種角色的日常工作、標(biāo)注人員的活動(dòng)、不同角色之間的溝通與反饋、年度考核、人員選拔與晉升等都會(huì)形成記錄以支持質(zhì)量保證活動(dòng)，也是重要的體系文件。其他數(shù)據(jù)集的建設(shè)，可以參照此方式進(jìn)行人員責(zé)任的管理。

4 應(yīng)用結(jié)果分析

上述措施中，能力管理工作較多依賴定量實(shí)驗(yàn)，有必要直觀描述其過程和結(jié)果。本文以糖尿病視網(wǎng)膜病變（Diabetic Retinopathy，DR）標(biāo)注為背景，舉例說明能力管理的實(shí)施。標(biāo)注內(nèi)容是100張來自國(guó)內(nèi)臨床機(jī)構(gòu)已脫敏的彩色眼底圖像，具體分類包括：無明顯異常、DR Ⅰ期、DR Ⅱ期、DR Ⅲ期、DR Ⅳ～Ⅵ期、其他眼底疾病和圖像質(zhì)量不可接受。糖網(wǎng)圖像與其他圖像等比例分布，其中糖網(wǎng)分期的依據(jù)是2014年臨床診療指南[19]。參與比對(duì)的人員是47名臨床醫(yī)生，職稱為主治醫(yī)生及以上，來自全國(guó)的32家醫(yī)院。

試驗(yàn)分為初測(cè)、培訓(xùn)、復(fù)測(cè)等三個(gè)步驟。標(biāo)注人員的任務(wù)是在規(guī)定時(shí)間內(nèi)給出所有圖像的病種分類，當(dāng)分類與專家團(tuán)隊(duì)給出的參考標(biāo)準(zhǔn)一致時(shí)得分?？荚嚦煽?jī)以分類準(zhǔn)確率來描述，定義為分類正確的圖像數(shù)量/總圖像數(shù)量。人員和數(shù)據(jù)之間保持雙盲。在初測(cè)階段，47名醫(yī)生的考試成績(jī)的直方圖，見圖1，可見人員之間的差異比較明顯。這里要注意，初測(cè)成績(jī)的差異實(shí)際上由分類能力和分類速度的差異共同決定，主要體現(xiàn)本試驗(yàn)限定條件下的人員比對(duì)，不能完全代表醫(yī)生日常臨床工作狀態(tài)。

在培訓(xùn)階段，由臨床讀片中心的專家對(duì)初測(cè)成績(jī)最好的21名醫(yī)生進(jìn)行集中培訓(xùn)。培訓(xùn)內(nèi)容包含標(biāo)注軟件的操作以及糖網(wǎng)各分期細(xì)節(jié)特征的識(shí)別。在復(fù)測(cè)階段，對(duì)每個(gè)醫(yī)生的準(zhǔn)確率重新進(jìn)行評(píng)估。為降低記憶偏倚的影響，復(fù)測(cè)與初測(cè)時(shí)間間隔一周以上，且對(duì)其中20%圖像進(jìn)行更新（主要是DR圖像的更新）。在DR圖像的分類準(zhǔn)確率方面，復(fù)測(cè)結(jié)果與初測(cè)結(jié)果的比較，見圖2的箱線圖所示。使用t檢驗(yàn)可以證明培訓(xùn)后準(zhǔn)確率有了顯著的提升（α=0.05）。平均準(zhǔn)確率由81%提高至85%，說明了人員培訓(xùn)對(duì)提升數(shù)據(jù)標(biāo)注質(zhì)量和進(jìn)而提升數(shù)據(jù)集質(zhì)量的必要性。

圖1 初測(cè)階段的分類準(zhǔn)確率

圖2 培訓(xùn)前后DR分類準(zhǔn)確率對(duì)比圖

5 討論與總結(jié)

本文依托于國(guó)內(nèi)外影像類人工智能醫(yī)療器械數(shù)據(jù)集建設(shè)和質(zhì)控工作的實(shí)際，分析了人員對(duì)于數(shù)據(jù)質(zhì)量的影響，提煉了人員管理的共性要素，并結(jié)合實(shí)例講解了人員管理的實(shí)施方式。由于人工智能醫(yī)療器械的多樣性和數(shù)據(jù)的多樣性，數(shù)據(jù)集的建設(shè)和質(zhì)量管理具有很強(qiáng)的個(gè)性化。因此，人員管理工作要注意實(shí)事求是，根據(jù)具體預(yù)期用途和問題特征進(jìn)行細(xì)節(jié)設(shè)計(jì)。另外，人工智能醫(yī)療器械數(shù)據(jù)集除了臨床數(shù)據(jù)之外，也可以引入仿真模型、體模、非臨床條件下的受試者試驗(yàn)等多種來源，對(duì)人員的要求和管理可以參考本文的思路來進(jìn)行，但臨床特色相對(duì)弱化，需要根據(jù)數(shù)據(jù)來源進(jìn)行調(diào)整。

總的來說，本文的工作可看作是基礎(chǔ)共性意義上的參考，下一步有必要針對(duì)具體應(yīng)用領(lǐng)域深入研究更多規(guī)范細(xì)節(jié)，以幫助人工智能醫(yī)療器械各專業(yè)方向上具體數(shù)據(jù)集的建設(shè)和質(zhì)控。