郝 燁，王 浩，李佳戈

中國食品藥品檢定研究院，北京100050

數(shù)據(jù)標注是基于監(jiān)督學習的人工智能醫(yī)療器械在研發(fā)、測試階段常用的一種技術服務，數(shù)據(jù)標注的準確性決定了數(shù)據(jù)集的使用價值[1-6]，故數(shù)據(jù)標注不僅需要有完整的流程、規(guī)則和工具，還需制定相應的質(zhì)量控制體系。YY/T 1833.3-2022《人工智能醫(yī)療器械 質(zhì)量要求和評價 第3部分：數(shù)據(jù)標注通用要求》標準[7]是醫(yī)療器械行業(yè)內(nèi)首個側重數(shù)據(jù)標注環(huán)節(jié)進行人工智能醫(yī)療器械質(zhì)控管理分析的標準。該標準主要以人工智能醫(yī)療器械的數(shù)據(jù)標注環(huán)節(jié)為質(zhì)控對象展開分析，不僅列舉了標注工作質(zhì)量控制方面的一系列特性和要求，并針對如何進行質(zhì)控評價提出了專業(yè)性方法和建議，全文涵蓋數(shù)據(jù)標注環(huán)節(jié)相關術語、標注任務說明文檔、數(shù)據(jù)標注的質(zhì)量特性、標注與質(zhì)控流程、標注工具以及評價方法等多部分內(nèi)容，對數(shù)據(jù)標注的質(zhì)控分析客觀、全面，對于人工智能醫(yī)療器械產(chǎn)品的數(shù)據(jù)標注工作具有重要指導意義，對于行業(yè)的規(guī)范化發(fā)展將發(fā)揮顯著促進作用。本文筆者基于工作中積累的醫(yī)療器械檢驗檢測經(jīng)驗及對該標準的理解，將對其重點內(nèi)容進行解析。

1 指導標注任務文檔編寫

2007年斯坦福大學教授李飛飛等開啟ImageNet圖像數(shù)據(jù)集項目，完成了圖片分類和標注，為后續(xù)機器學習提供了帶標注的數(shù)據(jù)集，開啟了數(shù)據(jù)標注的發(fā)展序幕[8-10]。但數(shù)據(jù)標注行業(yè)經(jīng)過十余年發(fā)展，針對數(shù)據(jù)標注的定義仍不明確，此種模糊的認知不利于整個標注行業(yè)特別是人工智能醫(yī)療器械行業(yè)的規(guī)范化發(fā)展。為此，YY/T 1833.1-2022《人工智能醫(yī)療器械 質(zhì)量要求和評價 第1部分：術語》標準中，明確了數(shù)據(jù)標注的定義，其是指對數(shù)據(jù)進行分析，添加外部知識的過程[11]。在此基礎上，YY/T 1833.3-2022標準根據(jù)數(shù)據(jù)標注的不同分類形式、關鍵要素等特點明確了包括標注任務、標注對象、結構化標注等在內(nèi)的行業(yè)常用術語，為數(shù)據(jù)標注工作的規(guī)范和統(tǒng)一提供了必要的基礎。

標注任務不同于傳統(tǒng)的醫(yī)療器械產(chǎn)品，標注任務的說明文檔在數(shù)據(jù)標注質(zhì)量評價中具有十分重要的地位。在一項具體的標注任務開始前，標注責任方除了需明確標注任務的類型外，還需明確標注規(guī)則、標注人員角色構成與分工、決策機制、標注工具、標注環(huán)境以及數(shù)據(jù)方面的要求。從結構角度來看，YY/T 1833.3-2022標準是基于數(shù)據(jù)標注對完成任務的人、機、物、法、環(huán)等幾大質(zhì)控方面提出的要求。

制定清晰、合理的標注規(guī)則是整個標注任務順利開展的基礎。因此，在標注任務文檔中，首先應明確標注規(guī)則。YY/T 1833.3-2022標準針對此方面，提出的要求主要集中于對標注對象的定義需唯一且確定，同時指出標注對象的特征應該是可以驗證或測量的，此為確保后續(xù)準確標注具有可衡量性的基礎；標注對象及標注規(guī)則應具有充分的依從性文件作為支撐，如法規(guī)文件、技術標準、專家評議、文獻分析等；此外，針對標注規(guī)則可能導致的偏倚風險，還需進行深入的風險分析。

標注人員作為標注工作的實際執(zhí)行者，在標注工作中的表現(xiàn)直接決定了標注質(zhì)量。實際標注中，根據(jù)任務的不同，可能需要多名人員承擔不同的標注任務，包括初級標注人員、審核人員、仲裁人員等。YY/T 1833.3-2022標準要求標注責任方應在文檔中明確描述對標注人員的要求，包括人員資質(zhì)、選拔依據(jù)、培訓內(nèi)容及評估指標等。標注工具是實現(xiàn)標注工作不可或缺的重要手段。標注工具的質(zhì)控可參考醫(yī)療器械中軟件的質(zhì)控方法開展，YY/T 1833.3-2022標準主要強調(diào)了對標注過程中所使用的軟件、硬件和平臺等應進行描述。標注環(huán)境的條件亦是標注工作質(zhì)量管理的重要影響因素之一。環(huán)境條件對標注工作的影響主要表現(xiàn)在溫濕度、照明條件及噪聲干擾等方面。為保證標注任務的高質(zhì)量，標注責任方有責任從標注環(huán)境對標注人員、標注過程以及標注工具的影響等多角度進行分析，并針對關鍵的環(huán)境要求進行說明。

2 明確標注任務質(zhì)量特性

考慮到人工智能醫(yī)療器械產(chǎn)品數(shù)據(jù)標注工作面對的主要對象為醫(yī)療數(shù)據(jù)，由于數(shù)據(jù)標注的準確性決定了人工智能算法的有效性，醫(yī)療數(shù)據(jù)標注質(zhì)量參差不齊可能導致臨床誤診、漏診等風險，甚至威脅患者的生命安全，故醫(yī)療數(shù)據(jù)標注的質(zhì)量至關重要。

根據(jù)醫(yī)療數(shù)據(jù)集管理的整體思路，數(shù)據(jù)標注的質(zhì)量特性應包含如下5個方面：(1)準確性。標注工作中，為衡量標注結果的準確性，責任方應提供標注結果的適用指標，如召回率、準確率、靈敏度等。這些指標根據(jù)場景不同可能略有差異，可根據(jù)實際應用場景選擇合適的指標。(2)一致性。確保標注結果的一致性是數(shù)據(jù)標注過程的重點，此為保證標注結果準確客觀的必要條件，也是數(shù)據(jù)集管理中的重要環(huán)節(jié)，其包含兩方面內(nèi)容，即一方面應保證標注結果與參考標準的一致性；另一方面，針對標注過程中各個環(huán)節(jié)的輸入與輸出數(shù)據(jù)及其他信息，應保證內(nèi)部一致性，如人員信息、標注結果及原始數(shù)據(jù)。(3)精度。針對定量描述的標注結果，數(shù)據(jù)精度是評價標注結果的必要指標，也是相關責任方在標注工作中需明確的數(shù)據(jù)特性之一。(4)可理解性、可訪問性及可移植性。考慮到數(shù)據(jù)標注本質(zhì)上更接近于醫(yī)用軟件類型的醫(yī)療器械產(chǎn)品[12-15]，因此該部分的質(zhì)控特性與軟件有相似之處，需要考慮含標注結果的數(shù)據(jù)信息被授權用戶理解和可訪問的程度，以及此類數(shù)據(jù)能否被安裝、移動或者替換到不同系統(tǒng)的能力。(5)保密性及可追溯性。數(shù)據(jù)標注結果尤其醫(yī)療數(shù)據(jù)的標注結果必須是安全保密且可追溯的?？紤]到數(shù)據(jù)標注過程中可能涉及到復雜的人員結構和數(shù)據(jù)流轉，很可能產(chǎn)生數(shù)據(jù)誤操作、數(shù)據(jù)泄露、網(wǎng)絡安全方面的風險，因此數(shù)據(jù)安全及其保密性不容忽視?？勺匪菪允怯靡员碚鳂俗⑷蝿湛杀蛔匪莺陀涗浀胶畏N程度的特性。數(shù)據(jù)標注工作是數(shù)據(jù)集建設過程中的重要環(huán)節(jié)，為保證整個數(shù)據(jù)集的質(zhì)量，在數(shù)據(jù)標注階段需特別注重該環(huán)節(jié)的可追溯性，其涵蓋的要素不僅包括標注任務的時間節(jié)點和標注對象，還應包括標注工作質(zhì)控流程涉及的人員信息、標注任務的操作信息、標注工具的具體信息等。

3 指導標注質(zhì)控流程設計

根據(jù)前節(jié)所述的標注任務質(zhì)量特性，標注工作應建立完善的質(zhì)控流程和管理機制，以保證質(zhì)控工作高效進行。YY/T 1833.3-2022標準分別從業(yè)務架構和過程組織兩個方面明確了質(zhì)控流程圖的設計要點和相應要求。

從業(yè)務架構角度而言，質(zhì)控流程的設計首先需根據(jù)數(shù)據(jù)流向及人員分工設計出質(zhì)控業(yè)務架構圖。數(shù)據(jù)標注的業(yè)務架構圖根據(jù)標注人員的分工可分為初級標注、審核及仲裁環(huán)節(jié)。對于典型的醫(yī)學影像類標注，可將標注任務分解為檢出、分類、分割、測量等多項大任務。需注意的是，業(yè)務架構圖中應明確關鍵的輸入與輸出節(jié)點，保存相應的標注結果和人員操作記錄。從過程組織的角度來講，標注的質(zhì)控流程應從任務生成、任務分配、任務實施、質(zhì)量控制及安全管理5個方面進行質(zhì)控架構圖設計，以完善整個質(zhì)控流程的實施。任務生成階段可理解為數(shù)據(jù)獲取和整理階段，以及標注工具、標注環(huán)境和標注規(guī)則的確立階段。為保證標注工作的可追溯性，該階段需做好任務生成工作的記錄和保存。任務分配及其實施是標注任務的重點，為確保標注工作可控與可靠，在標注分配過程中，需明確操作權限的設置，在實施階段也應關注標注進度和標注人員的監(jiān)控和協(xié)調(diào)?？紤]到標注人員的標注質(zhì)量是動態(tài)變化的，標注工作中應評估標注人員標注結果的可重復性和準確性。

安全管理措施設計是標注質(zhì)控流程設計中另一個必不可少的重要部分。其需要重點關注標注前的數(shù)據(jù)脫敏、數(shù)據(jù)備份，標注過程中的網(wǎng)絡安全，以及退出任務前的數(shù)據(jù)刪除等，以保證標注環(huán)節(jié)中的數(shù)據(jù)安全性和隱私保護，避免數(shù)據(jù)泄露。

4 完善標注工具要求、明確標注任務評價方法

標注工具的選擇主要基于標注任務的需求以及標注對象的數(shù)據(jù)格式等特點。適宜的標注工具不僅可提高標注任務效率，減少標注人員工作量，同時是數(shù)據(jù)標注過程中數(shù)據(jù)安全和高質(zhì)量數(shù)據(jù)標注結果的重要保障。YY/T 1833.3-2022標準中采用獨立的一個章節(jié)明確了標注工具的質(zhì)控方法，強調(diào)了標注工具在標注任務中的重要性，其明確標注工具的質(zhì)控主要體現(xiàn)在性能和安全性兩大方面：(1)性能方面，需要重點關注標注過程中的一些標志性功能，如標注工具對于標注對象、數(shù)據(jù)標注以及標注結果在導入與導出功能、進度顯示、任務調(diào)度以及審核與仲裁等方面的功能；(2)安全性方面，根據(jù)數(shù)據(jù)標注結果安全性的規(guī)定，YY/T 1833.3-2022標準對標注工具提出了身份鑒別以及訪問控制方面的要求。考慮到標注工具的本質(zhì)屬于醫(yī)用軟件，安全特性與臨床熟知的醫(yī)用軟件基本一致，因此，其安全質(zhì)控與常規(guī)醫(yī)用軟件的質(zhì)控方式大致相同。需要關注的是，傳統(tǒng)人工標注的低效性與數(shù)據(jù)需求快速增長之間的矛盾逐漸凸顯，因此，半自動甚至全自動標注將是數(shù)據(jù)標注的發(fā)展趨勢[16-17]。隨著人工智能技術的高速發(fā)展，人工智能輔助標注已成為目前標注領域的研究熱點。人工智能算法輔助的標注工具是基于人工智能技術賦能標注工作，對于提高標注效率大有裨益，故針對此類工具的質(zhì)控和評價也需引起重視。輔助標注算法應經(jīng)過確認后交付使用，算法輔助標注的結果亦需要人工審核。YY/T 1833.3-2022標準在附錄中對相關內(nèi)容的評價進行了原則性和功能性分析，為此類標注工具的應用提供了技術指導。

YY/T 1833.3-2022標準針對數(shù)據(jù)標注的說明文檔、質(zhì)量特性、質(zhì)控流程和標注工具等方面不僅提出了具體要求且給出了相應的評價方法。參照YY/T 1833.2-2022標準[18]中對數(shù)據(jù)集質(zhì)量評價的思路，YY/T 1833.3-2022標準對于標注結果的一致性和重復性評價亦以抽樣檢驗的方法開展，通過專家論證、專家比對及定量計算等方式進行評價，為實際開展標注質(zhì)控工作的相關人員提供了明確且全面的操作指導。為了更完整展示人工智能醫(yī)療器械領域數(shù)據(jù)標注工作的實際內(nèi)容，YY/T 1833.3-2022標準在附錄部分提供了典型的數(shù)據(jù)標注示例，包括醫(yī)學影像、心電特征、電子病歷、心肺音等多類型臨床數(shù)據(jù)，附錄中的示例來自于人工智能醫(yī)療器械領域數(shù)據(jù)標注在臨床中的實際應用，從每個標注任務的分類、標注規(guī)則、標注人員、標注工具、標注環(huán)境以及數(shù)據(jù)類型等角度分別歸類匯總，為相關人員今后開展實際質(zhì)控工作提供了重要技術參考。

5 小結

《人工智能醫(yī)療器械 質(zhì)量要求和評價 第3部分：數(shù)據(jù)標注通用要求》從質(zhì)量控制的角度出發(fā)，闡述了人工智能醫(yī)療器械產(chǎn)品在數(shù)據(jù)標注工作中可能產(chǎn)生的質(zhì)量風險，從說明文檔、質(zhì)量特性、質(zhì)控流程及評價方法等方面分別提出了關鍵性的建議和要求，對于人工智能醫(yī)療器械產(chǎn)品的標注工作具有重要指導和規(guī)范作用。該標準作為人工智能醫(yī)療器械標注體系內(nèi)的一項關鍵基礎性標準，必將有助于產(chǎn)品的規(guī)范化設計，為行業(yè)的快速有序發(fā)展提供關鍵技術指導。