史波林，趙 鐳,*，奐 暢，汪厚銀，支瑞聰，蘇玉芳，解 楠，李 志，張璐璐

感官評(píng)價(jià)小組及成員排序能力評(píng)估的一般導(dǎo)則

史波林1，趙 鐳1,*，奐 暢2，汪厚銀1，支瑞聰1，蘇玉芳3，解 楠1，李 志1，張璐璐1

（1.中國(guó)標(biāo)準(zhǔn)化研究院食品與農(nóng)業(yè)標(biāo)準(zhǔn)化研究所，北京 100191；2.上海大學(xué)計(jì)算機(jī)工程與科學(xué)學(xué)院，上海 200444；3.內(nèi)蒙古伊利實(shí)業(yè)集團(tuán)股份有限公司技術(shù)中心，內(nèi)蒙古 呼和浩特 010110)

針對(duì)感官評(píng)價(jià)小組及成員排序能力的評(píng)估，提出重復(fù)性、再現(xiàn)性與一致性的評(píng)估指標(biāo)。分析了排序?qū)嶒?yàn)樣品種類、樣品間差異程度及樣品個(gè)數(shù)對(duì)感官分析儀器性能評(píng)估的重要性。確定了以樣品間的排列秩次作為能力評(píng)估統(tǒng)計(jì)的基礎(chǔ)數(shù)據(jù)形式。排序能力評(píng)估中，對(duì)于無(wú)理論順序樣品，通過(guò)剔除重復(fù)性與再現(xiàn)性異常評(píng)價(jià)員結(jié)果后，采用Friedman檢驗(yàn)結(jié)合最小顯著性差（least significant difference，LSD）確定實(shí)驗(yàn)樣品的最優(yōu)估計(jì)順序。文章重點(diǎn)分析用于雙變量的Spearman秩相關(guān)及用于多變量的Kendall和諧系數(shù)，在評(píng)價(jià)小組及評(píng)價(jià)員的重復(fù)性、再現(xiàn)性與一致性等性能評(píng)估中的具體技術(shù)應(yīng)用方法與理論分析。為感官評(píng)價(jià)小組及成員排序能力評(píng)估提出了良好操作示范，也為不同感官實(shí)驗(yàn)室評(píng)價(jià)小組間比對(duì)提供了理論基礎(chǔ)。既有利于評(píng)價(jià)小組及成員的長(zhǎng)期監(jiān)測(cè)，也有利于感官分析實(shí)驗(yàn)室的良好管理能力。

感官分析；排序法；評(píng)價(jià)小組及評(píng)價(jià)員；能力評(píng)估

感官分析是一門(mén)測(cè)量技術(shù)，其評(píng)價(jià)活動(dòng)可分成有無(wú)差別、差別程度與差別方向這3個(gè)層次，分別對(duì)應(yīng)差別檢驗(yàn)、標(biāo)度與類別、描述性分析這3 類客觀性感官分析測(cè)量方法[1]。測(cè)量中按其精度從低到高可分為定類、定序、定距和定比測(cè)量這4 個(gè)層次，分別對(duì)應(yīng)感官分析中的名義標(biāo)度、順序標(biāo)度、等距標(biāo)度、等比標(biāo)度[2-3]。

排序法屬于標(biāo)度和類別檢驗(yàn)方法，為檢驗(yàn)時(shí)給評(píng)價(jià)員同時(shí)提供3 個(gè)或以上樣品，要求評(píng)價(jià)員將樣品按某種感官特性的強(qiáng)弱或?qū)悠氛w印象的好壞進(jìn)行排列的分類方法[4]?？捎糜诖_定不同原料、加工、處理、包裝和貯藏等條件對(duì)產(chǎn)品一個(gè)或多個(gè)感官指標(biāo)強(qiáng)度水平的影響，或進(jìn)行精細(xì)感官分析（如描述性分析）前的預(yù)篩，也可用于篩選、培訓(xùn)評(píng)價(jià)員。排序法體現(xiàn)為感官分析中的順序標(biāo)度，是典型的定序測(cè)量。排序法是以名義標(biāo)度為代表的差別檢驗(yàn)與以等距或等比標(biāo)度為代表的描述性分析的橋梁。也就是，若評(píng)價(jià)員或評(píng)價(jià)小組對(duì)樣品間差異感覺(jué)不出其強(qiáng)度順序，則他們只適合進(jìn)行差別檢驗(yàn)活動(dòng)；而對(duì)于排序能力好的評(píng)價(jià)小組及成員就有可能通過(guò)進(jìn)一步培訓(xùn)而成為描述性分析小組。因此，排序能力的好壞對(duì)感官評(píng)價(jià)小組的能力提高與發(fā)展起到舉足輕重的作用，其感官評(píng)價(jià)小組及成員排序能力的評(píng)估技術(shù)方法意義非凡。而國(guó)內(nèi)外有關(guān)此方面研究的文獻(xiàn)報(bào)道只出現(xiàn)于2003年，為McEwan等[5]專門(mén)研究了感官排序檢測(cè)的實(shí)驗(yàn)室比對(duì)，是目前唯一系統(tǒng)介紹評(píng)價(jià)小組排序性能比對(duì)的研究；該研究重點(diǎn)形成了這類能力比對(duì)的技術(shù)流程與每個(gè)環(huán)節(jié)的判別標(biāo)準(zhǔn)，但只是排序表現(xiàn)評(píng)估中的能力比對(duì)方面。

對(duì)于優(yōu)秀的評(píng)價(jià)員和評(píng)價(jià)小組來(lái)講，排序同一系列樣品的多次結(jié)果間理應(yīng)具有很好的重復(fù)性、再現(xiàn)性和一致性，有時(shí)甚至隨著能力的提高，其排序結(jié)果逐漸接近實(shí)際理論順序。由此，感官評(píng)價(jià)小組及成員排序能力評(píng)估重點(diǎn)是分析排序檢驗(yàn)結(jié)果的重復(fù)性、再現(xiàn)性與一致性問(wèn)題[6]。重復(fù)性為評(píng)價(jià)小組或評(píng)價(jià)員對(duì)同一系列樣品在不同時(shí)間中多次排序結(jié)果之間的一致程度。再現(xiàn)性為同一評(píng)價(jià)小組內(nèi)部不同評(píng)價(jià)員之間或不同評(píng)價(jià)小組之間對(duì)同一系列樣品排序結(jié)果之間的一致程度。一致性為同一系列樣品，評(píng)價(jià)小組或評(píng)價(jià)員每次排序結(jié)果與理論順序或最優(yōu)估計(jì)順序之間的一致程度。對(duì)于評(píng)價(jià)小組及其成員的感官排序能力評(píng)估，需要借助系列參比樣品、通過(guò)排序?qū)嶒?yàn)設(shè)計(jì)，采用合適的統(tǒng)計(jì)分析方法才能獲得針對(duì)重復(fù)性、再現(xiàn)性和一致性的評(píng)估，這些同樣也構(gòu)成了感官評(píng)價(jià)小組及成員排序能力評(píng)估技術(shù)的理論體系。

1 排序能力評(píng)估技術(shù)中樣品因素的影響分析

感官評(píng)價(jià)是“被試樣品”與“評(píng)價(jià)小組（評(píng)價(jià)員）”博弈的體現(xiàn)，它既可以通過(guò)合格的評(píng)價(jià)小組來(lái)分析樣品感官品質(zhì)，也可以通過(guò)已知的樣品性能來(lái)考察評(píng)價(jià)小組及其成員的能力[7]。被試樣品間的差異性難度把握對(duì)于評(píng)價(jià)員及評(píng)價(jià)小組的表現(xiàn)評(píng)估至關(guān)重要。若樣品難度過(guò)低，所有評(píng)價(jià)小組及成員的每次評(píng)價(jià)結(jié)果一致并正確，但未真正達(dá)到性能考察的作用；若樣品難度過(guò)大，幾乎所有評(píng)價(jià)小組及成員的每次評(píng)價(jià)結(jié)果一致卻不正確，也同樣失去性能評(píng)估的意義。

排序能力面對(duì)的樣品是系列樣品，對(duì)于樣品的選擇需要考慮3 個(gè)問(wèn)題：1）選擇什么種類的樣品用于排序能力的表現(xiàn)評(píng)估；2）系列樣品中兩兩之間的多少差異程度比較合適；3）采用多少個(gè)系列樣品用于評(píng)估測(cè)試效率較高。

對(duì)于第1個(gè)樣品選擇問(wèn)題，也就是對(duì)于樣品種類來(lái)講，在通用實(shí)驗(yàn)室可以采用基本味、嗅、視等樣品；在具體產(chǎn)品的生產(chǎn)公司可采用本公司的實(shí)際產(chǎn)品或相應(yīng)的模擬體系物質(zhì)。

對(duì)于第2個(gè)樣品難度問(wèn)題，每次評(píng)估的結(jié)果都一樣（要么每次都排對(duì)，要么每次都排的很亂），也就沒(méi)有評(píng)估的意義，則對(duì)于各基本感覺(jué)都有個(gè)門(mén)檻值。至少是優(yōu)選評(píng)價(jià)員所用排序樣品的濃度GB/T 16291.1—2012《感官分析選拔、培訓(xùn)與管理評(píng)價(jià)員一般導(dǎo)則第1部分：優(yōu)選評(píng)價(jià)員》[8]，并結(jié)合排序法Spearman系數(shù)臨界值確定的數(shù)學(xué)依據(jù)，來(lái)設(shè)計(jì)樣品濃度難度。結(jié)合評(píng)價(jià)小組成員的實(shí)際敏感度，建議相鄰樣品間的差異在差別閾值的1～1.5 倍之間選擇。

對(duì)于第3個(gè)樣品個(gè)數(shù)問(wèn)題，需要分析對(duì)4、5、6、7 個(gè)樣品分別排序的難度，以及Spearman系數(shù)臨界值確定背后的數(shù)學(xué)依據(jù)，這個(gè)難度的把握類似于理化檢測(cè)中誤差限的確定，誤差限范圍越小難度就越大，反之難度降低。一般建議評(píng)估用樣品數(shù)為5或6 個(gè)。

2 評(píng)估技術(shù)統(tǒng)計(jì)原理及感官數(shù)據(jù)表現(xiàn)形式

排序檢驗(yàn)的結(jié)果是每個(gè)評(píng)價(jià)員對(duì)樣品的排列秩序，其中每個(gè)樣品都有各自的序位，即秩；樣品間差異只代表強(qiáng)度的前后順序，而不能代表差異大小。這類定序數(shù)據(jù)內(nèi)部不可以加減乘除處理，而序列之間數(shù)據(jù)只可以加減處理，但不可以進(jìn)行乘除運(yùn)算，由此可以計(jì)算同一樣品多次排序的秩和[9]。

排序能力評(píng)估就是考察定序數(shù)據(jù)間的一致性，也就是排序結(jié)果之間的離散性或相關(guān)性，即秩相關(guān)或等級(jí)相關(guān)（rank correlation）。它是用雙變量或多變量等級(jí)/排序數(shù)據(jù)作相關(guān)分析，即是一種先將x、y或多變量分別按由小到大的次序編上排序，或者變量本身就是排序資料，然后分析兩變量或多變量排序間是否相關(guān)的一種非參數(shù)相關(guān)分析法[10]。此法適用于以下特征的數(shù)據(jù)：1）不服從正態(tài)分布，因而不宜作一般直線相關(guān)分析；2）總體分布性未知；3）用等級(jí)表示的原始數(shù)據(jù)。

秩相關(guān)程度的大小及性質(zhì)用秩相關(guān)系數(shù)表示，取值為-1～+1。常用的秩相關(guān)分析方法有Spearman秩相關(guān)和Kendall秩相關(guān)。Spearman秩相關(guān)用于兩個(gè)變量的情形，Kendall和諧系數(shù)（Kendall一致性系數(shù)）用于多個(gè)變量的情形。

3 排序檢驗(yàn)樣品最優(yōu)估計(jì)順序確定

在評(píng)價(jià)小組及評(píng)價(jià)員排序能力評(píng)估時(shí)，需要在已知樣品排序前提下，通過(guò)樣品來(lái)考察感官分析“儀器”的好壞。一般自制的模擬樣品，都有已知順序。但在真實(shí)樣品測(cè)試中，往往很難直接知道樣品某屬性或整體感官品質(zhì)的排列，如系列酸奶樣品的酸度、系列煙葉樣品的油分等。它們的最優(yōu)估計(jì)排序需要通過(guò)某評(píng)價(jià)小組或多個(gè)評(píng)價(jià)小組來(lái)確定。當(dāng)進(jìn)行感官分析實(shí)驗(yàn)室間比對(duì)時(shí)，需要多個(gè)評(píng)價(jià)小組來(lái)確定；而對(duì)于特定實(shí)驗(yàn)室評(píng)價(jià)小組及其成員的維護(hù)，就只需該小組來(lái)確定最優(yōu)估計(jì)順序。

3.1 通過(guò)單個(gè)評(píng)價(jià)小組確定最優(yōu)估計(jì)排序

3.1.1 評(píng)價(jià)員異常排序結(jié)果分析與剔除

確定系列樣品的最優(yōu)估計(jì)順序一般需要評(píng)價(jià)小組的多次重復(fù)，對(duì)于每位評(píng)價(jià)員個(gè)體也同樣經(jīng)歷了多次重復(fù)排序?qū)嶒?yàn)。在此基礎(chǔ)上剔除評(píng)價(jià)員個(gè)體自身重復(fù)性比較差的排序結(jié)果，接著剔除評(píng)價(jià)小組單次排序中小組內(nèi)部再現(xiàn)性較差的評(píng)價(jià)員排序結(jié)果，然后就可以根據(jù)剩下的多次重復(fù)排序結(jié)果計(jì)算最優(yōu)估計(jì)排序。

3.1.1.1 重復(fù)性異常評(píng)價(jià)員排序剔除

肯德?tīng)枺↘endall）和諧系數(shù)是分析兩個(gè)以上順序變量之間的相關(guān)性（一致性或等效性）問(wèn)題，即可用于評(píng)價(jià)員的重復(fù)性判別[11]。按照公式（1）計(jì)算Kendall和諧系數(shù)。

式中：rw為Kendall和諧系數(shù)；K表示重復(fù)次數(shù)；n表示被試樣品個(gè)數(shù)；Ri表示K個(gè)評(píng)價(jià)次數(shù)在第i個(gè)樣品上所排秩次之和。

對(duì)于評(píng)價(jià)員個(gè)體，若多次排序結(jié)果間的重復(fù)性良好，也就是每次排序結(jié)果穩(wěn)定、等效，無(wú)某次排序異常現(xiàn)象。若多次排序結(jié)果間的重復(fù)性不好，也就是每次排序結(jié)果無(wú)穩(wěn)定、較離散，必然有一些排序結(jié)果比較偏離整體，也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。通過(guò)舍一法（舍去任意一次排序結(jié)果j），計(jì)算對(duì)應(yīng)剩余排序之間的重復(fù)性r’wj，并與所有重復(fù)排序后的rw進(jìn)行比較。若舍去的排序結(jié)果與整體多次排序比較等效，其剩余排序間的r’wj≤rw；若舍去的排序結(jié)果與整體多次排序間重復(fù)性不好，其剩余排序間的r’wj≥rw。由此，將所有r’wj按照降序排列，然后逐一從r’wj大到小所對(duì)應(yīng)舍去的排序結(jié)果進(jìn)行分析，結(jié)合Kendall和諧系數(shù)的顯著性檢驗(yàn)，考察某次重復(fù)排序結(jié)果與整體多次排序的離散性。

3.1.1.2 再現(xiàn)性異常評(píng)價(jià)員排序剔除

對(duì)于評(píng)價(jià)小組的某次排序?qū)嶒?yàn)，若小組成員中所有評(píng)價(jià)員排序結(jié)果間的再現(xiàn)性良好，也就是評(píng)價(jià)小組排序結(jié)果內(nèi)部對(duì)系列樣品特征排列認(rèn)識(shí)統(tǒng)一、觀點(diǎn)一致，無(wú)某評(píng)價(jià)員排序異?，F(xiàn)象。若評(píng)價(jià)小組內(nèi)部不同評(píng)價(jià)員排序結(jié)果再現(xiàn)性不好，也就是評(píng)價(jià)小組結(jié)果不穩(wěn)定、內(nèi)部成員較離散，必然有一些評(píng)價(jià)員排序結(jié)果比較偏離小組整體，也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。

Friedman檢驗(yàn)?zāi)茏畲笙薅鹊娘@示評(píng)價(jià)小組對(duì)樣品間差異的識(shí)別能力[12]。按照公式（2）計(jì)算Friedman檢驗(yàn)系數(shù)Ftest。

式中：Ri為第i個(gè)樣品上所排秩次之和；p為評(píng)價(jià)員個(gè)數(shù)；n表示被試樣品個(gè)數(shù)。

通過(guò)舍一法（舍去任意一個(gè)評(píng)價(jià)員排序結(jié)果k），計(jì)算對(duì)應(yīng)剩余評(píng)價(jià)員組成的評(píng)價(jià)小組Friedman檢驗(yàn)結(jié)果F’test，并與整體Ftest進(jìn)行比較。若舍去的評(píng)價(jià)員結(jié)果與小組整體排序比較等效，其剩余小組的F’test≤Ftest；若舍去的評(píng)價(jià)員結(jié)果與小組整體等效性不好，其剩余排序間的F’test≥Ftest。由此，將所有F’test按照降序排列，然后逐一從F’test大到小所對(duì)應(yīng)舍去的評(píng)價(jià)員進(jìn)行分析，結(jié)合Ftest的顯著性檢驗(yàn)，考察再現(xiàn)性不佳的評(píng)價(jià)員。

3.1.2 確定評(píng)價(jià)小組對(duì)樣品的排序

將自身重復(fù)性不好的評(píng)價(jià)員排序結(jié)果與小組內(nèi)再現(xiàn)性不好的評(píng)價(jià)員排序結(jié)果一起剔除后，計(jì)算各樣品的秩和，并根據(jù)升序排列，其各樣品秩和大小的前后順序說(shuō)明了評(píng)價(jià)小組對(duì)被試樣品的評(píng)價(jià)排序。通過(guò)Friedman檢驗(yàn)（如無(wú)理論順序）判斷是否有顯著差異樣品，若有顯著差異，則可通過(guò)在選定的風(fēng)險(xiǎn)α下，計(jì)算最小顯著性差（least significant difference，LSD），通過(guò)兩兩樣品的秩和之差，并與LSD值比較，來(lái)確定哪些樣品與其他樣品存在顯著性差異（α=0.05或α=0.01）[13]。按照公式（3）計(jì)算LSD。

式中：z為比較風(fēng)險(xiǎn)；p為評(píng)價(jià)員個(gè)數(shù)；n表示被試樣品個(gè)數(shù)。當(dāng)雙尾正概率α=0.05時(shí)，z值為1.96；α=0.01時(shí)，z值為2.58。

若秩和之差等于或者大于LSD值，則這兩個(gè)樣品之間存在顯著性差異，即排序檢驗(yàn)時(shí)，已區(qū)分出這兩個(gè)樣品之間的差異。反之，若秩和之差小于LSD值，則這兩個(gè)樣品之間不存在顯著性差異，即排序檢驗(yàn)時(shí)，未區(qū)分出這兩個(gè)樣品之間的差異。即結(jié)合LSD值能反映評(píng)價(jià)小組對(duì)哪些樣品間排序無(wú)顯著差異，也就是可以歸成一類，即可排成同一秩次，由此確定評(píng)價(jià)小組多次重復(fù)排序后的系列樣品最優(yōu)估計(jì)順序。

3.2 通過(guò)多個(gè)評(píng)價(jià)小組確定最優(yōu)估計(jì)排序

當(dāng)進(jìn)行不同感官實(shí)驗(yàn)室的評(píng)價(jià)小組能力比對(duì)時(shí)，首選需要確定系列樣品的最優(yōu)估計(jì)順序，在此不以某個(gè)實(shí)驗(yàn)室評(píng)價(jià)小組的排序結(jié)果為參考，而是需要所有評(píng)價(jià)小組共同認(rèn)可的排列順序。首先根據(jù)3.1節(jié)內(nèi)容確定各評(píng)價(jià)小組對(duì)特定系列產(chǎn)品的排序結(jié)果，并代表該小組的一次排序結(jié)果，n 個(gè)評(píng)價(jià)小組就有n 個(gè)排序結(jié)果，然后類似

3.1.1 節(jié)中評(píng)價(jià)員再現(xiàn)性分析方法考察不同評(píng)價(jià)小組間的再現(xiàn)性，并剔除再現(xiàn)性差的評(píng)價(jià)小組結(jié)果，把剩余的評(píng)價(jià)小組結(jié)果根據(jù)3.1.2節(jié)的方式確定由多個(gè)評(píng)價(jià)小組獲得的系列樣品最優(yōu)估計(jì)順序。

4 評(píng)價(jià)員個(gè)體排序能力表現(xiàn)評(píng)估技術(shù)方法

4.1 評(píng)價(jià)員個(gè)體重復(fù)性評(píng)估

4.1.1 評(píng)價(jià)員重復(fù)性能評(píng)估方法

對(duì)于評(píng)價(jià)員首先要考察其重復(fù)性，也就是測(cè)量的精密性或穩(wěn)定性，不然其結(jié)果就不可信。重復(fù)性為同一評(píng)價(jià)員對(duì)同一組被試樣品在不同時(shí)間多次排序重復(fù)結(jié)果間的等效性，可通過(guò)分析Kendall（肯德?tīng)枺┖椭C系數(shù)（rw）的顯著性而獲得。按照公式（4）計(jì)算rw卡方檢驗(yàn)值。

式中：χ2為卡方檢驗(yàn)值；K表示重復(fù)次數(shù)；n表示被試樣品個(gè)數(shù)；df為自由度。

通過(guò)風(fēng)險(xiǎn)水平α與自由度確定卡方檢驗(yàn)臨界值，若大于臨界值，則表示多次排序結(jié)果具有等效性。

4.1.2 評(píng)價(jià)員重復(fù)性動(dòng)態(tài)監(jiān)控方法

若多次排序結(jié)果間的重復(fù)性良好，也就是每次排序結(jié)果穩(wěn)定、等效，無(wú)某次排序異?，F(xiàn)象。若多次排序結(jié)果間的重復(fù)性不好，也就是每次排序結(jié)果無(wú)穩(wěn)定、較離散，必然有一些排序結(jié)果比較偏離整體，也就有異常排序結(jié)果的現(xiàn)象出現(xiàn)。假設(shè)每周固定一天做1 輪含5 次重復(fù)的排序評(píng)估實(shí)驗(yàn)，連續(xù)12 周（3 個(gè)月），共計(jì)12 輪60 次排序結(jié)果。就可以得出周重復(fù)、月重復(fù)、季重復(fù)這3 個(gè)系列rw值。而rw的顯著性檢驗(yàn)統(tǒng)計(jì)量只能從整體上評(píng)估評(píng)價(jià)員的重復(fù)性能，體現(xiàn)某個(gè)時(shí)間段后的唯一性能值；但不能直觀看到評(píng)價(jià)員每次排序效果，及多次排序之間的動(dòng)態(tài)監(jiān)測(cè)情況。

根據(jù)前面的假設(shè)，同時(shí)可以計(jì)算評(píng)價(jià)員每次排序結(jié)果與最優(yōu)估計(jì)順序（或已知的理論順序）的Spearman秩相關(guān)系數(shù)rs值，則可動(dòng)態(tài)的、直觀的觀察評(píng)價(jià)員每次排序結(jié)果與最優(yōu)估計(jì)順序（或已知的理論順序）的接近程度，也在一定程度上說(shuō)明了評(píng)價(jià)員的重復(fù)性。按照公式（5）計(jì)算rs[14]。

式中：di為樣品i某次重復(fù)秩次與理論秩次的差；n表示被試樣品個(gè)數(shù)。

在評(píng)價(jià)員多次排序中，rs相等的排列順序不一定完全重復(fù)。比如在系列樣品（正確順序?yàn)锳、B、C、D、E）的某兩次排序中，第一次將最前面2 個(gè)樣品順序顛倒了（B、A、C、D、E），而第二次將最后2 個(gè)樣品顛倒了（A、B、C、E、D）。因此，在動(dòng)態(tài)監(jiān)測(cè)評(píng)價(jià)員排序重復(fù)性時(shí)，需要同時(shí)參考rw與rs值。并且對(duì)于感官評(píng)價(jià)結(jié)果來(lái)講，是以評(píng)價(jià)小組結(jié)果為依據(jù)，而非具體某個(gè)評(píng)價(jià)員的排序結(jié)果。這是因?yàn)樵u(píng)價(jià)員個(gè)體本身存在內(nèi)在差異性，也是在一定程度允許rs一致但不完全重復(fù)的現(xiàn)象存在。通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)多次排序的rs一致而Spearman檢驗(yàn)顯著但排列順序不同的重復(fù)性rw檢驗(yàn)也顯著。

4.2 評(píng)價(jià)員個(gè)體一致性評(píng)估

這里的一致性體現(xiàn)為評(píng)價(jià)員每次排序結(jié)果與最優(yōu)估計(jì)順序（或已知的理論順序）的吻合度。則可以通過(guò)計(jì)算每次排序結(jié)果與最優(yōu)估計(jì)順序（或已知的理論順序）的Spearman秩相關(guān)系數(shù)rs值來(lái)體現(xiàn)。

4.3 評(píng)價(jià)員個(gè)體再現(xiàn)性評(píng)估

評(píng)價(jià)員個(gè)體的再現(xiàn)性主要體現(xiàn)在同一評(píng)價(jià)小組內(nèi)不同評(píng)價(jià)員排序結(jié)果之間的相關(guān)性、統(tǒng)一性，其實(shí)也由此體現(xiàn)評(píng)價(jià)小組的內(nèi)部穩(wěn)定性，具體參考3.1.1節(jié)中的再現(xiàn)性異常評(píng)價(jià)員分析方法。而從另一個(gè)角度分析，其實(shí)評(píng)價(jià)員的再現(xiàn)性體現(xiàn)了評(píng)價(jià)員自身與評(píng)價(jià)小組結(jié)果之間的吻合性，其實(shí)在一定程度上是與評(píng)價(jià)小組結(jié)果一致性的體現(xiàn)。

5 評(píng)價(jià)小組排序能力表現(xiàn)評(píng)估技術(shù)方法

5.1 評(píng)價(jià)小組排序結(jié)果表征方式

計(jì)算整體評(píng)價(jià)小組對(duì)各樣品的秩和，并根據(jù)升序排列，其各樣品秩和的前后順序說(shuō)明了評(píng)價(jià)小組對(duì)被試樣品的評(píng)價(jià)排序。通過(guò)Friedman檢驗(yàn)（如無(wú)理論順序）或Page檢驗(yàn)（若有理論順序）判斷是否有顯著差異樣品，則可通過(guò)在選定的風(fēng)險(xiǎn)α下，計(jì)算LSD來(lái)確定哪些產(chǎn)品與其他產(chǎn)品存在無(wú)顯著性差異（α=0.05或α=0.01），也就是可以歸成一類，即可排成同一秩次，由此確定評(píng)價(jià)小組所獲得的系列樣品排序結(jié)果。按照公式（6）計(jì)算Page檢驗(yàn)系數(shù)L[15]。

式中：R1是已知樣品順序中排序?yàn)榈谝坏臉悠返闹群?，依次類推，Rn就是排序?yàn)樽詈蟮臉悠返闹群?；n表示被試樣品個(gè)數(shù)。

5.2 評(píng)價(jià)小組重復(fù)性評(píng)估

同4.1節(jié)中的評(píng)價(jià)員排序重復(fù)性方法，其中評(píng)價(jià)小組某次排序結(jié)果等同于評(píng)價(jià)員某次評(píng)價(jià)排序，并通過(guò)Kendall（肯德?tīng)枺┖椭C系數(shù)（rw）的顯著性檢驗(yàn)確定重復(fù)性。也同樣通過(guò)rw與Spearman秩相關(guān)系數(shù)rs相結(jié)合的方式動(dòng)態(tài)監(jiān)測(cè)評(píng)價(jià)小組每次排序結(jié)果的重復(fù)效果。

5.3 評(píng)價(jià)小組一致性評(píng)估

同4.2節(jié)評(píng)價(jià)員一致性分析方法，只是將評(píng)價(jià)小組某次排序結(jié)果等同于評(píng)價(jià)員某次評(píng)價(jià)排序來(lái)處理。

5.4 評(píng)價(jià)小組再現(xiàn)性評(píng)估

對(duì)于具體某一評(píng)價(jià)小組再現(xiàn)性的好壞來(lái)評(píng)估該評(píng)價(jià)小組性能的作用不是很大。評(píng)價(jià)小組再現(xiàn)性主要應(yīng)用于感官分析實(shí)驗(yàn)室間不同評(píng)價(jià)小組的能力比對(duì)中，特別是比對(duì)所用系列樣品沒(méi)有理論順序時(shí)，通過(guò)小組間的再現(xiàn)性剔除異常評(píng)價(jià)小組結(jié)果后獲得最優(yōu)估計(jì)順序。

6 結(jié) 語(yǔ)

在感官評(píng)價(jià)中，被測(cè)樣品與測(cè)量?jī)x器“評(píng)價(jià)小組及成員”是一把雙刃劍，也是任何測(cè)量的博弈對(duì)立面。既需要通過(guò)已知樣品考察評(píng)價(jià)小組及其成員的性能，也可以通過(guò)性能合格“儀器”來(lái)檢測(cè)被試樣品。而被測(cè)樣品難度過(guò)高或過(guò)低都不能很好監(jiān)控“儀器”性能的細(xì)微變化，尋找適合感官評(píng)價(jià)小組表現(xiàn)評(píng)估的系列樣品至關(guān)重要。同時(shí)類似于理化檢測(cè)儀器性能評(píng)估，也需要對(duì)感官分析儀器評(píng)估指標(biāo)提出具體的量值化閾值（標(biāo)準(zhǔn)值）及相應(yīng)的允許誤差。對(duì)于特定感官分析實(shí)驗(yàn)室，可以通過(guò)長(zhǎng)期監(jiān)控確定一項(xiàng)適合自己實(shí)驗(yàn)室的閾值與允差。對(duì)于實(shí)驗(yàn)室比對(duì)來(lái)講，也需要一定實(shí)驗(yàn)周期與一定數(shù)量感官分析實(shí)驗(yàn)室評(píng)價(jià)小組的表現(xiàn)評(píng)估數(shù)據(jù)積累，獲得能代表現(xiàn)階段國(guó)內(nèi)評(píng)價(jià)小組整體水平的表現(xiàn)評(píng)估閾值與允差。

[1] 趙鐳, 劉文. 感官分析技術(shù)應(yīng)用指南[M]. 北京: 中國(guó)輕工業(yè)出版社, 2011.

[2] 張水華, 徐樹(shù)來(lái), 王永華. 食品感官分析與實(shí)驗(yàn)[M]. 北京: 化學(xué)工業(yè)出版社, 2006.

[3] 游正林. 社會(huì)統(tǒng)計(jì)學(xué)[M]. 北京: 社會(huì)科學(xué)文獻(xiàn)出版社, 2010.

[4] 中國(guó)標(biāo)準(zhǔn)化研究院, 北京工商大學(xué), 中國(guó)人民解放軍總后勤部軍需裝備研究所, 等. GB/T 12315—2008 感官分析方法學(xué)排序法[S]. 北京: 中國(guó)標(biāo)準(zhǔn)出版社, 2008.

[5] MCEWAN J A, HEINIO R L, HUNTER E A, et al. Profi ciency testing for sensory ranking panels: measuring panel performance[J]. Food Quality and Preference, 2003, 14: 247-256.

[6] BI J, KUESTEN C. Intraclass Correlation Coefficient (ICC): a framework for monitoring and assessing performance of trained sensory panels and panelists[J]. Journal of Sensory Studies, 2012, 27: 352-364.

[7] 趙鐳, 劉文, 牛麗影, 等. 食品感官科學(xué)技術(shù): 發(fā)展的機(jī)遇和挑戰(zhàn)[J].中國(guó)食品學(xué)報(bào), 2009, 9(6): 138-143.

[8] 中國(guó)農(nóng)業(yè)科學(xué)院質(zhì)量標(biāo)準(zhǔn)與檢測(cè)技術(shù)研究所, 農(nóng)業(yè)部蔬菜水果質(zhì)量監(jiān)督檢驗(yàn)測(cè)試中心(廣州). GB/T 16291.1—2012 感官分析選拔、培訓(xùn)與管理評(píng)價(jià)員一般導(dǎo)則第1部分: 優(yōu)選評(píng)價(jià)員[S]. 北京: 中國(guó)標(biāo)準(zhǔn)出版社, 2012.

[9] STONE H, SIDEL J L. 感官評(píng)定實(shí)踐[M]. 北京: 化學(xué)工業(yè)出版社, 2007.

[10] 邵志芳. 心理統(tǒng)計(jì)學(xué)[M]. 北京: 中國(guó)輕工業(yè)出版社, 2012.

[11] 甘怡群, 張軼文, 鄒玲. 心理與行為科學(xué)統(tǒng)計(jì)[M]. 北京: 北京大學(xué)出版社, 2009.

[12] International Organization for Standardization. ISO/DIS 8587—2006 Sensory Analysis-Methodology-Ranking[S]. United States: Information Handling Services, 2006.

[13] 生慶海, 張愛(ài)霞, 馬蕊. 乳與乳制品感官品評(píng)[M]. 北京: 中國(guó)輕工業(yè)出版社, 2009.

[14] LAWLESS H T, HEYMANN H. 食品感官評(píng)價(jià)原理與技術(shù)[M]. 北京: 中國(guó)輕工業(yè)出版社, 2001.

[15] 王靜龍. 非參數(shù)統(tǒng)計(jì)分析[M]. 北京: 高等教育出版社, 2012.

General Guidance for Performance Evaluation of Sensory Ranking Panels and Panelists

SHI Bo-lin1, ZHAO Lei1,*, HUAN Chang2, WANG Hou-yin1, ZHI Rui-cong1, SU Yu-fang3, XIE Nan1, LI Zhi1, ZHANG Lu-lu1
(1. Food and Agriculture Standardization Institute, China National Institute of Standardization, Beijing 100191, China; 2. School of Computer Engineering and Science, Shanghai University, Shanghai 200444, China; 3. Technology Center, Inner Mongolia YiLi Industrial Group Co. Ltd., Hohhot 010110, China)

Repeatability, reproducibility and consistency are considered as the indexes for the ranking capability of panels and panelists for sensory evaluation. The type, difference and number of samples are very important in ranking performance measurement. Rank is identified as the basic data style to evaluate the ranking capability. If the order of samples is unknown, the optimal evaluation order should be firstly confirmed by the methods combining Friedman test and least significant difference (LSD) after unsuitable panelists who have less repeatability and reproducibility are rejected. This paper was focused on the application approach of the two-variable Spearman rank correlation and Kendall coefficient of concordance for multiple variables in evaluating the repeatability, reproducibility, consistency of panels and panelists. Meanwhile, a good manufacturing practice to evaluate the ranking capability of panels and panelists has been established, which will provide a theoretical foundation for proficiency testing of sensory ranking panels from different laboratories. It is not only helpful for monitoring the performance of panels and panelists, but also for improving management capacity of sensory evaluation laboratories.

sensory analysis; ranking; panels and panelists; performance evaluation

TS207.3

A

1002-6630（2014）17-0346-05

10.7506/spkx1002-6630-201417064

2014-04-03

中國(guó)標(biāo)準(zhǔn)化研究院院長(zhǎng)基金項(xiàng)目（562013Y-3079）；質(zhì)檢公益性行業(yè)科研專項(xiàng)（201410006）

史波林（1981—），男，副研究員，博士，研究方向?yàn)槭称犯泄僭u(píng)價(jià)與智能感官分析。E-mail：shibl@cnis.gov.cn

*通信作者：趙鐳（1968—），女，副研究員，博士，研究方向?yàn)槭称犯泄俜治鰳?biāo)準(zhǔn)化。E-mail：zhaolei@cnis.gov.cn