石穎

〔摘要〕算法歧視是新興技術風險的典型代表，主要是由于算法內(nèi)部演算和數(shù)據(jù)分析所導致的對特定群體或個人的不公正對待。算法歧視是一種不合理的區(qū)別對待，是智能機器自動化決策的產(chǎn)物，以“隱蔽性”和“不可逆性”為表征。相較于一般歧視來說，算法歧視所帶來的是一種更深層次的歧視和不平等，并引發(fā)了倫理問題。算法歧視是人類社會歧視在算法領域的轉化，體現(xiàn)為歸納式的算法思維邏輯、算法黑箱與非中立性等算法技術設計所導致的算法歧視，更體現(xiàn)為算法運行中的決策性歧視，即由于“冗余編碼”和“信息繭房”等數(shù)據(jù)動態(tài)交互所產(chǎn)生的算法歧視，以及因數(shù)據(jù)評估的導向性而引發(fā)的算法歧視。對此，應通過倫理審計與公平性約束、數(shù)據(jù)信息的區(qū)別保護與算法解釋，以及建立算法的監(jiān)管制度來實現(xiàn)對算法歧視的法律規(guī)制，同時還要在特定重大領域慎用算法決策系統(tǒng)，以此來塑造算法時代的法律秩序，確保數(shù)字社會中人類的安全和發(fā)展。

〔關鍵詞〕算法歧視，數(shù)據(jù)信息，算法黑箱，冗余編碼，算法解釋

〔中圖分類號〕D90-052 〔文獻標識碼〕A 〔文章編號〕1004-4175（2022）03-0122-07

〔收稿日期〕2022-03-31

〔作者簡介〕石 穎（1994- ），女，陜西西安人，西北政法大學法治學院2019級博士生、中共陜西省委黨校（陜西行政學院）法學與社會治理教研部講師，主要研究方向為法學理論。

隨著數(shù)字技術的快速發(fā)展，人們已經(jīng)能夠利用算法來幫助處理社會生活各領域的復雜問題，如利用算法決策系統(tǒng)作出信用評價、用人管理、政府治理、產(chǎn)品定價等。這極大地提高了決策效率，給人們生活帶來了諸多便利。但與此同時，我們還發(fā)現(xiàn)，算法對人們生活領域的滲透還帶來了新的問題，如在不同的手機端預定機票、酒店或打車時會得到不同的報價;亞馬遜公司使用的簡歷分析系統(tǒng)，自動將女性求職者的排名置于男性之后……這表明，歧視已經(jīng)隨著時代發(fā)展而呈現(xiàn)出新的表現(xiàn)形式。算法與大數(shù)據(jù)的應用不僅無法解決公正和平等問題，反而讓本應是“呈現(xiàn)觀念”的算法場景產(chǎn)生了“創(chuàng)造觀念”的歧視效果，進一步加重了不公正和不平等，并引發(fā)新的倫理問題。數(shù)字科技帶給人們的這些最直觀的挑戰(zhàn)和問題，勢必需要法律作出回應。因此，本文關注的問題是，算法歧視的發(fā)生邏輯是什么？以及如何對算法歧視進行法律規(guī)制？既有理論研究，大多關注的是算法的宏觀規(guī)制問題，所提出的規(guī)制對策并非專門針對算法歧視，因此缺少針對性。而少部分專門針對算法歧視的研究尚不夠系統(tǒng)深入，有待于從“人”的層面、“技術”層面以及“運行”層面對其發(fā)生邏輯和法律規(guī)制進行深入剖析。對此，本文將從“先行存在的歧視”“技術本身的歧視”和“算法運行中的決策性歧視”這三個方面來系統(tǒng)論證算法歧視的發(fā)生邏輯，并提出與之相對應的法律規(guī)制措施，以期重塑數(shù)字社會的公正與平等，推動算法技術的良性發(fā)展。

一、算法歧視的核心要義

歧視在人類思維意識中從未缺席過，并且會隨著時代變遷而不斷演化出新的歧視類型。算法歧視即是隨著人工智能、大數(shù)據(jù)、算法等新興技術的發(fā)展和應用而產(chǎn)生的新的社會歧視類型。數(shù)字社會與人類社會實際上是一種鏡像關系，即人類社會無法避免的歧視問題，在數(shù)字社會也同樣無法避免，甚至在數(shù)字空間中愈演愈烈。算法歧視對人類社會制度與經(jīng)濟、政治、文化發(fā)展的影響越來越深遠，不僅限于傳統(tǒng)的種族、性別等因素，而且還投射到數(shù)字社會中人類的日常生活和社會事務當中〔1〕。對算法歧視的發(fā)生邏輯與法律規(guī)制的研究，首先是要明晰算法歧視的核心要義。具體而言，算法歧視的核心要義體現(xiàn)在以下幾個方面：

（一）算法歧視是一種不合理的區(qū)別對待

如果將歧視比作風險和災難，那么算法技術的發(fā)展讓歧視這一風險也隨之獲得了新的載體和表現(xiàn)形式，呈現(xiàn)出歧視風險的高科技性，這種高科技性可能會讓更多、更普遍的人遭受歧視。歧視是“一切對公民群體或個人所實施的，其目的或效果在于不合理的區(qū)分、限制、排斥、優(yōu)待或侵害人尊嚴的行為或制度安排”〔2〕。簡言之，歧視是一種不合理的區(qū)別對待。算法歧視雖然是一種新型的歧視類型，但它并沒有創(chuàng)造歧視本身，也沒有改變歧視的本質，而只是改變了歧視的產(chǎn)生方式和存在方式，使得歧視有了更廣闊的外延，是歧視在數(shù)字社會中的一種特殊表現(xiàn)形式。因此，算法歧視也具有歧視的一般性要義，同樣是一種不合理的區(qū)別對待。

（二）算法歧視是智能機器自動化決策的產(chǎn)物

算法的建構與運行極具復雜性。算法是在計算機程序中由包含百萬級的數(shù)據(jù)點與代碼建立起來的決策模型，是通過對海量數(shù)據(jù)進行排序、分類并予以標簽化，繼而建立若干數(shù)據(jù)集才得以運行的。它會不斷地在動態(tài)數(shù)據(jù)的統(tǒng)計學習中作出決策選擇，具有“輸出預測”的功能。算法歧視正是由于算法內(nèi)部演算和數(shù)據(jù)分析所導致的對特定群體或個人的不公正對待。人們在算法技術的開發(fā)與應用中，難免會將人類社會固有的偏見與歧視通過數(shù)據(jù)傳遞到同構屬性的算法上，當在數(shù)據(jù)分析中按照不合理的類別化區(qū)分標準進行內(nèi)部演算，繼而對不同的人作出系統(tǒng)性的、可重復的不平等對待時，就會形成算法歧視。也即，算法歧視主要是嵌入了人類的認知與價值觀后，由智能機器自動化決策后的產(chǎn)物，是一種自動化歧視（Automated Discrimination）〔3〕。

（三）算法歧視以“隱蔽性”和“不可逆性”為表征

雖然算法歧視歸屬于歧視，但又不完全等同于一般意義上的歧視，具有著“隱蔽性”與“不可逆性”，會產(chǎn)生更為嚴重、更為普遍的歧視性后果。（1）隱蔽性。算法的運行過程是一個深度學習的過程，會在掌握數(shù)據(jù)屬性、人類偏好等的基礎上作出算法預測。在這一過程中，一方面，由于高度的專業(yè)性使得算法設計人員與普通用戶之間形成巨大的“數(shù)字鴻溝”。普通用戶根本無法從專業(yè)的程序代碼層面理解算法決策的過程、依據(jù)以及決策結構。另一方面，算法黑箱也使得算法決策過程處于不公開不透明的狀態(tài)，普通用戶往往只能得到最終的決策結果，并被動地接受結果，而無法發(fā)現(xiàn)算法歧視。（2）不可逆性。算法歧視的不可逆性，體現(xiàn)在算法決策的過程與結果的雙重不可逆性上。整個算法運行程序其實就是從“輸入”到“輸出”的過程。當自動化決策的算法“輸出”歧視性結果或產(chǎn)生歧視性的危害后果時，是根本無法逆轉的。而這一歧視性結果的輸出還將會進一步分別反饋給算法的內(nèi)部循環(huán)系統(tǒng)與外部流通系統(tǒng)，造成進一步的歧視循環(huán)與流通。

二、算法歧視的發(fā)生邏輯

算法歧視作為算法技術的衍生品，使得算法的預測功能發(fā)生偏離，損害了人們平等和非歧視的基本權利。根據(jù)算法歧視的核心要義和呈現(xiàn)形式可以發(fā)現(xiàn)，算法歧視有“先行存在的歧視——人類社會歧視的算法轉化”“技術本身的歧視——算法設計所導致的歧視”和“決策性歧視——算法運行所產(chǎn)生的歧視”三種發(fā)生邏輯。

（一）先行存在的歧視——人類社會歧視的算法轉化

歧視在人類社會中是普遍存在并不斷發(fā)展的，算法決策又是對人類決策的深度學習，因此，算法歧視在很大程度上源于對人類社會歧視的算法轉化，是在對現(xiàn)有文化中存在的歧視進行歸納或“同構”后，形成的數(shù)字社會中的文化禁錮或社會禁錮。種族歧視、性別歧視等傳統(tǒng)的社會歧視類型，就隨著算法技術的廣泛應用而進一步轉化為算法歧視。如2015年Google Photos就曾被曝出將黑人程序員Jacky Alcine標記為“大猩猩”，此即是算法根據(jù)人類社會現(xiàn)實中存在的歧視所進行的學習、演化與展示的典型樣本之一。數(shù)據(jù)源于社會現(xiàn)實，社會現(xiàn)實本就是存在群體差異的，因此，基于歷史和現(xiàn)實的事實數(shù)據(jù)生成的算法模型，必然會反映出群體差異，并進一步形成歧視。算法歧視反映的正是一種社會權力關系中深層次的不平等。算法技術根本無法避免歧視的發(fā)生，反而是將社會歧視進行了算法轉化，并進一步加重了歧視，尤其是使間接歧視在算法技術的作用下獲得了新的發(fā)展契機，以更加隱蔽或是合法化的方式而存在著。如銀行通過大數(shù)據(jù)挖掘出與種族相關的屬性特征，并單純依據(jù)這些屬性特征來作出信貸時的征信評估，從而對并無征信問題的黑人等有色人種施加歧視性待遇。

（二）技術本身的歧視——算法設計所導致的歧視

1.歸納式的算法思維邏輯導致算法歧視

算法作為人類思維的外化物，在學習方法的本質上是類似于人的，即算法運用的也是一種在特定條件、特定范圍下的因果推論，是通過歸納法（即在既有知識的基礎上總結經(jīng)驗、得出結論）建立并運行起來，繼而發(fā)揮相應的預測功能的（即從經(jīng)驗和結論出發(fā)而對更多現(xiàn)象予以分析、進行預測）。“人性中自然而正常的本能使他們易于做出泛化、概念和分類，這些都是對經(jīng)驗世界的過度簡化?！薄?〕30這種類型化的、歸納式的人類認知，極易產(chǎn)生對某群體或事物的刻板印象，繼而形成歧視。

經(jīng)過人的訓練和改進，算法實際亦遵循著該種思維邏輯和運行機理，通過對海量數(shù)據(jù)的整合、排序、分類、訓練，將問題分解為同類子問題，建立若干數(shù)據(jù)集，予以標簽化，再利用機器自身的深度學習能力，實現(xiàn)對新數(shù)據(jù)的歸類與“預測”。因此，當含有歧視性的標簽被設置出來，或是算法自動將某標簽關聯(lián)至歧視性的結果時，都會導致算法對該標簽項下的群體作出系統(tǒng)性的歧視。簡而言之，算法的底層邏輯是從現(xiàn)有的樣例特征中提取、歸納、總結出可普遍適用的規(guī)則來指導實踐〔5〕360。但這種概率性的預測并不完全是準確的，很容易因不完全歸納而導致歧視。如在就業(yè)招聘中，算法平臺對應聘者所進行的學歷、種族、年齡、戶籍等的信息篩選與統(tǒng)計區(qū)分，便是一種根據(jù)群體特征而對個體進行的歸類與預測，這樣的招聘方式雖然是在信息不對稱狀態(tài)下進行的理性篩選，但其僅根據(jù)概率性的群體身份特征來判斷個體能力的做法極易引起就業(yè)歧視。

2.算法黑箱與算法的非中立性引發(fā)算法歧視

整體來看，人們并不能充分了解算法內(nèi)部的決策規(guī)則，數(shù)據(jù)和編程的內(nèi)幕也無法做到公開透明，有關算法的運行機制、決策原則和決策依據(jù)也只有相關的程序設計人員才知曉，由此形成的“算法黑箱”便成為算法技術最大的不可控因素。算法在“GIGO定律（Garbage In，Garbage Out）”，即“偏見進，則偏見出（Bias In，Bias Out）”的作用下發(fā)生異化，產(chǎn)生算法歧視。并且這種非法目的與歧視性結果還得以掩蓋在算法技術的合法外衣下而持續(xù)存在。

人們普遍認為，通過自然科學模式推算出來的機器算法決策是處于技術中立的，不存在價值判斷，不需要面對諸如“電車困境”〔6〕等人類現(xiàn)實社會中的倫理難題，因此能夠作出既符合效益又切合情理的判斷與決策，可以無條件信任算法。但實際上，算法有著與人類社會同構的特質，它并非是完全中立的，算法決策也并非完全可靠。這是因為：（1）數(shù)據(jù)的偏差性會導致算法歧視。算法決策是在數(shù)據(jù)分析的基礎上建立起來的，因此，若數(shù)據(jù)存在錯誤，或數(shù)據(jù)本身即具有歧視性，又或是數(shù)據(jù)參數(shù)或屬性不夠全面，就會使算法模型產(chǎn)生對特定群體的特定預測，從而造成不合理的區(qū)別對待，形成歧視性的算法結果。（2）算法設計人員的有限理性會產(chǎn)生算法歧視。不論是算法的總體設計目的、數(shù)據(jù)運用，還是最后的結果呈現(xiàn)，其實都在以價值判斷的形式體現(xiàn)著算法設計人員的認知層級與認知水準。作為一種理性主義的產(chǎn)物，算法通過建構結構化的知識體系，盡最大可能地避免不確定性，實現(xiàn)對未來的預測。但正如法律會由于立法者的有限理性而產(chǎn)生立法空白、漏洞一樣，算法雖然能夠在一定程度上掌控現(xiàn)實世界的變量，但也難免會由于算法設計人員的有限理性或認知盲區(qū)而產(chǎn)生算法歧視等問題。也就是說，算法這種理性其實和法律一樣，是屬于有限的理性，不能對其加以神化。（3）算法設計人員的歧視性價值滲透形成算法歧視。算法的編輯和數(shù)據(jù)的收集、訓練都是在人的操作下進行的，因此難免會攜帶設計人員的某種“偏見”。而實際上，算法技術的研發(fā)和應用需要大量的包括資金和人力等的資本投入，在這樣的境況下，少數(shù)的網(wǎng)絡服務提供者或運營商以及算法技術開發(fā)企業(yè)會逐步形成壟斷，擁有影響、左右甚至規(guī)訓人們選擇的能力。繼而可以將某些具有利益傾向或其他歧視性傾向的價值觀念通過技術中立的外衣而滲透進算法中，賦予算法進行區(qū)別對待與區(qū)別影響的權力。

（三）決策性歧視——算法運行所產(chǎn)生的歧視

算法是一種基于統(tǒng)計學而建立起的具有描述性、學習性、動態(tài)性的隨機性控制。在算法的實際運行交互中，會因為在不同的數(shù)據(jù)條件或運行環(huán)境下發(fā)生變動，產(chǎn)生不同的決策結果。算法歧視其實也是算法運行中的策略選擇，它雖然生成了歧視性結果，但也符合一定的技術秩序，是在算法運行環(huán)境中所產(chǎn)生的“決策性歧視”。它包括但不限于在數(shù)據(jù)動態(tài)交互中，由于“冗余編碼”和“信息繭房”而產(chǎn)生的算法歧視，以及因數(shù)據(jù)評估的導向性而引發(fā)的算法歧視。

1.數(shù)據(jù)動態(tài)交互中產(chǎn)生的算法歧視

第一，“冗余編碼”導致的算法歧視。數(shù)字社會中，公民的姓名、性別、民族、種族、住址等涉及隱私的個人信息已經(jīng)越過國家機關而被商業(yè)算法平臺收集、存儲，并進行開發(fā)與應用。算法按照設定的標準，通過利用公民的數(shù)據(jù)信息來重新分配公民身份，識別公民的社會關系。算法決策之所以會產(chǎn)生歧視，一個重要原因即在于算法運行中的“冗余編碼”，就是將本應受到保護的敏感性數(shù)據(jù)，與其他可合法獲得的數(shù)據(jù)進行編碼與關聯(lián)性應用〔7〕。如用人單位拒絕錄用通勤時間過長的員工，原因是其認為通勤時間過長會增大員工每日上班成本，并消耗員工每日工作精力，然而這對于居住在遠郊的較低收入群體來說構成了歧視。在此，住址與通勤時間等數(shù)據(jù)信息都是用人單位合法收集獲取的，但當這些合法獲取的數(shù)據(jù)信息與特定群體的行為建立起某種屬性的關聯(lián)時，便會對該群體帶來意料之外的歧視性決策結果。

我們可以對此作出更深入的解讀。實際上，在算法運行中所產(chǎn)生的對某類特定群體的區(qū)別對待，其實并非完全是依據(jù)人類所認為的區(qū)分屬性或特征（如籍貫、性別等）來作出區(qū)別對待或決策的，而只是在算法運行時挖掘出了數(shù)據(jù)中的標志性特征，并進行匹配性判斷，從而對某類特定群體進行區(qū)別對待或決策。如浙江省溫州市是皮革業(yè)的聚集地，算法即認定一名溫州人應該有從事皮革行業(yè)人士的待遇，從而在與該人的戶籍進行關聯(lián)的基礎上，進一步發(fā)掘了該人從事皮革業(yè)的特征。此外，美國曾在司法領域引入風險評估系統(tǒng)COMPAS和PSA來預測罪犯的再犯概率，并作為法官輔助量刑的依據(jù)，然而，2016年根據(jù)一家總部設在美國紐約市曼哈頓區(qū)的非盈利性的、主要為公眾利益進行調(diào)查報道的新聞編輯部ProPublica的調(diào)查顯示，COMPAS系統(tǒng)在對罪犯進行再犯評估時，被標注為高概率會再犯的群體（但實際未再犯）中，黑人比例高達45%，而白人比例只有23%，也即COMPAS系統(tǒng)對黑人所做的再犯評估率是白人的兩倍，增加了黑人被處以嚴厲刑罰的可能性〔8〕。這些原本基于事實數(shù)據(jù)訓練出來的結果卻使黑人遭受了不合理的區(qū)別對待。事實上，算法并非明確知悉罪犯種族，而是通過訓練數(shù)據(jù)集的其他屬性數(shù)據(jù)（如居住地、職業(yè)等）推測并提取出了種族的特征值。而且考慮到現(xiàn)實中黑人的再犯罪率確實會更高的情況，算法在分析具有黑人屬性特征的罪犯時，也難免會將其納入“高概率再犯”的范疇，將黑人屬性的特征值與“再犯概率”進行了關聯(lián)，從而產(chǎn)生算法歧視。

第二，“信息繭房”導致的算法歧視?！靶畔⒗O房”是凱斯·桑斯坦首先提出的，主要是指人們關注的信息領域會習慣性地被自己的興趣所引導，從而將自己的生活桎梏于像蠶繭一般的“繭房”中的現(xiàn)象〔9〕7-8。運用數(shù)據(jù)交互所實現(xiàn)的算法個性化推薦，原本是為了給不同用戶提供個性化和差異化服務，以獲得更好、更符合需要的用戶體驗。如在瀏覽器、客戶端等終端上，算法在掌握用戶使用習慣的基礎上，分析和解讀其喜好，并為其推送相關信息，指引用戶選擇。然而在這樣的商業(yè)營銷下，“信息繭房”編織的速度變得越來越快，人們也被不自覺地困在繭房之中，從而在獲取信息時被算法所引導和左右。如2016年“魏則西事件”，由于搜索平臺的競價排名而導致魏則西誤信了算法所推薦的醫(yī)療機構，最終貽誤了病情，釀成悲劇。

在現(xiàn)代法治理念中，基于個人或群體的固定特征，如種族、性別、膚色、宗教信仰等作出區(qū)別性對待的公共決策與私人決策都會有歧視的嫌疑。而在算法中，算法決策反倒可以規(guī)避反歧視的約束，肆意對基于個人或群體的固定特征進行自動化的分類。那種通過干預算法所實現(xiàn)的個性化推薦實際上是賦予了算法決策系統(tǒng)區(qū)別對待的權力，而這種區(qū)別對待在算法運行中，形成了以差異化的不平等和特權為表現(xiàn)形式的算法歧視，嚴重侵犯了個人權益。在日常交易中，人們的正義感會附著在“允諾”和“對應允諾”“履行”與“對應履行”之間的平等與公平上。因此，一旦其中的交易一方在討價還價能力方面存在實質性的不平等時，便會對交易公平產(chǎn)生嚴重的威脅。如果算法掌控者存在“看人下菜碟”的故意，那么就不可避免地會出現(xiàn)算法歧視。實際上，在算法的運作下，線下的價格歧視已經(jīng)擴展到線上，并且危害性與影響程度都會比線下要更大、更深。表現(xiàn)為“大數(shù)據(jù)殺熟”的算法歧視在更深層次的機理上即是一種由“交換不對等”所引起的不平等。企業(yè)利用特殊的算法來掌握消費者的消費記錄、上網(wǎng)記錄等，進而對消費者的偏好、習慣、支付能力等進行畫像的繪制，“通過個性化定價的嘗試和驗證，獲取消費者的最大支付意愿信息，從而使得對不同消費者收取不同的價格成為可能”〔10〕。在這樣的交易模式下，買賣雙方的信息是極為不對稱的，買方（消費者）實際是處于一種討價還價能力上的實質不平等。買方（消費者）基本喪失了對區(qū)別定價知情的權利，并常常在不知情但完全信任交易平臺的情境下，接受著這種差異化定價的算法歧視。由此可見，算法在商事經(jīng)營中乃是一種商家為最大限度地獲得商業(yè)利潤的技術手段，而巨大的商業(yè)利益也在推動著信息“繭化”的速度與程度，用戶無法自主決定自己所接收到的信息，而是被算法“精準預測”并“精準推送”，在這一過程中也不自覺地形成了算法歧視。事實上，當算法掌控者根據(jù)各種數(shù)據(jù)變量進行對象分組而產(chǎn)生算法畫像時，歧視便產(chǎn)生了，因為這種依據(jù)算法畫像來分配資源的方式，本身具有歧視性。

2.數(shù)據(jù)評估的導向性引發(fā)算法歧視

數(shù)據(jù)評估在自然科學領域是很常見的，如工程師會用一千座橋梁的數(shù)據(jù)來評估接下來可能會塌方的橋。然而這種數(shù)據(jù)評估方法運用在社會科學領域卻產(chǎn)生了諸多問題。如我們所知，自動化系統(tǒng)中的信用評估，即是通過交易記錄的批量分析來預測用戶的違約概率。所不同的是，工程師的數(shù)據(jù)評估不會對被評估對象（橋梁）產(chǎn)生任何影響，而為測試違約概率的信用評估卻會影響相應的測評對象（人），因為“信用評分系統(tǒng)一旦將某人定為高風險用戶并隨即提高貸款利率，那么就會增加這個客戶的違約概率”〔11〕60。這種非公開、不可測、保密化的分析程序很難得到相應的監(jiān)督，因此，歧視問題便很容易隱藏其中，再加上人們對于機器算法決策的濫用與盲目自信，使得算法歧視持續(xù)性生成并進一步放大。

三、算法歧視的法律規(guī)制

在數(shù)字社會中，數(shù)字平臺搭建、數(shù)據(jù)利用、算法設計等都需要依靠技術規(guī)則和契約規(guī)則來加以保障。我國《關于加強互聯(lián)網(wǎng)信息服務算法綜合治理的指導意見》（國信辦發(fā)文〔2021〕7號，2021年9月17日發(fā)布）明確指出，要“以算法安全可信、高質量、創(chuàng)新性發(fā)展為導向，建立健全算法安全治理機制，構建完善算法安全監(jiān)管體系，推進算法自主創(chuàng)新，促進算法健康、有序、繁榮發(fā)展，為建設網(wǎng)絡強國提供有力支撐。”為有效應對算法歧視，需要將法律的知識體系、價值體系與算法的技術體系相彌合，搭建起各利益相關者之間的對話和商談場域，以實現(xiàn)對算法歧視的法律規(guī)制和互聯(lián)網(wǎng)信息服務算法的安全治理，讓算法技術能夠在平等和非歧視的狀態(tài)下為人類社會服務。建立起由科技理性（技術良序）和法律理性（法律良序）共同支撐的、人與人之間相互協(xié)作配合的，以追求社會成員的共同利益為社會主要目標的算法時代的“良序社會”〔12〕359。針對“先行存在的歧視”“技術本身的歧視”以及“決策性歧視”，可通過以下措施來實現(xiàn)相應的法律規(guī)制。

（一）通過倫理審計與公平性約束，規(guī)制“先行存在的歧視”

“先行存在的歧視”這種人類社會歧視的算法轉化，歸根結底還是“人”的問題。因此，要想實現(xiàn)對該種歧視的規(guī)制，就要從算法平臺或算法設計人員入手。（1）算法平臺或算法設計人員要經(jīng)過嚴格的倫理審計。在算法的設計應用中，要始終樹立“以人為中心”的技術發(fā)展理念，嚴格按照行業(yè)技術倫理規(guī)范或算法倫理法則進行算法設計，督促算法平臺或算法設計人員遵循內(nèi)心的道德律，強化算法倫理建設，提高職業(yè)和道德的基本素養(yǎng)，在追求技術帶來的便捷與利益的同時，兼顧社會公平正義，獲取合理合法的算法利益，不唯資本或利益論。（2）在具體的算法模型設計中，要執(zhí)行嚴格的公平性約束規(guī)則。秉持平等、非歧視的行業(yè)技術標準或規(guī)則體系，將算法技術限定在平等、公正、安全又守秩序的數(shù)字人權界限內(nèi)，從權利視角來規(guī)制算法技術利用上的不平等，推動實現(xiàn)算法決策的公平公正、安全可控，防止算法平臺或算法設計人員為了商業(yè)利益而利用算法權力對個人數(shù)據(jù)進行用戶畫像，實施惡意歧視。尤其是對于主觀數(shù)據(jù)較為集中的算法模型，要注意比較算法預測的結果是否符合理性認知下的公平正義的標準，以保障算法模型設計始終處于公平性約束之下。并根據(jù)外部環(huán)境的流動變化及時調(diào)整和更新算法運行規(guī)則，以盡可能地規(guī)避算法歧視。

（二）通過數(shù)據(jù)信息的區(qū)別保護與算法解釋，規(guī)制“技術本身的歧視”

對于算法設計所導致的技術本身的歧視，可通過以下兩方面進行法律規(guī)制：

第一，通過數(shù)據(jù)信息的區(qū)別保護，規(guī)制“歸納式的算法思維邏輯導致的算法歧視”。在現(xiàn)有技術條件下，無法使得算法在窮盡所有的數(shù)據(jù)信息并經(jīng)過倫理價值判斷后作出完全精準的歸納和預測，因此只能從建構數(shù)據(jù)信息的區(qū)別保護機制入手，來盡可能地保證數(shù)據(jù)輸入時的平等和非歧視，從而確保算法歸納預測的客觀公正。我國《民法典》即以法律的形式確立了數(shù)據(jù)信息的權利屬性;《國家人權行動計劃（2021—2025年）》也將個人信息權益作為互聯(lián)網(wǎng)時代的基本人權。以強制性規(guī)定的方式來保障公民個人數(shù)據(jù)信息安全、規(guī)制算法歧視是大勢所趨也是必經(jīng)之路。對此，（1）要以平等保護和“無害化”作為數(shù)據(jù)信息處理的基本原則。“無害化”是歐盟《統(tǒng)一數(shù)據(jù)保護條例》（GDPR）所確立的大數(shù)據(jù)處理與自動決策算法的基本原則。2019年6月，我國新一代人工智能治理專業(yè)委員會印發(fā)了《新一代人工智能治理原則》，確立了公平公正、尊重隱私、安全可控的人工智能發(fā)展原則。對算法技術的規(guī)制，首先要保障其“無害化”，將其對人的影響控制在合理的范圍內(nèi)，在安全無害和平等保護的基礎上，作出客觀公正的歸納預測。（2）對數(shù)據(jù)信息進行反歧視篩選與過濾，對“敏感數(shù)據(jù)信息”與“一般數(shù)據(jù)信息”進行區(qū)分和區(qū)別保護。如按照是否具有普遍流動性的標準，將生物識別數(shù)據(jù)、遺傳數(shù)據(jù)、個人犯罪記錄等數(shù)據(jù)信息認定為“敏感數(shù)據(jù)信息”，從而將這些可能產(chǎn)生歧視性后果的敏感數(shù)據(jù)信息進行預先排除，并對關聯(lián)屬性的數(shù)據(jù)嚴格審查，以實現(xiàn)對數(shù)據(jù)信息的反歧視篩選與過濾，確保大數(shù)據(jù)所收集記錄的數(shù)據(jù)信息都是“負責任的”“非歧視的”，盡可能地降低因概率性的歸納預測而導致的算法歧視。（3）對個人信息的收集使用設置限制性條件，以維護和保障用戶個人權利。我國《網(wǎng)絡安全法》第41條即要求網(wǎng)絡運營者在收集、使用個人信息時，應當遵循合法、正當、必要的原則，不得收集與其所提供的服務無關的用戶信息，不得違反法律法規(guī)的相關規(guī)定和雙方的約定來收集、使用個人信息?！秱€人信息保護法》第28條第2款和第29條專門對敏感個人信息的處理規(guī)則作出規(guī)定，即對于敏感個人信息的處理，必須基于特定的目的和充分的必要性，采取嚴格保護措施，并應當取得個人的單獨同意?！对诰€旅游經(jīng)營服務管理暫行規(guī)定》第15條還對禁止濫用大數(shù)據(jù)分析作出規(guī)定：“在線旅游經(jīng)營者不得濫用大數(shù)據(jù)分析等技術手段，基于旅游者消費記錄、旅游偏好等設置不公平的交易條件，侵犯旅游者合法權益”，從而起到對平臺收集和使用公民個人信息的限制作用。

第二，通過課以算法設計人員“解釋”的義務，規(guī)制“算法黑箱與算法非中立性引發(fā)的算法歧視”，保障算法的合法性與合倫理道德性。算法解釋既是一種權利，也是一種義務。對于用戶而言，算法解釋是一種權利，而對于算法設計人員而言則是一種義務。對于不同領域、不同主體還會有不同的解釋義務：（1）在公共決策領域要盡可能地向公眾公開算法決策的參考權重，并作出合理解釋，防止其利用算法輔助決策系統(tǒng)對特定公民造成侵害。（2）對于商業(yè)機構來說，則需要在保障科技創(chuàng)新發(fā)展和競爭性商業(yè)機密的前提下，對算法設計過程及算法決策進行有針對性地解釋。以此來實現(xiàn)對數(shù)據(jù)參數(shù)、算法模型以及算法設計人員的審查和追溯，保障大眾知情同意的數(shù)據(jù)權利，避免因算法黑箱或算法非中立性而引發(fā)算法歧視。此外，還要允許一些可以利用算法黑箱達到社會扶助目的的不公開情形。如為保護高校貧困生的自尊而利用算法黑箱進行的扶貧助學，即是通過算法黑箱起到了規(guī)避歧視的作用。它通過后臺算法來監(jiān)測學生每月在食堂的消費頻次、每頓在食堂的消費金額來判定是否貧困，從而為其飯卡內(nèi)打入生活補助，避免傳統(tǒng)的公開評定與資助所帶給貧困生的心理傷害和歧視。

（三）通過建立算法的監(jiān)管制度，規(guī)制“決策性歧視”

對于因“數(shù)據(jù)動態(tài)交互”和“數(shù)據(jù)評估的導向性”所引發(fā)的算法歧視的法律規(guī)制，需要在充分明晰算法的應用范疇與算法規(guī)則的基礎上，建立起對算法的監(jiān)管制度，加強對算法技術的法律規(guī)制，以法律價值來影響算法，以強制性的法律規(guī)范來確保技術規(guī)范的正確實施。重塑算法時代人與人、人與社會之間的和諧關系，讓算法技術的開發(fā)和利用更好地為社會服務、為人類服務，使每位公民都能夠在以算法為主導的智能社會法律秩序中享有充分的平等、自由、尊重和不受歧視的權利，從而在承認人的價值、保障人的自由、尊嚴及利益的基礎上，保障公民權利的價值性質量〔13〕。

對此可以針對不同的情形采取不同的監(jiān)管措施：對于因“冗余編碼”“信息繭房”等數(shù)據(jù)動態(tài)交互中所產(chǎn)生的算法歧視，可從以下三方面進行規(guī)制：（1）建立算法歧視風險監(jiān)測預警和周期復查制度。在嚴格準確記錄算法所收集的必要的數(shù)據(jù)信息、算法應用過程、算法策略等基礎上，進行算法歧視風險監(jiān)測和預警，并建立相應的周期復查機制，對算法開展周期性的安全測試審查或安全評估，防止算法在運行中將本應受到保護的敏感性數(shù)據(jù)，與其他可合法獲得的數(shù)據(jù)進行編碼與關聯(lián)性應用，形成“冗余編碼”，進而產(chǎn)生算法歧視。（2）建立算法的分級分類管理制度。我國《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》第23條提出了建立算法分級分類安全管理制度，即“根據(jù)算法推薦服務的輿論屬性或者社會動員能力、內(nèi)容類別、用戶規(guī)模、算法推薦技術處理的數(shù)據(jù)重要程度、對用戶行為的干預程度等對算法推薦服務提供者實施分級分類管理”，從而強化對算法推薦的監(jiān)管，規(guī)制“信息繭房”導致的算法歧視，同時也為后續(xù)的歸責奠定基礎。（3）建立健全問責機制，通過追究算法平臺或算法設計人員等有關主體的法律責任，規(guī)制“數(shù)據(jù)評估的導向性所引發(fā)的算法歧視”。問責機制是算法歧視的事后監(jiān)管方案。從算法歧視的損害結果出發(fā)，通過考察某行為是否直接或間接地侵害了特定群體的合法權益，是否產(chǎn)生了歧視的不利后果（差異性影響），進而按照“誰設計誰負責”“誰主管誰負責”的標準，向算法平臺、算法設計人員等有關主體問責〔14〕。我國《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》第31-33條，即分別對算法推薦服務提供者的法律責任作出了規(guī)定，包括警告、通報批評、責令限期改正、責令暫停信息更新、罰款、給予治安管理處罰，以及追究刑事責任等。

綜上所述，歧視在人類思維意識中從未缺席過，并且會隨著文化的發(fā)展與時代的變遷而演化出新的歧視類型。作為數(shù)字社會的新歧視類型，算法歧視的發(fā)生有其內(nèi)在的必然性，其中既有人的因素，也有技術本身的因素，更有算法運行決策的因素。算法歧視在實踐中通常是以隱蔽的形式取得合法的外衣，并使得受歧視群體難以獲得有效救濟，引發(fā)算法時代更深層次的歧視和不平等。正因為如此，我們迫切需要從倫理審計與公平性約束、數(shù)據(jù)信息的區(qū)別保護與算法解釋、建立算法的監(jiān)管制度這三方面入手，對算法進行技術性糾偏和法律性規(guī)制，同時還要做到不濫用機器算法決策，在特定重大領域慎用算法決策系統(tǒng)，以此來維護算法時代的社會良序底線?？偟膩碚f，對算法歧視的法律規(guī)制，能夠通過規(guī)則和價值的塑造來影響算法技術，平衡各類價值與權利，從而進一步打破歧視的惡性循環(huán)，塑造算法時代的法律秩序，確保數(shù)字社會中人類的安全和發(fā)展。

參考文獻：

〔1〕徐 琳.人工智能推算技術中的平等權問題之探討〔J〕.法學評論，2019（03）：152-161.

〔2〕石 穎.歧視的法律判斷標準〔J〕.河南大學學報（社會科學版），2022（01）：42-46+153.

〔3〕Laura Carmichael，Sophie Stalla，Steffen Staab.Data Mining and Automated Discrimination：A Mixed Legal/Technical Perspective〔J〕.IEEE Intelligent Systems，2016（06）：51-55.

〔4〕戈登·奧爾波特.偏見的本質〔M〕.凌晨，譯.北京：九州出版社，2020.

〔5〕Paul R.Cohen，Edward A.Feigenbaum eds.The Handbook of Artificial Intelligence，Volume III〔M〕.Stanford，California：HeurisTech Press;Los Altos，California：William Kaufmann，Inc.，1982.

〔6〕Philippa Foot.The Problem of Abortion and the Doctrine of the Double Effect〔J〕.Oxford Review，1967（05）：5-15.

〔7〕鄭智航，徐昭曦.大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例〔J〕.比較法研究，2019（04）：111-122.

〔8〕Sam Corbett-Davies，Emma Pierson，Avi Feller and Sharad Goel.A computer program used for bail and sentencing decisions was labeled biased against blacks.It’s actually not that clear〔EB/OL〕.https：//www.washingtonpost.com/news/monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-ouranalysis-is-more-cautious-than-propublicas/.

〔9〕凱斯·桑斯坦.信息烏托邦：眾人如何生產(chǎn)知識〔M〕.畢競悅，譯.北京：法律出版社，2008.

〔10〕楊成越，羅先覺.算法歧視的綜合治理初探〔J〕.科學與社會，2018（04）：1-12+64.

〔11〕弗蘭克·帕斯奎爾.黑箱社會：控制金錢和信息的數(shù)據(jù)法則〔M〕.趙亞男，譯.北京：中信出版社，2015.

〔12〕約翰·羅爾斯.正義論〔M〕.何懷宏，何包鋼，廖申白，譯.北京：中國社會科學出版社，2009.

〔13〕任瑞興.公民權利質量的意義之維〔J〕.河南大學學報（社會科學版），2019（02）：68-76.

〔14〕莫勇波.以人工智能破解政策執(zhí)行難題的幾點思索〔J〕.理論探索，2021（06）：58-67.

責任編輯 楊在平