[摘要]算法歧視是人工智能自動化決策中，由數(shù)據(jù)分析導致的對特定群體的，系統(tǒng)的、可重復的、不公正對待。算法歧視正在人工智能技術應用的多個場域出現(xiàn)，對受害群體及整個社會有著多重不利影響。為了維護平等與公正的社會秩序，有必要對算法歧視進行法律規(guī)制。作為人工智能法律規(guī)制的先行者，在應對人工智能算法歧視方面，歐盟選擇了以數(shù)據(jù)保護為中心的規(guī)制模式，而美國選擇了以算法責任為中心的規(guī)制模式。我國正處于人工智能法律規(guī)制的草創(chuàng)階段，在今后的法治實踐中，可由算法理念、算法技術、算法審查和算法問責四個方面著手，完善我國的人工智能算法歧視法律規(guī)制框架。

[關 鍵 詞]大數(shù)據(jù) ?人工智能 ?算法歧視 ?數(shù)據(jù)保護 ?算法責任

[作者簡介]章小杉（1991—），女，湖北浠水人，武漢大學法學院博士研究生，研究方向為憲法學與行政法學。

[中圖分類號]D920.4 ? ?[文獻標識碼]A ? ?[文章編號]1008-7672（2019）06-0063-10

進入大數(shù)據(jù)時代后，機器學習重新成為計算機科學的重點課題。通過對大數(shù)據(jù)的挖掘與分析，以及算法的不斷生成與優(yōu)化，機器逐漸具備了足夠與人相媲美的智能，亦即現(xiàn)代人熟知的人工智能（Artificial Intelligence）。毫無疑問，以大數(shù)據(jù)為驅動、以算法為核心的人工智能正在深刻地改變著人類社會。人工智能一方面給人類社會帶來前所未有的技術紅利，另一方面也蘊藏著多重風險和不確定性。國務院于2017年7月8日印發(fā)的《新一代人工智能發(fā)展規(guī)劃》指出，人工智能是影響面甚廣的顛覆性技術，在大力發(fā)展人工智能的同時，必須高度重視可能帶來的安全風險挑戰(zhàn)，確保人工智能安全、可靠、可控發(fā)展。有學者總結了人工智能給人類社會帶來的五種風險，即倫理風險、極化風險、規(guī)制風險、異化風險及責任風險。？譹？訛算法歧視（Algorithmic Discrimination）正是人工智能技術應用不可忽視的風險之一，其不僅侵犯了社會個體的平等權利，違背了平等與公正的價值理念，而且會令特定群體進一步邊緣化，加劇人類社會的分化與不平等。為了維護平等與公正的社會秩序，必須從法律層面對算法歧視進行規(guī)制。作為人工智能法律治理的先行者，在算法歧視法律規(guī)制方面，歐盟和美國發(fā)展出了各具特色的規(guī)制模式，能夠為完善我國算法歧視法律規(guī)制提供一些啟示。

一、 算法歧視的定義與表現(xiàn)

隨著人工智能深入介入人的生活，算法歧視等負面效果漸次浮現(xiàn)，？譹？訛學界亦積極探求規(guī)制算法歧視的法律路徑。？譺？訛在探討算法歧視的法律規(guī)制路徑之前，有必要了解算法歧視的定義與表現(xiàn)。迄今為止，算法歧視并沒有科學且通用的定義。因而，理解算法歧視，宜從算法和歧視兩個概念分別著手。眾所周知，算法是人工智能的核心，如果將人工智能視為大數(shù)據(jù)的輸入與數(shù)據(jù)分析結果的輸出，那么算法就是將輸入值（Inputs）轉化為輸出值（Outputs）的關鍵步驟。？譻？訛事實上，以大數(shù)據(jù)為節(jié)點，可將算法分為兩種：一種是使用人類定義的模型分析數(shù)據(jù)的算法，另一種是由大數(shù)據(jù)生成和選擇模型的算法。前一種算法可人工完成，其計算結果完全可預測，同樣的輸入值會得出同樣的輸出值;后一種算法不會自動使用人類定義的模型，而是從大數(shù)據(jù)里生成和選擇模型，此類算法有自主學習的能力，可在運作中自動優(yōu)化模型。？譼？訛對符合特定條件的申請者適用加分政策，根據(jù)申請者的總分情況決定是否錄取，？譽？訛屬于前一種算法;由海量再犯數(shù)據(jù)的讀取和分析，總結類似罪犯群體再犯風險，再針對被告人的數(shù)據(jù)和信息，作出再犯風險評估和量刑建議，？譾？訛屬于后一種算法。兩種算法風險的可控性截然不同，今日人們所說的人工智能算法歧視，多指后一種算法導致的歧視。

除算法外，歧視也是一個關鍵概念。歧視雖然不似算法般不可捉摸，卻也沒有國際通用的定義標準。盡管如此，學界公認，歧視與平等互為對立面，歧視構成對平等權的侵犯。在國際人權法中，歧視有三個構成要件：一是存在差別對待，二是差別對待導致不良后果，三是差別對待的理由為法律所禁止。？譿？訛基于性別、種族、宗教、遺傳特征、殘疾、年齡及性取向而給予不公正待遇通常會被認定為歧視。歐洲人權法院在D.H. and Others v. the Czech Republic案中將歧視定義為“在缺乏客觀且合理依據(jù)的情況下，對處于相同情況的人給予不同的待遇”，并指出“對情況相同者給予不同待遇”“對情況不同者給予同等待遇”“形式平等而實質不平等”都會構成歧視。？讀？訛美國法院在判例中確定了歧視案件審查三步曲：一是審查差別對待是否存在，二是查明差別對待出于何種理由，并據(jù)此選擇適用的審查基準，三是運用特定的審查基準審查差別對待的合理性。？讁？訛我國雖未積累大量平等權案例，但是學界亦接受，歧視可理解為“缺乏合理依據(jù)的差別對待”。？輥？輮？訛結合算法與歧視的概念，可將人工智能算法歧視定義為“由數(shù)據(jù)分析導致的對特定群體的系統(tǒng)性的、可重復的不公正對待”。？輥？輯？訛由于是計算機在讀取、收集與分析數(shù)據(jù)時自動產生的，算法歧視有時也被稱作自動化歧視（Automated Discrimination），亦即數(shù)據(jù)分析導致的對特定群體的不公正對待。？輥？輰？訛

雖然當下人類處于弱人工智能階段，人工智能技術應用的場域有限，但是人工智能算法歧視已經在多個領域顯現(xiàn)出來。在電子商務領域，“算法殺熟”或曰“大數(shù)據(jù)殺熟”——網絡交易平臺通過分析客戶的消費及瀏覽記錄，以機器算法來了解消費者的喜好與習慣，并且根據(jù)用戶情況對同一商品給予不同報價，常用客戶被給予更高的報價——即是明顯的價格歧視。在就業(yè)領域，亞馬遜公司用來篩選潛在雇員的算法系統(tǒng)，被發(fā)現(xiàn)更加青睞男性求職者，被指歧視女性求職者，？譹？訛以通勤時間篩選潛在雇員的算法系統(tǒng)，自動排除通勤時間長的申請者，導致歧視居住在商業(yè)中心之外的低收入少數(shù)族裔。？譺？訛在金融信貸領域，某些網絡信貸平臺算法向遭遇經濟危機的人及低收入人群收取更高的貸款利息。？譻？訛在刑事司法領域，美國法院用來評估被告人再犯風險并據(jù)以給出量刑建議的算法系統(tǒng)被發(fā)現(xiàn)歧視黑人——黑人被評估為有高再犯風險的幾率為白人的兩倍，英國警方用來輔助作出羈押決定的算法系統(tǒng)也被發(fā)現(xiàn)歧視低收入人群——居住在低收入社區(qū)的人有更大概率被建議羈押。？譼？訛以上實例并未窮盡算法歧視的情形，隨著人工智能技術的擴大化應用，算法歧視問題還將在其他領域顯現(xiàn)，對公正的社會秩序造成沖擊。當下，國家已將發(fā)展人工智能列為提升國家競爭力、維護國家安全的重大戰(zhàn)略，人工智能將被應用到教育、醫(yī)療、養(yǎng)老、司法、物流、金融、商務等行業(yè)和領域。為了維護公正的社會秩序，算法歧視問題值得引起各界的重視。

（一） 算法歧視法律規(guī)制的理念之維

規(guī)制算法歧視的首要前提是承認算法歧視的客觀存在。必須承認的是，在大數(shù)據(jù)時代，即使算法開發(fā)者沒有主觀歧視意圖，依然可能出現(xiàn)算法歧視的結果，而如果算法運營者和監(jiān)管者覺察不到算法歧視的存在，算法歧視就會對特定弱勢群體造成實質性的損害。？譾？訛因而，在理念層面，規(guī)制算法歧視，首先要確立算法公正（Fair Algorithm）的宏觀指導原則。事實上，平等作為原則和權利，早已載入各種法律，在人工智能技術應用場域，確立算法公正原則是對法律規(guī)定的自覺服從。算法的開發(fā)者、監(jiān)管者和運營者都應具備算法公正的自覺意識，并將這種意識帶入與算法相關的工作之中。公民平等權益保護機構亦應加大執(zhí)法力度，確保公民的合法權益不受算法歧視的非法侵害。其次，要在具體領域明確算法公正的實施規(guī)則。如學者指出，人工智能在電子商務、精準醫(yī)療和自動駕駛等領域有廣泛的應用和實踐，法律在這些領域的規(guī)制方法、手段、強度和密度應當存有差異，因為人工智能法律規(guī)制的具體目標在不同的場域各不相同。？譹？訛有學者建議，結合具體領域的實際情況，限制算法黑箱的應用及確立算法的準入標準。？譺？訛再次，應當重視人的因素，保證人的參與（keep human in the loop）。？譻？訛算法的發(fā)明和應用，旨在將人從繁重而復雜的工作中解放出來，然而，這并不代表人的因素不再重要，恰恰相反，人的監(jiān)管對于算法歧視的規(guī)制至關重要，因為人能覺察機器注意不到的歧視問題。換言之，人必須是算法的立法者和控制者，法律的算法和算法的法律不應成為一個閉環(huán)，它們之間，必須有人作為起點和終點。？譼？訛

（二） 算法歧視法律規(guī)則的技術之維

有學者指出，為了保障人的權益，應當加強法律對技術的歸化。？譽？訛事實上，這正是國外計算機科學家與社會科學家共同努力的方向。為確保算法自動化決策公正、透明且可問責，科學家已經在探尋規(guī)制算法歧視的技術路徑，主要包括“有反歧視意識的數(shù)據(jù)挖掘技術”（Discrimination-Aware Data Mining，簡稱“DADM”）和“公正、負責及透明機器學習”（Fairness， Accountability and Transparency in Machine Learning， FATML），雖然目前仍然在探索中，但這種技術路徑的原理在于改變常用的數(shù)據(jù)科學過程以糾正算法偏見，這種技術可在運作前、運作中和運作后有效應對算法歧視問題。？譾？訛從技術層面規(guī)制算法歧視，首先要研發(fā)及應用有反歧視意識的算法技術。對于計算機科學家而言，開發(fā)有反歧視意識的算法系統(tǒng)并非不可能之事，但關鍵在于理解法律所定義的非法歧視，并將法律化的技術倫理內化于算法技術之中，而這需要法學家和科學家通力合作，研發(fā)出合乎法律倫理和技術可能性的公正算法。？譿？訛再者，數(shù)據(jù)是人類社會的鏡像，算法是人類價值的載體，許多人類社會的價值可經由算法設計者進入人工智能，即是說，加強算法科技人員的倫理意識教育也是應對算法歧視問題的一個重要途徑。？讀？訛在國外，已有許多高校開設了技術倫理課程，在今后，國內高校亦可考慮開設此類課程，以使公正價值由算法設計者進入人工智能。在此思路下，增強研發(fā)人員及訓練數(shù)據(jù)的多樣性亦可有效糾正算法偏見和歧視。？讁？訛

（三） 算法歧視法律規(guī)制的審查之維

隨著數(shù)據(jù)清潔和算法透明不足性的出現(xiàn)，算法審查成為學界推薦的規(guī)制算法歧視的首要策略。算法不中立，因而須為其造成的損害承擔責任;而要算法承擔責任，對算法的審查就是必不可少的。通常而言，算法審查應當包含三個維度：自我審查、行業(yè)監(jiān)督和行政監(jiān)管。就自我審查而言，美國《算法責任法案》要求的企業(yè)自行作出歧視風險評估，并及時改進所發(fā)現(xiàn)的問題，將是抑制算法歧視的一個有效途徑。對于企業(yè)而言，作此類影響評估，在短期內可能會加大企業(yè)的運營成本，令企業(yè)承受更大的社會責任，但是從長遠來看，自我審查有助于企業(yè)維持消費者信心及促進行業(yè)的健康發(fā)展。就行業(yè)監(jiān)督而言，有學者指出，鑒于人工智能技術的重要性和專業(yè)性，相關企業(yè)和民間團體有必要考慮，在全國范圍內成立自治性行業(yè)監(jiān)督管理委員會，對人工智能技術行業(yè)的業(yè)務進行指導和監(jiān)督。？譹？訛在此方面，美國計算機協(xié)會作出了表率，由其發(fā)布的《關于算法透明性與可責性的聲明》為計算機行業(yè)從業(yè)者提供了有益的指導。就行政監(jiān)管而言，有學者建議，為有效規(guī)制算法歧視，應當成立一個獨立的算法安全委員會，全面負責算法的審查和解釋工作。？譺？訛在人工智能高度專業(yè)化的語境下，公眾監(jiān)督和行業(yè)自律并不足以抑制算法歧視，因而由專業(yè)人士和法律人士組成的算法委員會主導的行政監(jiān)管將不可或缺。在此方面，《關于規(guī)范金融機構資產管理業(yè)務的指導意見》提供了值得參考的思路。就審查的內容而言，有學者指出，事前的審查與事后的監(jiān)督、定期的審查與不定期的審查、對算法過程的審查與對算法結果的審查、對基于個人特質的歧視的審查與對非基于個人特質的歧視的審查都十分必要。？譻？訛

（四） 算法歧視法律規(guī)制的問責之維

當所有預防措施失靈，算法歧視造成實害時，就有必要對算法進行追責。算法問責應包括兩個方面的內容：一是對受害者的救濟，二是對侵權者的追責。就對受害者的救濟而言，監(jiān)管部門應當鼓勵算法運營者采取適當措施，確保受算法歧視的個人或群體有足夠的回饋、質詢和救濟渠道。更有學者指出，為節(jié)約訴訟成本，提高訴訟效率及保障受害者的合法權益，可就算法歧視問題引入集體訴訟制度。？譼？訛集體訴訟制度在一定程度上有助于緩解算法歧視受害者與算法運營者之間的信息及資源不對稱，是一個值得考慮的路徑。除此之外，歐盟《通用數(shù)據(jù)保護條例》規(guī)定了個人免受算法自動化決策影響的權利，我國亦可結合人工智能技術應用的具體場域參考這種做法。就對侵權者的追責而言，需要明確的是算法歧視的責任主體、算法歧視相關關系的認定、算法歧視的歸責原則以及算法歧視的責任方式。就算法歧視的責任主體而言，作出歧視行為的是機器，但最終責任主體應當是人，因而，需要根據(jù)人工智能技術應用的具體情形，明確算法設計者與算法運營者應當承擔的責任。就算法歧視相關關系而言，算法歧視不適用必然性因果關系和蓋然性因果關系，因為算法決策所依據(jù)的是相關關系，而相關關系的彈性空間比較大，？譽？訛故而，應當結合具體場域明確算法歧視認定中的相關關系系數(shù)。就算法歧視的歸責原則而言，鑒于大數(shù)據(jù)時代算法歧視多出于非主觀歧視意圖，且大多數(shù)算法歧視受害者不具備理解算法復雜性所需的算法素養(yǎng)，有學者建議，將算法歧視的歸責原則確定為無過錯原則。？譾？訛就算法歧視的責任方式而言，應當根據(jù)算法歧視的具體情況，明確算法責任者所需承擔的民事和行政責任，此類責任方式包括但不限于民事賠償和行政處罰。

結語

人工智能作為一項顛覆性技術，在人類社會有著廣泛的應用前景，可大大增強人的能力和造福人類社會。但與此同時，人工智能技術潛藏的風險也不容小覷。正在顯現(xiàn)的算法歧視正是人工智能技術應用安全風險的體現(xiàn)。為了抑制算法歧視的消極影響，有必要對算法歧視進行法律規(guī)制。當前，人類正處于弱人工智能階段，在此領域的法律關系尚不成熟，因而不論是歐美等發(fā)達國家，還是其他后發(fā)國家，都只能在摸索中建立和完善人工智能法律規(guī)制框架。理論上，算法歧視有多種規(guī)制措施，但所有的規(guī)制措施，歸根結底，都須以人為本，以人為目的。為了維護人類價值，身處算法社會的人，應當加強算法素養(yǎng)，培養(yǎng)反算法歧視意識，將平等和公正的價值帶入人工智能，從而維護并鞏固平等和公正的社會秩序。

（責任編輯：亞立）

Abstract?Algorithmic discrimination is the systematic， repeatable， and unfair treatment to certain groups led by data analysis in the process of AI automated decision making. As pioneers of AI legal regulation， in coping with algorithmic discrimination， the EU has chosen a path centered on data protection， while the US prefers the mode focused on algorithmic accountability. China is currently at the initial stage of AI regulation. In the future， the regulatory framework of algorithmic discrimination in AI can be strengthened through aspects of algorithmic ethic， algorithmic technology， algorithmic audit and algorithmic accountability.

Key words?big data; artificial intelligence; algorithmic discrimination; data protection; algorithmic accountability