曹博

摘 要：對算法歧視進行一體化規(guī)制的預設失之抽象，個別化規(guī)制的探討則受限于部門法思維，過于宏觀與過于微觀的視角都存在各自盲點，基于類型界分的規(guī)制范式重構(gòu)嘗試探索一條折中路徑。承認算法歧視在根源上與傳統(tǒng)歧視具有同質(zhì)性是進行分類的前提，復現(xiàn)型算法歧視、加劇型算法歧視及新增型算法歧視是在比對算法決策與傳統(tǒng)決策的基礎上實現(xiàn)的類型化整合，以此為基礎分析規(guī)制歧視的傳統(tǒng)范式也顯得有的放矢。面對不同類型算法歧視存在的技術難題與法理障礙，進一步細化具體類型中的特殊情形，提煉規(guī)制重點，將深化對算法歧視的認知，實現(xiàn)以制衡算法權力為核心的規(guī)制范式重構(gòu)。

關鍵詞：算法歧視;算法權力;規(guī)制范式

中圖分類號：DF920.0 文獻標志碼：A

文章編號：1001-2397（2021）04-0115-12

DOI：10.3969/j.issn.1001-2397.2021.04.10

不同概念語境下對算法歧視的探討明晰了其基本內(nèi)涵與進行法律規(guī)制的正當性和必要性，對算法歧視規(guī)制路徑的具體化研究則有待進一步深化。以追尋算法歧視的根源為起點，考察算法決策的形成過程，將發(fā)現(xiàn)其與傳統(tǒng)決策存在高度趨同的特質(zhì)。為此，有必要從算法和歧視的關系入手，明確算法歧視的表現(xiàn)形式并對其進行類型化整合，在分析規(guī)制歧視的傳統(tǒng)范式及其缺陷的基礎上，重構(gòu)更具針對性的規(guī)制范式。

一、算法歧視的概念語境

算法歧視并非法律體系中的規(guī)范表達，主要出現(xiàn)于學術討論和新聞報道之中，檢索和分析代表性文獻，對算法歧視的探討主要集中于以下三種語境，論證重點有所差異。

（一）算法社會語境下的算法歧視

隨著智能設備的全面普及，數(shù)據(jù)的收集、處理與整合成為常態(tài)，作為主體的人正在被數(shù)據(jù)化和客體化John Cheney-Lippold，We Are Data： Algorithms and the Making of Our Digital Selves， New York University Press， 2017， p.141.，評分社會Danielle Keats Citron & Frank Pasquale，The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 2 （2014）.、微粒社會[德]克里斯托夫·庫克里克：《微粒社會：數(shù)字化時代的社會模式》，黃昆、夏柯譯，中信出版社2017年版。、數(shù)字社會胡凌：《數(shù)字社會權力的來源：評分、算法與規(guī)范的再生產(chǎn)》，載《交大法學》2019年第1期，第22頁。直觀地呈現(xiàn)了這種變化。算法的重要性逐漸凸顯，它不但是實現(xiàn)數(shù)據(jù)控制的工具，而且具備主體化的潛力，足以形成算法權力。其野心是全知全能——了解一切并預測一切，控制算法的人對作為數(shù)據(jù)主體的人群進行分析、控制、指揮、命令和塑造，進而對整個人群進行分類、選擇、理解和決策。算法社會中，企業(yè)與政府是算法的主要使用者，個人作為消費者無處逃遁，隱私和言論自由等個人權利將受到前所未有的多方威脅Jack M. Balkin， Free Speech in the Algorithmic Society： Big Data， Private Governance， and New School Speech Regulation，51 UC Davis Law Review 1153 （2018）.。較之于種種顛覆性變革和社會關系重構(gòu)，算法歧視只是算法社會的危害之一，論者的關注焦點深入對人的智性發(fā)展進行遏制的可能路徑於興中：《算法社會與人的秉性》，載《中國法律評論》2018年第2期，第65頁。。算法歧視或是遮蔽在這種敘事之中，或是僅作為規(guī)制算法或算法權力必要性的論據(jù)出現(xiàn)丁曉東：《論算法的法律規(guī)制》，載《中國社會科學》2020年第12期，第138-159頁。，相關細節(jié)問題沒有進一步展開。

（二）技術限定下的算法歧視

與算法社會這一引人注目的宏觀視角不同，強調(diào)在人工智能、大數(shù)據(jù)和自動化決策等技術語境下認知算法歧視的研究試圖提出整體性應對方案。人工智能的實質(zhì)是對人類思維活動進行模仿并不斷實現(xiàn)進化，算法技術的提升使得前所未有的數(shù)據(jù)流被用來解決實際問題，通過“數(shù)據(jù)+算法”的方式自動形成決策。這一過程中可能出現(xiàn)的種種不公平現(xiàn)象，被統(tǒng)稱為“算法歧視”。人工智能、大數(shù)據(jù)、自動化決策是從不同側(cè)面呈現(xiàn)算法社會的方式，限定在這些技術語境之下討論的歧視現(xiàn)象往往具有同質(zhì)性，用以質(zhì)疑和反思算法歧視的例證也高度趨同。施加了人工智能、大數(shù)據(jù)、自動化決策等不同技術語境進行限定的討論中，關于算法歧視的界定并未體現(xiàn)出太大差異。這一方面說明前述技術在實踐中高度交叉、難以進行有效區(qū)分，另一方表明施加這些技術限定對算法歧視的討論并無助益，或許僅能起到彰顯所涉論題前沿性的效果。

（三）特定領域中的算法歧視

針對已經(jīng)出現(xiàn)的具體問題，實用主義導向的研究試圖在比照傳統(tǒng)歧視現(xiàn)象的基礎上，探討特定領域內(nèi)的算法歧視問題?！按髷?shù)據(jù)殺熟”、算法就業(yè)歧視、算法種族歧視、算法性別歧視等問題均引發(fā)關注。例如，“大數(shù)據(jù)殺熟”被特定化為經(jīng)營者以大數(shù)據(jù)為“原料”借助算法技術對具有購買經(jīng)歷的消費者采取不利的個性化價格策略喻玲：《算法消費者價格歧視反壟斷法屬性的誤讀與辨明》，載《法學》2020年第9期，第83頁。。規(guī)制“大數(shù)據(jù)殺熟”的討論在《消費者權益保護法》或《反壟斷法》的既定框架內(nèi)展開陳兵：《法治經(jīng)濟下規(guī)制算法運行面臨的挑戰(zhàn)與響應》，載《學術論壇》2020年第1期，第11-21頁。。這對解決特定領域的法律適用問題具有現(xiàn)實價值，體現(xiàn)了部門法理論對新技術問題的積極回應。但部門法經(jīng)驗存在局限性，能否擴展到其他算法歧視問題不無疑問。此外，還有一些針對特定領域算法歧視問題的討論雖然將主題限定在算法引發(fā)的某一具體歧視現(xiàn)象，但無論是成因分析還是治理路徑最終都走向了對算法歧視普遍特點的一般化討論，使得這種限定僅具有形式意義。

綜觀各個概念語境下對算法歧視的討論，基本形成如下共識：作為算法權力擴張的副產(chǎn)品，算法歧視隨著人工智能、大數(shù)據(jù)與自動化決策的發(fā)展應用而出現(xiàn)，能夠與傳統(tǒng)歧視現(xiàn)象形成對照，對算法歧視進行法律規(guī)制具有正當性和必要性。鑒于社會科學的核心問題是因果關系分析陳瑞華：《論法學研究方法》，法律出版社2017年版，第133頁。，對算法歧視規(guī)制路徑的探討必須探明算法歧視的根源。

二、算法歧視的根源探尋

算法是指將輸入轉(zhuǎn)換成輸出的計算步驟序列，本質(zhì)上是任何良定義（well-defined）的計算過程，將值或值的集合作為輸入，將某個值或值的集合作為輸出[美]Thomas H. Cormen等：《算法導論（原書第三版）》，殷建平等譯，機械工業(yè)出版社2013年版，第3頁。。算法決策既是對算法應用結(jié)果的概括，也體現(xiàn)了決策過程自動化的特點。在輸入——分析——輸出的三環(huán)節(jié)流程中，難以消除的既存偏見導致數(shù)據(jù)輸入和算法設計中的偏見無法避免，算法決策的類型化思維形成的聚類和分類模式是一種有利于偏見生成的模型，而算法運行的準自主化趨勢又進一步將偏見內(nèi)化為算法的隨機表達。

（一）既存偏見的難以消除

在探尋算法歧視根源的嘗試中，將歧視追溯到算法偏見是最具代表性的做法。在美國被用于預測未來犯罪的算法工具COMPAS廣遭詬病，不同機構(gòu)的調(diào)查基本坐實了它基于種族、年齡、性別等上百個因素預測評估再犯可能性時極有可能對黑人造成歧視例如，ProPublica的一項調(diào)查發(fā)現(xiàn)，白人被告人的結(jié)果誤報率是24%，而黑人被告的誤報率高達45%，這些結(jié)果直接影響了有關審前保釋、量刑和假釋的判決。https：//www.washingtonpost.com/news/%20monkey-cage/wp/2016/10/17/can-an-algorithm-be-racist-our-analysis-is-more-cautious-than-propublicas/%20noredirect=on. 2020年10月2日訪問。。梅森的論斷頗具代表性：風險評估中種族不平等的根源既不在于輸入數(shù)據(jù)，也不在于某個算法，更不在于算法方法本身，而是預測的性質(zhì)決定了任何預測方法都會把過去的不平等投射到未來。他借用計算機科學的術語“垃圾進，垃圾出”（garbage in， garbage out），使用“偏見進、偏見出”（bias in， bias out）形象地概括了算法歧視的生成機理Sandra G. Mayson，Bias in， Bias out，128 The Yale Law Journal 2224 （2019）.。與存在于計算機系統(tǒng)中的偏見類似，算法偏見主要來源于既存偏見，算法設計者在編程時可能有意或無意將自身偏見、社會風氣、制度體制以及文化差異嵌入算法之中劉友華：《算法偏見及其規(guī)制路徑研究》，載《法學雜志》2019年第6期，第59頁。。算法決策的前提是獲取數(shù)據(jù)，只要人類對某些群體或事物的偏見無法消除，這些偏見極有可能出現(xiàn)在輸入算法的數(shù)據(jù)之中或?qū)⑺惴ㄔO計者自身的偏見融入其中，產(chǎn)生歧視性結(jié)果。

（二）算法決策的歸類思維

基于大數(shù)據(jù)的算法決策流程可以大致概括為：使用歷史數(shù)據(jù)歸納出某個類別，針對一個新的對象，按照已知的數(shù)據(jù)特征，將其歸屬于“最像”它的類別，如果該類別還有其它已知特征，就預測這個對象也具有相應特征張玉宏、秦志光、肖樂：《大數(shù)據(jù)算法的歧視本質(zhì)》，載《自然辯證法研究》2017年第5期，第83頁。。按照認知心理學的觀點，類型化實際上來源于人類為了節(jié)省認知資源、簡化認知過程而對未知事物范疇化的認知態(tài)度高明華：《偏見的生成與消解：評奧爾波特〈偏見的本質(zhì)〉》，載《社會》2015年第1期，第209頁。。范疇化導致的結(jié)果是范疇內(nèi)部的相似性和范疇之間的差異性被夸大，進而形成難以克服的偏見。與傳統(tǒng)決策相比，算法決策雖然在數(shù)據(jù)處理能力和決策效率上大為提升，但依然難以跳脫人類認知過程的類型化思路。這種思路一方面受到算法設計者認知模式的影響，另一方面是提升決策效率的必然選擇。類型化思維主導下的算法決策很難實現(xiàn)真正的個性化，例如依據(jù)不同特征對消費者分類之后，被聚集于同一類別的消費者接收到的廣告具有高度趨同性。

（三）算法運行的準自主化趨勢

算法應用普遍采納的機器學習使得算法運行日趨復雜，甚至出現(xiàn)算法設計者無法預料的結(jié)果，其中就包括歧視性的決策結(jié)果。算法運行的自主化不斷提升，通過基于大數(shù)據(jù)的自我訓練、自我學習過程完成參數(shù)調(diào)整與模型建構(gòu)，實現(xiàn)算法的自我生產(chǎn)賈開：《人工智能與算法治理研究》，載《中國行政管理》2019年第1期，第18頁。。較之于機器學習，深度學習進一步提升了算法運行的自主化，它使用了人工神經(jīng)網(wǎng)絡的分層結(jié)構(gòu)，模擬生物大腦的神經(jīng)網(wǎng)絡，通過收集訓練數(shù)據(jù)并進行學習，再將所學知識應用于更大的數(shù)據(jù)集。深度學習具有自動提取特征的功能，不需要數(shù)據(jù)科學家在其預測不理想時進行干預，不斷實現(xiàn)模型優(yōu)化，形成成熟模型并最終找到最優(yōu)解Ignacio N. Cofone，Algorithmic Discrimination is an Information Problem， 70 Hastings Law Journal 1395-1396 （2019）.。準自主化運行的算法在學習過程中建立了何種認知無從預測，被內(nèi)化的偏見在算法決策中的隨機表達最終導致歧視性結(jié)果的出現(xiàn)。

（四）對算法歧視進行分類的必要性

深入分析就會發(fā)現(xiàn)，算法歧視形成的根源與傳統(tǒng)歧視具有高度同質(zhì)性。首先，人類社會普遍存在的各種偏見無法消除已是事實，不同族群之間的異見與割裂非但沒有彌合的跡象，反而漸有加深之勢。其次，算法決策在思維模式上是對人腦的模仿，范疇化的思維路徑依然是人類思維領域中的主導方式。最后，人腦進行的決策過程如何實現(xiàn)仍是科學研究中的基礎性疑難問題，其自主化較之于算法更為突出。既然在根源上具有同質(zhì)性，傳統(tǒng)歧視的規(guī)制范式應在一定程度上具有類比與借鑒的價值。因此，有必要對算法歧視與傳統(tǒng)歧視進行比對，檢視算法決策與傳統(tǒng)歧視之間究竟呈現(xiàn)出哪些關系，實現(xiàn)對算法歧視的類型化整合。

三、算法歧視的基本樣態(tài)與類型界分

歧視的顯著特征是對本質(zhì)相同或類似的人或事進行不合理的區(qū)別對待周偉：《論禁止歧視》，載《現(xiàn)代法學》2006年第5期，第69頁。。從時間維度考察，傳統(tǒng)決策及其引發(fā)的歧視現(xiàn)象在前，算法決策和由此產(chǎn)生的歧視性結(jié)果在后。比對二者在結(jié)果上的差異，將發(fā)現(xiàn)算法歧視與傳統(tǒng)決策下的歧視存在下列關系，算法歧視的基本樣態(tài)也得以呈現(xiàn)。

圖1 算法與歧視的關系

（一）算法歧視的基本樣態(tài)

1.復制歧視

如果算法決策復現(xiàn)了原有的歧視，其實質(zhì)是將原本存在的偏見顯露于外。例如，在谷歌的廣告服務中，定向推送的算法決策使得男性比女性看到的高薪招聘廣告更多。這顯然是復制了在職場中存在的性別偏見和性別歧視，甚至算法可能就是為了實現(xiàn)廣告主希望將特定廣告投放給特定主體的想法而設計的https：//www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study. 2020年10月5日訪問。。

2.減少歧視

如果算法決策使得歧視顯著減少，其實質(zhì)是隱藏了部分偏見。Uber的事例就是明證：美國的出租車司機群體中普遍存在對非洲裔犯罪率高、拒付車費可能性高等偏見，巡游式出租車經(jīng)常拒絕黑人的乘車請求，形成事實上的歧視。Uber使用的算法程序添加了限制性要素，司機在接受行程訂單后才能看到乘客的照片和目的地，防止司機基于姓名、家庭住址等能夠判定種族的信息選擇乘客Clinton Yates，Uber： When Cabs Whiz By， Its a Pick Me Up， Wash. Post（Sep.28， 2012）， https：//www.washingtonpost.com/blogs/therootdc/post%20uber-when-cabs-whiz-by-its-%20a-pick-me-up/2012/09/28/06a4%201fOc-082f-11e2-858a-531%20ldf86ab%2004_blog.html？hpid=z4. 2020年10月5日訪問。。

3.消除歧視

如果算法決策使得原有歧視不復存在，則是通過算法變量的設定以及機器學習的改進將原本存在的偏見隱藏或直接在算法的參考變量中剔除偏見?？技獱枺–owgill）在研究一家軟件公司工作篩選算法的表現(xiàn)時發(fā)現(xiàn)，當該公司推出算法來決定哪些求職者應該獲得面試機會時，“非傳統(tǒng)”求職者更受青睞，對顯著性不足的求職者表現(xiàn)出的偏見明顯減少Alex P. Miller，What Less-Biased Decisions？ Use Algorithms， Harvard Business Review， July 26， 2018. https：//hbr.org/2018/07/want-less-biased-decisions-use-algorithms. 2020年10月5日訪問。。

4.代理歧視

如果算法決策使得原有的歧視不易覺察，雖然在表面上隱藏了偏見，實質(zhì)上依然造成了歧視性對待的結(jié)果。據(jù)彭博社報道，亞馬遜在六個主要城市的當日送達服務區(qū)域不同程度地排除了以非洲裔美國人為主的郵政編碼，而環(huán)繞這些社區(qū)的其他街區(qū)均能享受當日送達服務David Ingold & Spencer Soper，Amazon Doesnt Consider the Race of Its Customers. Should It？Bloomberg （Apr.21， 2016）， http：//www.bloomberg.com/ graphics/2016-amazon-same-day. 2020年10月5日訪問。。這在表面上隱藏了針對種族、性別、年齡的偏見，但卻通過其他能夠替代相應偏見的要素形成“代理歧視”（proxy discrimination）Anya E. R. Prince & Daniel Schwarcz，Proxy Discrimination in the Age of Artificial Intelligence and Big Data， 105 Iowa Law Review 1260 （2020）.。

5.加劇歧視

如果算法決策使得原有的歧視更為嚴重，意味著既存偏見通過算法的運行擴散。這種擴散可能體現(xiàn)為社會群體中針對某人或某事的某種偏見更為嚴重，也可能體現(xiàn)為個人遭受的偏見和歧視性待遇隨著算法的應用而更加嚴重。例如，谷歌的搜索引擎自動補足算法利用搜索記錄幫助人們預測其想要搜索的內(nèi)容，既存偏見反映在自動補足的搜索內(nèi)容中，使偏見更為擴展Memac Ogilvy & Mather Dubai，UN Women Ad Series Reveals Widespread Sexism， UN Women （Oct.21， 2013）. https：//www.unwomen.org/en/news/stories/2013/10/women-should-ads. 2020年10月6日訪問。。又如，一位患雙向情感障礙的大學生想找一份裝雜貨的工作，但由于他申請的便利店都在使用相同的心理測試軟件來篩選求職者，因此他被所有便利店拒絕Rachel Thomas， What HBR Gets Wrong About Algorithms and Bias，Harvard Business Review （Aug.7， 2018）. https：//www.fast.ai/2018/08/07/hbr-bias-algorithms/. 2020年10月6日訪問。。

6.新增歧視

如果算法決策出現(xiàn)了新的歧視現(xiàn)象，意味著在決策過程中出現(xiàn)了新的偏見，并最終顯露于外。算法應用中普遍采納的機器學習以及深度學習使得算法運行更趨復雜，甚至出現(xiàn)不少意料之外的結(jié)果，其中就包括新的偏見以及歧視性結(jié)果。例如，卡利斯坎（Caliskan）等學者使用內(nèi)隱關聯(lián)測試（IAT）量化人類偏見時發(fā)現(xiàn)，在利用網(wǎng)絡上常見的人類語言進行訓練時，機器學習程序從文本語料庫中自動推導的寓意中包含了偏見Aylin Caliskan， Joanna J. Bryson & Arvind Barayanan， Semantics derived automatically from language corpora contain human-like biases， 356 Science 183 （2017）.。

（二）算法歧視的類型界分

基于前述分析，如果和傳統(tǒng)決策相比，算法歧視減少甚至消除了歧視，顯然具有積極價值，應將其排除在算法歧視的范疇之外，對算法歧視的類型化整合也得以實現(xiàn)。

1.復現(xiàn)型算法歧視

當算法決策出現(xiàn)與相同情況下的傳統(tǒng)決策基本一致的歧視性結(jié)果時，算法成為實現(xiàn)歧視性對待的工具，復現(xiàn)了原本就存在的偏見?？蛇M一步將其區(qū)分為直接復現(xiàn)與間接復現(xiàn)，前者指在人類決策場景下存在的偏見及歧視性結(jié)果直接體現(xiàn)于算法決策的結(jié)果中;后者指代理歧視，亦即在算法中使用替代性要素將顯性偏見隱藏，但替代性要素達到與原有顯性偏見相同或類似的分類效應，最終導致算法決策的結(jié)果出現(xiàn)了與基于顯性偏見實現(xiàn)的傳統(tǒng)決策相同的歧視性對待。復現(xiàn)型算法歧視并未產(chǎn)生新的歧視結(jié)果，相當于傳統(tǒng)歧視現(xiàn)象在算法決策場景下的復現(xiàn)，但算法應用通常與網(wǎng)絡環(huán)境高度匹配，使得歧視性對待容易擴張且難以覺察。

2.加劇型算法歧視

加劇型算法歧視可區(qū)分為針對個體的歧視加劇和針對群體的歧視加劇，前者主要包括針對個體的某個偏見在同一決策者實施不同決策的場景中擴展、針對個體的某個偏見于同一場景下在不同決策者之間的擴展，以及進一步導致的雙重累積效應，也就是某個偏見在不同決策者和不同決策場景中的一并擴展。針對特定群體的歧視加劇與針對個體的歧視加劇較為接近，同樣體現(xiàn)為針對群體的某個偏見在同一決策者實施不同決策的場景中擴展、在同一場景下于不同決策者之間的擴展以及進一步導致的雙重累積劣勢，也就是某個偏見在不同決策者和不同場景中的擴展劉培、池忠均：《算法歧視的倫理反思》，載《自然辯證法通訊》2019年第10期，第19頁。。在互聯(lián)網(wǎng)平臺化運營的背景下，用戶數(shù)據(jù)向大型網(wǎng)絡平臺集中，平臺經(jīng)營范圍的擴張與數(shù)據(jù)的跨平臺流通使得加劇型算法歧視產(chǎn)生的負面影響有進一步擴張的風險。

3.新增型算法歧視

新增型算法歧視主要出現(xiàn)在機器學習算法，特別是深度學習算法的應用場景中，其并未在實質(zhì)層面產(chǎn)生新的偏見，而是算法程序在自主學習的過程中將人類社會中既存的種種偏見內(nèi)化，生成歧視性決策，并通過算法程序?qū)嵤┑臎Q策將偏見顯露于外。算法運行的自主化趨勢使得算法的開發(fā)者也無法掌握算法進行數(shù)據(jù)處理的選取標準及操作步驟。在人自主作出的決策中，種種偏見的形成也是通過學習實現(xiàn)的，在對外部信息進行接納的過程中，不可能做到有效地自我過濾與實時審查。至少在偏見這個問題上，基于大數(shù)據(jù)的機器學習高度模仿了人類偏見的生成機理。隨著算法程序中輸入數(shù)據(jù)的實時更新，機器學習下的算法程序?qū)a(chǎn)生何種偏見并將其體現(xiàn)在算法決策中得出歧視性結(jié)果，算法開發(fā)者與使用者往往無法預測。

四、規(guī)制歧視的傳統(tǒng)范式及其缺陷

雖然算法歧視在根源上高度趨同于傳統(tǒng)決策產(chǎn)生的歧視現(xiàn)象，但對算法歧視樣態(tài)的進一步認知與整合發(fā)現(xiàn)：算法實現(xiàn)了對傳統(tǒng)決策歧視現(xiàn)象的復現(xiàn)、加劇與新增。大數(shù)據(jù)應用提供數(shù)據(jù)輸入來源、互聯(lián)網(wǎng)平臺化運行以及機器學習算法的自主化機理是傳統(tǒng)決策場景下未曾出現(xiàn)的情形，對不同類型算法歧視負面效應的擴張具有助推作用，也為規(guī)制歧視的傳統(tǒng)范式帶來了結(jié)構(gòu)性挑戰(zhàn)。

（一）內(nèi)部規(guī)制與外部規(guī)制的體系結(jié)構(gòu)

我國關于反歧視的法律規(guī)定首先體現(xiàn)于憲法中，“公民的基本權利和義務”一章明確規(guī)定“中華人民共和國公民在法律面前一律平等”。在憲法學者看來，基本權利具有二元特征：一是使國家負擔不得侵害基本權利的“保護義務”，體現(xiàn)權利的防御性觀念;二是國家同意負擔特定“給付義務”，體現(xiàn)國家必須為落實基本權利做出行動的積極面向陳景輝：《比例原則的普遍化與基本權利的性質(zhì)》，載《中國法學》2017年第5期，第298頁。。對傳統(tǒng)歧視的規(guī)制也從這兩個層面展開，前者體現(xiàn)為立法過程中的透明度和相關利益主體的充分博弈，防止制度化的歧視性對待;后者體現(xiàn)為部門法中針對平等權的實現(xiàn)設定權利義務關系，為歧視性對待提供法律救濟途徑。

1.內(nèi)部規(guī)制：利益評價的民主立法范式

對歧視現(xiàn)象的內(nèi)部規(guī)制與不同國家在不同階段的經(jīng)濟社會發(fā)展水平相關，曾具有正當性的制度在經(jīng)濟發(fā)展與價值理念更新時受到基本權利的詰問。例如，在計劃經(jīng)濟體制下基于城鄉(xiāng)二元結(jié)構(gòu)與戶籍管理形成的制度隔離，被行政規(guī)章等行政規(guī)范性文件予以確認。當市場經(jīng)濟發(fā)展帶來人口自由流動的現(xiàn)實需求時，原有制度因歧視性對待而違反了不得侵害平等權的保護義務，對其展開反思與廢止成為重要議題周偉：《從身高到基因：中國反歧視的法律發(fā)展》，載《清華法學》2012年第2期，第16頁。。目前，對歧視的內(nèi)部規(guī)制也從檢討和廢止既有立法中的制度性歧視轉(zhuǎn)向?qū)α⒎ㄟ^程的關注，亦即如何通過規(guī)范立法過程，防止出現(xiàn)歧視性對待的制度設計。作為利益衡量過程的立法進程能否實現(xiàn)利益評價的民主化，將直接影響平等權的實現(xiàn)，進而決定了能否防止制度性歧視的出現(xiàn)。《立法法》第5條確認了民主立法的基本原則：“立法應當體現(xiàn)人民的意志，發(fā)揚社會主義民主，堅持立法公開，保障人民多種途徑參與立法活動?！北M管在踐行民主立法的過程中依然存在不少問題有待完善郝鐵川：《積極探索中國特色的民主立法新形式》，載《人大研究》2020年第3期，第14-19頁。，但通過利益評價的民主立法范式在很大程度上實現(xiàn)了對歧視的內(nèi)部規(guī)制。

2.外部規(guī)制：基于權利義務的法律責任范式

為進一步落實憲法中規(guī)定的平等權，部門法針對特定主體與特定事項設定了諸多不受歧視對待的權利義務關系。例如，《民法典》《勞動法》《教育法》《婦女權益保障法》都明確規(guī)定了不同領域內(nèi)的平等權和針對特定群體的反歧視義務。在司法實踐中，針對歧視現(xiàn)象提出的訴訟涉及多種歧視類型且大多在隱私權、人格尊嚴權、勞動權、公平就業(yè)權等侵權訴訟案由下展開。這表明前述立法中有關反歧視義務的規(guī)定對于法律救濟并無規(guī)范意義，當事人和人民法院在具體化的民事權利框架中對權利義務關系以及法律責任進行評判，這與反歧視立法通常是在一般意義上為公共部門和私人企業(yè)設定普遍的反歧視注意義務的模式有關。盡管國際層面的反歧視法已從針對直接歧視的形式平等擴展到面向間接歧視的實質(zhì)平等，但主要體現(xiàn)為采取特別措施彌補歧視后果的肯定行動李薇薇：《平等原則在反歧視法中的適用和發(fā)展》，載《政法論壇》2009年第1期，第126-134頁。。由于歧視性對待具有價值評判色彩，平等權在部門法中的具體化注定不可能形成類似于傳統(tǒng)民事權利的規(guī)范結(jié)構(gòu)。但借助既有民事權利，特別是人格權，結(jié)合維護人身自由與人格尊嚴的規(guī)范目的，足以在個案中實現(xiàn)對歧視結(jié)果的法律責任評判。

（二）算法運行的“黑箱化”與內(nèi)部規(guī)制的沖突

內(nèi)部規(guī)制旨在通過民主程序?qū)崿F(xiàn)利益評價過程的透明化，賦予利益相關方充分的表達自由，防范可能出現(xiàn)的制度化歧視，在立法環(huán)節(jié)實現(xiàn)對平等權的消極防御。從本質(zhì)上來說，“算法和法律都是統(tǒng)轄具體文本的、為解決特定問題而創(chuàng)造出的行之有效的方案。”蔣舸：《作為算法的法律》，載《清華法學》2019年第1期，第66頁。較之于立法造成的制度性歧視，行政機關與商業(yè)機構(gòu)普遍采用的算法決策已在很大程度上發(fā)揮了類似于法律的效果，萊斯格口中的“代碼即法律”[美]萊斯格：《代碼2.0：網(wǎng)絡空間中的法律》，李旭、沈偉偉譯，清華大學出版社2018年版，第6頁。成為現(xiàn)實。與立法通常經(jīng)由復雜的利益博弈且程序繁復不同，算法的設計和應用成本大為降低，在政府管理和商業(yè)經(jīng)營的場合普遍采用。由此生成的決策較之于傳統(tǒng)決策具有高效便捷、節(jié)省制度資源的優(yōu)勢，但也排除了利益相關方對算法生成過程的觀察、評價與介入。學界對此提出了“算法解釋權”與“算法透明”的主張，在一定程度上實現(xiàn)對算法的內(nèi)部規(guī)制。算法解釋權在比較法上已經(jīng)有所體現(xiàn)，歐盟《一般數(shù)據(jù)保護條例》（GDPR）對算法決策設定了一般性禁止與例外應用時的算法解釋權，算法決策的相對人有權獲得解釋并據(jù)此提出異議，美國司法實踐中法院也對當事人提出了解釋算法的要求Patel v. Zillow， Inc.， 915 F. 3d 446 （7th Cir. 2019）.。算法透明亦來自域外實踐，美國學者認為它是針對算法的事前規(guī)制原則，要求算法的設計方或者使用方披露包括源代碼、輸入數(shù)據(jù)、輸出結(jié)果在內(nèi)的算法要素Danielle Keats Citron & Frank Pasquale，The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 8 （2014）.。

然而，算法解釋權以及算法透明與算法運行的“黑箱化”特點存在不可調(diào)和的沖突。前文論及的機器學習準自主化趨勢只是算法運行“黑箱化”的一個表現(xiàn)形式，它導致的問題是算法解釋與透明在技術層面不可行;就法律層面的障礙而言，算法輸入數(shù)據(jù)中的大量個人信息一旦被公開會產(chǎn)生侵害隱私和個人信息權益的風險，算法程序作為企業(yè)的核心競爭力，通常以商業(yè)秘密的形式進行保護;此外，應用于公共安全領域的算法與國家安全密切關聯(lián)，難以進行解釋或?qū)崿F(xiàn)透明化沈偉偉：《算法透明原則的迷思——算法規(guī)制理論的批判》，載《環(huán)球法律評論》2019年第6期，第24-27頁;梁志文：《論算法排他權：破除算法偏見的路徑選擇》，載《政治與法律》2020年第8期，第97-98頁。。算法運行的“黑箱化”既有技術原因，也有市場競爭和國家安全的原因，在法律層面具有正當性依據(jù)，這為算法解釋權和算法透明的可行性增加了難度。

（三）算法邏輯的相關性本質(zhì)與外部規(guī)制的矛盾

外部規(guī)制旨在通過權利義務關系在歧視性結(jié)果與具體決策之間建立因果聯(lián)系，從而為違反不得歧視義務的主體確定法律責任。算法從隨機數(shù)據(jù)中提取模式，與規(guī)范性方法不同，它是一種建立在學習性、描述性和統(tǒng)計學基礎上的定量方法。其機理在于將新增加的信息和之前形成的記憶不停進行綜合，從動態(tài)的隨機數(shù)據(jù)中臨時建立相關性并做出判斷余成峰：《法律的死亡：人工智能時代的法律功能危機》，載《華東政法大學學報》2018年第2期，第8頁。。例如，根據(jù)銷售數(shù)據(jù)，購買過海明威作品的顧客大部分會購買菲茨杰拉德的書籍，由此在二者之間形成了相關性結(jié)論，當消費者點擊選擇海明威的書籍之后，亞馬遜的個性化推薦便會出現(xiàn)菲茨杰拉德的作品Brent Smith & Greg Linden，Two Decades of Recommender Systems at Amazon.com， 21 IEEE Computer Society12-18 （2017）.。基于相關性的預測是大數(shù)據(jù)的核心Viktor Mayer-Schnberger & Kenneth Cukier， Big Data： A Revolution That Will Transform How We Live， Work， and Think， Houghton Mifflin Hartcourt， 2013， p.50-72.，其進一步應用的結(jié)果是：針對某人可能做出某種選擇或?qū)嵤┠撤N行為預測的相關性變量眾多，甚至與某人的具體行為沒有關聯(lián)，只是由于統(tǒng)計數(shù)據(jù)中體現(xiàn)出某個變量或某些變量與某種行為之間具有相關性，相應變量便足以左右最終針對某一個體的決策。正是由于這種相關性，通常不可能對決策基于什么信息或為何做出決策給出明確答案，基于大數(shù)據(jù)的機器決策背后甚至可能沒有邏輯Manon Oostveen，Protecting Individuals Against the Negative Impact of Big Data： Potential and Limitations of the Privacy and Data Protection Law Approach， Kluwer Law International BV， 2018， p.135.。

如果以侵權責任的確定為原型，歧視性結(jié)果對應著損害后果，算法決策對應著行為，但算法邏輯的相關性本質(zhì)決定了確定后果和行為之間的因果關系非常困難。大數(shù)據(jù)背景下驅(qū)動決策的算法面對眾多變量，尋找算法決策和歧視性結(jié)果的因果關系相當于在眾多變量中判定那個或哪幾個變量最終促成了決策結(jié)果的形成。依據(jù)民法理論，對條件因果關系和相當因果關系的考察在面對算法時都顯得無的放矢。通過“若無，則不”的公式考察算法決策，即便能夠窮盡算法運行中納入的所有變量，也很難確定沒有哪個或哪幾個變量，就不會出現(xiàn)相應決策結(jié)果;更難于確定哪些變量能夠滿足“無此行為，雖必不生此損害，有此行為，通常即足生此種損害”的要求。如此一來，外部規(guī)制的嘗試存在著因果關系鏈條斷裂的缺陷，對算法歧視問題的解決也會陷入邏輯悖論。

五、重塑算法歧視的規(guī)制范式

將傳統(tǒng)范式套用于算法歧視的嘗試難于成功的原因，一方面在于算法運行的“黑箱化”和算法邏輯的相關性本質(zhì)，另一方面在于算法決策對歧視的呈現(xiàn)在不同場景下具有質(zhì)和量的差異。算法決策與歧視的具體關系決定了借鑒傳統(tǒng)規(guī)制范式的可能性，由此，根據(jù)前文概括的算法歧視類型重構(gòu)規(guī)制范式便具有了現(xiàn)實意義。

（一）復現(xiàn)型算法歧視的規(guī)制

復現(xiàn)型算法歧視的實現(xiàn)方式有兩種：一是直接將原有的偏見與歧視的因果聯(lián)系轉(zhuǎn)化到算法中;二是使用替代性變量替換傳統(tǒng)決策因果鏈條中作為原因而存在的偏見。二者的結(jié)果都是復制了傳統(tǒng)決策場景中產(chǎn)生的歧視性對待。對直接復現(xiàn)與間接復現(xiàn)的規(guī)制重點存在差異，前者重在發(fā)現(xiàn)歧視效應，后者重在探明替代變量。

1.規(guī)制直接復現(xiàn)型算法歧視重在發(fā)現(xiàn)歧視效應

直接復現(xiàn)型算法歧視的典型例證是前文提及的谷歌定向推送廣告的算法使男性比女性看到的高薪招聘廣告更多，這是將本就存在的男性比女性更適宜高薪職位這一針對性別的偏見進而將高薪職位信息更多提供給男性的因果鏈條轉(zhuǎn)化為了算法。此時，偏見與歧視性對待之間的因果關系明確，當受到歧視性對待的主體以訴訟形式主張權利時，算法的設計者和使用者應承擔法律責任。但是，由于算法通常與網(wǎng)絡環(huán)境深度綁定，其產(chǎn)生的歧視性結(jié)果難以輕易察覺，大多數(shù)網(wǎng)民既沒有動力也沒有能力判斷是否遭遇了歧視性對待。算法的設計者也沒有動力主動改善歧視性結(jié)果，這為外部規(guī)制的實現(xiàn)帶來了前提性障礙。事實上，網(wǎng)絡時代個體對算法決策的被動接納已成常態(tài)，在未觸及切身利益的情況下，即使察覺可能的歧視性對待，通常也會選擇容忍。由此，引入算法歧視的社會監(jiān)督具有必要性，設定監(jiān)管機構(gòu)受理針對算法歧視的公眾投訴、允許和鼓勵社會公益組織針對算法歧視提起公益訴訟值得嘗試?！毒W(wǎng)絡安全法》第8條規(guī)定國家網(wǎng)信部門負責統(tǒng)籌協(xié)調(diào)網(wǎng)絡安全工作和相關監(jiān)督管理工作，在未來不妨由其作為受理投訴算法歧視的行政機構(gòu)。

2.規(guī)制間接復現(xiàn)型算法歧視重在探明替代變量

在算法決策的場景中，以代理歧視為典型的間接復現(xiàn)型算法歧視危害可能更為嚴重。例如，前文提及的亞馬遜當日免費送達服務算法使用郵政編碼替換了原有的偏見和歧視因果鏈條中指向種族偏見的非洲裔聚居地區(qū)。線下活動與互聯(lián)網(wǎng)深度融合后，對應于線下活動中某些決定性因素的替代變量開始增多，其深層原因在于個人進行網(wǎng)絡活動時留下的能夠識別身份與特征的痕跡越來越豐富。對個人信息進行的廣泛收集和深度分析足以實現(xiàn)通過特定符號對網(wǎng)絡用戶分類，從而將相應符號設定為算法中的變量，復現(xiàn)原有的歧視性結(jié)果。就代理歧視而言，歧視性結(jié)果的發(fā)現(xiàn)并非難題，規(guī)制的重點應投向?qū)μ娲宰兞康奶矫髋c剔除，在源頭上限制算法對偏見的隱性替換。立法已關注到這一問題，例如，《電子商務法》第18條規(guī)定：“電子商務經(jīng)營者根據(jù)消費者的興趣愛好、消費習慣等特征向其提供商品或者服務的搜索結(jié)果的，應當同時向該消費者提供不針對其個人特征的選項，尊重和平等保護消費者合法權益?！逼湟?guī)范意旨中隱含了防止個人特征作為替代性變量進入算法程序之中實現(xiàn)歧視對待的功能。此外，《個人信息保護法（草案二次審議稿）》也強調(diào)可能導致個人受到歧視是界定敏感個人信息的標準之一，通過自動化決策方式進行商業(yè)營銷、信息推送，應同時提供不針對其個人特征的選項。需要注意的是，有些變量并不屬于個人特征，也并非傳統(tǒng)意義上的敏感信息，但足以定位到特定群體，有必要對這些變量進行歸納和概括并將其排除在算法決策的范疇之外。

（二）加劇型算法歧視的規(guī)制

加劇型算法歧視通過兩種形式加劇了對同一個體或群體的歧視性對待：一是同一決策者在多個決策場景中對同一個體或群體做出相同的歧視性對待;二是不同決策者在各自做出的決策中對同一個體或群體做出相同的歧視性對待。網(wǎng)絡運行平臺化的背景下，加劇型算法歧視體現(xiàn)為平臺內(nèi)的加劇和平臺間的加劇，對前者的規(guī)制應投向制衡平臺算法權力，對后者的規(guī)制應關注對抗平臺合謀。

1.規(guī)制平臺內(nèi)加劇型算法歧視重在制衡平臺算法權力

移動互聯(lián)網(wǎng)和大數(shù)據(jù)、人工智能的不斷發(fā)展使網(wǎng)絡空間與現(xiàn)實世界的連接更加緊密，業(yè)務內(nèi)容較為單一的網(wǎng)絡服務提供商積累了大量的用戶和數(shù)據(jù)，借助路徑依賴心理產(chǎn)生的“鎖定效應”Judita Dolan， Trading in Data： A Policy Perspective， in Sebastian Lohsse/Reiner Schulze/Dirk Staudenmayer （eds.）， Trading Data in the Digital Economy： Legal Concepts and Tools， Hart Publishing， 2017， p.308.，不斷擴張商業(yè)版圖，形成超大規(guī)模的網(wǎng)絡平臺，成為網(wǎng)絡世界游戲規(guī)則的制定者[英]扎拉奇、[美]斯圖克：《算法的陷阱》，余瀟譯，中信出版社2018年版，第229頁。。同一平臺內(nèi)不同應用程序收集的用戶數(shù)據(jù)具有互通性，由此形成的算法決策程序一旦嵌入既有偏見，在全平臺內(nèi)都將產(chǎn)生歧視性對待，從而加劇算法歧視，使相應個體或群體無處遁形。面對強大的平臺，個人用戶以及使用網(wǎng)絡平臺進行交易的商家對算法決策的適用結(jié)果缺乏有力的對抗手段，對平臺內(nèi)加劇型算法歧視的規(guī)制也只能寄希望于對平臺算法權力的一體制衡。目前，平臺權力的擴張引起高度關注，國務院反壟斷委員會發(fā)布《關于平臺經(jīng)濟領域的反壟斷指南》，國家市場監(jiān)督總局對阿里實施的“二選一”行為開出巨額罰單《國家市場監(jiān)管管理總局行政處罰決定書》（國市監(jiān)處[2021]28號）。?！秱€人信息保護法（草案二次審議稿）》也對大型網(wǎng)絡平臺設定了相應的個人信息保護義務。這些措施將有力制衡平臺權力，但具體到算法歧視問題，在行政處罰等規(guī)制手段之外還需考量平臺算法權力監(jiān)管如何具體化的問題。

2.規(guī)制平臺間加劇型算法歧視重在對抗平臺合謀

平臺間的合謀不僅包括商業(yè)型平臺間的合謀，還包括政府與平臺的合謀。雖然大型網(wǎng)絡平臺通常呈現(xiàn)為激烈的市場競爭關系，但由于各自的優(yōu)勢領域差異，基于利益訴求進行合作的情況也越來越普遍《京東宣布與騰訊創(chuàng)新合作模式：將推出深挖微信市場的全新平臺》，https：//tech.qq.com/a/20190521/006988.htm. 2021年5月2日訪問。。平臺間進一步開展數(shù)據(jù)流通與共享后，算法歧視在平臺間的擴張也難以避免。此外，政府與企業(yè)之間，特別是與大型網(wǎng)絡平臺之間的關系趨于復雜，基于加強網(wǎng)絡監(jiān)管與獲得監(jiān)管優(yōu)待的利益交換使二者進行深度合作的可能性越來越高，美國學者將這種關系比喻為“大哥與馬仔”See Frank Pasquale，The Black Box Society： The Secret Algorithms That Control Money and Information， Harvard University Press 2015， p.51-52.。此種合謀在公共管理方面具有積極意義，例如，人民銀行的征信系統(tǒng)接入網(wǎng)絡貸款數(shù)據(jù)有利于防范金融風險。然而，存在偏見的數(shù)據(jù)與算法一旦通過這種合謀進行大范圍適用，將產(chǎn)生普遍的歧視性結(jié)果。為了對抗平臺合謀，一方面要為個人保留算法決策之外的選擇權，另一方面要對跨平臺的算法應用施加更嚴格的監(jiān)管。

（三）新增型算法歧視的規(guī)制

新增型算法歧視出現(xiàn)在機器學習算法應用的場景下，不同的機器學習算法在可預測性方面的難度存在差異。有監(jiān)督的算法意味著設計者和運營者能夠控制決策系統(tǒng)的學習方向和預期結(jié)果，無監(jiān)督的算法則無法預設和控制其輸出結(jié)果崔聰聰、許智鑫：《機器學習算法的法律規(guī)制》，載《上海交通大學學報（哲學社會科學版）》2020年第2期，第42頁。。這意味著對這兩種技術模式之下的新增型算法歧視進行規(guī)制也有差異：對有監(jiān)督的機器學習算法，應通過風險評估降低其不確定性;對無監(jiān)督的機器學習算法，則應通過限制應用范圍規(guī)避其不確定性。

1.規(guī)制有監(jiān)督模式下的新增型算法歧視重在評估算法影響

按照計算機領域的專業(yè)界定，學習效果較好的機器學習算法一般情況下都難以脫離監(jiān)督學習的作用。即便是“阿爾法零”（AlphaGo Zero）這樣的機器學習代表作，其訓練過程也需要受到人為設置的圍棋勝負規(guī)則限制See David Sliver & Julian Schrittwieser， et al，Mastering the game of Go without human knowledge， 550 Nature 354-359 （2017）.。因此，對有監(jiān)督的機器學習算法能夠事前干預，但這種算法仍然具備動態(tài)更新的特點，存在較大的不確定性，如何降低新增算法歧視出現(xiàn)的風險與可能性是需要重點關注的問題。建立恰當?shù)娘L險評估機制是一種較為理性的選擇，需要監(jiān)管機構(gòu)和第三方協(xié)同努力，借助多學科的專家力量，不斷優(yōu)化監(jiān)督效能，強化設計者和運營者對算法決策的控制力。在這一過程中，需明確特定人員對特定事項的算法輸入數(shù)據(jù)、輸出內(nèi)容、系統(tǒng)源代碼的訪問權限，保證算法風險評估的有效開展。

2.規(guī)制無監(jiān)督模式下的新增型算法歧視重在限制算法應用

無監(jiān)督的機器學習算法具有高度的不確定性，在決策過程中產(chǎn)生偏見并形成歧視性對待的結(jié)果也無法預估，由此成為設計者與使用者推諉責任的借口。在技術水平尚不足以實現(xiàn)對這種算法進行有力干預的前提下，只能對應用范圍做嚴格限制，可以考慮將其限定于科學研究與電子游戲等不影響人類現(xiàn)實活動的領域。此外，即使設定了這種限制，仍然難以避免在現(xiàn)實中出現(xiàn)應用機器學習算法并產(chǎn)生歧視性對待的結(jié)果，因此有必要設定針對算法設計者與使用者的無過錯責任或過錯推定責任，使受到歧視性對待的算法決策相對人獲得救濟。通過侵權法上更為苛刻的注意義務設定，也能倒逼算法設計者對算法技術進行改進與優(yōu)化。

六、結(jié)語

反歧視立法是私主體權利意識覺醒之后要求公平對待并爭取權利和實現(xiàn)權利的過程，更多體現(xiàn)為對公權力的限制。進入大數(shù)據(jù)時代，算法權力的興起已是不爭的事實，對個人生活越來越具備“構(gòu)成性地位”陳景輝：《算法的法律性質(zhì)：言論、商業(yè)秘密還是正當程序》，載《比較法研究》2020年第2期，第128頁。，對抗算法權力也成為應對算法歧視并在算法社會中爭取公平對待的核心問題。對算法歧視進行類型化整合，針對復現(xiàn)型算法歧視、加劇型算法歧視和新增型算法歧視確定各自的規(guī)制重點，實現(xiàn)對算法歧視規(guī)制范式的重構(gòu)，本質(zhì)上仍是從不同側(cè)面為制衡算法權力提供更多可能路徑，以期進一步探究算法背后的人性基礎和制度目標。

本文責任編輯：林士平