石 穎

算法歧視是隨著人工智能、大數(shù)據(jù)、算法技術等新興技術的開發(fā)應用而出現(xiàn)的新型歧視類型。算法并非技術中立，它無法將人類社會固有的某些偏見與歧視完全排除在外。相反，這種根植在算法程序中的歧視，會帶來比一般意義上的歧視更為嚴重的后果。受到算法歧視的群體會更普遍、更廣泛，且難以被察覺。作為數(shù)字社會的主要抓手，算法除了為人們提高運行效率、減少決策成本以外，還增加了歧視風險，嚴重侵害了公民平等和非歧視的基本權利，帶來了諸多社會和法律層面的挑戰(zhàn)，需要我們予以應對。那么，算法歧視這種新型歧視類型的緣起是什么？算法歧視為社會現(xiàn)實和法律帶來了哪些挑戰(zhàn)？以及如何去應對這些挑戰(zhàn)，實現(xiàn)算法歧視的法律治理？本文將對這些問題作以論述。

一、算法歧視問題的緣起

(一)算法與算法歧視的界定

算法是數(shù)學與計算機科學領域中的運算程序，是用以執(zhí)行計算、處理數(shù)據(jù)，并進行自動推理的技術規(guī)范。現(xiàn)代算法主要來自計算機科學領域，二十世紀英國數(shù)學家圖靈曾提出“圖靈機”這一假想的計算機抽象模型，并運用算法作為該圖靈機解決不同問題的各種不同程序。(1)See Turing A M.I.Computing Machinery and Intelligence,Mind, vol.59：236,(1950).隨后則進一步發(fā)展成為人工智能領域下的機器學習算法，是一種能夠通過設定相應的參數(shù)而使計算機自動生成并自動改進算法的程序。算法是憑借設計者或者開發(fā)者的主觀創(chuàng)造，以代碼的形式表達的一種設計者的需要，是大數(shù)據(jù)技術最重要的抓手之一，能夠深度挖掘大數(shù)據(jù)中隱藏的有用信息，繼而實現(xiàn)數(shù)據(jù)價值。算法和數(shù)據(jù)在機器學習的交互中，以“輸出預測”作為設定目標的實現(xiàn)情況，“以當前的運行作為下一步指令的基礎，根據(jù)實際的狀態(tài)而不是規(guī)范的預期作為策略選擇的依據(jù)。”(2)余成峰：《法律的“死亡”：人工智能時代的法律功能危機》，載《華東政法大學學報》2018年第2期。簡單來說，算法即是一系列的指令或規(guī)則，是通過這些指令或規(guī)則來解決問題、實現(xiàn)目標的。算法更多體現(xiàn)的是一種基于統(tǒng)計學的隨機性控制。從算法的運行來看，在建構起算法初始化模型之后，算法便會根據(jù)所輸入的訓練數(shù)據(jù)進行自主訓練，之后則對驗證數(shù)據(jù)進行驗證，以檢驗算法的訓練成果，從而完成算法訓練，生成算法系統(tǒng)的模型。(3)參見孟令宇：《從算法偏見到算法歧視：算法歧視的責任問題探究》，載《東北大學學報(社會科學版)》2022年第1期。下圖展示了算法模型的基本運行過程。

人工智能、大數(shù)據(jù)以及算法技術在當今時代得到了極大的發(fā)展，但是，隨之而來的不僅僅是更便利的生產(chǎn)、生活與工作方式，還帶來了更復雜的安全倫理挑戰(zhàn)與法律治理難題。諸如歧視這種產(chǎn)生于人腦的思維意識即在這一過程中轉化進機器算法，演化為算法歧視。歧視是建立在同種或類似情勢下所作出的“不利對待”，然而其區(qū)別的依據(jù)并不是能力或貢獻，而主要以性別、種族(民族)、基因攜帶狀況、天資等“天賦資源”的區(qū)別為依據(jù)。算法歧視源于大數(shù)據(jù)歧視，是由于算法內(nèi)部演算和數(shù)據(jù)分析所導致的對特定群體或個人的不公正對待，深度學習的算法具有“預測”的功能，這種預測功能在邏輯理路上類似于心理學上的“預判”，并且人們通常較難理解算法的運行原理，因此也極易將歧視夾帶其中，形成算法歧視。算法歧視是一種自動化歧視(Automated Discrimination)(4)See Laura Carmichael，Sophie Stalla，Steffen Staab.Data Mining and Automated Discrimination：A Mixed Legal / Technical Perspective，IEEE Intelligent Systems , vol.31：6,(2016).，由于涉及人工智能、大數(shù)據(jù)等一系列新興技術而變得難以判斷，因此已經(jīng)無法按照傳統(tǒng)的性別、種族等特征要素來界定受歧視群體。而且算法決策系統(tǒng)是一個非常復雜的決策體系，算法的某一環(huán)節(jié)出現(xiàn)的失誤往往會以隱蔽的方式呈現(xiàn)，因此人們較難察覺因算法而受到的不合理的區(qū)別對待，這種未知性也加劇了人們對人工智能、算法等新興技術的不信任程度。(5)參見卜素：《人工智能中的“算法歧視”問題及其審查標準》，載《山西大學學報(哲學社會科學版)》2019年第4期。

(二)算法歧視的現(xiàn)實表現(xiàn)

實踐中可以發(fā)現(xiàn)諸多涉及算法歧視的案件或事件，如2018年有媒體曝出滴滴網(wǎng)約車平臺存在利用大數(shù)據(jù)殺熟客的行為，即在相同時段相同始發(fā)地，使用不同品牌、不同型號的手機進行約車時，會得到不同的報價。又如2019年發(fā)生的被稱為“算法歧視第一案”的意大利戶戶送有限責任公司算法歧視案(Filt Cgil di Bologna、Filcams Cgil di Bologna 、Nidil Cgil Bologna v.Deliveroo Italia S.R.L.)，即由于意大利戶戶送有限責任公司使用的數(shù)字送餐平臺系統(tǒng)對騎手實施了集體性的算法歧視，在對騎手進行榮譽排名時并未考慮騎手因合法合理原因而導致的未按預定的時間和配送區(qū)域進行送餐的情形，因此使騎手喪失了對工作條件優(yōu)先選擇的機會，而被判定構成算法歧視。(6)參見羅智敏：《算法歧視的司法審查——意大利戶戶送有限責任公司算法歧視案評析》，載《交大法學》2021年第2期。由此可見，算法自動化決策過程并非中立的，算法決策結果的輸出會在實踐中產(chǎn)生對特定群體不合理的區(qū)別對待。以算法歧視所產(chǎn)生的不同層級的危害為標準，可以將現(xiàn)實中的算法歧視劃分為擾亂市場經(jīng)濟秩序的算法歧視、危害社會公平正義的算法歧視以及侵害公民平等權利的算法歧視三種類型。

1.擾亂市場經(jīng)濟秩序的算法歧視

交易中不合理的區(qū)別定價往往構成不正當定價，我國對于交易中的不正當價格行為已作出了相關立法規(guī)定，如《中華人民共和國反壟斷法》第17條規(guī)定：“禁止具有市場支配地位的經(jīng)營者從事下列濫用市場支配地位的行為：……(六)沒有正當理由，對條件相同的交易相對人在交易價格等交易條件上實行差別待遇；……”(7)《中華人民共和國反壟斷法》第17條第1款第6項。《中華人民共和國價格法》第14條規(guī)定：“經(jīng)營者不得有下列不正當價格行為：……(五)提供相同商品或者服務，對具有同等交易條件的其他經(jīng)營者實行價格歧視；……”(8)《中華人民共和國價格法》第14條。隨著算法在商業(yè)領域中的廣泛應用，算法平臺逐漸具備了技術優(yōu)勢和市場優(yōu)勢，為了獲得更高的商業(yè)利益而開始運用算法實施對消費者的價格歧視，將線下的價格歧視帶至線上。即利用算法技術對不同消費者的支付能力和支付意愿進行評估后做出區(qū)別定價的銷售策略，從而形成算法價格歧視。算法價格歧視進一步擴大了線下價格歧視的影響力，嚴重違反了“明碼實價”的傳統(tǒng)商業(yè)道德標準，改變了競爭博弈的基本規(guī)則和市場運行的基本結構，擾亂了市場經(jīng)濟秩序，未能充分尊重和平等保護消費者的合法權益。對此，《中華人民共和國電子商務法》第18條第1款規(guī)定：“電子商務經(jīng)營者根據(jù)消費者的興趣愛好、消費習慣等特征向其提供商品或者服務的搜索結果的，應當同時向該消費者提供不針對其個人特征的選項，尊重和平等保護消費者合法權益。”(9)《中華人民共和國電子商務法》第18條第1款。以維護市場經(jīng)濟秩序，保護消費者合法權益。

2.危害社會公平正義的算法歧視

算法歧視的出現(xiàn)，往往是算法在面對公平和效率的選擇時，選擇了效率而忽視了公平。當前社會，算法自動化決策涉及的領域已經(jīng)非常廣泛，不僅應用在房屋租賃、融資信貸、保險、招聘篩選等商業(yè)領域中，還應用在公共政策的制定和執(zhí)行以及司法領域中。在這些領域中一旦使用了歧視性的數(shù)據(jù)或做出了歧視性的算法設計，將會產(chǎn)生比商業(yè)領域更嚴重的歧視性后果。如在司法領域利用算法程序預測再犯概率，就很容易因為算法設計人員所帶有的歧視理念或因為不準確的算法而產(chǎn)生歧視性的風險評估結果，嚴重危害公平正義，也有損于司法的公信力。

一般而言，受歧視群體往往因“外團體”(10)“外團體”(out-group)，指的是處于弱勢地位、背負污名、遭受排擠的群體，是平等與反歧視措施的主要適用對象。身份而遭受著“弱勢循環(huán)”，呈現(xiàn)出“強者越強，弱者越弱”的生存狀態(tài)。從資源與利益分配的角度來看，算法歧視嚴重破壞了分配正義，不論是在物質資料分配方面，還是在勞動分工和社會制度分配方面，都承受著嚴重的歧視，對社會公平正義帶來了非常大的負面影響。因此，有待于分別從技術上和法律上做出應對。

3.侵害公民平等權利的算法歧視

平等是一種價值目標，亦是法律的精神與生命。平等作為基本權利已經(jīng)被大多數(shù)國家以憲法或法律的形式予以確認?！皯椃ㄉ系钠降龋墙乖诒举|相同的情況下基于對個人或群體的某些自然性、社會性的固有特征，作出任何旨在損害、克減、限制或剝奪他人合法權利的不合理的差別對待，或者任何基于不合理的區(qū)別措施具有損害特定群體或個人的法律效果?！?11)周偉：《禁止歧視：法理與立法》，法律出版社2020年版，第1頁。禁止歧視是平等權的主要內(nèi)容之一。受歧視者往往是在相同情況下受到了不合理的區(qū)別對待，這種不合理的區(qū)別對待嚴重侵害了公民的平等權利。而算法歧視則在一定程度上固化了社會中的歧視和不平等。如亞馬遜公司曾經(jīng)為了方便快捷而使用的簡歷分析系統(tǒng)，即自動將女性求職者的排名后置于男性，這使得女性求職者在相同的求職條件下受到了區(qū)別對待，嚴重違反了男女平等的基本原則，形成算法性別歧視。

二、算法歧視的挑戰(zhàn)

通過對歷史數(shù)據(jù)的聚類和分析，實現(xiàn)對新數(shù)據(jù)的歸類和預測的算法運行模式，似乎是按照孔德“社會物理學”的構想而行進，即基于不斷推進的理性科學認知，人們將能夠根據(jù)現(xiàn)狀進行統(tǒng)計分析，掌握社會規(guī)律，進而實現(xiàn)社會預測。(12)See Comte A.“ System of positive philosophy”,R. Bierstedt ed.The making of society,New York: Random House Press,1959,p.192.然而實踐中，算法技術反而因這樣的技術理論邏輯引發(fā)各種歧視和不平等的挑戰(zhàn)?？傊?，算法歧視不僅帶來技術建構上的結構性挑戰(zhàn)，還帶來算法運行上的功能性挑戰(zhàn)，更有平等權消解、算法權力擴張以及法律功能異化等隱藏性挑戰(zhàn)。

(一)技術建構上的結構性挑戰(zhàn)

算法的結構是以技術為依托而建立起來的，因此，算法歧視的結構性挑戰(zhàn)主要體現(xiàn)在算法技術建構方面，是基于算法技術本身的邏輯與技術的缺陷而引發(fā)的。算法主要是對既有的數(shù)據(jù)信息進行改造和再生產(chǎn)而建構起來的。在此過程中，算法的“技術邏輯”能夠使結構化了的事實和規(guī)則“推理”出可重復的新的事實與規(guī)則，“在‘事實、規(guī)則——事實、規(guī)則——事實、規(guī)則’的螺旋上升過程中，既有的以及推導出的事實和規(guī)則成為下一次計算的基礎，并且被不斷強化，最終印證系統(tǒng)設計的目的。”(13)李文靜、欒群：《人工智能時代算法的法律規(guī)制：現(xiàn)實、理論與進路》，載《福建師范大學學報》2020年第4期。這一技術建構過程符合人類思維方式與認知規(guī)律，而且這樣的算法技術設計能極大地提高效率，減少運行成本，但是技術的建構邏輯是以既有知識作為算法運行的前提性要素的，因此，算法技術的邏輯推論過程并不能做到全面而周延，所得出的結論也只能是既有知識范圍基礎上的經(jīng)驗性結論，其存在技術建構邏輯上的瑕疵，構成技術建構上的結構性挑戰(zhàn)。

(二)算法運行上的功能性挑戰(zhàn)

算法的功能主要是在算法運行的過程中實現(xiàn)的，因此，算法歧視的功能性挑戰(zhàn)主要體現(xiàn)在算法運行方面。在此，以算法運行中的算法個性化推薦和冗余編碼為例，對算法運行上的功能性挑戰(zhàn)加以論述。

第一，算法個性化推薦產(chǎn)生的算法歧視挑戰(zhàn)。常見的“大數(shù)據(jù)殺熟”現(xiàn)象(即“動態(tài)差異化定價”機制，又稱“區(qū)別定價”)即是商家利用與消費者之間的信息不對稱，而將消費者鎖定在一個封閉式的消費空間中，其遵循的不再是以往那種公開透明的商業(yè)模式或消費模式，而是通過系統(tǒng)評估用戶的心理承受價位，以一對一定價的方式推送給用戶相應的商品，并提供不同的價格，形成了違反公平交易的算法價格歧視。這表明，“大數(shù)據(jù)殺熟”不再是僅僅涉及商業(yè)道德、商業(yè)倫理方面的問題，而已上升為一種涉嫌價格歧視的法律問題。這樣的算法運行嚴重影響著市場經(jīng)濟的健康有序發(fā)展，侵害著公民的合法權益，不利于算法功能的實現(xiàn)。

第二，“冗余編碼”產(chǎn)生的算法歧視挑戰(zhàn)。“冗余編碼”產(chǎn)生的算法歧視指的是將本應受到保護的敏感性數(shù)據(jù)，與其他可合法獲得的數(shù)據(jù)進行編碼與關聯(lián)性應用，從而產(chǎn)生的歧視性的決策結果。(14)See Solon Barocas & Andrew D.Selbst，Big Data's Disparate Impact，California Law Review,vol.104：671, (2016)．如用人單位利用大數(shù)據(jù)算法從人才庫中選聘(或解雇)應聘者本是常見的人才選拔與淘汰方式，但在此過程中，如果單純以通勤時長作為評價策略，做出拒絕錄用(或解聘)通勤時間過長員工的決策，那就有可能構成對該群體的算法歧視。因為以通勤時長作為評估和判斷員工勝任工作與否的標準，實際是對員工進行了不合理的區(qū)別對待。通常情況下，通勤時間過長往往是因為經(jīng)濟條件等原因而居于遠郊或交通不便的地方，如果以通勤時長作為員工勝任工作與否的標準，會進一步降低該群體的雇傭率，將現(xiàn)實社會中可能已經(jīng)存在的歧視轉化為算法歧視，強化歧視的作用力與覆蓋面。(15)參見張玉宏、秦志樂、肖樂：《大數(shù)據(jù)算法的歧視本質》，載《自然辯證法研究》2017年第5期。

(三)平等權消解、算法權力擴張以及法律功能異化的隱藏性挑戰(zhàn)

算法時代所帶來的各種社會問題，往往與技術要素、資本要素密切相連。算法歧視是算法技術的衍生物，是壟斷性的算法技術與營利性的資本深度結合而產(chǎn)生的，是一個相當復雜的問題。因此，除了上述結構性挑戰(zhàn)和功能性挑戰(zhàn)以外，還需格外注意隱藏在算法歧視背后的，基于平等權消解、算法權力擴張以及法律功能異化所帶來的隱藏性挑戰(zhàn)。

1.算法歧視隱藏著平等權消解的挑戰(zhàn)

技術的發(fā)展進步要始終以人為最終目的，堅持以人為本，實現(xiàn)人的全面發(fā)展，避免發(fā)生人被智能技術排斥且無法得到救濟的情況。算法除了帶來外部法律治理的技術危機外，還對一些基本權利保護體系產(chǎn)生了極大的影響。算法歧視對公民基本權利的侵害正表現(xiàn)在權益侵害程度以及侵害后果的不確定性上，且受侵害個體較難獲得救濟。

平等是一個具有多重含義的概念，其所指對象既可以是政治參與的權利、收入分配的制度，又可以是不得勢群體的社會地位和法律地位。(16)參見博登海默：《法理學——法律哲學與法律方法》，鄧正來譯，中國政法大學出版社2017年版，第310頁。“現(xiàn)實中產(chǎn)生不平等的原因在于人類社會普遍存在的歧視現(xiàn)象……每個期望實現(xiàn)社會正義和人權的社會，都以平等為社會基石……‘免受歧視’是從平等權引申出來的一項權利……免受歧視，實現(xiàn)平等，也就成為實現(xiàn)弱勢群體人權首要的基本的要求，而平等和不歧視原則則成為弱勢群體人權保護制度的核心。”(17)張愛寧：《平等和不歧視——弱勢群體人權保護國際標準研究》，世界知識出版社2021年版，第27頁?！皺C會平等”和“消除歧視”已經(jīng)是各國反歧視法的目的條款。算法歧視既違反了“對相同的人給予相同待遇”的形式平等原則，又違反了以機會平等和結果平等為基礎的實質平等。算法歧視不平等的來源：一方面，源自算法模型設計本身存在的歧視和不平等的技術規(guī)則體系；另一方面，源自數(shù)據(jù)收集利用時，將具有歧視性的或敏感性的數(shù)據(jù)信息進行了收集利用，從而將受歧視群體轉化成為潛在的歧視對象。

2.算法歧視隱藏著算法權力擴張的挑戰(zhàn)

進入信息化時代，算法在本質上已經(jīng)不單單是一種數(shù)據(jù)計算程式，而日益成為一種“算法權力”，與社會化的知識、利益以及公共權力越來越密切地聯(lián)系在一起，深刻影響著社會生活中每個人的行為選擇。作為一種越來越重要的“非國家力量”，“算法權力”甚至演化為一種“準公權力”，其利用自身在數(shù)據(jù)處理與算法上的技術優(yōu)勢，產(chǎn)生對政府、公民、社會組織的影響和控制，造成傳統(tǒng)“權利——權力”格局的失衡。(18)參見鄭智航、徐昭曦：《大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》，載《比較法研究》2019年第4期。尤其會在分析人類的各項主觀偏好的基礎上，將帶有該種偏好的信息推送給相應個體，從而影響人們的判斷和決策。如愛彼迎民宿預訂平臺就在2017年時被曝出，使用歧視性算法優(yōu)先篩選或引導受歡迎的潛在租戶入住高質量房間，為平臺創(chuàng)造最大化的經(jīng)濟利潤。(19)See Benjamin Edelman，Michael Luca，Dan Svirsky. Racial Discrimination in the Sharing Economy: Evidence from a Field Experiment,American Economic Journal: Applied Economics,vol.9：2,(2017).這種影響力和控制力其實是源于隱藏在算法權力背后的資本權力的崛起，而這樣的資本權力實際掌控著算法設計、研發(fā)及運行的全過程。第一，算法具有高度的專業(yè)性，算法權力這種新型權力體系只被算法技術持有者這一少數(shù)群體所掌握。由于高度的專業(yè)性使得算法設計人員或算法平臺等算法技術持有者與普通用戶之間形成了巨大的“數(shù)字鴻溝”。普通用戶基本只能得到并被動地接受最終的決策結果，根本無法追溯并理解以技術代碼的形式呈現(xiàn)的算法決策的過程、決策的依據(jù)、決策的結構，并發(fā)現(xiàn)其中所存在的算法歧視。第二，算法不再只具有傳統(tǒng)網(wǎng)絡平臺的工具性特征，而是作為具有信息配置主導權的規(guī)則本身而存在。無論是在社會治理當中還是在商事交易當中，算法技術已然成為基本的應用工具。掌握著算法權力的資本，同時掌握著算法建構的基礎——數(shù)據(jù)。海量數(shù)據(jù)的存儲、計算和運用，使得資本在數(shù)據(jù)占有方面享有絕對優(yōu)勢，甚至演化成數(shù)據(jù)霸權，如阿里巴巴的網(wǎng)絡交易平臺就掌握著包括個人身份識別信息、金融信息、消費信息等的海量個人數(shù)據(jù)信息，從而得以進一步商業(yè)化地開發(fā)利用其所掌握的數(shù)據(jù)信息，發(fā)揮數(shù)據(jù)價值。第三，政府在數(shù)據(jù)信息挖掘方面需要加以改進。除了存在因科層體制所產(chǎn)生的數(shù)據(jù)壁壘的原因以外，技術人員的欠缺、數(shù)據(jù)信息利用度低也是重要原因。而現(xiàn)代化國家治理對算法技術的運用又具有極大的依賴性，因此政府需要與資本開展合作，以獲得算法技術和數(shù)據(jù)信息的開發(fā)共享。本該由政府監(jiān)管的算法平臺轉化成為政府的合作對象，又一次拓寬了自身的影響力。

在技術視角下，算法權力對規(guī)制國家公權力起到了重要的作用；而在資本視角下，算法權力逐漸幫助擁有算法和數(shù)據(jù)技術優(yōu)勢的資本建立起相對于國家來說的優(yōu)勢地位。在數(shù)據(jù)優(yōu)勢、算法技術優(yōu)勢以及資本優(yōu)勢的疊加作用下，使得權力與社會秩序、資本與國家的關系逐漸發(fā)生異化。

3.算法歧視隱藏著法律功能異化的挑戰(zhàn)

作為智能科技，算法技術對現(xiàn)行法律制度和法律體系都帶來了極大的風險挑戰(zhàn)，不僅為未來法律規(guī)范創(chuàng)造了新的規(guī)范對象，還深刻改變了現(xiàn)有法律實踐的運行邏輯。算法歧視這一經(jīng)由數(shù)據(jù)收集與算法運行而形成的技術秩序帶來了新的法律治理難題，引發(fā)法律功能的危機和異化。

算法是基于統(tǒng)計學而建立起的具有描述性、學習性、動態(tài)性的隨機性控制，在這樣的動態(tài)隨機數(shù)據(jù)中不斷地進行自我適應和改進，據(jù)實際的狀態(tài)而非規(guī)范的預期來做出策略選擇。(20)參見余成峰：《法律的“死亡”：人工智能時代的法律功能危機》，載《華東政法大學學報》2018年第2期。常見的算法種族歧視、算法性別歧視以及算法價格歧視，就是在動態(tài)數(shù)據(jù)的統(tǒng)計學習中所做出的策略選擇，這種歧視性選擇在技術領域是符合一定技術秩序的，在法律領域卻嚴重違反了法律規(guī)定。無論社會實際與現(xiàn)實法律狀況如何，法律總致力于實現(xiàn)從形式平等到實質平等再到機會、能力和結果平等。而算法技術則是以效率為根本導向，這也決定了算法技術中對不同主體區(qū)別對待的特性，與法律所追求的平等對待相悖。因此，規(guī)范性的法律在認知性的算法作用下，面臨著法律功能異化的挑戰(zhàn)。

三、算法歧視的法律應對

良序社會是羅爾斯為論證正義原則而建構出的社會形態(tài)，其基本特征是社會成員具有普遍的正義感，并以追求社會成員的利益為社會主要目標，秉持著公平正義和自由平等的理念，充分保障了公民的平等權利，給予公民平等的尊重和保護。在這樣的社會中，人與人之間基于相互間的協(xié)作配合，形成了自由而平等、良序而正義的社會。(21)參見約翰·羅爾斯：《正義論》，何懷宏、何包鋼、廖申白譯，中國社會科學出版社2009年版，第359頁。以當前社會視角來看，良序社會的實現(xiàn)需要將良序的技術與良序的法律相結合。既賦予算法技術發(fā)展進步的需要，又通過建構算法行業(yè)內(nèi)生型治理機制，妥善處理好技術治理與法律穩(wěn)定之間的關系，促進算法技術的良性發(fā)展。具體而言：一方面，在算法設計的過程中，應強化法律與技術的融合發(fā)展，推動建立法律和科技共治的模式，將算法代碼與法律規(guī)則相結合，充分發(fā)揮技術優(yōu)勢和法律制度優(yōu)勢，將技術規(guī)范的基礎性作用與法律規(guī)范的保障性作用相結合，即建立起由科技理性和法律理性共同支撐的社會秩序；另一方面，加強對算法技術的法律治理，以法律價值來影響算法，以強制性的法律規(guī)范來確保技術規(guī)范的正確實施。

(一)強化內(nèi)生型治理，構造技術良序

內(nèi)生型治理，主要是從技術正義的角度出發(fā)，形塑數(shù)據(jù)正義，并從技術正當程序的角度出發(fā)，建立起算法審查與監(jiān)管體系，以構造技術良序。

1.形塑數(shù)據(jù)正義，應對技術建構上的結構性挑戰(zhàn)作為新時代經(jīng)濟社會發(fā)展的基本特征，數(shù)字化與數(shù)據(jù)化已經(jīng)是當今時代不可阻擋的潮流和趨勢，大數(shù)據(jù)更是基于傳統(tǒng)的“測量式的小數(shù)據(jù)”與現(xiàn)代的“大記錄”相結合而形成了新時代的生產(chǎn)資料。(22)參見張玉宏：《品味大數(shù)據(jù)》，北京大學出版社2016年版，第110-111頁。數(shù)據(jù)作為信息載體，只是一種可被編碼的符號，其通過載體、編譯代碼、服務協(xié)議以及操作權限等才產(chǎn)生的實際法律關系，因此具有工具性、中立性的特色。而算法則依托數(shù)據(jù)建立起了自己的運用程序，算法之所以會產(chǎn)生歧視，很大程度上是由于作為主體的人對數(shù)據(jù)進行解讀與設計運行時，融入了自身的主觀認識，使得數(shù)據(jù)具有了非正義的屬性。在算法中，算法正義的實現(xiàn)基礎乃是“數(shù)據(jù)正義”(23)See Ethan Katsh&Orna Rabinovich-einy.Digital Justice: Technology and the Internet of Disputes, Oxford University Press, 2017，p3.，要通過形塑數(shù)據(jù)正義，應對技術建構上的結構性挑戰(zhàn)。

其一，要秉持平等、非歧視的數(shù)據(jù)價值觀。算法依托的是人與數(shù)據(jù)，人是信息持有者，數(shù)據(jù)承擔著信息的傳遞任務，算法則建立起運算程序。為避免由于技術開發(fā)原因所導致的算法歧視，在數(shù)據(jù)收集之初即應該秉持平等、非歧視的數(shù)據(jù)價值觀，遵循平等保護與“無害化”的基本原則，篩選掉非正常來源的、具有歧視性的或可能產(chǎn)生歧視后果的數(shù)據(jù)信息，以數(shù)據(jù)信息的最小化收集為基準，以個人數(shù)據(jù)信息處理的必要性為限度，從而起到必要的信息篩選與過濾作用，排除人類的偏見與歧視，形塑向善、無害化的數(shù)據(jù)，以充分保障公民平等權。2019年4月8日歐盟委員會發(fā)布的《可信賴人工智能倫理指南》(Ethics Guidelines for Trustworthy AI)，明確指出使用人工智能系統(tǒng)要堅持“多樣性、非歧視性和公平性”原則。(24)參見《ADAS/AD相關標準翻譯04-人工智能倫理01歐洲篇》，載51fusa安全社區(qū)，https://www.51fusa.com/client/knowledge/knowledgedetail/id/422.html，2022年4月9日訪問。我國國家新一代人工智能治理專業(yè)委員會在2019年6月印發(fā)的《新一代人工智能治理原則——發(fā)展負責任的人工智能》，也確立了“公平公正、尊重隱私、安全可控”的人工智能發(fā)展原則。(25)參見《發(fā)展負責任的人工智能：新一代人工智能治理原則發(fā)布》，載中華人民共和國科技部網(wǎng)站，http://www.most.gov.cn/kjbgz/201906/t20190617_147107.html，2022年4月9日訪問。其二，要建立政府與企業(yè)聯(lián)動的數(shù)據(jù)合規(guī)體系。技術良序的建立需要群策群力，形成政府、企業(yè)的聯(lián)動體系。一方面，政府要建立統(tǒng)一的數(shù)據(jù)監(jiān)管機構，形成數(shù)據(jù)管理與數(shù)據(jù)保護相互配合的二元數(shù)據(jù)治理機制，保障數(shù)據(jù)真實、客觀。根據(jù)算法技術發(fā)展特征，因地制宜地頒布制定相應的技術規(guī)則與標準。將企業(yè)與政府相連接，在規(guī)范數(shù)據(jù)、算法的同時，也保障企業(yè)核心利益，實現(xiàn)數(shù)據(jù)正義。另一方面，企業(yè)要以數(shù)據(jù)合規(guī)作為企業(yè)合規(guī)的重點，既要嚴格遵循現(xiàn)有法律法規(guī)、遵守公共秩序，又要從頂層設計出發(fā)實現(xiàn)綜合治理，明晰體系責任的問題。在收集數(shù)據(jù)時，要征得本人同意，以做到民主化的數(shù)據(jù)收集和對公民個人數(shù)據(jù)信息安全的保護。

2.建立算法的內(nèi)部審查和監(jiān)管體系，應對算法運行上的功能性挑戰(zhàn)

在算法歧視的應對和治理中，要建立算法的內(nèi)部審查和監(jiān)管體系，以應對算法運行上的功能性挑戰(zhàn)。第一，要做到將法律的反歧視目標與強制性規(guī)定貫穿于算法當中，積極引導算法設計人員嚴格遵從算法技術設計的非歧視標準。增強算法透明度，做到在技術層面上的算法合規(guī)，獲取合法合理的算法利益，以自律性規(guī)范建構自律性秩序。第二，以區(qū)塊鏈技術備份原始數(shù)據(jù)內(nèi)容，保證輸入數(shù)據(jù)的原始、真實，并考核數(shù)據(jù)來源的合法性與合理性，將算法建立在數(shù)據(jù)資源正義、數(shù)據(jù)來源合理的基礎上。第三，在數(shù)據(jù)的中期處理應用中，嚴格準確記錄應用過程、策略以及比例等，履行必要的注意義務；建立相應的周期復查機制，以應對原始算法在不斷迭代更新中所產(chǎn)生的新變化。(26)參見王夙：《人工智能發(fā)展中的“算法公開”能否解決“算法歧視”?》，載《機器人產(chǎn)業(yè)》2019年第3期。

(二)加強外部性治理，構造法律良序

法律是人類安全和發(fā)展的制度保障，要通過法律建立起相應的秩序，以服務于本時代的經(jīng)濟社會發(fā)展。在算法時代，法律作用的場域發(fā)生了實質性的變化。要理性審視科技發(fā)展所可能帶來的非理性后果以及如何通過法治來進一步降低科技發(fā)展可能帶來的風險。(27)參見韓大元：《當代科技發(fā)展的憲法界限》，載《法治現(xiàn)代化研究》2018年第5期。技術與法律是社會治理和風險防控中可以進行相互轉換的兩種不同進路。綜合來看，憑借社會共識而建構起來的法律治理邏輯，不同于依賴自我偏好而建構起來的技術治理邏輯，因此，在對算法歧視進行法律治理時，要將法律的知識體系與算法的技術(數(shù)理)邏輯體系相彌合，有效審視科技所可能帶來的非理性后果，充分遵循技術倫理，運用法治來降低技術風險，進而達到防范風險的法律制度設計目標。具體而言，可通過以下幾個方面來探究算法歧視的外部性治理的方案。

1.以安全法治觀為基本價值取向

當今時代，如何引導法律與算法的對接，建立從“確權”“賦權”，到“限權”再到“權利救濟”的完整技術開發(fā)和法律治理的邏輯鏈條，是實現(xiàn)算法技術發(fā)展、算法歧視治理的關鍵所在。在此過程中要樹立安全法治觀，將算法歧視風險降到最低，更好地維護和促進與數(shù)據(jù)相關的權利的設計與運行。要在充分明晰算法的應用范疇與算法規(guī)則的基礎上，強化對算法的審查，從而避免社會大眾受到算法權力的侵害，充分保障數(shù)據(jù)信息安全與算法技術發(fā)展，并保障數(shù)據(jù)存儲、利用、流通過程中的安全性。

2.保障數(shù)字人權，實現(xiàn)實質平等，應對平等權消解的挑戰(zhàn)

數(shù)字人權是伴隨數(shù)字科技的發(fā)展而出現(xiàn)的新興權利。建構法律治理體系，保護數(shù)據(jù)權與信息權，并將其作為算法設計的理念指引，是科技與數(shù)據(jù)治理中的應有之義。數(shù)字人權要求數(shù)字科技務必做到以人為本，以維護人的尊嚴和權利為出發(fā)點。具體而言，數(shù)字人權既要求對數(shù)字化生活中的數(shù)據(jù)權、隱私權、人格尊嚴權、平等與非歧視等權利予以尊重和保護，又要求對弱勢群體面臨的“數(shù)字鴻溝”問題進行填補，以實現(xiàn)數(shù)字科技的善用善治。(28)參見張文顯：《新時代的人權法理》，載《人權》2019年第3期。一直以來，平等都是反歧視的理論基石，更是反歧視的正當性基礎。對平等和反歧視目標的實現(xiàn)要求逐步做到：從“法律面前人人平等”的形式平等；到對弱勢群體予以一定的合理的政策、制度傾斜(包括實施暫行特別措施)的實質平等，保障每位公民都能平等享有法律賦予的基本權利；再到改變制度環(huán)境，理順社會分配機制，以盡可能地實現(xiàn)社會融入。還要充分尊重人性固有的尊嚴，尊重人的價值和理性能力。這一點在算法中同樣適用。

算法歧視作為數(shù)字科技發(fā)展中出現(xiàn)的侵害公民基本權利的典型表現(xiàn)，在一定程度上也是基于算法權力擴張而引發(fā)的對特定主體平等權的侵害。如算法個性化推薦服務即賦予了算法決策系統(tǒng)區(qū)別對待的權力，進而產(chǎn)生了算法歧視。為避免算法歧視的發(fā)生，就需要將算法技術限定在平等、正義、安全的界限內(nèi)，從權利視角來規(guī)范數(shù)據(jù)信息獲取與算法技術利用上的不平等，讓公民能夠真正依法平等地獲得私有財產(chǎn)的保護以及個人隱私、個人人格利益等基本權益的保障。因此，在治理算法個性化推薦服務所帶來的歧視時，就需要平等看待數(shù)據(jù)系統(tǒng)中的各個主體，對可能影響到公民個人自由或個人基本權利行使的各類敏感數(shù)據(jù)信息等建立起特定的保護機制，限制或禁止企業(yè)過度采集與利用。既要做到嚴格審查這些數(shù)據(jù)信息的收集機制，又要對算法決策過程進行定期檢查，做到及時有效防控。在允許的條件下，甚至可以禁止將這些敏感數(shù)據(jù)信息囊括進算法區(qū)別對待的函數(shù)設計當中，從根源上消除歧視。重塑法律對平等權的保護機制，避免算法權力的擴張所帶來的對公民平等權的侵害，盡可能地實現(xiàn)對數(shù)字人權的保障。

3.處理好公權力與算法權力的關系，應對算法權力擴張的挑戰(zhàn)

算法權力的日益擴張，除了帶來算法技術的突飛猛進，還帶來了對政府、公民、社會組織的影響和控制。作為算法權力背后的資本更是全面控制著公民的各項數(shù)據(jù)信息，并利用算法技術做出了諸多區(qū)別對待的歧視性決策。對此，需要我們切實處理好公權力與算法權力之間的關系。第一，政府等公權力主體要提高對算法技術的應用能力，善于在工作中借助算法壟斷平臺的設備與技術來提高決策和執(zhí)行效率?？梢钥吹剑谒惴ǖ膸椭?，政府可以更輕松地實現(xiàn)對公民個人信息的采集，并進行精準監(jiān)控，如在新冠肺炎疫情期間，政府通過借助算法平臺記錄感染者的運動軌跡的方式來篩查隱患，極大地提高了篩查效率，也有利于疫情防控措施的有效推行。(29)參見郭哲：《反思算法權力》，載《法學評論》2020年第6期。第二，公權力在運用算法決策時，應進行審慎的考量并接受必要的監(jiān)督，防范公權力對公民權利的侵犯以及對算法技術創(chuàng)新的阻礙。第三，要始終將算法平臺置于被監(jiān)管的地位，強化公權力對算法平臺的監(jiān)管。

4.重塑法律功能，健全法律問責機制，應對法律功能異化的挑戰(zhàn)

面對算法所帶來的法律功能異化的挑戰(zhàn)，要重塑法律功能，發(fā)揮法律對算法歧視的治理作用。包括進一步健全法律問責機制，重塑法律對算法平臺及算法設計者的約束和監(jiān)管功能。問責機制是對算法歧視法治化治理的保障。要分別對責任主體、責任范圍、追責標準與責任承擔方式等作出明確規(guī)定，以規(guī)范算法的運行與決策。我國《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》即分別對算法推薦服務提供者的法律責任作出了規(guī)定：“法律、行政法規(guī)有規(guī)定的，依照其規(guī)定；法律、行政法規(guī)沒有規(guī)定的，由網(wǎng)信部門和電信、公安、市場監(jiān)管等有關部門依據(jù)職責給予警告、通報批評，責令限期改正；拒不改正或者情節(jié)嚴重的，責令暫停信息更新，并處一萬元以上十萬元以下罰款。構成違反治安管理行為的，依法給予治安管理處罰；構成犯罪的，依法追究刑事責任。”(30)《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》第31條。需要注意的是，通常我們將禁止歧視的理論基礎建立在對平等的追求上，禁止歧視的目的也是為了獲得法律的平等保護。而禁止算法歧視除了要實現(xiàn)法律意義上的平等保護，還要避免對算法技術的發(fā)展造成阻礙。因此，要充分尊重和保障合理的市場自由競爭，要能看到數(shù)據(jù)與算法行為的“一體兩面”，不對算法技術進行極端化治理。比如在市場充分競爭、價格透明的基礎上，可允許進行算法區(qū)別定價。

此外，還可以通過反歧視訴訟來應對算法歧視。反歧視訴訟是排除不恰當?shù)馁Y源分配制度，消除自由市場在資源分配中存在的固有缺陷的重要手段，根本目的是“通過適度司法干預建立公正的社會資源分配機制，確保市場經(jīng)濟條件下機會平等的真正實現(xiàn)?！?31)李成：《平等權的司法保護——基于116件反歧視訴訟裁判文書的評析與總結》，載《華東政法大學學報》2013年第4期。反歧視訴訟是實現(xiàn)平等權的有效途徑，其通過禁止歧視的名義實現(xiàn)了對憲法平等權的保護，從而可以逐步實現(xiàn)對算法歧視的法治化治理。其中，通過公益性的或有影響性的反歧視訴訟能夠有效推動司法進步，并且可以在具體糾紛的解決和在對受歧視者的救濟中，進一步倒推立法的完善和制度的變革與進步，從而為更廣泛的公民提供幫助和救濟。如意大利戶戶送有限責任公司算法歧視案(Filt Cgil di Bologna、Filcams Cgil di Bologna 、Nidil Cgil Bologna v. Deliveroo Italia S.R.L.)即以意大利總工會位于博洛尼亞的三個分工會——運輸業(yè)勞動者工會、旅游與服務業(yè)勞動者工會、非典型勞動者工會的名義提起訴訟，其既體現(xiàn)了公益性，又是有影響性的反歧視訴訟。畢竟公益訴訟要比個人維權擁有更多優(yōu)勢，具有更大的影響范圍、更高的社會關注度和更小的維權成本，也具有較強示范意義，便于歧視糾紛的解決和受歧視者權益的保護，在一定程度上也提高了司法的社會效用價值，實現(xiàn)了算法歧視的外部性治理。

結 語

算法的發(fā)展應用不僅帶來了更便利、更高效的生產(chǎn)、生活與工作方式，還帶來了更大的安全倫理挑戰(zhàn)與法律治理難題。算法歧視就是算法所帶來的典型的安全倫理挑戰(zhàn)與法律治理難題。就算法歧視本身來說，其作為一種新型歧視類型所帶來的具體挑戰(zhàn)包括：技術建構上的結構性挑戰(zhàn)、算法運行上的功能性挑戰(zhàn)、平等權消解、算法權力擴張與法律功能異化等的隱藏性挑戰(zhàn)。對此，要積極通過內(nèi)生型治理和外部性治理來構造技術良序和法律良序，最終形成技術和法律共同支撐的良序社會。具體而言，一方面要從技術正義的角度出發(fā)，形塑數(shù)據(jù)正義，并從技術正當程序的角度出發(fā)，建立起算法審查與監(jiān)管體系，以構造技術良序，應對技術建構上的結構性挑戰(zhàn)和算法運行上的功能性挑戰(zhàn)。另一方面，要從安全法治觀入手，積極保障數(shù)字人權，實現(xiàn)實質平等；處理好公權力與算法權力的關系；重塑法律功能，健全法律問責機制，以構造法律良序，應對算法歧視的隱藏性挑戰(zhàn)。盡可能地避免或減少算法歧視對于市場經(jīng)濟秩序、社會公平正義以及公民平等權利的侵害。

綜之，算法表面上公正、平等的自動化決策系統(tǒng)，其實隱藏著不公正、不平等的算法歧視，所得出的預測結果也與現(xiàn)實情況發(fā)生了嚴重偏差，某些算法決策會延續(xù)或增強社會中的不平等，從而加重了特定弱勢群體的劣勢地位。因此，法律的積極有效應對便是其中的應有之義。不論是算法還是其他技術，都要始終維護人的主體性，保障人的基本權利和尊嚴。當下，迫切需要我們有效應對算法帶來的科技風險，積極治理已經(jīng)出現(xiàn)的算法歧視問題，促進算法的健康有序發(fā)展。