文/楊 佳（中國人民銀行南京分行營業(yè)管理部）

大型互聯(lián)網(wǎng)平臺算法的應用在促進互聯(lián)網(wǎng)經(jīng)濟飛速發(fā)展、提升金融服務效率的同時也引發(fā)了算法歧視問題，本研究初步探討了金融算法數(shù)據(jù)源的獲取、算法歧視的法律規(guī)制現(xiàn)狀和存在的問題及其相對應的建議。

一、 研究背景與意義

大型互聯(lián)網(wǎng)平臺是我國信息技術(shù)創(chuàng)新應用的中堅力量，也是信息和數(shù)據(jù)資源的重要使用者，在進一步推動金融科技和數(shù)字普惠金融發(fā)展方面發(fā)揮至關(guān)重要的作用，而算法是大型互聯(lián)網(wǎng)平臺得以運行的核心技術(shù)，可作用于精準客戶營銷、智能決策、創(chuàng)新商業(yè)模式、提升效率等多個方面。算法在促進互聯(lián)網(wǎng)經(jīng)濟飛速發(fā)展的同時也引發(fā)了金融公平公正、金融消費者權(quán)益保護等多個問題。英國《衛(wèi)報》曾經(jīng)發(fā)布報告，顯示算法對某類人群有歧視，被打上小微企業(yè)、農(nóng)民、低收入人群、殘疾人、老年人等標簽的群體在申請金融服務時的難度越來越大，即使獲得也是劣質(zhì)的金融服務；美國聯(lián)邦貿(mào)易委員會調(diào)查顯示廣告商更傾向于向低收入群體展示高息貸款信息；國內(nèi)以今日頭條為典型代表的多家信息平臺，在推送信息時將消費者的消費理念與特定信息綁定，如長期推薦的信息有關(guān)金融投資、金融價值偏好，會對用戶的理財投資計劃和投資選擇能力產(chǎn)生影響，甚至與消費者在公開透明信息下的選擇產(chǎn)生偏差。目前有學者對互聯(lián)網(wǎng)時代的算法歧視現(xiàn)象進行了較深入的研究，但尚沒有針對大型互聯(lián)網(wǎng)平臺算法歧視下的金融消費者權(quán)益保護問題進行細致研究，因此，對互聯(lián)網(wǎng)平臺算法歧視下金融消費者保護問題進行研究很有必要，對助力普惠金融發(fā)展將起到積極作用。

二、 大型互聯(lián)網(wǎng)平臺算法歧視概述

1.金融算法數(shù)據(jù)源的獲取

大型互聯(lián)網(wǎng)平臺的不斷發(fā)展深刻地改變了包括金融在內(nèi)的多個領(lǐng)域，其核心是算法驅(qū)動，而數(shù)據(jù)作為算法的原材料也越來越被重視，被稱為“新石油”，成為市場經(jīng)營主體競相爭奪的新興生產(chǎn)資源。金融領(lǐng)域數(shù)據(jù)的獲取主要來自三種方式（見圖1）：第一種為系統(tǒng)運營累計數(shù)據(jù)，金融機構(gòu)日常運營中通過布放的數(shù)百個系統(tǒng)得到龐大的沉淀數(shù)據(jù)，商業(yè)銀行和保險公司的數(shù)據(jù)量級都在TB 以上，作為自身金融算法的重要數(shù)據(jù)源；第二種為外部搜集數(shù)據(jù)，借助大數(shù)據(jù)和人工智能實施采集社交媒體、輿情監(jiān)控、電商交易等多維用戶數(shù)據(jù)，提取金融屬性后可作為金融算法的輸入；第三種為第三方獲取數(shù)據(jù)，通過第三方爬蟲客戶端爬取互聯(lián)網(wǎng)平臺數(shù)據(jù)，或通過數(shù)據(jù)交易市場購買等方式獲得金融算法數(shù)據(jù)源。

2.大型互聯(lián)網(wǎng)平臺算法歧視分類

數(shù)據(jù)本身具有中立性，而在金融數(shù)據(jù)采集過程中由于人為操控、營利導向等原因，對金融客戶數(shù)據(jù)主體會出現(xiàn)區(qū)別對待。特別是在大數(shù)據(jù)背景下，依靠機器學習的自動決策系統(tǒng)在對數(shù)據(jù)主體做出決策分析的過程中以算法為手段操控數(shù)據(jù)源，就會造成算法歧視。包括從金融消費者的信息采集、特定推送和個性定價等階段，以及信息輸入、數(shù)據(jù)整理、算法決策、幕后控制等多運行環(huán)節(jié)對消費者實施多階段多環(huán)節(jié)的“顯性歧視”或“隱性歧視”。具體而言，大型互聯(lián)網(wǎng)平臺算法歧視分為三種：

圖1 金融算法數(shù)據(jù)源獲取方式

（1）設計者主觀歧視。設計者在編制算法時將主觀上的歧視編入算法，設計者在設計算法時對普惠金融對象進行標簽分類，對財富較少、抗風險能力較差的金融對象做出拒絕提供金融服務的決策，甚至在數(shù)據(jù)采集和身份識別環(huán)節(jié)會對特殊群體加以過濾，使之根本無法得到金融服務的機會。如人臉識別支付系統(tǒng)在構(gòu)建智能數(shù)據(jù)庫時可能選擇性地忽略掉亞洲人面部特征的采集和存儲，進而導致亞洲人無法享受刷臉支付、賬戶變更、賬戶驗證等便利性金融服務。

（2）機器學習主觀歧視。算法系統(tǒng)在自我訓練時形成的知識庫存在歧視現(xiàn)象，這是計算機領(lǐng)域著名的GIGO(garbage in，garbage out)，即算法輸入的是垃圾數(shù)據(jù)樣本，那么算法輸出的也將是無用數(shù)據(jù)，在大數(shù)據(jù)領(lǐng)域這種現(xiàn)象也被稱作“偏見進，偏見出”。如亞馬遜公司曾經(jīng)在2014 年開發(fā)了一套“算法”來幫助簡歷篩選，開發(fā)小組開發(fā)出了500 個模型，通過50000個術(shù)語知識庫讓算法學習權(quán)重分配，卻導致算法對男性應聘者有著明顯的偏好，當算法識別出“女性”相關(guān)詞匯的時候，便會給簡歷較低的分數(shù)，究其原因是亞馬遜用來作為訓練樣本的數(shù)據(jù)本身就帶有很強的性別偏好，導致算法只能邯鄲學步，從以往的歷史數(shù)據(jù)中自然而然就學到了性別偏好。而金融領(lǐng)域常見的大數(shù)據(jù)殺熟也是一種機器學習主觀歧視，利用計算機的深度學習能力對金融消費者的線上交易數(shù)據(jù)分析，形成可用信息后智能化地針對不同群體進行差異定價。

（3）客觀系統(tǒng)算法歧視。算法系統(tǒng)完全客觀理性，設計者也使用了客觀中立的輸入數(shù)據(jù)，但某些客觀中立數(shù)據(jù)形成組合后仍然會產(chǎn)生歧視性結(jié)果，最終刻板地依據(jù)數(shù)據(jù)標簽做出歧視性決策。例如信貸領(lǐng)域，小微企業(yè)即便有不錯的運營能力，在貸款獲批的可能性上卻依然低于大型企業(yè)，甚至需要償還更高的平均還款利率。這是因為系統(tǒng)獲得小微企業(yè)屬性后自動與經(jīng)營實力弱、風控能力差、資產(chǎn)抵押不足等問題關(guān)聯(lián)，在輸入數(shù)據(jù)與特定結(jié)果之間建立虛假關(guān)聯(lián)，對此類輸入產(chǎn)生歧視性后果，最終影響小微貸款投放。

三、 算法歧視下的金融消費者權(quán)益保護現(xiàn)狀與挑戰(zhàn)

1.國內(nèi)外算法歧視下的法律規(guī)制現(xiàn)狀

隨著算法決策深刻影響并改變著人們?nèi)粘Ｉ?、社會管理的多個方面，算法歧視在金融領(lǐng)域呈現(xiàn)得更為頻繁，并且形式隱蔽，會引發(fā)理財、信貸、定價等多環(huán)節(jié)金融服務出現(xiàn)差別對待現(xiàn)象，影響金融消費者權(quán)益。為了消除算法歧視對金融消費者權(quán)益的影響，各國政府積極出臺了一系列規(guī)制措施。

國外方面，2016 年4 月14 日，歐盟頒發(fā)《通用數(shù)據(jù)保護條例》，被稱為第一部明文規(guī)制算法歧視的立法。它對互聯(lián)網(wǎng)時代個人數(shù)據(jù)保護做出規(guī)定，對算法中的數(shù)據(jù)挖掘和分析技術(shù)做出限定，詳細規(guī)定數(shù)據(jù)處理的目的、原則、條件、程序等，保障歐盟公民享有個人數(shù)據(jù)安全基本權(quán)利?！锻ㄓ脭?shù)據(jù)保護條例》還對如何規(guī)制算法歧視進行了要點總結(jié)，包括數(shù)據(jù)清潔、移除敏感信息、禁止收集個人特質(zhì)相關(guān)數(shù)據(jù)、算法審查等步驟。2014 年5月，美國發(fā)布《大數(shù)據(jù) 抓住機遇 保存價值》，其第五章中詳細談到大數(shù)據(jù)引發(fā)的算法歧視問題，指出數(shù)據(jù)算法在提升信息價值的同時也會在自動化過程中引發(fā)算法歧視，并建議聯(lián)邦政府從事消費者權(quán)益保護的機構(gòu)應加強專業(yè)技術(shù)素養(yǎng)，檢測識別算法分析程序是否對消費者權(quán)益產(chǎn)生影響。除了算法規(guī)制，美國還在金融領(lǐng)域頒發(fā)了《金融隱私權(quán)法案》，對銀行員工披露金融記錄以及聯(lián)邦立法機構(gòu)獲得個人金融記錄的方式進行了嚴格限制。2018 年4 月，新加坡金融管理局（MAS）發(fā)布《新加坡金融業(yè)使用人工智能和數(shù)據(jù)分析時的公平、道德、問責和透明度原則》（簡稱《FEAT原則》），該指南旨在促進金融機構(gòu)在道德范疇內(nèi)合理地使用人工智能和數(shù)據(jù)分析，確定人工智能和數(shù)據(jù)分析的公平性原則，要求定期審查和驗證算法決策所使用的數(shù)據(jù)和模型，以保證算法的準確和相關(guān)性，最小化預期外偏差。

國內(nèi)方面，2019 年我國香港金融管理局（HKMA）發(fā)布《人工智能的高層次原則》，為銀行業(yè)提供人工智能應用指引，要求人員治理方面須有專人為應用人工智能算法而造成的結(jié)果負責，程序設計開發(fā)方面銀行應確保算法可讀性及可審計性。同年，發(fā)布《關(guān)于被授權(quán)機構(gòu)使用大數(shù)據(jù)和人工智能的消費者保護指導原則》，就香港銀行機構(gòu)在應用人工智能過程中存在的算法歧視、算法黑箱等問題，提出了算法可讀性、算法測試、算法公平、算法倫理等多個方面的要求。2021 年3 月，中國人民銀行發(fā)布實施金融行業(yè)標準《人工智能算法金融應用評價規(guī)范》（JR/T 0221—2021），規(guī)定人工智能算法在金融領(lǐng)域應用的基本要求、評價算法、判定準則，從安全性、可解釋性、精準性和性能等方面對人工智能算法金融應用評價進行規(guī)范。該規(guī)范適用于開展人工智能算法金融應用的金融機構(gòu)、算法提供商、第三方安全評估機構(gòu)等。

2.面臨的挑戰(zhàn)

（1）大型互聯(lián)網(wǎng)平臺下的算法歧視難以被有效識別。一是算法外在表現(xiàn)通常為繁雜的程序代碼，具有極強的專業(yè)性和技術(shù)性，雖然算法輸入、輸出可見，但在邏輯層面往往超過一般人的理解水平，普通公眾在短時間內(nèi)無法具備識別算法邏輯的能力，更難在代碼層面指出算法歧視現(xiàn)象。二是算法歧視性決策結(jié)果類似黑箱操作，其決策過程不公開透明，在專業(yè)技術(shù)掩護下算法歧視隱蔽性更高，算法決策過程對外隔離，普通群眾只能被動接受結(jié)果甚至沒有發(fā)現(xiàn)算法歧視的機會。

（2）算法歧視識別存在時效性，取證難度大。一是算法隨著機器學習不斷進化，算法歧視貫穿其中并不斷變化，某一時點的歧視邏輯到下一時點可能變化，取證難度大且證據(jù)難以保存。二是算法設計者掌握算法的解釋權(quán)，更容易做出有利于自身的算法設計和解釋，監(jiān)管部門缺乏對大型互聯(lián)網(wǎng)平臺算法的事前代碼審查，事后監(jiān)管依據(jù)和手段也較為單一，調(diào)查取證難度大。

（3）相關(guān)法律法規(guī)較多，尚無統(tǒng)一明確的大型互聯(lián)網(wǎng)平臺算法立法體系。目前算法歧視可適用傳統(tǒng)的平等保護法律條款，但傳統(tǒng)法律法規(guī)存在針對性不強、規(guī)制精度不夠等問題，究其原因是算法歧視發(fā)生的內(nèi)在原理復雜、形式多樣，難以通過整齊一致的法律法規(guī)來約束，需要結(jié)合具體情況做出針對性的規(guī)制。

（4）大型互聯(lián)網(wǎng)平臺算法監(jiān)管體系滯后，消費者權(quán)益保護總體狀況不容樂觀。目前我國對大型互聯(lián)網(wǎng)平臺算法的行政監(jiān)管較為滯后，且與行業(yè)自律的協(xié)同效果差，大型互聯(lián)網(wǎng)平臺算法歧視下的消費者保護問題溢出了傳統(tǒng)的監(jiān)管體系，尤其是某些互聯(lián)網(wǎng)平臺在格式條款、信息收集、數(shù)據(jù)用途、營銷宣傳方面存在一些問題和爭議，消費者受到算法歧視侵害時取證困難，缺乏有效手段維護自身合法權(quán)益。

四、 政策建議

1.增加大型互聯(lián)網(wǎng)平臺算法的透明性

一方面，通過對輸入數(shù)據(jù)監(jiān)督提高算法的透明度，由于算法的事前公開存在商業(yè)泄密風險，公眾可將監(jiān)督重點放在算法輸入數(shù)據(jù)的選擇、收集、歧視數(shù)據(jù)排除上，并要求算法設計者記錄這一過程。另一方面，讓更多普通民眾參與算法模型制定，重點關(guān)注算法決策的可追溯性，確保算法決策過程、結(jié)果留痕且有據(jù)可查。

2.利用法律法規(guī)確保大型互聯(lián)網(wǎng)平臺算法的公平性

一方面，通過完善大型互聯(lián)網(wǎng)平臺金融算法的權(quán)利、義務、責任體系，如在《中華人民共和國數(shù)據(jù)安全法（草案）》中明確規(guī)定算法治理的范疇，以保證適用于消費者權(quán)益保護的法律、制度在司法決策行為執(zhí)行過程中符合正當程序約束。另一方面，需結(jié)合大型互聯(lián)網(wǎng)平臺特點，針對算法歧視制定專門的消費者權(quán)益保護辦法以方便訴訟救濟機制有法可依。

3.加強大型互聯(lián)網(wǎng)平臺算法歧視的自律性

一方面，算法運營商在算法應用中應當嚴格遵守法律規(guī)定，加強自律規(guī)制，誠信應用算法，反對利用技術(shù)手段對消費者畫像實施算法歧視，從而保障金融消費者合法權(quán)益。另一方面，要發(fā)揮各方合力強化自律監(jiān)管，鼓勵大型互聯(lián)網(wǎng)平臺運營商自發(fā)成立行業(yè)自律機制，采用行業(yè)內(nèi)部算法審查的互相監(jiān)督方式，并吸收社會團體中的（如計算機協(xié)會、大數(shù)據(jù)應用協(xié)會）專業(yè)人才儲備，加入行業(yè)自律監(jiān)管隊伍。