德勤中國

AI可以提高運營效率、降低成本，同時還有助于企業(yè)實現(xiàn)戰(zhàn)略轉(zhuǎn)型，更多、更好地融入用戶參與。然而，一些客觀限制條件，都在或多或少地阻礙著金融服務(wù)企業(yè)大范圍的推廣使用AI技術(shù)。為了充分利用AI技術(shù)的優(yōu)勢，并且避免未來可能出現(xiàn)的問題，企業(yè)必須從風(fēng)險的角度仔細(xì)考慮AI的影響。在這種環(huán)境下，有效的風(fēng)險管理已經(jīng)不再是抑制創(chuàng)新的因素，而是公司成功使用AI技術(shù)的關(guān)鍵。

近些年來，金融服務(wù)業(yè)因?qū)蛻艉褪袌龅氖М?dāng)行為，從而受到眾多經(jīng)濟(jì)上及其他形式上的制裁。由此產(chǎn)生的對于公平對待客戶和保證市場誠信問題，以及AI技術(shù)在監(jiān)管領(lǐng)域中未經(jīng)測試與未經(jīng)檢驗的特性的關(guān)注，都意味著金融服務(wù)企業(yè)對于采用AI解決方案應(yīng)該時刻保持謹(jǐn)慎。

德勤認(rèn)為，企業(yè)面臨的重大挑戰(zhàn)不是在處理全新類型的風(fēng)險，而更多應(yīng)該是關(guān)注那些難以用有效且及時的方式去分辨的風(fēng)險，或它們已經(jīng)以不同以往的出現(xiàn)方式而顯現(xiàn)的風(fēng)險。 在這篇文章中， 我們將討論企業(yè)應(yīng)該如何重新審核并調(diào)整現(xiàn)有的風(fēng)險管理框架，以反映當(dāng)部署復(fù)雜AI應(yīng)用時企業(yè)需要關(guān)注的一些重要差異。

比如，AI可以不斷地從新數(shù)據(jù)中學(xué)習(xí)，并通過建立復(fù)雜統(tǒng)計模型，而后得出結(jié)論。但這種結(jié)果并不是基于那些明確且預(yù)先定義好的規(guī)則，這就讓企業(yè)難以理解這其中支撐最終結(jié)論的決策機(jī)制。 在許多方面，這種挑戰(zhàn)與面對管理人力資源時所面臨的挑戰(zhàn)非常相似。

然而，不斷發(fā)展的AI技術(shù)使其可審計性以及可溯源性變得異常困難，并且這種技術(shù)發(fā)展的速度可能會導(dǎo)致在極短的時間內(nèi)產(chǎn)生大規(guī)模的錯誤。

企業(yè)需要重新審核并且更新他們的風(fēng)險管理方式，從而在不同的風(fēng)險管理框架全生命周期（識別、 評估、管控、監(jiān)督）階段管理風(fēng)險。不斷發(fā)展的AI技術(shù)要求這些風(fēng)險管理方式必須在更短更頻繁的時間間隔內(nèi)得以應(yīng)用?，F(xiàn)有的風(fēng)險偏好聲明也同樣需要重新審核，并且需要添加一系列新的內(nèi)容，比如公平性原則等，以便為風(fēng)險管理框架的各個階段提供信息支持。

本文旨在成為一個理解AI對于現(xiàn)有風(fēng)險管理方式和更為廣泛的監(jiān)管環(huán)境的影響的起步點。通過強(qiáng)調(diào)這些需要關(guān)注的領(lǐng)域，我們希望幫助企業(yè)能夠在制定AI政策時，或者更具體來講，在制定AI風(fēng)險管理框架的時候，為它們提供更加高效的解決方案和監(jiān)管機(jī)制。

企業(yè)大規(guī)模采用AI技術(shù)時可能會遇到的挑戰(zhàn)

自從2008年的國際金融危機(jī)之后，金融服務(wù)企業(yè)一直致力于提高自身成本效益，并在利潤壓力下保持競爭力。為實現(xiàn)這一目標(biāo)，他們所關(guān)注的其中一個領(lǐng)域就是技術(shù)，并在過去幾年中開始更多地去使用AI技術(shù)。然而，采用AI技術(shù)的方式并不是唯一的，有很多原因?qū)е鲁霈F(xiàn)了這種情況。

關(guān)于AI應(yīng)該應(yīng)用于何處的不同觀點

德勤最近對與歐洲財務(wù)管理協(xié)會（EFMA）合作的3000多名企業(yè)高管調(diào)查顯示，AI能對其公司產(chǎn)生最大影響的活動和功能因行業(yè)而異。

總的來說，從這份調(diào)查我們可以看到，在金融服務(wù)企業(yè)中采用AI技術(shù)還仍處于起步階段。在接受調(diào)查的公司中，有40%的企業(yè)還仍在學(xué)習(xí)如何在他們的公司中部署AI，11%的企業(yè)還沒有開展任何這方面的活動。只有32%的企業(yè)已經(jīng)開始參與開發(fā)AI解決方案。

數(shù)據(jù)數(shù)量與質(zhì)量

AI與傳統(tǒng)技術(shù)解決方案的一個最重要的區(qū)別是，后者常常在那些需要用預(yù)先設(shè)定清楚的規(guī)則框架內(nèi)完成任務(wù)。然而，AI應(yīng)用可以自行分析數(shù)據(jù)來進(jìn)行模式識別，并以此為基礎(chǔ)來制定決策。此外，AI還可根據(jù)給出的數(shù)據(jù)進(jìn)行一次性或不間斷性的學(xué)習(xí)來完善決策制定機(jī)制。

這意味著每一條AI系統(tǒng)所給出的建議都對所處理的數(shù)據(jù)的數(shù)量和質(zhì)量十分依賴?？偟膩碚f，AI解決方案所遇到的最棘手的困難就是缺少大量高質(zhì)量數(shù)據(jù)。對于金融服務(wù)企業(yè)，因為受到普遍使用的傳統(tǒng)系統(tǒng)和組織架構(gòu)的限制，阻礙了數(shù)據(jù)之間的無縫流動，并在某種程度上影響了數(shù)據(jù)質(zhì)量，導(dǎo)致問題愈發(fā)加劇。

透明性、可審計性與合規(guī)性

一些AI解決方案擁有許多有關(guān)決策制定的隱藏層，都影響著最后生成的結(jié)果。在一些復(fù)雜AI應(yīng)用案例中，如那些使用了深度學(xué)習(xí)技術(shù)的AI應(yīng)用，可能在： 維護(hù)系統(tǒng)，論證其中需要理解的部分，并且對于那些以AI為基礎(chǔ)生成的決策擁有控制權(quán)等方面上阻礙了金融服務(wù)企業(yè)的使用。

具體來講，應(yīng)判斷其決策是否包含有適用性、 公允性， 是否與公司價值觀和風(fēng)險偏好相符合等。

這與公司在面臨人力資源的挑戰(zhàn)無異。然而，可以說，那些不斷學(xué)習(xí)，不斷進(jìn)化，并且擁有許多有關(guān)決策制定的隱藏層的AI解決方案，會使可審計性和可溯源性變得更加困難。此外，AI自我學(xué)習(xí)及進(jìn)化的速度可能還會導(dǎo)致在極短的時間內(nèi)產(chǎn)生大規(guī)模的錯誤。

一些AI解決方案的不透明性還會與現(xiàn)有的法律法規(guī)產(chǎn)生沖突，如歐盟的“通用數(shù)據(jù)保護(hù)法案”（GDPR），它規(guī)定了在特定情形下企業(yè)需要能夠向客戶解釋他們的個人數(shù)據(jù)是如何被使用的， 并且能夠給出那些假設(shè)性結(jié)論的合理解釋，和那些對顧客會產(chǎn)生重大影響且完全自動生成的結(jié)論的內(nèi)部機(jī)制。

理解AI及其隱藏含義

AI是一個既復(fù)雜但又快速發(fā)展的領(lǐng)域，在一些非專業(yè)人士的眼中，它被認(rèn)為是一項難以控制的技術(shù)。此外，AI的使用會加劇企業(yè)的現(xiàn)有風(fēng)險，改變風(fēng)險出現(xiàn)的方式，甚至?xí)楣編硇碌娘L(fēng)險。

金融服務(wù)企業(yè)屬于嚴(yán)格管控產(chǎn)業(yè)，這其中包含了復(fù)雜多樣的經(jīng)營范圍和產(chǎn)品，并且當(dāng)公司處理業(yè)務(wù)時必須使用嚴(yán)格的審查原則?？梢哉f歷史上對于金融服務(wù)企業(yè)因違規(guī)而產(chǎn)生的行政處罰，造成了這些企業(yè)在采用相對不了解的技術(shù)以用于受監(jiān)管的業(yè)務(wù)時非常保守，這也就為創(chuàng)新增加了另一重阻礙。

因為對于這項技術(shù)和其所帶來的風(fēng)險，相對而言，不熟悉也不了解，這就造成了過度謹(jǐn)慎的現(xiàn)象。 那些重要的利益相關(guān)方，比如風(fēng)險部門、合規(guī)部門，以及各業(yè)務(wù)部門主管、董事會成員和公司高層，除非他們對于這項技術(shù)充分了解，否則就可能會在批準(zhǔn)使用AI上遲疑，并且得留企業(yè)內(nèi)受監(jiān)管業(yè)務(wù)使用AI技術(shù)的解釋權(quán)。要理解這項技術(shù)，就不僅要了解它帶來的風(fēng)險，同時也要知道這些風(fēng)險可以如何降低，如何管理并監(jiān)控。

如何讓利益相關(guān)方有一個對于AI獨立且整體的認(rèn)知，對公司而言是非常困難的?？梢允褂靡恍嶋H的用戶案例，使利益相關(guān)方知道相關(guān)的客戶經(jīng)歷可以幫助了解AI能提供的潛在益處，同時也可以認(rèn)識到哪些方面會出錯，以及如何有效地規(guī)避或管理風(fēng)險。

在風(fēng)險管理體系中嵌入AI

AI的應(yīng)用和一般的創(chuàng)新過程一樣，都要求企業(yè)經(jīng)歷一次不斷學(xué)習(xí)的過程。然而，這樣的過程并不是要規(guī)避所有與AI相關(guān)的風(fēng)險，而是要去開發(fā)工作流程和處理工具，從而讓企業(yè)相信這些風(fēng)險，可以在整體的公司的風(fēng)險觀和偏好框架所規(guī)定的范圍內(nèi)，有效地被識別和管理。

因此，盡管存在著一些常見的誤解，但一個行之有效的風(fēng)險管理體系在企業(yè)的創(chuàng)新中起著關(guān)鍵性作用。

AI應(yīng)用程序的固有風(fēng)險性質(zhì)

我們認(rèn)為，管理AI所產(chǎn)生的挑戰(zhàn)并不在于處理這種全新的風(fēng)險類型，而是要考慮到當(dāng)我們把AI解決方案的復(fù)雜性和發(fā)展速度納入考量，或者風(fēng)險以我們不熟悉的方式出現(xiàn)時，我們就難以采用有效和及時的方式來識別這些風(fēng)險。因此，企業(yè)不需要全新的流程來處理AI，但他們需要改進(jìn)現(xiàn)有流程，把AI因素納入考量，并填補(bǔ)一些必要的管理空白。同時還需要去解決對所需資源水平以及崗位角色和責(zé)任可能造成的影響。

德勤AI風(fēng)險管理框架提供了一種識別并管理AI相關(guān)風(fēng)險和管控的機(jī)制。在表1中， 我們從涵蓋了60多個AI風(fēng)險的總表中列出了一些關(guān)鍵性的評估因素。這些評估因素都會用一般術(shù)語來表達(dá)，但實際上，風(fēng)險等級和那些必要控制因素在不同案例下、不同的組織下會出現(xiàn)很大差異。

風(fēng)險偏好

公司的風(fēng)險偏好是公司在任何時候為實現(xiàn)其目標(biāo)而準(zhǔn)備接受的風(fēng)險量。為了建立有效的風(fēng)險管理流程和控制系統(tǒng)，采用任何AI的策略都需要從一開始就與整體風(fēng)險偏好保持一致。

同樣，我們也需要重新審視公司的風(fēng)險偏好，并納入AI的特定考慮因素。盡管AI的引入不會改變公司整體的風(fēng)險偏好，但是會影響判別風(fēng)險的因素，以及會影響衡量和管理風(fēng)險的工具。

AI解決方案本身就可以增加或減少某些特定類型的風(fēng)險（例如模型風(fēng)險），并改變公司當(dāng)前和未來的風(fēng)險概況。這就意味著需要在每種風(fēng)險類型的層面都需要重新考量風(fēng)險偏好。這其中不僅包含目標(biāo)風(fēng)險級別，還有那些能有效支持、管理和監(jiān)控該風(fēng)險的政策和管理信息。

當(dāng)公司需要評估AI使用對其風(fēng)險偏好的影響時，他們首先應(yīng)制定一套清晰一致的評估標(biāo)準(zhǔn)。例如：“這個AI解決方案是否將面向外部？”，回答這個問題有助于確定AI使用案例中可能會涉及到的風(fēng)險類型。制定這一套標(biāo)準(zhǔn)問題可以幫助企業(yè)了解，無論是單從AI使用的層面還是從整體而言，哪些風(fēng)險領(lǐng)域需要或多或少的關(guān)注。

風(fēng)險管理框架（RMF）的全生命周期

盡管具體細(xì)節(jié)和所用術(shù)語可能因公司而異，但從概念上講，風(fēng)險管理框架全生命周期包含四個關(guān)鍵階段（如圖2）。

識別

金融服務(wù)企業(yè)中AI的復(fù)雜性和相對不成熟性意味著某些風(fēng)險表現(xiàn)出來的方式及其程度可能會隨著時間的推移而發(fā)展， 在某些情況下發(fā)展還會非常迅速。 從行為和穩(wěn)定度來看， 這可能對公司產(chǎn)生重大影響（例如大規(guī)模的不當(dāng)銷售）。

因此，企業(yè)需要定期進(jìn)行重新評估，以確定AI應(yīng)用的風(fēng)險情況自引入以來是否已經(jīng)發(fā)生變化， 因為該模型已經(jīng)學(xué)習(xí)了新數(shù)據(jù)并已經(jīng)進(jìn)化。

同樣，作為概念證明或僅供內(nèi)部使用而開發(fā)的AI解決方案，如果其使用范圍擴(kuò)大，也需要重新評估。例如，如果公司計劃擴(kuò)展最初開發(fā)的AI解決方案的適用范圍從而為外部客戶提供建議，但此方案最開始設(shè)計是僅為提供內(nèi)部建議，則需要了解這些新客戶在使用過程中可能產(chǎn)生的風(fēng)險。

值得注意的是，AI所對應(yīng)的自身定義及其風(fēng)險也將發(fā)生變化。例如，隨著時間的推移，移動電話的定義及其功能的擴(kuò)展，使得與移動電話有關(guān)的風(fēng)險也發(fā)生了巨大變化。

企業(yè)需要確定如何將AI風(fēng)險整合到現(xiàn)有的風(fēng)險管理框架中，以及需要其改變的程度。這其中包括監(jiān)管與倫理方面的影響，例如算法偏差，以及AI模型在不建立因果關(guān)系的情況下從數(shù)據(jù)集推斷的能力。

但是，一般而言，對于復(fù)雜和不斷發(fā)展的AI應(yīng)用，企業(yè)需要審查其自身的管理方法，采用一個全面且可持續(xù)的方法來定義并識別風(fēng)險。當(dāng)識別AI風(fēng)險時，其中應(yīng)包括與AI應(yīng)用有關(guān)的特定風(fēng)險（例如風(fēng)險分析應(yīng)用程序） ，以及因在整個公司內(nèi)廣泛采用AI而引入的風(fēng)險（例如對員工關(guān)系和企業(yè)文化的影響）。

為了識別AI解決方案產(chǎn)生的風(fēng)險，同樣重要的是要考慮更加廣泛意義上的公司層面的影響， 及其在短期與長期層面上對公司的人力資本而產(chǎn)生的影響。

分析

在每個AI應(yīng)用開發(fā)之前，都應(yīng)該去設(shè)計其風(fēng)險評估過程，并由公司管理層同意。在該過程中應(yīng)仔細(xì)考慮那些可能會使某一特定應(yīng)用的風(fēng)險更高或更低的關(guān)鍵性因素（例如監(jiān)管、客戶、財務(wù)或聲譽(yù)的影響）。

現(xiàn)有風(fēng)險偏好和評估框架可能不夠全面，無法涵蓋AI解決方案中的一些特定考慮因素。例如，為了評估AI模型中的偏差，企業(yè)首先需要定義諸如“公允性” 等概念 以及如何衡量它們。

此外，由于AI模型可以隨著時間的推移而不斷進(jìn)化，企業(yè)可能會發(fā)現(xiàn)以前的一些定義和評價指標(biāo)無法充分解釋或評估模型中的決策驅(qū)動因素。因此，評估工作的開展需要變得更加的頻繁和動態(tài)。同時，我們也需要以“自下而上”（針對每個單獨的應(yīng)用）， 和“自上而下”（整體風(fēng)險偏好）的方式來不斷修正評估流程。

同時，評估工作還需要有更高的參與度，以及來自更加廣泛的利益相關(guān)者的贊成，這其中包括AI方面的專家、風(fēng)控部門（如技術(shù)風(fēng)險和合規(guī)性），以及業(yè)務(wù)代表們。

還需要注意的是，AI應(yīng)用一般使用敏捷開發(fā)方法，相比之下，許多技術(shù)風(fēng)險管理框架通常采用傳統(tǒng)的瀑布模型。因此，那些為了評估傳統(tǒng)技術(shù)開發(fā)而設(shè)立的流程、政策及管理方式都需要改變，變得更加動態(tài)。在實際問題中，這可能意味著，至少對于那些高風(fēng)險應(yīng)用，在整個開發(fā)階段，風(fēng)險方面的考量可能會更加頻繁地出現(xiàn)在日常工作之中。但這可能會給企業(yè)現(xiàn)有資源造成壓力。

管控

管控和測試過程也需要更加動態(tài)。在實際工作中，可能需要定期且頻繁地測試并監(jiān)控這些AI解決方案，可以說，這部分的工作量會遠(yuǎn)遠(yuǎn)超出AI方案的最初開發(fā)階段和初始數(shù)據(jù)集的訓(xùn)練過程。

與傳統(tǒng)技術(shù)的解決方案相比，這可能會增加所需的測試量。我們應(yīng)使用基于風(fēng)險的解決方案來確定每個實際應(yīng)用最適合的管控等級，而且也要與公司的整體風(fēng)險評估框架成比例相關(guān)， 并與之保持一致。

此外，由于AI的采用將對整個公司產(chǎn)生廣泛的影響，與之相關(guān)的管控工作可能會橫跨多個領(lǐng)域（例如人力資源、技術(shù)、運營等）。這進(jìn)一步強(qiáng)調(diào)了在整個風(fēng)險管理的生命周期中需要廣泛的利益相關(guān)者來參與其中。

企業(yè)可能還需要重新定義業(yè)務(wù)連續(xù)性計劃，以便系統(tǒng)不可用的情形下或在AI使用過程中出現(xiàn)管控失敗的情況（例如部署“緊急開關(guān)”）時，公司能夠重新回跳到當(dāng)前的已有進(jìn)程。該算法還應(yīng)該定期進(jìn)行壓力測試，以分析它在響應(yīng)嚴(yán)重問題時的反饋，以及在遇到非典型性行為時是否會產(chǎn)生正確的處理方式。

管控過程應(yīng)當(dāng)考慮AI會如何與利益相關(guān)者（客戶、承銷商）進(jìn)行交互，以及它們之間的關(guān)聯(lián)點是什么。對于公司來說，當(dāng)測試從最初參與到AI解決方案產(chǎn)生結(jié)果時，這其中的用戶體驗尤為重要。公司需要時常進(jìn)行測試，并在必要時，于早期階段就糾正那些出現(xiàn)的反?，F(xiàn)象和異常值。

同樣，公司還應(yīng)該有一個完善的“交還人工” 的流程，這說的就是當(dāng)AI解決方案負(fù)責(zé)的工作需要交還給人工來完成的情況，比如當(dāng)算法無法在預(yù)先定義好的風(fēng)險容差框架內(nèi)輸出的時候。如果該算法無法十分確定產(chǎn)品價格的時候，就應(yīng)該將該工作交給人類來完成。我們還需要使用測試外樣本來設(shè)計一些關(guān)鍵性能指標(biāo)，也就是使用全新數(shù)據(jù)來運行一些測試人員已經(jīng)知道正確結(jié)果的AI模型。同時應(yīng)該對算法（包括其中的模型驅(qū)動程序）進(jìn)行頻繁且連續(xù)的測試和統(tǒng)計分析，以確保生產(chǎn)環(huán)境下AI解決方案使用全新或被更新數(shù)據(jù)集時，它的性能可以符合預(yù)期和公司的風(fēng)險偏好。

最后還應(yīng)該注意到，用管理整體模型風(fēng)險和提高算法透明度的其中一種方法，也可以構(gòu)建模塊化的解決方案，在這其中我們將使用一系列處理能力有限的微型算法來確定最終輸出， 而不是單一且復(fù)雜的模型。這將使得我們更容易理解和控制算法的推理過程和這些決策驅(qū)動因素。

監(jiān)控與報告

由于算法在不斷發(fā)展和進(jìn)化，公司需要采用更加動態(tài)的監(jiān)控方法來確保模型仍然按照為了特定應(yīng)用而設(shè)計的預(yù)期目標(biāo)來執(zhí)行。此外，必須定期監(jiān)控那些與AI解決方案有關(guān)的限制因素和預(yù)期目標(biāo)（例如關(guān)鍵績效指標(biāo)——KPI）的適當(dāng)性、相關(guān)性和準(zhǔn)確性。

監(jiān)控和報告工作都應(yīng)涵蓋模型的技術(shù)性能指標(biāo)，以及因該模型而實現(xiàn)的業(yè)務(wù)和運營成果。

監(jiān)控工作還應(yīng)關(guān)注所有可能涉及到需要更改模型架構(gòu)的法律和監(jiān)管措施的更新，同時也要關(guān)注可能會影響模型數(shù)據(jù)、模型結(jié)果的外部事件。那些靜態(tài)技術(shù)解決方案也會受到這些改變的影響，只不過， 在這些方案中可以相對容易地識別它們對決策驅(qū)動因素和結(jié)果的影響。 在AI解決方案中這些不斷變化的決策驅(qū)動因素使得我們難以隔離分析、評估并監(jiān)控這些新的外部事件對決策驅(qū)動因素的影響程度。

監(jiān)管者看重的具體是什么

從國際上、歐盟和英國當(dāng)局所發(fā)表的眾多聲明和文件上來看，充分了解應(yīng)用人工智能對這些受監(jiān)管公司可能造成的影響，已經(jīng)成為監(jiān)管機(jī)構(gòu)關(guān)注的重點。

一般而言，這些準(zhǔn)備采用或已經(jīng)使用AI技術(shù)的公司可以預(yù)見到，在未來，監(jiān)管機(jī)構(gòu)對它們的審查只會不斷增加。

盡管沒有十分完善的AI法律法規(guī)，但已經(jīng)有相關(guān)規(guī)定，包括算法交易的現(xiàn)行規(guī)定和監(jiān)察描述，以及英國的高級管理人員及認(rèn)證制度（SM&CR）的規(guī)定，還有系統(tǒng)控制方面的眾多要求。以上提到的對于AI治理和風(fēng)險管理的所有規(guī)定，可以很好地給出監(jiān)管機(jī)構(gòu)指導(dǎo)意見。

根據(jù)這些文件，以及我們服務(wù)客戶時的經(jīng)驗，可以總結(jié)出當(dāng)公司在采用AI時應(yīng)該考慮與監(jiān)管相關(guān)的重要原則和措施。這些原則在很大程度上都源于有關(guān)算法交易的一些完善和應(yīng)用。在多大程度上這些考慮因素可以適用于其他AI應(yīng)用，這將取決于它們的特性和復(fù)雜度。

治理、監(jiān)控以及問責(zé)制

·監(jiān)管機(jī)構(gòu)希望公司能夠?qū)嵭袕?qiáng)而有效的治理方式，其中就包括建立風(fēng)險管理框架，從而可以去識別、減少并控制整個公司內(nèi)每一個AI應(yīng)用程序在開發(fā)和持續(xù)使用階段所產(chǎn)生的風(fēng)險。 除了風(fēng)險管理框架應(yīng)該得到董事會的批準(zhǔn)以外，公司還應(yīng)該能夠向他們的監(jiān)管機(jī)構(gòu)解釋每個AI應(yīng)用程序的工作原理，以及它是如何與有關(guān)的監(jiān)管條例和公司的風(fēng)險偏好相符合的。

·由于AI的快速發(fā)展，公司內(nèi)采用AI解決方案的比例不斷提高，我們應(yīng)定期審查風(fēng)險敞口和相關(guān)控制措施，以確保它們與公司的風(fēng)險偏好時刻保持一致。這其中需要考慮諸如公司內(nèi)AI的使用程度、內(nèi)部AI的處理能力以及從外部而來的威脅和事件等因素。

·根據(jù)問責(zé)制度，其中特別是英國的高級管理人員及認(rèn)證制度監(jiān)管機(jī)構(gòu)希望公司有明確的責(zé)任制和問責(zé)制，其中包括每個AI應(yīng)用程序都有明確的負(fù)責(zé)人。根據(jù)預(yù)先定義完善的測試和批準(zhǔn)流程，負(fù)責(zé)人將全權(quán)負(fù)責(zé)審核和批準(zhǔn)AI算法。只要存在任何可能影響其準(zhǔn)確性、公平性或合規(guī)性的可能因素（例如市場或監(jiān)管方式的變化），負(fù)責(zé)人都應(yīng)負(fù)責(zé)開始對AI應(yīng)用程序的重新審核和更新工作。

·AI監(jiān)管管理委員會中的成員，除了應(yīng)該接受培訓(xùn)來了解與AI應(yīng)用程序相關(guān)的風(fēng)險以外， 還應(yīng)該建立測試和批準(zhǔn)流程，這其中包括質(zhì)量保證標(biāo)準(zhǔn)，還同時需要定期審查AI應(yīng)用程序的性能，以確定是否有任何新問題出現(xiàn)。

·為了能夠反映AI在整個實體中所具有的深遠(yuǎn)影響，一個有效的AI治理過程應(yīng)當(dāng)更加廣泛地涉及來自整個公司的所有利益相關(guān)者。尤其在那些關(guān)鍵的開發(fā)和測試階段，除了應(yīng)該包括AI技術(shù)專家以外，還應(yīng)該有來自第一、第二和第三道防線的相關(guān)代表們。

·公司還應(yīng)起草與人工操作“緊急開關(guān)”或“退出滑槽” 有關(guān)的步驟和管控細(xì)則，以便一旦檢測到錯誤或異常行為時，立即停止算法運行。企業(yè)應(yīng)該圍繞這些管控細(xì)則的實施來制定管理流程，其中應(yīng)當(dāng)包括業(yè)務(wù)連續(xù)性計劃和補(bǔ)救預(yù)案。

·所有AI算法都應(yīng)定期重新驗證。這些重新驗證工作的頻率將根據(jù)公司、客戶或其他市場參與者在算法出現(xiàn)故障時可能面臨的風(fēng)險程度不同而有所差異。這一頻率還應(yīng)考慮到算法隨時間而進(jìn)化的程度，以及決策的關(guān)鍵驅(qū)動因素的波動性，例如宏觀經(jīng)濟(jì)指標(biāo)。

管控工作中應(yīng)具備的能力和參與度

·公司需要確保風(fēng)險、合規(guī)和內(nèi)部審計團(tuán)隊中的員工具備足夠的專業(yè)知識，以正確理解所采用的每個AI解決方案的風(fēng)險。此外，他們應(yīng)該有足夠的權(quán)力來與業(yè)務(wù)主管人員相抗衡，并在必要時施加額外的控制措施，以確保風(fēng)險管理有效進(jìn)行。

·特別是風(fēng)險和合規(guī)方面的工作，應(yīng)充分地融入到新的AI應(yīng)用程序開發(fā)和實施過程中的每個關(guān)鍵階段，以便能夠為建立適合的風(fēng)控系統(tǒng)提供幫助，確定其是否符合風(fēng)險偏好，并對任何潛在的行為和監(jiān)管風(fēng)險進(jìn)行獨立調(diào)查。

·內(nèi)部審計工作應(yīng)確保對AI應(yīng)用程序和模型的審查是其工作計劃中的一部分，并且還應(yīng)該考慮是否需要持續(xù)不斷的監(jiān)控。

文檔和審計跟蹤

·公司應(yīng)清楚全面地了解其公司部署的所有AI應(yīng)用程序、相關(guān)負(fù)責(zé)人，以及現(xiàn)有的合規(guī)性和風(fēng)險控制工作。

·應(yīng)記錄測試和批準(zhǔn)的過程，其中包括明確說明AI模型在真正實施之前需要滿足的條件。

·同樣，監(jiān)管機(jī)構(gòu)也希望公司能有一個符合審計標(biāo)準(zhǔn)的工作流程來跟蹤和管理任何已識別出的問題。

·最后，還應(yīng)清楚地記錄現(xiàn)有算法的任何變化。企業(yè)應(yīng)該定義什么屬于“重大變化”，并確保這些標(biāo)準(zhǔn)在整個企業(yè)中能得到一致的應(yīng)用。任何重大變化都應(yīng)經(jīng)過嚴(yán)格且記錄在案的測試工作，其程度應(yīng)與這個變化可能給公司帶來的風(fēng)險相稱。

第三方風(fēng)險和外包

·受監(jiān)管公司在任何情況下都不能將應(yīng)該履行監(jiān)管義務(wù)的責(zé)任外包給第三方。同理，任何由外部供應(yīng)商設(shè)計和提供的AI模型及其相關(guān)的風(fēng)險控制， 都應(yīng)接受在部署之前在公司內(nèi)部就形成的同等嚴(yán)格的測試和監(jiān)控流程所約束。

·為了應(yīng)對第三方供應(yīng)商開發(fā)的AI解決方案停止工作的情況， 或者供應(yīng)商無法提供服務(wù)（例如，供應(yīng)商受到網(wǎng)絡(luò)攻擊時）的情況，公司應(yīng)設(shè)計一套行之有效的業(yè)務(wù)連續(xù)性計劃以維持日常運營。因為目前市場上AI第三方供應(yīng)商的數(shù)量相對較少，其中大多是小型的初創(chuàng)企業(yè)，所以這一點顯得尤為重要。

監(jiān)管AI中的一些反思

我們需要認(rèn)識到不斷增加使用AI所產(chǎn)生的影響以及風(fēng)險，這不僅是對金融服務(wù)企業(yè)的挑戰(zhàn)，也是對其監(jiān)管機(jī)構(gòu)的挑戰(zhàn)。后者知道AI技術(shù)可以憑借提供更優(yōu)質(zhì)的服務(wù)和量身定制的產(chǎn)品的這一形式，為金融市場提升效率并為消費者帶來利益。事實上，監(jiān)管機(jī)構(gòu)本身一直在探索如何在自己的日常工作中應(yīng)用到AI。

然而，正如我們之前提到的，監(jiān)管機(jī)構(gòu)也越來越關(guān)注受監(jiān)管公司因使用AI而可能帶來的潛在風(fēng)險和意外后果。從金融穩(wěn)定性的角度來看，潛在的網(wǎng)絡(luò)和羊群效應(yīng)以及網(wǎng)絡(luò)安全問題是一些需要重點關(guān)注的方面。從行為的角度來看，監(jiān)管機(jī)構(gòu)注意到，因為一些不準(zhǔn)確的AI模型可能造成無法公平對待每一位客戶（即大數(shù)據(jù)“殺熟”），或出現(xiàn)不當(dāng)銷售的情況等問題。

與公司一樣，大多數(shù)風(fēng)險對監(jiān)管機(jī)構(gòu)來說并不陌生。監(jiān)管機(jī)構(gòu)在AI方面面臨的挑戰(zhàn)，或者更普遍來講，在創(chuàng)新技術(shù)方面面臨的挑戰(zhàn)，需要在支持良性創(chuàng)新和競爭、保護(hù)客戶和市場誠信，以及穩(wěn)定財務(wù)之間找到一個適當(dāng)?shù)钠胶恻c。

由于新技術(shù)發(fā)展和被采用的速度與新法規(guī)的制定和實施的速度之間的不匹配性，使得找到這種平衡變得特別困難。例如，當(dāng)時歐盟金融工具市場指導(dǎo)II（MiFID II）于2011年首次被提出，旨在解決金融市場中算法交易日益增多的問題。但是，歐盟金融工具市場指導(dǎo)II是在七年后，即2018年1月才實施。

監(jiān)管機(jī)構(gòu)已經(jīng)意識到這種滯后性，并且在歷史上已經(jīng)通過采用“技術(shù)中立” 這一原則解決了這個問題，即無論他們受監(jiān)管活動所使用的技術(shù)具體是哪一類，可以使用類似的監(jiān)管原則適用于其上。技術(shù)中立這一監(jiān)管措施確實有助于降低法規(guī)過時的這一風(fēng)險，但也可能阻礙監(jiān)管機(jī)構(gòu)應(yīng)對個別特殊技術(shù)和應(yīng)用產(chǎn)生的風(fēng)險的能力。

然而，一些跡象表明，如果某些特定技術(shù)的使用對于全系統(tǒng)會成為或有可能在未來成為十分重要的一部分，監(jiān)管機(jī)構(gòu)就會開始準(zhǔn)備著手?jǐn)[脫其技術(shù)中立的立場。有關(guān)算法交易的歐盟金融工具市場指導(dǎo)II就是一個很好的例子。

我們也越來越多地看到監(jiān)管機(jī)構(gòu)開始發(fā)布一些詳細(xì)的技術(shù)指導(dǎo)，使他們在許多領(lǐng)域上對公司的一些要求變得更加清晰，其中包括智能投顧、外包云平臺以及最近的算法交易。

就AI而言，我們認(rèn)為監(jiān)管指導(dǎo)是一種強(qiáng)有力的工具，可以幫助企業(yè)了解監(jiān)管機(jī)構(gòu)對其風(fēng)險管理方法的一些要求。這同時也使得管理主體和高級管理層不光可以更有信心地推進(jìn)其創(chuàng)新計劃，也能幫助他們找出一些亟需解決的問題。更多針對AI的指導(dǎo)方案也將有助于監(jiān)管者自身的日常工作，因為這些方案使監(jiān)控工作更加具有統(tǒng)一性，也同時提高他們發(fā)現(xiàn)行業(yè)內(nèi)合規(guī)缺陷和剩余風(fēng)險上的能力。

但我們面臨的挑戰(zhàn)就是，要真正有效地向企業(yè)提供有關(guān)監(jiān)管機(jī)構(gòu)是如何希望企業(yè)來遵守現(xiàn)有監(jiān)管制度這一問題上充足的信息。同時，挑戰(zhàn)也包括，任何AI的指導(dǎo)方案都需要具體問題具體分析，而非套用普遍的情況。盡管最近審慎監(jiān)管局（Prudential Regulation Authority）所給出的一些關(guān)于算法交易的草案聲明中提到的原則與AI應(yīng)用程序相關(guān)，但它們的真正目的是在于它們對于處理不同算法交易活動上所表現(xiàn)出的特殊性。

鑒于AI使用案例的廣度及其復(fù)雜性，監(jiān)管機(jī)構(gòu)需要使用基于風(fēng)險程度的方法，仔細(xì)選出在哪一具體方面集中他們有限的資源去監(jiān)管。

監(jiān)管者的另一個措施就是去定義那些要解決的問題，隨后要求行業(yè)內(nèi)部自行制定與之相符的AI標(biāo)準(zhǔn)和行為準(zhǔn)則。 這類似于英國的市場競爭管理局在調(diào)查零售銀行后所做的事情。 當(dāng)時它要求英國九大銀行自行制定開放應(yīng)用程序接口的標(biāo)準(zhǔn)細(xì)則。這種方法還得到了來自英國信息專員辦公室（ICO）的信息專員（UK Information Commissioner）的支持。他最近解釋說，在AI和數(shù)據(jù)保護(hù)這一領(lǐng)域，行業(yè)自行開發(fā)特定的行為準(zhǔn)則，經(jīng)過相關(guān)監(jiān)管機(jī)構(gòu)的認(rèn)證，是值得推行的方式。

當(dāng)然，對于AI的監(jiān)管不僅僅是對金融服務(wù)領(lǐng)域的挑戰(zhàn)，同時也不能被地理邊界所框限。監(jiān)管機(jī)構(gòu)需要不斷克服不同國家和部門之間所存在的界限約束，并廣泛地與對手方進(jìn)行合作， 除了要制定有效應(yīng)對新型風(fēng)險的政策，還要更廣泛地著手解決公共政策和道德領(lǐng)域上出現(xiàn)的問題。

結(jié)語

AI會越來越多地成為眾多金融服務(wù)公司企業(yè)戰(zhàn)略的核心組成部分，從而提供更好的客戶服務(wù)，提高運營效率，并贏得競爭優(yōu)勢。

總的來說，在金融服務(wù)公司中采用AI這一技術(shù)尚屬初期。這些企業(yè)仍在不斷摸索這一技術(shù)并發(fā)掘，當(dāng)基于它們各自的商業(yè)模式、產(chǎn)品和服務(wù)時，那些可應(yīng)用AI的工作可以為他們帶來最大的價值。

在整個學(xué)習(xí)過程中一個最重要的部分就是要從風(fēng)險的角度出發(fā)來理解AI所蘊(yùn)含的含義。對于金融服務(wù)行業(yè)的嚴(yán)格監(jiān)管，這不僅是業(yè)務(wù)需要，也是監(jiān)管機(jī)構(gòu)希望看到的。

對于公司而言，重要的是他們要認(rèn)識到這是一個雙向?qū)W習(xí)的過程。董事會、高級經(jīng)理隊伍以及業(yè)務(wù)和管控方面的職能部門需要增加對AI的理解，而AI專家們?nèi)绻€沒有對于風(fēng)險和監(jiān)管方面的理解，他們需要增強(qiáng)對這方面的認(rèn)識，并一定會從中有所收獲。能夠認(rèn)識到這種跨領(lǐng)域合作的重要性并激勵員工以這種方式進(jìn)行協(xié)作的金融服務(wù)公司，將能夠最大限度地利用AI所帶來的優(yōu)勢。

這種“合作關(guān)系” 會使企業(yè)認(rèn)識到，AI所帶來的一些已經(jīng)非常普遍的風(fēng)險類別（例如偏差性） 可能表現(xiàn)出的方式與以往不同，或這些風(fēng)險出現(xiàn)的速度以及強(qiáng)度也會出現(xiàn)與往常不同的情況。這意味著，在采用AI技術(shù)時，企業(yè)需要仔細(xì)考慮如何將那些與AI相關(guān)的特定因素整合到現(xiàn)有的風(fēng)險管理框架中，以確保這些框架時刻與最初設(shè)定的目的相吻合，并且能夠讓公司相信在企業(yè)文化和風(fēng)險偏好的框架內(nèi)，AI相關(guān)的風(fēng)險能夠被有效地識別和管理。

監(jiān)管機(jī)構(gòu)也越來越關(guān)注金融服務(wù)企業(yè)采用AI技術(shù)的潛在風(fēng)險和可能出現(xiàn)的意外后果， 以及如何在支持良性創(chuàng)新和競爭以及保護(hù)客戶、市場誠信和財務(wù)穩(wěn)定性之間找到一個平衡點。 其中可能采用的應(yīng)對措施可能包括，在某些情況下脫離其當(dāng)前一直保持的技術(shù)中立地位，或要求全行業(yè)與監(jiān)管機(jī)構(gòu)進(jìn)行合作，從而制定針對特定應(yīng)用情況的AI技術(shù)標(biāo)準(zhǔn)和行為準(zhǔn)則。

我們還應(yīng)該認(rèn)識到，管理AI技術(shù)這一任務(wù)并非只是應(yīng)該落在金融服務(wù)企業(yè)這一方，而是，全行業(yè)連同監(jiān)管機(jī)構(gòu)都必須共同努力，參與到那些有關(guān)于AI技術(shù)產(chǎn)生的大范圍且長期社會和道德影響的討論之中，同時研究應(yīng)對這些情況可以采用的政策應(yīng)該有哪些。

中國AI風(fēng)險管理和監(jiān)管現(xiàn)狀

從2017年國務(wù)院發(fā)布《關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知》對中國人工智能發(fā)展給予指導(dǎo)性規(guī)劃以來，發(fā)展人工智能已經(jīng)成為國家重要戰(zhàn)略，推動互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實體經(jīng)濟(jì)深度融合被寫入十九大報告，人工智能應(yīng)用也已遍及智能制造、智能醫(yī)療、智能金融、智能電網(wǎng)、智能安防和智能家居等各個領(lǐng)域。

在應(yīng)用人工智能技術(shù)驅(qū)動行業(yè)創(chuàng)新、創(chuàng)造商業(yè)價值的過程中，國內(nèi)企業(yè)對于人工智能相關(guān)風(fēng)險管理認(rèn)識普遍不足、重視程度亟待提高。人工智能風(fēng)險控制不到位造成的企業(yè)聲譽(yù)影響、 經(jīng)濟(jì)損失、監(jiān)管問責(zé)等事件屢見不鮮。如國內(nèi)部分互聯(lián)網(wǎng)新媒體由于人工算法的信息推送導(dǎo)向不正、格調(diào)低俗等問題被監(jiān)管機(jī)構(gòu)行政處罰甚至整改關(guān)停;國內(nèi)多家電子商務(wù)企業(yè)由于疑似利用人工智能技術(shù)開展大數(shù)據(jù)殺熟引發(fā)大量用戶投訴和輿論批評;國內(nèi)某金融結(jié)構(gòu)由于自動化交易程序漏洞造成烏龍指發(fā)生引發(fā)巨大損失等，這些事件都對企業(yè)人工智能風(fēng)險管理敲響了警鐘。

從監(jiān)管環(huán)境來看，在新出臺的《中華人民共和國網(wǎng)絡(luò)安全法》、《中華人民共和國電子商務(wù)法》、《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見》等法律法規(guī)中，都包含了人工智能應(yīng)用有關(guān)的法規(guī)要求，國內(nèi)金融行業(yè)監(jiān)管機(jī)構(gòu)也正在抓緊制定針對人工智能、金融科技等顛覆性技術(shù)所帶來的新型風(fēng)險的應(yīng)對指導(dǎo)意見和監(jiān)管要求。

因此，對于已經(jīng)在或者計劃在業(yè)務(wù)中應(yīng)用人工智能技術(shù)的各類企業(yè)來說，都應(yīng)當(dāng)在企業(yè)風(fēng)險管理過程中考慮人工智能風(fēng)險，充分評估人工智能技術(shù)蘊(yùn)含的復(fù)雜性、不確定性、難解釋性以及發(fā)展速度等風(fēng)險因素，開展人工智能風(fēng)險管理工作已經(jīng)刻不容緩。

（本文內(nèi)容摘自德勤《人工智能與風(fēng)險管理》報告）