亚洲免费av电影一区二区三区,日韩爱爱视频,51精品视频一区二区三区,91视频爱爱,日韩欧美在线播放视频,中文字幕少妇AV,亚洲电影中文字幕,久久久久亚洲av成人网址,久久综合视频网站,国产在线不卡免费播放

        ?

        算法決策:人工智能驅(qū)動的公共決策及其風險*

        2021-09-22 08:58:58吳進進
        開放時代 2021年5期
        關(guān)鍵詞:決策者議程決策

        ■吳進進 符 陽

        [內(nèi)容提要]作為一種自主算法決策,人工智能技術(shù)已經(jīng)滲透到公共決策過程的各個環(huán)節(jié),使公共決策模式產(chǎn)生重大變革。本文基于公共政策循環(huán)理論的視角,提出了一個人工智能算法對公共政策的問題界定與議程設(shè)置、政策制定、政策執(zhí)行和政策評估四個階段的影響與應(yīng)用的分析框架,指出人工智能算法通過其大數(shù)據(jù)處理能力和預測分析能力,對提高公共決策的科學性、精準性和有效性發(fā)揮了巨大的作用。與此同時,人工智能算法存在的算法偏見、預測偏差和算法“黑箱”等問題可能引發(fā)公共決策失靈和合法性危機。最后,本文還提出,為了合理利用人工智能技術(shù)提高公共決策的有效性,規(guī)避算法決策的風險,決策者應(yīng)關(guān)注人工智能算法決策與人類常規(guī)性決策的應(yīng)用范圍、適用性以及兩者之間的互補協(xié)調(diào)關(guān)系,同時在算法驅(qū)動的公共決策各個環(huán)節(jié)中加強公共參與,建立參與式算法決策框架。

        一、引言

        人工智能(artificial intelligence,AI)是計算機科學的一個分支,其目的是開發(fā)一種具有智能行為的機器,實現(xiàn)在沒有明確編程命令的情況下,使計算機自主采取行動。機器學習和大數(shù)據(jù)是人工智能的兩大核心要素。機器學習是人工智能的大腦,是支持人工智能的基礎(chǔ)算法;大數(shù)據(jù)則是實現(xiàn)人工智能算法運算的基礎(chǔ)原料。機器學習基于算法來解析和訓練數(shù)據(jù),進行學習,從現(xiàn)實世界中識別模式,發(fā)現(xiàn)趨勢,作出預測和決策,并在此基礎(chǔ)上執(zhí)行特定任務(wù)。算法就是對解題方案的準確而完整的描述,是一系列解決問題的清晰指令。算法代表著用系統(tǒng)的方法描述、解決問題的策略機制,對一定規(guī)范的輸入,在有限時間內(nèi)獲得所要求的輸出。從本質(zhì)上說,人工智能就是一種基于算法的自主決策系統(tǒng)。以大數(shù)據(jù)為基礎(chǔ)的,以機器學習及深度學習算法為核心的人工智能自主決策系統(tǒng)被稱為算法決策(Zouri?dis,van Eck&Bovens,2020)。

        決策是行政行為的核心。一方面,隨著人工智能的興起,人工智能對公共決策系統(tǒng)中的官僚與專家決策等常規(guī)決策模式起到了重塑作用。目前,國內(nèi)外學者對大數(shù)據(jù)驅(qū)動的公共決策優(yōu)化研究較為豐富,如大數(shù)據(jù)影響“公共決策循環(huán)”的模型化研究(H?chtl,Parycek &Sch?llhammer,2016),大數(shù)據(jù)驅(qū)動的議程設(shè)置信息化、備擇方案討論全民化、決策執(zhí)行自動化、決策評估實時化以及全過程跨領(lǐng)域綜合集成化等五個方面的公共決策創(chuàng)新研究等(陳一帆、胡象明,2019)。但是,人工智能算法對公共決策過程和環(huán)節(jié)如何發(fā)揮影響,影響機制是什么等問題尚未在理論和實證層面上得到充分回答。另一方面,算法決策的風險問題也引起越來越多的警惕和探討。部分學者對人工智能應(yīng)用于公共決策持謹慎態(tài)度,認為人工智能算法的內(nèi)在缺陷及其不當使用,如算法偏差、算法錯誤、算法歧視、算法“黑箱”、審查難等問題(Osoba &Welser,2017;Chiao,2019),將產(chǎn)生嚴峻的行政倫理問題,如人工智能對決策公平、公正、透明性和可問責性的挑戰(zhàn),侵犯公民信息隱私權(quán),加劇社會不平等(于文軒,2017)。然而,這些探討較少分析人工智能算法決策在公共決策過程中產(chǎn)生的風險的具體形式及其來源。

        借鑒大數(shù)據(jù)驅(qū)動的公共決策循環(huán)模型(H?chtl,Parycek &Sch?llhammer,2016),以及人工智能對政府與公共政策影響的最新研究(Val?le-Cruz et al.,2019),本文首先基于政策學者對政策過程經(jīng)典的四個階段劃分(Dunn,2015),發(fā)展一個人工智能算法在公共決策領(lǐng)域中應(yīng)用形態(tài)與作用機制的分析框架,呈現(xiàn)人工智能對公共決策各階段與過程的深刻影響。其次,本文將對公共決策各個階段的算法決策風險及其來源問題進行探討。最后,本文還將討論如何平衡人工智能算法決策與常規(guī)決策之間的關(guān)系,闡述這兩類決策機制的適用范圍和互補關(guān)系,并對提高算法決策的公眾參與性,規(guī)避算法決策的風險提出若干政策建議。

        二、人工智能驅(qū)動的公共決策:一個分析框架

        人工智能在公共決策中巨大的應(yīng)用潛力源于人工智能的兩大基本能力。第一,人工智能的大數(shù)據(jù)生成和處理功能為公共決策提供了豐富的決策信息。信息是決策的基石,在決策的全過程中發(fā)揮至關(guān)重要的影響。在充斥著復雜性和不確定性的決策環(huán)境下,海量的信息充斥在各個領(lǐng)域和活動中。然而,信息規(guī)模越大,信息的結(jié)構(gòu)性就越差。相當大比例的數(shù)據(jù)呈現(xiàn)非結(jié)構(gòu)形態(tài),如圖像數(shù)據(jù)、自然語言數(shù)據(jù)、文本數(shù)據(jù)、語音視頻數(shù)據(jù)等。據(jù)國際數(shù)據(jù)公司(International Data Corporation,IDC)的預測,2018年到2025年之間,全球產(chǎn)生的數(shù)據(jù)量將會從33 澤字節(jié)(ZB)增長到175 澤字節(jié),其中超過80% 的數(shù)據(jù)都是處理難度較大的非結(jié)構(gòu)化數(shù)據(jù)。①然而,人類的思維能力和運算速度十分有限,在搜集和處理海量非結(jié)構(gòu)化數(shù)據(jù)時存在著成本高、速度低和準確率低的劣勢。非結(jié)構(gòu)化數(shù)據(jù)需轉(zhuǎn)化為計算機可以處理的結(jié)構(gòu)化數(shù)據(jù)才會方便決策者進一步分析。人工智能的機器學習與深度學習方法憑借文本挖掘、知識庫自動構(gòu)建、圖像視頻識別與生成、自然語言處理等技術(shù),快速、便捷且大規(guī)模地將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)。例如,對于語言形式多樣而意義模糊的自然語言數(shù)據(jù),人工智能可以減少文本的模糊性,識別不同的詞匯,連接語言中的邏輯,解讀語言的背景知識,對語言與文本進行標記和分類。當前,人工智能可以快速地閱讀海量的政策文本,并對政策內(nèi)容進行分類(Rice &Christopher,2021)。人工智能的圖像識別技術(shù)通過抽取識別圖像的各種特征,幫助網(wǎng)站運營商和政府網(wǎng)絡(luò)監(jiān)管部門對視頻和圖片進行質(zhì)量、版權(quán)、涉恐涉黃鑒別和標記。

        第二,人工智能機器學習算法的預測分析能力為公共決策提供直接的支持。人工智能使用算法來分析數(shù)據(jù),并從中學習,從而對現(xiàn)實世界中的事件作出決策和預測。由人工智能算法驅(qū)動的決策基于大數(shù)據(jù)和高緯數(shù)據(jù)篩選預測因子,建構(gòu)非線性和高度交互的預測模型,非常準確地預測了高度復雜的現(xiàn)象與數(shù)據(jù)間的關(guān)系(Mullain?athan &Spiess,2017)。人工智能算法決策在提升預測的精確性上具有人腦判斷、專家預測和傳統(tǒng)統(tǒng)計模型無法比擬的優(yōu)勢。首先,由于人腦獲取和處理信息能力的局限、非理性的偏見和情感因素的影響,人腦的預測效果遠不及統(tǒng)計模型(Grove &Meehl,1996),而傳統(tǒng)的統(tǒng)計模型無法應(yīng)對現(xiàn)實世界的變量間復雜而模糊的關(guān)系與模式,難以準確地還原真實的數(shù)據(jù)生成過程,以因果推斷為目標的傳統(tǒng)統(tǒng)計模型的預測能力十分有限。與傳統(tǒng)統(tǒng)計模型不同,人工智能算法主要關(guān)注的是預測的準確性,允許數(shù)據(jù)自己決定變量的擬合過程,從而盡可能精確地擬合實際的數(shù)據(jù)點,隨著模型擬合的準確性的提高,人工智能算法的預測能力也就越強。人工智能算法憑借其優(yōu)越的預測分析能力為公共決策提供了強大的智能支持。

        21世紀,特別是2010年以來,人工智能對公共決策的介入呈現(xiàn)一個由淺到深,由邊緣到核心的過程。人工智能最初對公共決策的影響主要集中在簡化政府一線服務(wù)部門工作流程,改善市民服務(wù)和提高機構(gòu)辦事效率方面,如自動回答市民問題,輔助工作人員填寫和搜索文檔,對顧客需求進行分類和選擇服務(wù)路徑,翻譯和起草文件等(Mehr,2017)。一項研究表明,人工智能的自動化能力可以幫助工作人員在執(zhí)行記錄信息、處理文檔表格等基本行政任務(wù)時節(jié)省30%的時間(Viechnicki&Eggers,2017)。隨著政府活動對人工智能算法開放度越來越高,人工智能算法也開始介入公共決策的核心環(huán)節(jié),如政策制定、執(zhí)行與評估環(huán)節(jié),并且參與到政府的一些核心公共服務(wù)與決策領(lǐng)域,如公共交通、醫(yī)療、教育、環(huán)境、公共安全與社會福利領(lǐng)域。算法驅(qū)動的公共決策的典型案例包括美國沃森人工智能(Watson AI)輔助醫(yī)療診斷,中國杭州和新加坡等地城市智慧交通信號燈與擁堵預警系統(tǒng),美國洛杉磯等地實施的人工智能犯罪區(qū)域風險預測和火警檢測系統(tǒng)等(Berryhill et al.,2019)。在這一階段,算法決策的任務(wù)不僅僅是簡化行政流程,處理程序性和重復性任務(wù)這些簡單的行政工作,而且是充分發(fā)揮人工智能的大數(shù)據(jù)處理和分析預測能力,提高公共服務(wù)的效率、質(zhì)量和精準性,創(chuàng)新公共服務(wù)的供給,甚至決定資源配置和權(quán)利分配這些公共決策的核心問題。

        那么人工智能的大數(shù)據(jù)處理與預測分析能力如何與公共決策相結(jié)合,為公共決策系統(tǒng)提供支持呢?本文發(fā)展了一個人工智能驅(qū)動公共決策過程的分析框架,呈現(xiàn)人工智能對政府公共決策各個階段的深刻影響。為了便于簡潔地理解復雜的公共政策系統(tǒng)和決策過程,政策學者把政策過程劃分為四個相互聯(lián)系的階段:政策問題界定與議程設(shè)置、政策方案設(shè)計與政策制定、政策執(zhí)行,以及政策評估。筆者將逐一探討在公共決策的四個階段中,人工智能的兩大功能如何發(fā)揮作用(見圖1)。表1 概括了人工智能的大數(shù)據(jù)處理和預測分析在決策四個階段中的具體實踐形態(tài)及其影響。

        圖1:人工智能與公共決策循環(huán)

        (一)人工智能、政策問題界定及議程設(shè)定

        政策問題界定和議程設(shè)定是公共決策過程的起點,公共決策首先要確定政策應(yīng)該優(yōu)先解決哪些問題?對政策議程設(shè)定的研究主要關(guān)注兩類問題:一是社會問題的性質(zhì)是什么,政府干預這一問題的必要性何在,即問題界定。問題界定在議程設(shè)定過程中發(fā)揮著特殊作用,社會問題能否進入議程在很大程度上取決于問題如何被社會認知和建構(gòu),如問題產(chǎn)生的結(jié)果是好的還是壞的,問題的重要性程度如何,以及問題是否有解決的方案(Baumgartner &Jones,2015)。二是在大量社會問題中,哪些問題被決策者所關(guān)注,這些問題如何進入政策議程,即政策議程設(shè)置。政府內(nèi)外的行動者總是尋求以各種手段來影響問題界定和議程設(shè)定過程。傳統(tǒng)上,除了政府決策者外,新聞媒體的傳播,專家學者的決策咨詢和利益集團的游說活動等都是影響政策議程的重要手段(Kingdon,1995)。議程設(shè)定過程的核心是如何使政策問題從公共議程上升到?jīng)Q策者注意力范圍內(nèi),并進入正式政策議程?,F(xiàn)有研究發(fā)現(xiàn),有多種模式推動了政策問題進入決策議程(Howlett&Ramesh,2003):第一種是外部倡議模式,即社會力量通過動員公眾支持推動政府關(guān)注某一政策問題;第二種是內(nèi)部倡議模式,指的是決策相關(guān)者不用公眾支持而影響議程,如利益集團獨立動員某些社會群體直接影響政府決策;第三種模式是支持動員模式,是沒有公眾參與的決策議程初步確定后,政府再動員公眾支持該項政策問題;第四種模式是整合模式,即當一項政策問題已經(jīng)獲得公眾的廣泛支持和共識后,政府再順應(yīng)民意推動議程建立。在大數(shù)據(jù)時代,人工智能是影響問題界定和塑造議程設(shè)定模式的重要手段,通過不同于傳統(tǒng)的媒體、利益團體和專家行為的方式發(fā)揮影響。

        表1:公共決策過程中的人工智能算法應(yīng)用

        首先,人工智能的大數(shù)據(jù)處理能力是政府內(nèi)外各類行動者界定問題的重要工具或平臺。在大數(shù)據(jù)時代,微博、微信、推特和臉書等在線社交工具成為重要的線上公共問題討論和決策參與平臺,社交媒體大數(shù)據(jù)作為重要的公共輿論形態(tài),是決策者獲取信息和議程設(shè)置的重要來源。一方面,政府決策者在設(shè)置政策議程時越來越重視網(wǎng)絡(luò)大數(shù)據(jù)和在線公共輿論。當一項公共問題引發(fā)熱議或輿論風暴時,決策者可以利用人工智能技術(shù),如自然語言處理、文本情感分析、數(shù)據(jù)挖掘和圖形識別等分析事件或問題引發(fā)的輿論動向,如輿論內(nèi)容、輿論情緒及其變化趨勢與傳播途徑等,從而有助于決策者掌握事件或問題成因,對其可能產(chǎn)生的政治社會后果進行精準識別,決定是否將該事件納入政策議程。在這種意義上,人工智能算法可以有效地實現(xiàn)議程設(shè)定的外部動員,使得某些政策問題可以快捷地進入政策議程。另一方面,決策者面臨的問題信息高度龐雜,而決策者在注意力、認知能力和信息處理能力方面存在局限性(Workman,Jones&Jochim,2009),某些社會問題的利益相關(guān)者傾向于利用人工智能技術(shù)搜集和處理有利于自身利益的數(shù)據(jù),特別是社交媒體數(shù)據(jù),隨后對這些數(shù)據(jù)進行結(jié)構(gòu)化處理,將結(jié)構(gòu)化數(shù)據(jù)傳遞給政府決策者。因此,人工智能的大數(shù)據(jù)處理能力助力議程設(shè)定的內(nèi)部動員,有助于某些利益團體所偏好的政策問題引起決策者的注意力,從而推動這些問題進入決策議程。

        其次,決定決策者是否把某項問題納入政策議程的一個重要考慮是問題自身的性質(zhì),對于那些過度復雜、成因未明,或者現(xiàn)階段缺乏解決方法的問題,決策者很難將其納入決策議程(Ander?son,2003)。人工智能的預測分析能力,可以幫助決策者預測問題的發(fā)生概率、復雜性或嚴重程度,或者分析問題的成因、后果以及解決思路,從而輔助決策者判斷哪些問題可以成為政策問題。在議程設(shè)置階段,人工智能的預測分析能力得到較為普遍的應(yīng)用。在經(jīng)濟領(lǐng)域,政府利用人工智能技術(shù)進行未來年度的經(jīng)濟預測,為中長期經(jīng)濟政策的制定提供基礎(chǔ)。在公共衛(wèi)生領(lǐng)域,“谷歌流感趨勢”通過分析以“流感檢測”為關(guān)鍵詞的幾十億次搜索記錄來預測流感發(fā)病率,在初期預測的準確率很高,輔助疾控部門決定是否啟動流感緊急應(yīng)對程序(Butler,2013)。在公共安全領(lǐng)域,政府部門通過對社交媒體的大數(shù)據(jù)分析和處理,判斷抗議、騷亂等危機爆發(fā)與蔓延的趨勢,從而提前采取維護秩序和防止沖突升級的政策措施(Leetaru,2011)。

        (二)人工智能與政策制定

        政策備選方案的提出和選擇是公共決策的關(guān)鍵步驟,特別是政策方案的抉擇也被稱為最典型的決策過程。根據(jù)理性主義政策分析模式,政策制定過程需要首先明確政策目的,繼而理性地分析備選方案,同時政府部門通過使用各類知識、技術(shù)和工具完善方案設(shè)計,然后陳述各個政策方案,按照標準對方案效果進行評估和預測,最后對方案進行選擇(韋默、瓦伊寧,2013)。在現(xiàn)代社會中,政策方案是否被接受取決于多種因素,其中兩個基本因素尤為受到關(guān)注:一是方案的合法性和政治支持,被公眾特別是目標群體廣泛接受的政策方案無疑具有更高的合法性;二是政策方案的技術(shù)可行性和實施效果的可預期性。

        在方案設(shè)計和制定環(huán)節(jié),政策制定者需要借助各種倡議活動,利用專家知識、技術(shù)工具,特別是信息收集和處理技術(shù)使得方案具備合法性和滿足績效條件。整個政策方案的設(shè)計和選擇過程都是建立在信息處理的基礎(chǔ)上,人工智能算法憑借其信息處理和預測分析能力,在政策方案設(shè)計和制定環(huán)節(jié)中發(fā)揮著顯著的作用。首先,人工智能可以推動對備選方案進行充分的公眾選擇和討論,從而有助于優(yōu)化備選方案的質(zhì)量,并且使方案獲得廣泛的公眾支持,為政策執(zhí)行創(chuàng)造良好的環(huán)境。人工智能的自然語言處理等技術(shù)可以對互聯(lián)網(wǎng),特別是新興社交媒體上公眾關(guān)于政策方案的建議、評論、留言等非結(jié)構(gòu)化數(shù)據(jù)進行深入的文本挖掘和情感分析,從而確定這些數(shù)據(jù)的特征趨勢,識別其中的不同政策偏好(Kama?teri,2015:71-77)。其次,人工智能模型的強大預測能力可以精準預測各個政策方案的實施效果,為方案的選擇提供依據(jù)。在政策方案選擇的傳統(tǒng)成本收益分析框架中,人工智能算法可以預測政策的成本和收益,從而指導政策方案的選擇。在醫(yī)療政策領(lǐng)域,人工智能算法被用于預測個體潛在的疾病風險及醫(yī)療成本,并基于預測結(jié)果指導醫(yī)療政策重點干預那些具有較高患病風險的對象,以及治療成本更高的病人。這不僅可以使得有限的醫(yī)療、護理資源得到合理配置,而且能夠控制醫(yī)療費用的增長。在預測政策成本前,決策者還需要識別政策目標群體,例如要預測某項稅收優(yōu)惠政策的成本,那么必須先預測這項政策所涉及的目標群體數(shù)量,從而計算稅收優(yōu)惠可能導致的減稅總額。在美國十分流行的人工智能算法輔助司法決策中,對于犯罪嫌疑人的處理有不同的政策方案:關(guān)押等待審訊、取保候?qū)徱约爸苯尤氇z。使用人工智能算法,根據(jù)既有的犯罪數(shù)據(jù),基于犯罪嫌疑人特質(zhì)、案件信息等相關(guān)特征,預測他們再次犯罪的概率,從而決定他們是入獄還是被取保候?qū)彛↘leinberg et al.,

        2017)。

        (三)人工智能與政策執(zhí)行

        無論是強調(diào)明確政策目標和決策者控制能力的自上而下的模式,還是強調(diào)決策執(zhí)行部門自由裁量權(quán)以及上級決策者與政策執(zhí)行部門上下協(xié)調(diào)互動的自下而上的模式,政策執(zhí)行最核心的癥結(jié)就是信息不對稱問題。執(zhí)行者比政策制定者,政策目標群體比執(zhí)行者具有信息優(yōu)勢,他們很容易消極執(zhí)行政策或者規(guī)避政策,決策者及時而充分地獲取政策執(zhí)行信息,就能有效地對執(zhí)行過程進行監(jiān)督或協(xié)調(diào)。人工智能算法能夠為執(zhí)行過程提供實時而充足的執(zhí)行信息,緩解因信息偏差和不對稱而導致的執(zhí)行偏差和梗阻問題。在政策執(zhí)行環(huán)節(jié),人工智能基于其預測分析和大數(shù)據(jù)處理能力對目標主體與執(zhí)行方案進行精準選擇(H?chtl,Parycek&Sch?llhammer,2016)。

        第一,人工智能的大數(shù)據(jù)處理能力使得決策者獲取和處理政策執(zhí)行信息的能力有了巨大的提升。人工智能可以實時獲取海量的政策執(zhí)行數(shù)據(jù),并對非結(jié)構(gòu)化數(shù)據(jù)進行結(jié)構(gòu)化處理,從而把結(jié)構(gòu)化數(shù)據(jù)迅速傳輸給決策者和政策執(zhí)行部門。在交通和社會治安領(lǐng)域,基于人工智能的攝像與人臉識別系統(tǒng)可以實時傳輸人車流量和道路交通擁堵狀況、街道人群密集程度和可疑人物等信息。在新冠疫情防控戰(zhàn)役中,口罩佩戴識別、自動測溫、防疫健康信息碼等基于人工智能算法的疫情防控系統(tǒng)被廣泛使用,使得疫情防控部門可以第一時間獲取中高風險對象的特征、行程及其密切接觸對象等信息。

        第二,人工智能的預測分析能力可以輔助決策者識別政策執(zhí)行的目標主體、重點對象和執(zhí)行方案,提高執(zhí)行的自動化程度。在政策執(zhí)行過程中,哪些目標群體是政策執(zhí)行的主要目標,執(zhí)行過程中哪些環(huán)節(jié)或領(lǐng)域可能出現(xiàn)問題,針對不同的問題,哪些執(zhí)行工具和方案更為有效,這些問題都是決定政策執(zhí)行成敗的關(guān)鍵。人工智能基于對執(zhí)行中信息的分析,能夠精準地預測哪些執(zhí)行問題會出現(xiàn),出現(xiàn)的概率是多少,或者根據(jù)個體的社會經(jīng)濟特征和行為模式精準識別政策的目標群體及其行為,從而可以顯著提高執(zhí)行的精準性和成功率。在交通領(lǐng)域,人工智能系統(tǒng)可以根據(jù)街頭實時反饋的路況數(shù)據(jù),預測道路擁堵程度,從而自動變換紅綠燈,減輕交通擁堵程度,減少行人車輛等待時間。

        (四)人工智能與政策評估

        政策評估是政策執(zhí)行中的動態(tài)信息或執(zhí)行完成后對績效與結(jié)果的評價和反饋活動。在公共決策環(huán)節(jié)中,對政策績效進行評估一直是一個難題,主要的障礙是政策績效信息難以測量或難以搜集和處理,而且缺少科學準確的評估方法。此外,政策評估也是一個政治行為,某些部門為了避免被追究責任,保持組織穩(wěn)定而刻意使政策目標模糊而難以測量,使得政策評估流于形式(Hood,2002)。在大數(shù)據(jù)時代,人工智能算法可以有效緩解由于信息短缺、監(jiān)控無力以及部門利益等因素導致的政策評估難題。人工智能可以廣泛用于對于政策執(zhí)行實時數(shù)據(jù)的反饋和政策執(zhí)行效果的監(jiān)控與預測,在解決績效信息獲取和測量難題方面上具有獨特的優(yōu)勢。一方面,人工智能的大數(shù)據(jù)處理能力將幫助決策者第一時間獲取政策執(zhí)行的實時數(shù)據(jù),實現(xiàn)持續(xù)的政策評估。人工智能對執(zhí)行系統(tǒng)的反饋數(shù)據(jù)、外部的新聞報道、社交媒體等數(shù)據(jù)的挖掘,可以幫助決策者迅速發(fā)現(xiàn)政策執(zhí)行走樣現(xiàn)象,監(jiān)測到官員的違規(guī)行為或執(zhí)行目標的違背政策行為,極大地促進了對政策實施效果進行實時評估。另一方面,決策者利用人工智能算法對政策實施效果進行精準預測,政策實施后把人工智能的預測結(jié)果和實際結(jié)果進行比較,評估政策預測結(jié)果的實現(xiàn)程度。在教育領(lǐng)域,美國華盛頓哥倫比亞特區(qū)利用教師績效評估系統(tǒng)(IMPACT),基于教師教學技巧、行為管理和學生成績的9 個績效指標,利用人工智能算法預測和評估教師工作績效并進行打分(Cameron,2017)。

        盡管對政策過程四個階段的劃分和論述有助于啟發(fā)我們理解政策過程的基本面貌和要素,但是實際的政策過程中各個環(huán)節(jié)都呈現(xiàn)交叉融合、高度互動和循環(huán)往復的特征(Sabatier,1999)。首先,政策執(zhí)行與政策評估相互融合交織,執(zhí)行過程中決策者時刻關(guān)注政策效果,對政策實施情況進行實時監(jiān)督與評估。其次,政策執(zhí)行、政策評估與政策制定環(huán)節(jié)也密不可分,決策者通過對政策執(zhí)行的監(jiān)控和對政策效果的評估,不間斷地調(diào)整和改變政策目標和政策方案,對政策方案進行再制定。最后,政策方案制定環(huán)節(jié)與政策議程設(shè)置環(huán)節(jié)也是循環(huán)往復、來回互動的,政策方案的設(shè)計、政策工具的選擇在很大程度上取決于政策問題的界定和利益相關(guān)方對議程設(shè)置的影響,當問題界定發(fā)生變化時,政策方案也會被重新設(shè)計。由于現(xiàn)實政策過程具有非線性的來回往復、互動互構(gòu)屬性,算法驅(qū)動的公共決策過程也呈現(xiàn)上述特征。一些政府部門利用人工智能技術(shù)對包括社交媒體在內(nèi)的互聯(lián)網(wǎng)使用者發(fā)帖和評論大數(shù)據(jù)的搜集和處理,可以第一時間評判政策執(zhí)行過程中公眾的意見和反饋的問題,為決策者調(diào)整政策或執(zhí)行方式提供支持,這一過程就包含了政策執(zhí)行、評估和政策再制定等內(nèi)容。我國部分省份扶貧與農(nóng)業(yè)資金管理的“互聯(lián)網(wǎng)+ 監(jiān)察”平臺通過對資金直接發(fā)放的數(shù)據(jù)進行脫敏和分類處理后,在數(shù)據(jù)平臺上統(tǒng)一公布,最大限度地對社會公開,公眾可以直接在平臺上查詢自己和他人的補貼信息,對于不恰當或違法的資金使用情況進行投訴和舉報(鄔彬、肖漢宇,2020),這個人工智能算法平臺同時實現(xiàn)了政策執(zhí)行監(jiān)控和政策效果評估的目的。

        三、人工智能算法決策的風險

        盡管人工智能算法決策極大地提高了公共決策的技術(shù)理性,然而,現(xiàn)實中人工智能算法并不完美,存在著算法偏差、偏見和不透明等風險,對公共決策循環(huán)的各階段都可能帶來不同程度的威脅,對公共決策的公正、公開等公共價值產(chǎn)生潛在的危害,從而導致不可忽視的政治社會問題。

        (一)問題界定與政策議程設(shè)置階段的算法風險

        在這一階段,人工智能引發(fā)的決策風險主要體現(xiàn)為數(shù)據(jù)自身的偏差以及人為操縱問題引發(fā)的預測失敗和偏誤,由此導致問題界定與政策議程設(shè)置的偏離與錯誤。人工智能算法的大數(shù)據(jù)處理和預測分析技術(shù)都強烈依賴歷史訓練數(shù)據(jù)的特征和模式,歷史數(shù)據(jù)的偏差和偏見很可能導致人工智能數(shù)據(jù)處理和預測分析結(jié)果的偏誤。在問題界定時,決策者利用人工智能處理相關(guān)數(shù)據(jù),分析并預測問題的形式及其成因,然而即使是大數(shù)據(jù)也未必能反映數(shù)據(jù)的全貌,大數(shù)據(jù)的代表性有時反而不如抽樣數(shù)據(jù)。特別是當前的人工智能使用的大數(shù)據(jù)多是來源于包括社交媒體在內(nèi)的互聯(lián)網(wǎng)和傳統(tǒng)新聞媒體,這些數(shù)據(jù)背后的用戶分布不具有人口統(tǒng)計學上的代表性,利用這些大數(shù)據(jù)做出的問題界定和公眾態(tài)度分析很可能是不真實的。更嚴重的是,部分社交媒體的公眾態(tài)度與意見也是不穩(wěn)定的,很容易受到一些突發(fā)事件、媒體傾向性報告的影響,或者受到部分意見領(lǐng)袖輿論操縱與網(wǎng)絡(luò)事件的積極參與者策略性發(fā)聲的干擾,這時經(jīng)過人工智能分析后進行的問題界定和提出的政策議題很可能偏離真實的公眾偏好,甚至反映的是部分人群和特殊利益集團的偏好。其中一個典型的現(xiàn)象是網(wǎng)絡(luò)上假新聞和煽動性信息的泛濫,不僅加劇了社會分裂與政治沖突,而且容易操縱公眾態(tài)度,誤導政府決策行為。②

        (二)政策方案設(shè)計與決策階段的算法風險

        在政策方案設(shè)計與決策階段,人工智能算法決策的主要風險表現(xiàn)為兩個方面:一是政策方案受人為輿論操縱而形成虛假支持,導致政策方案“劣幣驅(qū)逐良幣”;二是人工智能算法預測的巨大偏差導致政策方案失敗引發(fā)的政治社會風險。首先,政策方案設(shè)計階段同樣可能出現(xiàn)虛假公共輿論或公眾輿論被人為操縱的問題。一些政治團體、極端組織或者特殊利益團隊可能利用人工智能技術(shù)自動生成虛假或欺騙性信息,傳播極端仇視性言論攻擊不利于其自身的政策方案,或竭力鼓吹符合自身利益的政策方案,進而誘導公眾輿論導向,推動或阻止立法通過某些政策方案。③其次,人工智能對政策方案成本收益與政策實施效果的預評估也很可能出現(xiàn)偏差。一些人工智能算法基于陳舊的數(shù)據(jù),或者有偏誤的歷史數(shù)據(jù),提出的政策方案本身就是有偏差的,或者只適用于特定場景和國情下的政策問題,面臨新政策環(huán)境時很可能無法產(chǎn)生作用。在人工智能醫(yī)療領(lǐng)域,沃森腫瘤人工智能治療方案就受到很多非議,批評者認為沃森腫瘤人工智能診療主要是基于醫(yī)學期刊文章和專家提出的虛擬案例建立預測模型,訓練數(shù)據(jù)中很少有現(xiàn)實的腫瘤診療病例,這就導致沃森腫瘤人工智能系統(tǒng)很可能無法給出準確的方案,甚至給出的治療建議與標準化的治療指南相沖突(Ross&Swetlitzi,2017)。

        (三)政策執(zhí)行階段的算法風險

        在政策執(zhí)行環(huán)節(jié),人工智能算法決策的風險主要體現(xiàn)在由于存在算法偏差和“黑箱”問題而產(chǎn)生的執(zhí)行偏差與失敗,引發(fā)公共政策合法性危機。盡管人工智能算法通過不斷改進數(shù)據(jù)質(zhì)量,調(diào)整模型參數(shù)和更換更高級的算法能夠提高預測的準確率,但是預測誤差和失誤總是難免,沒有一個算法的預測準確率是100%。如果輸入模型的數(shù)據(jù)本身有著系統(tǒng)性偏差,那么就會給模型預測結(jié)果帶來極大的偏誤。在政策執(zhí)行過程中,有偏誤的人工智能系統(tǒng)可能會對政策目標群體識別失敗,產(chǎn)生假陽性和假陰性兩類誤差問題。假陽性誤差使得執(zhí)行者把不符合政策特征的錯誤對象當作正確對象處理,導致政策執(zhí)行成本上升或政策資源的浪費。假陰性誤差則會把正確的政策對象排除在外,導致政策執(zhí)行嚴重扭曲甚至失敗。人工智能導致在政策執(zhí)行中產(chǎn)生假陰性誤差并不少見。在衛(wèi)生領(lǐng)域,從2009年到2018年,英國國家健康系統(tǒng)的乳腺癌篩查調(diào)度軟件出現(xiàn)預測誤差,導致約45 萬名68 歲到71 歲的女性失去了最后一次進行乳腺癌檢查的機會,其結(jié)果可能致使135人到270人提前死亡(Charette,2018)。

        算法決策的“黑箱”和不透明特征使得政策執(zhí)行缺少透明性和參與性,損害了政策執(zhí)行的合法性。政策執(zhí)行具有合法性的前提除了政策的有效性外,另外一個重要原則是保證過程的公開公平和民主參與。在官僚體制的技術(shù)理性主導下,政策執(zhí)行的透明性和參與性已經(jīng)遭到很大的削弱。然而人工智能算法的“黑箱”特征使得算法決策面臨更加顯著的決策不透明、責任不清晰、問責難度大的困境。首先,復雜精巧的人工智能算法本身就是一個“黑箱”(Burrell,2016)。盡管使用者知道算法預測結(jié)果和準確度,但是由于模型擬合過程涉及大量變量和數(shù)據(jù),預測因子和結(jié)果之間缺少因果聯(lián)系,預測過程往往太過復雜而難以直觀理解。算法決策的“黑箱”特征一方面導致政府部門使用者只能選擇相信算法的準確性和公正性,使得算法決策無法得到有效監(jiān)督和及時糾正。另一方面,對于政策目標群體,由于政府部門無法解釋算法決策過程,公眾當然也不能理解算法決策的正當性,這就導致算法決策難以獲得公眾的支持和信任。其次,人工智能算法決策可能使得執(zhí)行失誤的責任歸屬難以界定,加大公眾問責的難度。當前公共決策算法機器系統(tǒng)都是由第三方公司開發(fā)維護,一旦發(fā)生由算法失靈而導致的決策失誤,就可能引發(fā)重大社會問題和損失,責任追究和政治問責將面臨更大的難度。政府部門可能將責任推給算法和算法開發(fā)公司,算法開發(fā)公司則以商業(yè)秘密為由拒絕公開接受外部審查,其結(jié)果使得問責過程漫長而難以產(chǎn)生定論。英國乳腺癌篩查漏檢丑聞發(fā)生后,英國國家衛(wèi)生醫(yī)療服務(wù)體系(NHS)、公共衛(wèi)生局(PHE)以及負責軟件開發(fā)的日立咨詢公司都在相互指責對方(Donnelly,2018)。

        (四)政策評估的算法風險

        在政策評估環(huán)節(jié),算法決策的主要風險來自評估中存在的算法歧視和偏差問題。盡管人工智能基于其大數(shù)據(jù)挖掘和生成能力能夠?qū)崟r獲取政策執(zhí)行信息,但是人工智能系統(tǒng)獲取的執(zhí)行信息并不總是公正和準確的。人工智能算法最主要的偏見可能源于數(shù)據(jù)本身。一方面,可能由于數(shù)據(jù)樣本較小,訓練集數(shù)據(jù)與整體數(shù)據(jù)分布存在較大的偏差,使得使用訓練集擬合的模型無法對樣本外未知數(shù)據(jù)進行準確的預測。另一方面,即使樣本數(shù)據(jù)量夠大,但是數(shù)據(jù)集也可能出現(xiàn)歷史遺留的數(shù)據(jù)偏誤問題。人工智能模型基于歷史數(shù)據(jù)做出預測,由于政治社會體制、人類決策和文化中的既有偏誤,有些歷史數(shù)據(jù)本身就是高度不平衡的。數(shù)據(jù)集存在的不平衡性使得某類群體數(shù)據(jù)在樣本中被過度代表,而其他類型的群體則代表性不足,導致在預測模型中,某些預測因子偏向于某類群體,典型的例子就是人工智能算法中存在種族和性別偏見問題。很多美國法院使用北角(Northpointe)公司基于人工智能算法設(shè)計的犯罪風險評估系統(tǒng)(Criminal Risk Assess?ment)預測犯罪行為。然而,2016年,知名的非營利媒體“為了人民”(ProPublica)調(diào)查發(fā)現(xiàn),美國一些法院使用這套系統(tǒng)預測犯罪風險和法庭對犯罪嫌疑人進行保釋和量刑決策時,認為黑人比白人再次犯罪的概率更高,這種不利于有色人種的人工智能犯罪風險評估在美國司法系統(tǒng)里越來越普遍。④導致預測偏見的根源是美國歷史上犯罪和再犯罪統(tǒng)計中黑人等有色人種比例過高,美國司法體系對黑人等有色人種的歧視問題十分突出(Angwin et al.,2016)。

        此外,一些程序性的行政任務(wù)執(zhí)行過程比較簡單,人工智能評估可以保證較高的準確性和公正性,但是對于政策績效難以測量的活動,人工智能評估系統(tǒng)難以做到準確可靠,再加上決策者和政策執(zhí)行者的偏好,以及利益相關(guān)者的機會主義行為導致的政策執(zhí)行過程的扭曲和偏差,使一些偏誤和虛假的信息大量涌現(xiàn),從而使得人工智能在政策評估時發(fā)生偏差。在教育領(lǐng)域,2011年美國休斯敦市獨立學區(qū)利用算法模型“教育增值評價系統(tǒng)”,根據(jù)學生的標準化測試成績來決定教師的獎金,隨后學區(qū)還進一步使用這一算法來決定教師的聘用,此舉引發(fā)了教師工會的強烈不滿。他們認為該系統(tǒng)評估、評價的學生標準化成績并不能完全反映教師的工作投入,而且決定學生成績的因素很多,有些是教師無法掌控的,因此該系統(tǒng)的評估結(jié)果既不準確也不公平。后來經(jīng)過評估,發(fā)現(xiàn)這一系統(tǒng)的預測過程不僅難以解釋,而且結(jié)果也不精確,法院最終推翻了該算法的決策(Zeph,2017)。

        四、政策建議

        基于對人工智能驅(qū)動公共決策過程及其風險的論述,本文對公共決策者如何合理利用人工智能技術(shù)提高公共決策的有效性,同時規(guī)避算法決策的潛在風險,提出相應(yīng)的政策建議。

        (一)合理選擇算法決策與常規(guī)決策

        在公共決策系統(tǒng)中,根據(jù)算法對決策過程主導性的高低,算法決策和人類常規(guī)決策之間的關(guān)系及其互動形態(tài)主要呈現(xiàn)以下三種模式(Zouri?dis,van Eck&Bovens,2020):第一種是算法自主決策模式。這類模式中,算法取代人類常規(guī)決策,決策過程完全自動化,人類決策者幾乎沒有自由裁量空間,近乎聽命于算法。這類模式的典型形式如對城市道路等市政設(shè)施壞損的智能監(jiān)控與預警。第二種模式是算法輔助模式,算法在公共決策中發(fā)揮著重要作用,對人類常規(guī)決策起到輔助和支持作用。但是,人類常規(guī)決策仍然是主導性的,人類決策者對算法輔助過程保持著獨立的判斷、干預和控制。當下,算法輔助模式應(yīng)用范圍越來越廣泛,除了一些公共安全和應(yīng)急管理決策,如火警、犯罪熱點地區(qū)、安全衛(wèi)生檢測外,還進一步發(fā)展到對公民社會權(quán)利和資格的分配領(lǐng)域,如社會救助對象界定、疾病預測、考試成績判定、教師績效評估等。第三種模式可以被稱為算法咨詢模式。這個模式里,算法對公共決策是可有可無的,算法介入決策的程度不深,大多情況是在數(shù)據(jù)收集過程中被選擇性地使用。算法對人類常規(guī)決策只起到?jīng)Q策咨詢的作用,如提供相關(guān)數(shù)據(jù)信息,算法預測的結(jié)果也只是作為人類常規(guī)決策的參考,并不會對人類決策起到?jīng)Q定性作用或重要的輔助作用。

        上述三種決策模式的選擇主要取決于決策任務(wù)和場景的特征。主流觀點認為,人工智能在決策中的優(yōu)勢主要體現(xiàn)在高度重復性、機械性或日常性的行政程序性場景中,不需要官僚行使過多的自由裁量權(quán)和進行價值判斷(Bullock,2019)。這類決策場景任務(wù)相對簡單直觀,有一套固定的決策程序,同時能夠產(chǎn)生海量的具有重復性行政大數(shù)據(jù),數(shù)據(jù)間關(guān)系也易于理解,從而有利于發(fā)揮人工智能大數(shù)據(jù)生成和預測分析能力,因此比較適合算法主導和算法輔助的決策模式。在公共政策過程的幾個環(huán)節(jié)中,相對而言,事務(wù)性問題界定和程序性政策執(zhí)行階段更適合算法主導模式。但是,另一方面,在一些具有高度復雜性的,需要較多自由裁量權(quán)、價值判斷和靈活處理的政策制定、執(zhí)行和評價等政策過程,人工智能就不擅長了。一項研究表明,政府決策者對待算法決策的態(tài)度隨著決策任務(wù)復雜性的增加而趨向消極,決策復雜性越高,決策者對算法決策的認可度就越低(Nagtegaal,2021)。在高度復雜的任務(wù)中,人類決策應(yīng)該是主導性的。此外,公共政策制定過程除了要求有提高效率,降低成本等技術(shù)理性外,更重要的是要遵守公正、公開與合法性等公共價值原則。對于涉及價值判斷、社會鑒別和倫理評價等活動,如人的生命安全、人身自由、社會權(quán)利分配,應(yīng)該避免由算法主導決策。在這些領(lǐng)域,公眾更加偏好常規(guī)性的官僚決策或公眾參與政策制定,對算法有著天然的不信任感和恐懼心理,任何微小的人工智能預測偏差都可能引發(fā)公眾的強烈不滿和政治爭議??傊?,應(yīng)避免對人工智能技術(shù)及其推動的算法決策的迷信,審慎決定哪些類型的公共政策的決策適用于人工智能技術(shù),平衡算法決策和人類常規(guī)決策的關(guān)系,實現(xiàn)算法決策和人類決策各就其位,各得其所,通過相互協(xié)調(diào)和配合提高公共決策的效率和合法性。

        (二)建立參與式的算法決策框架

        在算法驅(qū)動的公共決策各個環(huán)節(jié)中加強公共參與,建立參與式的算法決策框架。公共決策的本質(zhì)特征在于“公共”,公共的價值觀包括決策結(jié)果的公平公正,以及決策過程的公開和公眾參與。算法驅(qū)動的公共決策過程也應(yīng)該尊崇上述公共決策的基本價值觀。針對算法決策中存在的“黑箱”和歧視問題,公開與公眾參與理應(yīng)占據(jù)更重要的角色。算法決策各個環(huán)節(jié)的公眾參與也是避免人工智能算法決策風險的關(guān)鍵。因此,本文倡導建立參與式的算法決策框架,這個框架應(yīng)該包括以下幾個要素:第一,要吸納政策相關(guān)者和利益主體參與算法的設(shè)計,算法決策方案的制定和選擇過程中。為了避免因數(shù)據(jù)偏見和偏差問題而導致的問題界定和議程設(shè)置的偏離和謬誤,應(yīng)通過大規(guī)模公眾調(diào)查、代表性利益相關(guān)方的訪談與協(xié)商懇談會等民主參與方式進行算法設(shè)計和構(gòu)建,并提高算法的公開性和透明性,如通過協(xié)商或投票等公眾參與方式來確定算法應(yīng)該使用的特征集。第二,算法決策的結(jié)果在政策方案制定或?qū)嵤┣?,?yīng)該向社會公開,接受公眾和利益相關(guān)方的意見和反饋,最后再決定是否采用或?qū)嵤?。在條件允許的情況下,將算法決策提供的方案和人類決策制定的方案進行比較,涉及敏感的權(quán)利分配決策時,要看算法決策是否比人類決策更能促進分配的公平性。第三,由于算法存在的偏差或失誤可能引發(fā)政策執(zhí)行的偏差與失敗風險,應(yīng)在政策執(zhí)行過程中建立公眾參與和干預機制。本文建議建立人工智能研究人員與社會科學、人文、性別、醫(yī)學、環(huán)境和法律等方面的專家進行合作交流的制度體系,如在政府或公司層面建立人工智能倫理委員會,委員會成員由各領(lǐng)域?qū)<摇⑵髽I(yè)和政府人士構(gòu)成,對算法系統(tǒng)進行政治與倫理審查。當決定使用人工智能進行公共決策時,除了政府決策者和算法設(shè)計者,利益相關(guān)者和公眾都應(yīng)該有權(quán)利和機會監(jiān)控人工智能算法決策運作全過程,特別要警惕模型可能產(chǎn)生的偏見、歧視和不公平問題。在問題和風險產(chǎn)生時決策者應(yīng)及時進行干預,并且為受到不公正待遇的群體提供權(quán)利救濟。

        注釋:

        ①姚春鴿:《大數(shù)據(jù)時代的大變革》,載《人民郵電報》2012年5月29日,第2版。

        ②一個典型的例子是2016年美國大選期間“劍橋分析”這一政治人工智能公司,利用5000 萬臉書(Facebook)用戶信息進行人工智能分析與預測,分析這些用戶的心理特征和政治偏好,并進而推動定制政治廣告和新聞,從而影響用戶的投票行為。

        ③除了劍橋分析公司的事例外,近年出現(xiàn)了一種名為“深度偽造”(deepfake)的人工智能換臉技術(shù)可以逼真?zhèn)卧炷承╊I(lǐng)導人的視頻和語音信息,極大提高虛假信息的可信度,使其影響力瞬間被千萬倍擴大,獲得大量公眾關(guān)注,進而操縱公眾情緒,引發(fā)社會混亂從而達到某些特殊目的。

        ④美國司法部原部長埃里克·霍爾德就警告基于人工智能預測的犯罪概率評分系統(tǒng)可能會誤導法庭判決,他說:“盡管該系統(tǒng)的設(shè)計出于善意,但是我擔心它會破壞個性化和公平正義,加劇在刑事司法系統(tǒng)和社會中已經(jīng)普遍存在的不公正問題”(Angwin et al.,2016)。

        猜你喜歡
        決策者議程決策
        熱浪滾滾:新興市場決策者竭力應(yīng)對通脹升溫 精讀
        英語文摘(2021年12期)2021-12-31 03:26:20
        為可持續(xù)決策提供依據(jù)
        德國《2010議程》議會辯論的話語分析
        第六屆全球深商大會議程
        決策為什么失誤了
        “最關(guān)鍵”的施工力量——決策者、執(zhí)行者與實施者
        當代陜西(2018年9期)2018-08-29 01:20:56
        G20為推動落實2030年可持續(xù)發(fā)展議程注入新動力
        會面議程
        臺聲(2015年22期)2015-02-01 10:01:46
        決策者聲望尋求行為、團隊努力與團隊績效
        軟科學(2014年8期)2015-01-20 15:36:56
        充耳不聞與從諫如流:建議采擇研究述評
        67194熟妇人妻欧美日韩| 免费人人av看| 无码熟熟妇丰满人妻啪啪| 在线亚洲+欧美+日本专区| 日韩在线精品视频观看 | 国产免费激情小视频在线观看| 国产美女亚洲精品一区| 少妇高潮免费在线观看| 极品粉嫩小仙女高潮喷水操av| 校园春色人妻激情高清中文字幕| 变态调教一区二区三区女同| 人妻少妇无码精品视频区| 久久免费的精品国产v∧| 92精品国产自产在线观看48页| 久久精品国产亚洲AV高清y w| 蜜桃视频成年人在线观看| 国产午夜亚洲精品国产成人av| 午夜裸体性播放| 欧美性受xxxx白人性爽| 中文字幕av一区中文字幕天堂| 国产成人精品麻豆| 国产精品不卡免费版在线观看| 口爆吞精美臀国产在线| 人妻少妇中文字幕,久久精品| 免费黄片小视频在线播放| 国内揄拍国内精品少妇| а√资源新版在线天堂| 国产91在线免费| 国产亚洲一区二区三区三州| 中文字幕乱码在线婷婷| 伊人久久精品亚洲午夜| 国产成人小视频| 亚洲av综合av国产av| 人妻系列无码专区久久五月天| 人妻被公上司喝醉在线中文字幕| 中文字幕一区二区三区四区五区| 日韩人妻ol丝袜av一二区| 久久精品国产亚洲av高清漫画| 在线a人片免费观看高清| 熟女人妻一区二区三区| 国产欧美性成人精品午夜|