隨著人工智能（AI）技術(shù)的飛速發(fā)展，各類智能算法廣泛應(yīng)用于教育服務(wù)、游戲娛樂、電商平臺(tái)等諸多領(lǐng)域，深刻影響著青少年兒童的學(xué)習(xí)與生活。然而，央廣網(wǎng)的記者調(diào)查曝光了部分AI聊天軟件面向包括未成年在內(nèi)的用戶傳播涉黃涉暴信息的亂象，引發(fā)熱議。這一事件并非個(gè)例，近年來，多地媒體陸續(xù)披露類似問題：有未成年人因沉迷AI聊天軟件的虛擬戀愛角色，產(chǎn)生現(xiàn)實(shí)社交障礙；有AI聊天機(jī)器人在與青少年互動(dòng)中，將暴力情節(jié)包裝成“趣味故事\"進(jìn)行傳播；更有未備案的私人AI模型通過社交平臺(tái)私下傳播，成為向未成年人推送不良信息的“暗渠”。

不可否認(rèn)，AI聊天軟件的出現(xiàn)在一定程度上滿足了不少人的精神陪伴需求，甚至能運(yùn)用于醫(yī)療輔助手段助力患者加速康復(fù)，并且植入智能算法后的商業(yè)產(chǎn)品會(huì)大幅提升服務(wù)感受和用戶粘性。但基于商業(yè)利益的智能算法不僅可能構(gòu)建用戶數(shù)據(jù)畫像“殺熟”，侵犯用戶利益，還可能涉嫌算法歧視，對(duì)特定群體構(gòu)成不公平。相對(duì)于成年人，未成年人則更容易對(duì)其產(chǎn)生情感依賴或者沉迷，當(dāng)基于心理的智能算法運(yùn)用于對(duì)特定青少年推廣的產(chǎn)品中，還會(huì)對(duì)青少年健康成長(zhǎng)構(gòu)成傷害。例如，AI軟件大模型存在“諂媚\"問題，會(huì)不斷迎合用戶需求和情感交流讓人深陷其中，導(dǎo)致青少年網(wǎng)游、網(wǎng)戀成癮，部分孩子會(huì)將AI視為“唯一理解自己的朋友”，甚至模仿虛擬角色的言行舉止。更值得警惕的是，當(dāng)青少年提出越界需求時(shí)，算法的“討好本能”可能突破倫理底線。這些都意味著公司提供的智能算法缺乏倫理審查，亟待得到規(guī)范。而私有化部署的AI模型和未備案的APP極易淪為監(jiān)管的法外之地。即使此類軟件產(chǎn)品只面向成人用戶，但若包含大量色情、暴力類互動(dòng)內(nèi)容，同樣也屬于違規(guī)的不良信息的范疇。因此，筆者曾連續(xù)兩年在上海市人代會(huì)提出代表建議，呼吁要加強(qiáng)面向青少年兒童的人工智能算法倫理審查。

從全球范圍看，人工智能的倫理治理已成為各國(guó)共識(shí)，不同地區(qū)基于文化傳統(tǒng)與技術(shù)發(fā)展階段，形成了各具特色的監(jiān)管路徑。2014年，日本人工智能學(xué)會(huì)成立倫理委員會(huì)；2019年，美國(guó)國(guó)防創(chuàng)新委員會(huì)（DIB）投票通過了《人工智能原則：國(guó)防部人工智能應(yīng)用倫理的若干建議》;2022年9月，上海市人大常委會(huì)通過了全國(guó)首部促進(jìn)人工智能產(chǎn)業(yè)發(fā)展的省級(jí)地方性法規(guī)《上海市促進(jìn)人工智能產(chǎn)業(yè)發(fā)展條例》，明確要成立人工智能倫理專家委員會(huì)；在2024年8月1日正式生效的歐盟《人工智能法案》成為全球首部全面監(jiān)管人工智能的法規(guī)，要求軟件對(duì)未成年人開啟強(qiáng)制過濾模式。

隨著近年來上海全面進(jìn)入數(shù)字時(shí)代、智能時(shí)代，上海亟待在此基礎(chǔ)上加強(qiáng)人工智能算法倫理的研究和審查，尤其加強(qiáng)針對(duì)青少年群體的專項(xiàng)監(jiān)管?，F(xiàn)有規(guī)則多聚焦“禁止性條款”，缺乏對(duì)算法設(shè)計(jì)中“教育性引導(dǎo)”“發(fā)展性保護(hù)”的具體要求；跨部門協(xié)同機(jī)制尚未完全打通，網(wǎng)信、教育、市場(chǎng)監(jiān)管等部門的監(jiān)管權(quán)責(zé)存在交叉與空白。因此，筆者再次呼吁，上海應(yīng)加強(qiáng)面向青少年兒童的互聯(lián)網(wǎng)公司倫理審查監(jiān)管。

組建跨領(lǐng)域?qū)＜覉F(tuán)隊(duì)，成立專項(xiàng)算法倫理審查委員會(huì)

成立由教育專家、法律專家、醫(yī)學(xué)專家、青少年權(quán)益代表等多領(lǐng)域?qū)I(yè)人士共同組成的人工智能算法倫理審查委員會(huì)。該委員會(huì)負(fù)責(zé)對(duì)面向青少年兒童的各類智能算法進(jìn)行全面、深入的倫理審查。從教育的科學(xué)性、法律的合規(guī)性、對(duì)青少年身心健康的影響等多維度出發(fā)，嚴(yán)格審核算法的設(shè)計(jì)理念、運(yùn)行機(jī)制和數(shù)據(jù)處理方式，確保算法符合倫理道德標(biāo)準(zhǔn)，推動(dòng)算法審查工作的常態(tài)化與規(guī)范化。

企業(yè)先行自查自糾，建立內(nèi)部倫理審查承諾機(jī)制

考慮到立法存在一定的滯后性，在相關(guān)法規(guī)尚未完善之前，鼓勵(lì)師范大學(xué)等高等教育類院校牽頭成立面向青少年的AI產(chǎn)品，特別是聊天工具價(jià)值觀對(duì)齊研究和審核，牽頭開展算法倫理審核，嚴(yán)防不合乎倫理和價(jià)值觀的產(chǎn)品對(duì)青少年造成傷害。鼓勵(lì)各涉及青少年兒童業(yè)務(wù)的互聯(lián)網(wǎng)公司內(nèi)部主動(dòng)成立倫理審查部門。公司內(nèi)部的倫理審查部門應(yīng)制定詳細(xì)的審查制度和流程，對(duì)公司所使用和開發(fā)的智能算法進(jìn)行自我審查與監(jiān)督。同時(shí)，各公司應(yīng)就算法的倫理審查情況向社會(huì)作出公開承諾，接受公眾監(jiān)督，例如相關(guān)公司在推出AI算法產(chǎn)品時(shí)應(yīng)向有關(guān)部門（如上海市經(jīng)信委）提供“本產(chǎn)品已經(jīng)過倫理審查\"的承諾。通過這種方式，促使互聯(lián)網(wǎng)公司在追求商業(yè)利益的同時(shí)，切實(shí)履行對(duì)青少年群體的社會(huì)責(zé)任。

加速立法進(jìn)程，為算法倫理審查筑牢法律根基

相關(guān)部門應(yīng)加快推進(jìn)人工智能算法治理的專項(xiàng)立法進(jìn)程，明確算法開發(fā)、應(yīng)用過程中各主體的責(zé)任和義務(wù)，要求符合公平性、可解釋性、責(zé)任明確性。從法律層面規(guī)范算法的設(shè)計(jì)、數(shù)據(jù)收集與使用、算法推薦等關(guān)鍵環(huán)節(jié)，對(duì)違規(guī)行為制定嚴(yán)厲的懲處措施。通過完善的法律法規(guī)，為智能算法的健康發(fā)展提供堅(jiān)實(shí)的法律保障，營(yíng)造安全、有序、符合倫理道德的數(shù)字環(huán)境。

升級(jí)算法設(shè)計(jì)，植入青少年健康保護(hù)“安全閥

在教育智能產(chǎn)品、游戲產(chǎn)品以及各類學(xué)生常用的平臺(tái)中，強(qiáng)制要求植入符合學(xué)生身心發(fā)展特點(diǎn)的算法，加強(qiáng)教育算法治理研究，促進(jìn)人工智能算法倫理的理論研究和應(yīng)用實(shí)踐，要求算法治理符合公平性、可解釋性、責(zé)任明確性。例如，在教育智能產(chǎn)品中加入學(xué)習(xí)時(shí)間管理算法，防止學(xué)生過度使用電子設(shè)備影響視力和學(xué)習(xí)效率；在游戲平臺(tái)中植入嚴(yán)格的防沉迷算法，限制學(xué)生游戲時(shí)長(zhǎng)；在搜索引擎和電商平臺(tái)中，針對(duì)學(xué)生群體優(yōu)化推薦算法，優(yōu)先推送積極健康、有益學(xué)習(xí)和成長(zhǎng)的內(nèi)容。同時(shí)，對(duì)于涉及學(xué)生心理問題或自殺傾向等敏感信息的搜索，算法應(yīng)強(qiáng)制推送專業(yè)的求助熱線、心理輔導(dǎo)資源和積極心理學(xué)內(nèi)容，引導(dǎo)學(xué)生樹立正確的價(jià)值觀和生命觀。

打通全民監(jiān)督渠道，構(gòu)建算法倫理“社會(huì)共治網(wǎng)”

建立健全公眾監(jiān)督與舉報(bào)機(jī)制，鼓勵(lì)學(xué)生、家長(zhǎng)、教師以及社會(huì)各界人士積極參與對(duì)面向青少年兒童的人工智能算法的監(jiān)督。設(shè)立專門的舉報(bào)渠道，如舉報(bào)熱線、網(wǎng)絡(luò)舉報(bào)平臺(tái)等，方便公眾對(duì)發(fā)現(xiàn)的不良算法行為進(jìn)行舉報(bào)。相關(guān)部門在接到舉報(bào)后，應(yīng)及時(shí)進(jìn)行調(diào)查核實(shí)，并將處理結(jié)果向社會(huì)公開。通過公眾監(jiān)督與舉報(bào)，形成全社會(huì)共同關(guān)注和維護(hù)青少年兒童在人工智能算法環(huán)境下合法權(quán)益的良好氛圍。

青少年兒童正處于身心發(fā)展的關(guān)鍵時(shí)期，滲入人工智能算法的AI聊天軟件等不當(dāng)應(yīng)用可能對(duì)他們產(chǎn)生深遠(yuǎn)的負(fù)面影響。通過開展面向青少年兒童的人工智能算法倫理審查，加強(qiáng)監(jiān)管與規(guī)范，能夠有效保障學(xué)生的健康成長(zhǎng)和合法權(quán)益，促進(jìn)人工智能技術(shù)在教育領(lǐng)域的健康、有序發(fā)展。

（作者系市人大代表，華東師范大學(xué)上海智能教育研究院教授、博導(dǎo)，國(guó)家哲學(xué)與社會(huì)科學(xué)重點(diǎn)實(shí)驗(yàn)室主任）