宋瑞　白佳麗

2月17日，天津理工大學(xué)聾人工學(xué)院學(xué)生通過手機(jī)App為手語識(shí)別系統(tǒng)進(jìn)行數(shù)據(jù)采集（孫凡越/ 攝）

根據(jù)全國第二次殘疾人抽樣調(diào)查數(shù)據(jù)，我國約有聽障人士2780萬人。對(duì)他們來說，激烈的賽事往往“只見其貌，不聽其聲”，但他們同樣渴望像普通人一樣，感受體育比賽的激情。

今年的北京冬奧會(huì)上，不少聽障人士發(fā)現(xiàn)，賽事新聞中出現(xiàn)了一名面容清秀、氣質(zhì)優(yōu)雅的冬奧新聞AI主播。其精準(zhǔn)的手語手勢，配合著妙語連珠的解說，讓聽障人士能與健聽人（聽力健全人的簡稱）一樣，同步感受冰雪運(yùn)動(dòng)的魅力。

“我們用技術(shù)跨越聲音的障礙，幫助聽障人士‘聽見’冬奧。”天津理工大學(xué)聾人工學(xué)院副院長、冬奧新聞AI主播的手語數(shù)據(jù)庫支持團(tuán)隊(duì)負(fù)責(zé)人袁甜甜接受本刊記者采訪時(shí)說。

2021年11月，距離北京冬奧會(huì)開幕僅剩兩個(gè)多月的時(shí)間，袁甜甜團(tuán)隊(duì)接到一個(gè)緊急任務(wù)——教冬奧新聞AI主播打手語。

雖然有20多萬條手語語料庫作基礎(chǔ)，但團(tuán)隊(duì)依舊感覺一個(gè)字：“難”。

第一時(shí)間參與其中的教師閔笛對(duì)這一過程深有體會(huì)。首個(gè)難關(guān)是“冷門”詞匯。團(tuán)隊(duì)成員們把整理出的新詞形成一定的手語打法，再讓手語專家一一判定聽障人士能否看懂。遇到難以用手語表示的詞匯時(shí)，還需多番討論。

“每個(gè)詞至少要經(jīng)歷這樣兩個(gè)來回，就這樣我們共新增了1000多個(gè)專業(yè)詞匯的手語打法?！遍h笛說。

“詞匯關(guān)”克服后，“語法關(guān)”又?jǐn)[在了面前。

“手語具有獨(dú)立的語法體系，而且手語和語言文字并非一一對(duì)應(yīng)，而是多對(duì)多的關(guān)系。這樣復(fù)雜的‘翻譯環(huán)境’，意味著AI主播除了要將語言文字解析成對(duì)應(yīng)的手語詞匯，還得將其調(diào)整順序，轉(zhuǎn)化為聽障人士習(xí)慣的手語語序?！遍h笛說，團(tuán)隊(duì)只能不斷對(duì)AI主播進(jìn)行“認(rèn)知訓(xùn)練”。

“人工智能深度學(xué)習(xí)的過程，就像教小孩子學(xué)說話，每一個(gè)詞、每一個(gè)手語動(dòng)作、每一句語序都需要反復(fù)‘學(xué)習(xí)’，人工智能才能建立認(rèn)知，結(jié)果才能實(shí)現(xiàn)精準(zhǔn)無誤?！痹鹛鹫f。

經(jīng)過大量數(shù)據(jù)采集、語料提取、數(shù)據(jù)處理等步驟后，專屬于北京冬奧會(huì)的AI主播初步打造了出來。

不過，“第一次進(jìn)行模擬賽事新聞播報(bào)時(shí)，AI主播的手勢動(dòng)作非?？欤悬c(diǎn)‘鬼畜’?！遍h笛說，“對(duì)于激烈的賽事講解，解說的語速本就很快，而手語如果和這一語速保持一致的話，聽障人士很難看懂?！?/p>

對(duì)此，團(tuán)隊(duì)又多番對(duì)翻譯思路進(jìn)行調(diào)整。

功夫不負(fù)有心人，冬奧新聞AI主播終于如期亮相。其準(zhǔn)確的翻譯、親切自然的形象很快獲得了聽障人士的喜愛。

今年22歲的王曉陽，是聾人工學(xué)院大三的學(xué)生。作為一名聽障學(xué)生，他既參與了冬奧新聞AI主播“學(xué)習(xí)”手語的全過程，也是冬奧賽事的忠實(shí)“聽眾”，每天準(zhǔn)時(shí)上線，“盯著”AI主播的手語播報(bào)。

“就怕‘她’沒學(xué)好，怕‘她’出錯(cuò)！”王曉陽用手語解釋。但令他欣慰的是，聽障朋友們紛紛發(fā)來信息，告訴他AI主播的手語“看得清楚、清晰”?！笆终Z打得很漂亮，我們?yōu)樽约候湴?。”一旁的同學(xué)魏翔羽用手語補(bǔ)充。

“能以服務(wù)聽障朋友的方式參與北京冬奧會(huì)，我們感到無比自豪?！痹鹛饘?duì)本刊記者說，“團(tuán)隊(duì)收到很多反饋意見，這些寶貴的意見將推動(dòng)我們不斷迭代升級(jí)?！?/p>

其實(shí)，通過技術(shù)手段讓聽障人士“聽見”健聽人的想法，袁甜甜從6年前就開始醞釀。

“我2016年來到學(xué)院當(dāng)老師，與聽障學(xué)生接觸的過程中，發(fā)現(xiàn)他們最渴望也最懼怕的就是與健聽人交流。因?yàn)橛杏?jì)算機(jī)專業(yè)背景，所以我想到通過技術(shù)改變這種現(xiàn)狀?！痹鹛鹫f，六年來，從她一人摸索，到僅有一名聽障學(xué)生加入，再到成立無障礙智能科技研發(fā)團(tuán)隊(duì)，如今團(tuán)隊(duì)的核心成員已達(dá)50多人，其中不少是“00后”聽障學(xué)生。

隨著團(tuán)隊(duì)發(fā)展壯大，技術(shù)難關(guān)層層攻破，AI主播亮相冬奧成為該團(tuán)隊(duì)實(shí)現(xiàn)技術(shù)落地應(yīng)用的“第一步”。

“目前，我們實(shí)現(xiàn)了在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語的識(shí)別率最高達(dá)95%，部分場景下可以實(shí)現(xiàn)‘同步翻譯’。

“不僅要讓聽障人士‘聽見’，還要讓他們被‘聽懂’?！痹鹛鸨硎?，冬奧賽事之外，團(tuán)隊(duì)一直在不懈探索。

“會(huì)手語的健聽人實(shí)在太少了。有人說，聽障人士可以通過寫字、打字的方式進(jìn)行交流，但那樣溝通的有效性差很多。聽障人士自然的表達(dá)方式是手語，為什么不直接識(shí)別手語呢？”袁甜甜團(tuán)隊(duì)研發(fā)出了“復(fù)雜場景下中國手語實(shí)時(shí)翻譯系統(tǒng)”，可將輸入的手語動(dòng)作和表情經(jīng)由計(jì)算機(jī)視覺技術(shù)識(shí)別后翻譯成文字或語音。

“這類似于手語版的‘語音輸入法’?！痹鹛鹫f。但語音識(shí)別只需收集“聲音”，手語的表達(dá)方式則意味著團(tuán)隊(duì)要把手勢、表情、大肢體動(dòng)作等從視頻轉(zhuǎn)化為數(shù)據(jù)，再“教”給計(jì)算機(jī)，經(jīng)過反復(fù)訓(xùn)練，才能“教出”一個(gè)隨叫隨到、及時(shí)準(zhǔn)確的“手語翻譯”。

“目前，我們實(shí)現(xiàn)了在光線充足且穩(wěn)定的室內(nèi)，系統(tǒng)對(duì)手語的識(shí)別率最高達(dá)95%，部分場景下可以實(shí)現(xiàn)‘同步翻譯’?！痹鹛鹱院赖卣f，只要在攝像頭前打出手語，顯示屏上就會(huì)出現(xiàn)語意連貫的文字翻譯。

“信息技術(shù)對(duì)我們的幫助很大?！蓖鯐躁栍檬终Z說，以前與健聽人交流，他總覺得不安，有了這些技術(shù)手段，讓他更有勇氣融入社會(huì)。據(jù)介紹，該系統(tǒng)可用于教育、法律咨詢、餐飲、交通多個(gè)場景。

2021年5月，袁甜甜在第五屆世界智能大會(huì)的現(xiàn)場展示了這一翻譯系統(tǒng)，吸引了不少人駐足。演示人員在攝像頭前打出手語，身后的顯示屏上就會(huì)出現(xiàn)語意連貫的文字翻譯。

“一些銀行從業(yè)人員、超市經(jīng)理對(duì)我說，如果這一系統(tǒng)實(shí)現(xiàn)產(chǎn)業(yè)化落地，能夠幫助他們解決很多實(shí)際問題。那一刻，我深切地感受到，不僅僅是聽障人士，社會(huì)對(duì)手語翻譯系統(tǒng)也有很強(qiáng)烈的需求?！痹鹛鹫f。

值得一提的還有，依托“復(fù)雜場景下中國手語實(shí)時(shí)翻譯系統(tǒng)”，袁甜甜指導(dǎo)學(xué)生創(chuàng)業(yè)團(tuán)隊(duì)開發(fā)出“鯨可語”項(xiàng)目，代表天津理工大學(xué)拿下了第七屆中國國際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽總決賽高教主賽道的金獎(jiǎng)。

談及“鯨可語”，袁甜甜講訴了“52赫茲鯨”的故事——海洋中，發(fā)出15-25赫茲之間的鯨魚可以正常交流，而叫聲頻率為52赫茲的鯨魚在其他鯨魚眼中就像“聾啞魚”。

“我們希望用技術(shù)把‘52赫茲鯨’與其他鯨魚連起來，讓它們不再孤單?！痹鹛鹫f。