核心閱讀

一邊是聽障人士打著手語(yǔ)，一邊是屏幕上自動(dòng)“翻譯”出文字。為了讓更多聽障人士被“聽見(jiàn)”，天津理工大學(xué)鯨言創(chuàng)益無(wú)障礙智能科技研發(fā)團(tuán)隊(duì)用近5年時(shí)間，構(gòu)建起視頻語(yǔ)料庫(kù)，研發(fā)“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”，讓人工智能技術(shù)帶給人們更多便利。

【資料圖】

攝像頭前，張益彬左右手交替揮舞，嘴角伴隨手語(yǔ)動(dòng)作微微上揚(yáng)，一旁的顯示屏上，“陽(yáng)光總在風(fēng)雨后”7個(gè)字立刻顯示出來(lái)……

張益彬是天津理工大學(xué)聾人工學(xué)院網(wǎng)絡(luò)工程專業(yè)2019級(jí)學(xué)生，也是該校鯨言創(chuàng)益無(wú)障礙智能科技研發(fā)團(tuán)隊(duì)的成員。在這個(gè)近60人的團(tuán)隊(duì)中，超過(guò)一半成員是和張益彬一樣的聽障學(xué)生，他們用近5年時(shí)間構(gòu)建起一個(gè)包含30余萬(wàn)條視頻的語(yǔ)料庫(kù)。如今，團(tuán)隊(duì)打造的“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”即將落地應(yīng)用。

大膽嘗試，將手語(yǔ)實(shí)時(shí)翻譯為語(yǔ)音或文字

2006年，袁甜甜成為天津理工大學(xué)聾人工學(xué)院計(jì)算機(jī)系的一名教師，對(duì)她來(lái)說(shuō)，教學(xué)最大的困難是交流障礙。

當(dāng)時(shí)，語(yǔ)音識(shí)別軟件尚未問(wèn)世，學(xué)生又都是聽障人士，袁甜甜只能硬著頭皮自學(xué)手語(yǔ)，“一堂課下來(lái)，手舞足蹈，經(jīng)常滿頭大汗，一望臺(tái)下，學(xué)生們還是一臉茫然?！痹鹛鹫f(shuō)，向?qū)W生傳遞信息很難，難上加難的是了解學(xué)生的想法。

第二次全國(guó)殘疾人抽樣調(diào)查數(shù)據(jù)顯示，我國(guó)約有聽障人士2780萬(wàn)人。“時(shí)至今日，手語(yǔ)仍是聽障人士的‘母語(yǔ)’?！痹鹛鹫f(shuō)，盡管近年來(lái)語(yǔ)音識(shí)別軟件普及，但表達(dá)的邏輯出發(fā)點(diǎn)始終繞不開健聽人，“對(duì)于聽障人士來(lái)說(shuō)，聽懂是一方面，但他們最渴望的，還是被‘聽見(jiàn)’?！?/p>

2016年底，手語(yǔ)識(shí)別系統(tǒng)的雛形開始在袁甜甜腦海中清晰起來(lái)。“聽障人士在攝像頭前打出手語(yǔ)，視頻畫面經(jīng)過(guò)計(jì)算機(jī)的分析處理，轉(zhuǎn)換為文字或者語(yǔ)音?！痹鹛痍U釋設(shè)想，創(chuàng)新的邏輯出發(fā)點(diǎn)從健聽人變成了聽障人，也意味著沒(méi)有成熟的方案可以借鑒?！斑@是一次關(guān)乎‘表達(dá)’的探險(xiǎn)?！痹鹛鹫f(shuō)。

構(gòu)建算法，給計(jì)算機(jī)編一套手語(yǔ)教材

如果說(shuō)“手語(yǔ)識(shí)別”和“語(yǔ)音識(shí)別”還有一些相似之處，那就是二者都必須依托于豐富的語(yǔ)料庫(kù)。如今，語(yǔ)音識(shí)別語(yǔ)料庫(kù)已十分成熟豐富，“語(yǔ)音的語(yǔ)料在自然狀態(tài)下非常便于獲取，但手語(yǔ)語(yǔ)料卻非常少。”袁甜甜說(shuō)。

“另外，語(yǔ)音是一種‘單信道’的形式，而手語(yǔ)是‘多信道’，計(jì)算機(jī)要識(shí)別的不只有動(dòng)作，還有表情和場(chǎng)景。”袁甜甜介紹，從對(duì)數(shù)據(jù)采集的支撐程度看，我國(guó)目前手語(yǔ)語(yǔ)言學(xué)的體系性并不強(qiáng)，“手語(yǔ)方言”比比皆是，這就給數(shù)據(jù)采集造成了極大困難。

“要將設(shè)想變?yōu)楝F(xiàn)實(shí)，就要先確立標(biāo)準(zhǔn)?！痹鹛鹫f(shuō)，她和團(tuán)隊(duì)成員確定了先易后難的思路，基于國(guó)家通用手語(yǔ)的標(biāo)準(zhǔn)采集數(shù)據(jù)，“簡(jiǎn)單來(lái)講，我們翻譯的是手語(yǔ)里的‘普通話’。”

王建源是聾人工學(xué)院網(wǎng)絡(luò)工程專業(yè)2018級(jí)學(xué)生，也是鯨言創(chuàng)益團(tuán)隊(duì)的初創(chuàng)成員。他的工作是收集手語(yǔ)語(yǔ)料，這些語(yǔ)料便是視頻畫面?！罢心贾驹刚撸?qǐng)他們來(lái)錄視頻，反反復(fù)復(fù)地錄?！蓖踅ㄔ础罢f(shuō)”。

王建源從小在特殊學(xué)校求學(xué)，父母也都是聽障人士，他從不避諱在健聽人面前打出手語(yǔ)，因?yàn)樗X(jué)得手語(yǔ)很美。“但是，手語(yǔ)的美是復(fù)雜的，這個(gè)工程量太大了！”王建源笑著“說(shuō)”。

兩年時(shí)間里，王建源和團(tuán)隊(duì)其他成員幾乎每天都準(zhǔn)時(shí)出現(xiàn)在學(xué)院的實(shí)驗(yàn)室，有時(shí)忙到很晚，干脆席地而睡。如今，他們已經(jīng)收集到30余萬(wàn)條語(yǔ)料，“經(jīng)過(guò)測(cè)算對(duì)比，距離中國(guó)漢語(yǔ)水平考試的4級(jí)水平僅差100多個(gè)詞了?！蓖踅ㄔ唇榻B。

手語(yǔ)是一門視覺(jué)語(yǔ)言，有特定的語(yǔ)法、語(yǔ)序。手勢(shì)、表情、肢體動(dòng)作自由排列組合，表達(dá)的便是不同的意思。在袁甜甜的設(shè)想中，這套系統(tǒng)呈現(xiàn)的內(nèi)容，不應(yīng)該是由漢語(yǔ)單詞羅列而成的句子，而是在輸入端和輸出端既要遵循手語(yǔ)語(yǔ)序、語(yǔ)境，也要符合漢語(yǔ)的表述邏輯。

天津理工大學(xué)計(jì)算機(jī)學(xué)院研一學(xué)生孫悅把自己在團(tuán)隊(duì)中的工作形容為“修橋”。“就拿‘陽(yáng)光總在風(fēng)雨后’這句話來(lái)說(shuō)，手語(yǔ)的語(yǔ)序是‘風(fēng)/雨/結(jié)束/陽(yáng)光’，這顯然讓人看不懂?！睂O悅說(shuō)，她和伙伴們逐漸構(gòu)建起一套手語(yǔ)識(shí)別算法框架模型，“通俗來(lái)說(shuō)，就是我們給計(jì)算機(jī)編了一套‘手語(yǔ)教材’?！庇辛诉@套“教材”，豐富的語(yǔ)料庫(kù)就有了用武之地，相當(dāng)于找到了手語(yǔ)轉(zhuǎn)換為漢語(yǔ)的規(guī)律，“橋”修通了，數(shù)據(jù)才能跑得順暢。如今，這個(gè)模型已經(jīng)基本能夠?qū)崿F(xiàn)“復(fù)雜場(chǎng)景下的手語(yǔ)實(shí)時(shí)翻譯”。

搭建橋梁，手語(yǔ)翻譯應(yīng)用于更多場(chǎng)景

2019年，袁甜甜領(lǐng)銜的“復(fù)雜場(chǎng)景下中國(guó)手語(yǔ)實(shí)時(shí)翻譯系統(tǒng)”入選工信部新一代人工智能產(chǎn)業(yè)創(chuàng)新重點(diǎn)任務(wù)揭榜項(xiàng)目，并獲得國(guó)家資金支持，這也加快了整個(gè)團(tuán)隊(duì)前進(jìn)的步伐。

去年5月，他們把研究成果帶進(jìn)了在天津舉行的第五屆世界智能大會(huì)的會(huì)場(chǎng)，獲得點(diǎn)贊?！爱?dāng)時(shí)系統(tǒng)已經(jīng)涵蓋教育、法律、餐飲、交通等應(yīng)用場(chǎng)景，在光線充足的環(huán)境下，識(shí)別率可達(dá)95%?！痹鹛鹫f(shuō)，如今，這套系統(tǒng)還在升級(jí)，“我們的目標(biāo)是100萬(wàn)條語(yǔ)料，基本覆蓋社會(huì)生活的常用場(chǎng)景?！?/p>

最讓張益彬難忘的是，去年10月，他和團(tuán)隊(duì)合力研發(fā)的項(xiàng)目《“鯨可語(yǔ)”——多模態(tài)連續(xù)手語(yǔ)自動(dòng)標(biāo)注識(shí)別系統(tǒng)》榮獲第七屆中國(guó)國(guó)際“互聯(lián)網(wǎng)+”大學(xué)生創(chuàng)新創(chuàng)業(yè)大賽全國(guó)總決賽金獎(jiǎng)，而自動(dòng)標(biāo)注識(shí)別是手語(yǔ)翻譯的關(guān)鍵一環(huán)。這也證明了“張益彬們”的努力得到了國(guó)內(nèi)科創(chuàng)界的高度關(guān)注。

聞?dòng)嵍鴣?lái)的合作方越來(lái)越多，這讓團(tuán)隊(duì)成員對(duì)于系統(tǒng)未來(lái)的應(yīng)用場(chǎng)景有了無(wú)盡暢想。不久前，天津市急救中心也找到他們，希望引入這套系統(tǒng)?！敖?jīng)常碰到急救對(duì)象是聽障人士，生命垂危之際，打字交流效率太低了，往往只能用手語(yǔ)表達(dá)?！痹鹛鹫f(shuō)。

今年之內(nèi)，這套系統(tǒng)將應(yīng)用于天津理工大學(xué)的辦公樓。到時(shí)，樓內(nèi)大廳將出現(xiàn)一個(gè)交互機(jī)器人和一塊交互大屏，所有聽障人士都可以被“聽見(jiàn)”。

本報(bào)記者 李家鼎

《人民日?qǐng)?bào)》（2022年07月08日 第 11 版）

標(biāo)簽： 語(yǔ)音識(shí)別 天津理工大學(xué)