電腦為聾啞者發聲，打破語言溝通隔閡－超有趣手語廣角鏡--莉娜手語工作坊

文/吳其勳 (iThome電腦報總編輯) 2013-12-18

即時語音翻譯系統可在不同語言之間互相翻譯，電腦並能模仿人的腔調來發音，聾啞者透過手語翻譯系統，與不懂手語的人溝通也不會有障礙

電腦即時翻譯聾啞者的手語，以真人發音說出來；不同語言的人靠即時翻譯可以雙向溝通、Excel表格變身3D互動圖表說故事、手機拍照1分鐘內製作3D模型、以大資料預測城市空氣品質，這些都是微軟亞洲研究院在10月30日的15周年慶活動展示的最新研究成果。

微軟全球研究院院長Peter Lee表示，人類所累積的巨量資料，終於能在現今大資料（Big Data）與運算技術的幫助下，獲得前所未有的成果。接下來10年電腦科學研究將為人類的生活發揮更偉大的任務。

語言不同不再是溝通障礙
在微軟亞洲研究院的15周年慶活動，院長洪小文親自上臺示範「即時語音翻譯系統」，他以中文與一位講英文的同事溝通，當他說出第一句中文後，即時語音翻譯系統立刻翻譯成英文，並且模仿他的腔調，由電腦合成發聲，說出英語。

一旁的大螢幕也同步顯示中英文翻譯的對照，當他的美國同事接著以英文回答，電腦就再將英文轉譯為中文發音。兩個人就在即時語音翻譯系統的幫助下，各自說著自己的母語，也能溝通無礙。

微軟全球研究院院長Peter Lee表示，這代表電腦科學在語音辨識與語言翻譯方面的重大突破，經過電腦科學家多年來投入的研究，現在終於能打破人類溝通的隔閡了。

即時翻譯結合Kinect辨識手語，弭平聾啞者溝通障礙
這套即時語音翻譯系統還能結合微軟的Kinect體感控制技術，進一步延伸為手語翻譯系統，做為聾啞者的溝通輔助工具，讓聾啞者與健聽者能夠溝通。

微軟Kinect體感技術的獨特之處，在於能辨識肢體骨骼的運作，進而分析出使用者的行為。因此微軟的電腦科學家就利用Kinect技術來辨識手語的動作，讓電腦能夠理解手語的意思，就能再翻譯成其他的語言。

這套手語翻譯系統的實現，是多種技術的整合，以及多方專家的合作。在技術方面，整合了Kinect for Windows、Bing辭典、微軟翻譯、語言建模及3D建模；此外，電腦科學家必須與手語專家一起合作，微軟與北京聯合大學特殊教育學院合作，在手語專家的協助下，逐一分割出手語的各種手勢，以及連結不同手勢之間的軌跡模式，再透過機器學習技術與模式辨識技術，來判斷手勢所代表的意思。

在電腦可以理解手語的意思之後，再由微軟亞洲研究院專精圖像研究的專家，為這套系統加上最後的虛擬人物（Avatar）溝通介面，讓虛擬人物成為健聽者的代理人，透過虛擬人物逼真的手勢動作，代為以手語與聾啞人士溝通。

這套系統主要提供兩種模式：翻譯模式與溝通模式。翻譯模式主要是針對字詞的翻譯，可以輸入文字，再翻譯成手語，由虛擬人物表達出手語的動作，或是把手語翻譯成文字；溝通模式則是整句翻譯，可以立即翻譯對話。

一位參與此項研究計畫的聾啞者，現場示範與不懂手語的研究員溝通。她面對著1臺Kinect體感控制器與1臺螢幕，以手語跟研究員打招呼。藉由Kinect分析人體肢體骨骼的動作，電腦立即辨識出手語，並翻譯成英文，再由電腦合成的人聲說出英文。與之對話的研究員接著以英文回答，電腦就再將英語翻譯成手語，此時聾啞者面對的螢幕上，虛擬的人物正打著手語傳達訊息，因此聾啞者就知道研究員的話了。