微軟5日於官方的部落格發表用AI技術協助失聰學生學習的成果Presentation Translator，透過語音辨識技術，將課堂上教授的演講內容轉為文字，來幫助失聰的學生可以同步得到最完整且準確的資訊，並透過AI技術來實現翻譯，目前可支援超過60種語言，系統能夠即時翻譯成不同的語言，讓學生選擇自己較熟悉的語言來學習。
微軟團隊在去年開始，與美國紐約州羅徹斯特理工大學的美國國家聾人技術學院合作，為了打造出能夠正確辨識課堂上學術名詞的模型，研究團隊收集了該學院超過10年的課堂講座資料，包含教授在簡報中的文字和註解，透過AI技術辨識每個特定領域專有名詞的唸法，當教授在課堂上說出專有名詞，系統就能成功自動識別，並即時提供文字。
通常課堂上有聽力障礙的學生時，學院會聘請一位手語翻譯，將教授在課堂上所講述的內容，轉換成手語，以幫助學生理解上課的內容，但是也因為口語和手語之間的轉換，讓學生沒辦法即時跟上教授上課的內容，常常學生還在透過手語翻譯了解方程式的資訊時，教授的投影片已經換到下一頁，再加上有些學生其實不太熟悉手語，導致在課堂上的學習困難重重。
而微軟與羅徹斯特理工大學的美國國家聾人技術學院合作，該理工學院大約有1,500名聽力受損的學生，微軟在簡報軟體Power Point中加入即時上字幕（Real-time captions）的功能，透過語音辨識的技術，將教授所說的話，包括術語、口語的話，轉成有標點符號的文句，呈現在投影幕上，現在可支援超過60種翻譯語言，學生也可以在自己的電腦或平板上，選擇自己較熟悉的語言來學習。
學院中一名一年級的學生Joseph Adjei就表示，剛進到學校上課時，花了很多心力在手語上，當他第一次在課堂上接觸到這套即時語音轉文字的服務時，他認為，透過這語音轉文字，可以跟聽得見的同學在同一時間接收到資訊，舉例來說，在生物課堂上，能夠讓他跟上課程，並且還能學習正確地拼寫那些課堂上的專有名詞。
除此之外，Joseph Adjei認為語音轉文字的服務是額外輔助學習的工具，當他看不懂手語或是從手語翻譯那端漏掉訊息後，還可以看語音轉文字來輔助。不過，他指出，目前還是有些字會辨識錯誤，像是「I」和「Eye」，但是有文字可以參考總比沒有好。
此外，Joseph Adjei還在智慧型手機上使用了微軟的翻譯App，當課堂討論時，有時候同學講話太快，不容易讀唇語，微軟翻譯App則可以顯示出同學講話的內容，讓他更能夠參與課堂上的討論。
來看看Joseph Adjei怎麼說：
留言列表
手語開班快訊 (0)
