在NeurIPS大會上發布的兩個數據集可助編目數十種語言
在近日舉行的NeurIPS大會上,發布了兩冊英特爾提供支持的關于口語數據集的白皮書,其中,《人的語言》主要涉及到“自動語音識別”任務,另一冊——《多語種口語語料庫》則涵蓋“關鍵詞識別”。這兩個項目的數據集都貢獻了大量豐富的音頻數據,且每個數據集在同類中都擁有最大的可用體量。
《多語種口語語料庫》由英特爾軟件與先進技術事業部(SATG)的機器學習工程師Keith Achorn參與撰寫。Keith在英特爾社區網站的博客中講述了自己參與該項目的經歷。
在ML Commons 的支持下,“人的語言”和“多語種口語語料庫”于2018年開始啟動,該項目旨在識別世界上最常用的 50 種語言并統一到單一的數據集中,從而使這些數據得到有效利用。該項目小組成員來自英特爾、哈佛大學、阿里巴巴、甲骨文、Landing AI、密歇根大學、谷歌、百度等。
在當今多元化、國際化、多語言的工作環境中,準確轉錄和翻譯的能力愈發重要。通過使用以上數據集,計算機可以“聽到”口語單詞,并自動生成文本或譯文。
這兩個項目都運用了“多樣化語音”,這意味著它們可以更好地展現自然環境音,如背景噪音、非正式語言模式、錄音設備混音以及其他聲學環境等。這與諸如有聲讀物之類的高度受控的內容不同,后者產生的聲音更加“純凈”。然而,在實際應用中,多樣化語音訓練有助于提高識別的準確性。
“人的語言”項目內含數萬小時的對話音頻。如今,它是世界上最大的、可免費下載的、用于學術和商用的英語語音識別數據集之一。
“多語種口語語料庫”是一個音頻語音數據集,不僅擁有超過30萬個關鍵字的數十種語言,能夠通過智能設備訪問,還涵蓋了50多億用戶的日常對話,有助于推動全球范圍內受眾語音應用的研發。
這兩個數據集都將提供給廣泛的用戶進行應用,它們包括商用在內的授權許可條款都相對較為寬松。
關于英特爾
英特爾(NASDAQ: INTC)作為行業引領者,創造改變世界的技術,推動全球進步并讓生活豐富多彩。在摩爾定律的啟迪下,我們不斷致力于推進半導體設計與制造,幫助我們的客戶應對最重大的挑戰。通過將智能融入云、網絡、邊緣和各種計算設備,我們釋放數據潛能,助力商業和社會變得更美好。