清華聯(lián)合字節(jié),開源聽覺大語言模型SALMONN

來源:DoNews快訊


【資料圖】

清華大學電子工程系日前與字節(jié)跳動的火山語音團隊攜手合作,推出一款開源大語言模型 SALMONN。SALMONN 模型支持語音、音頻以及音樂輸入,它可以感知和理解不同類型的音頻內容輸入,并具備多語言語音識別和翻譯以及語音推理等功能。

官方表示,SALMONN 支持語音、音頻以及音樂輸入,可以感知和理解不同類型的音頻內容輸入,并具備多語言語音識別和翻譯以及語音推理等功能。

目前 SALMONN 能夠勝任英語語音識別、英語到中文的語音翻譯、情感識別、音頻字幕生成、音樂描述等重要的語音和音頻任務,同時又涌現(xiàn)出多種在模型訓練中沒有專門學習過的多語言和跨模態(tài)能力,涵蓋非英語語音識別、英語到(中文以外)其他語言的語音翻譯、對語音內容的摘要和關鍵詞提取、基于音頻的故事生成、音頻問答、語音和音頻聯(lián)合推理等任務。

目前該模型已經(jīng)發(fā)布于 GitHub 中。

標簽:

推薦

財富更多》

動態(tài)更多》

熱點