1月20日，豆包實(shí)時(shí)語(yǔ)音大模型上線豆包App。這是一款語(yǔ)音理解和生成一體化的模型，實(shí)現(xiàn)了端到端語(yǔ)音對(duì)話。相比傳統(tǒng)級(jí)聯(lián)模式，這款模型在語(yǔ)音表現(xiàn)力、控制力、情緒承接方面有較好表現(xiàn)，并具備低時(shí)延、對(duì)話中可隨時(shí)打斷等特性，呈現(xiàn)出接近真人的語(yǔ)音表達(dá)水準(zhǔn)。

【機(jī)會(huì)前瞻】

1月20日，字節(jié)跳動(dòng)旗下的豆包團(tuán)隊(duì)正式發(fā)布了其最新的實(shí)時(shí)語(yǔ)音大模型——豆包實(shí)時(shí)語(yǔ)音大模型。該大模型運(yùn)用語(yǔ)音交互技術(shù)在自然度、情感表達(dá)和實(shí)時(shí)性方面取得了顯著突破，有望在多個(gè)領(lǐng)域帶來變革性的用戶體驗(yàn)。

豆包實(shí)時(shí)語(yǔ)音大模型是一款語(yǔ)音理解和生成一體化的模型，實(shí)現(xiàn)了端到端的語(yǔ)音對(duì)話。與傳統(tǒng)的級(jí)聯(lián)模式相比，該模型在語(yǔ)音表現(xiàn)力、控制力、情緒承接方面表現(xiàn)出色，具備低時(shí)延、對(duì)話中可隨時(shí)打斷等特性。這些特性使得模型在實(shí)際應(yīng)用中更加靈活和高效，能夠更好地滿足用戶在不同場(chǎng)景下的需求。

在架構(gòu)方面，豆包團(tuán)隊(duì)研發(fā)了端到端的框架，深度融合語(yǔ)音與文本模態(tài)，面向語(yǔ)音生成和理解進(jìn)行統(tǒng)一聯(lián)合建模，實(shí)現(xiàn)多模態(tài)輸入和輸出效果。模型支持多種模式，包括語(yǔ)音到語(yǔ)音（S2S）、語(yǔ)音到文本（S2T）、文本到語(yǔ)音（T2S）、文本到文本（T2T）等。在聲音控制方面，模型不僅能依照基礎(chǔ)指令輸出，還可遵循復(fù)雜的指令，展現(xiàn)出較強(qiáng)的聲音控制能力。在聲音扮演方面，模型能夠模仿多種方言和口音。

此外，豆包實(shí)時(shí)語(yǔ)音大模型還支持實(shí)時(shí)聯(lián)網(wǎng)功能，能夠根據(jù)問題動(dòng)態(tài)獲取最新信息，確保問題回答的時(shí)效性。從測(cè)評(píng)結(jié)果來看，豆包實(shí)時(shí)語(yǔ)音大模型在情緒理解和情感表達(dá)方面具有顯著優(yōu)勢(shì)。在整體滿意度方面，豆包實(shí)時(shí)語(yǔ)音大模型的評(píng)分為4.36，而GPT-4o的評(píng)分為3.18。目前，豆包App全新實(shí)時(shí)語(yǔ)音通話功能已全量上線。

豆包實(shí)時(shí)語(yǔ)音大模型的推出不僅貼合中國(guó)用戶的實(shí)際需求，還在用戶體驗(yàn)和市場(chǎng)應(yīng)用方面展現(xiàn)出巨大潛力。

自2024年5月字節(jié)跳動(dòng)正式發(fā)布豆包大模型以來，引發(fā)了資本市場(chǎng)的強(qiáng)烈反應(yīng)，相關(guān)概念股表現(xiàn)活躍，股價(jià)普遍上漲。隨后在半年多的時(shí)間里，豆包推出了多項(xiàng)成果，包括Doubao-pro、Seed-TTS、Seed-ASR、Seed-Music、視頻生成模型和視覺理解模型等，顯著提升了模型在語(yǔ)言能力、多模態(tài)理解與生成、模型推理、代碼生成等方面的表現(xiàn)。