12月30日，字節(jié)豆包大模型對(duì)外披露2024全領(lǐng)域技術(shù)進(jìn)展。距5月15日首次亮相僅7個(gè)月，豆包大模型在通用語言、視頻生成、語音對(duì)話、視覺理解等方面模型能力均已跨入國(guó)際第一梯隊(duì)。豆包大模型團(tuán)隊(duì)表示，“從孩童般學(xué)語，到懵懂看世界，到為創(chuàng)作者繪出想象中的奇幻夢(mèng)境，一切依然處于最早期。”

截至2024年12月，最新版豆包通用模型Doubao-pro-1215，綜合能力較5月提升32%，已全面對(duì)齊GPT-4o，在數(shù)學(xué)、專業(yè)知識(shí)等部分復(fù)雜場(chǎng)景任務(wù)中，效果表現(xiàn)甚至更好。通過海量數(shù)據(jù)優(yōu)化、提升模型稀疏度、引入強(qiáng)化學(xué)習(xí)、系統(tǒng)性工程優(yōu)化等方式，團(tuán)隊(duì)大幅提升了Doubao-Pro理解精度和生成質(zhì)量，并實(shí)現(xiàn)了性能與效率的平衡，推理服務(wù)價(jià)格僅為GPT-4o的八分之一。

Doubao-pro在主流評(píng)測(cè)集上能力全面對(duì)齊GPT-4o

圖像與視頻能力方面，團(tuán)隊(duì)于9月推出兩款豆包視頻生成模型PixelDance與Seaweed，主打復(fù)雜提示詞精準(zhǔn)理解、鏡頭一致、多交互主體和鏡頭靈活控制。豆包文生圖模型不斷迭代，還推出了通用圖像編輯能力，讓“一句話P圖”和“一鍵海報(bào)生成”成為現(xiàn)實(shí)。12月發(fā)布的豆包視覺理解模型Doubao-vision，可融合視覺與語言多感官深度思考和創(chuàng)作，目前模型能力在十多個(gè)主流數(shù)據(jù)集上比肩Gemini 2.0與GPT-4o。

Doubao-vision在主流評(píng)測(cè)集上能力比肩Gemini 2.0、GPT-4o

語音大模型賦予機(jī)器“聽”與“說”的能力，豆包大模型團(tuán)隊(duì)今年推出了全新的語音識(shí)別模型Seed-ASR和語音生成基座模型Seed-TTS，通過引入多樣、廣泛的數(shù)據(jù)，融合推理鏈，賦予模型極強(qiáng)的泛化性。據(jù)悉，豆包語音模型可聽懂20種以上方言夾雜的對(duì)話，也能邊聽邊思考，并在會(huì)話中表達(dá)情感，保留吞音、口音等人類習(xí)慣，甚至在交互中可隨時(shí)被打斷。

較語音更進(jìn)一步，豆包大模型已擁有高品質(zhì)的“唱作”能力，從詞曲編輯、演奏生成到人聲演唱，“一個(gè)AI也可以是一個(gè)樂隊(duì)”已經(jīng)成為現(xiàn)實(shí)。其背后依托的音樂生成模型框架Seed-Music，結(jié)合了語言模型與擴(kuò)散模型的優(yōu)勢(shì)，實(shí)現(xiàn)了音樂生成的通用框架，擁有極高的編輯可控性。

團(tuán)隊(duì)還首次對(duì)外披露了豆包大模型300萬字窗口的長(zhǎng)文本能力，可一次輕松閱讀上百篇學(xué)術(shù)報(bào)告，每百萬tokens處理延遲僅需15秒。這一上下文窗口長(zhǎng)度和時(shí)延水平達(dá)到目前業(yè)界極限。背靠STRING等上下文關(guān)聯(lián)數(shù)據(jù)算法和模型加速優(yōu)化，團(tuán)隊(duì)大幅提升了LLM利用海量外部知識(shí)的能力，并通過稀疏化及分布式方案將時(shí)延降到十秒級(jí)。

代碼能力方面，豆包代碼大模型Doubao-coder編程能力達(dá)到專業(yè)級(jí)，深度支持超16種編程語言、11類真實(shí)應(yīng)用場(chǎng)景，可滿足前后端開發(fā)、機(jī)器學(xué)習(xí)等全棧編程開發(fā)需求。

成立極短時(shí)間內(nèi)，豆包大模型團(tuán)隊(duì)還對(duì)AI基礎(chǔ)研究深入布局。過去幾個(gè)月，團(tuán)隊(duì)57篇論文中選ICLR、CVPR、NeurIPS等頂會(huì)，研究成果包括下載量超百萬的開源項(xiàng)目及GitHub萬星爆款。

豆包大模型團(tuán)隊(duì)披露2024研究關(guān)鍵詞

同時(shí)，豆包大模型團(tuán)隊(duì)與近20所高校深入合作，支持超過40位頂尖學(xué)者參與關(guān)鍵AI技術(shù)攻堅(jiān)，并與清華AIR、北大分別成立聯(lián)合實(shí)驗(yàn)室。為儲(chǔ)備最具潛力的研究人才，豆包大模型團(tuán)隊(duì)啟動(dòng)了“Top Seed人才計(jì)劃”，在全球范圍招募頂尖博士畢業(yè)生加入，共同挑戰(zhàn)世界級(jí)AI課題。

根據(jù)披露，豆包大模型相關(guān)技術(shù)能力目前支撐了包括豆包、即夢(mèng)、豆包MarsCode等50多個(gè)C端應(yīng)用場(chǎng)景，其中，豆包APP已成為國(guó)內(nèi)最受歡迎的AI產(chǎn)品。通過火山引擎，豆包大模型服務(wù)了30多個(gè)行業(yè)，日均tokens調(diào)用量超4萬億，較5月發(fā)布時(shí)增長(zhǎng)33倍。