科大訊飛近日發(fā)布了其最新的投資者關(guān)系活動(dòng)記錄,詳細(xì)闡述了DeepSeek和星火大模型X1的最新進(jìn)展。記錄顯示,科大訊飛正在全力推進(jìn)星火X1新版本的訓(xùn)練,這一版本預(yù)計(jì)將在3月內(nèi)完成,目標(biāo)是在數(shù)學(xué)答題和過(guò)程思維鏈能力上全面對(duì)標(biāo)甚至超越OpenAI的o1模型。
科大訊飛強(qiáng)調(diào),星火X1新版本的成功離不開(kāi)其在深度推理模型上的深厚積累。通過(guò)與中國(guó)教科院等教育專家的緊密合作,科大訊飛正致力于將X1深度推理模型與教育專業(yè)知識(shí)相結(jié)合,通過(guò)強(qiáng)化學(xué)習(xí)和反思機(jī)制,生成符合教育教學(xué)需求的“教學(xué)思維鏈”。這一創(chuàng)新旨在提高復(fù)雜場(chǎng)景推理的邏輯正確性、專業(yè)性和可解釋性,并計(jì)劃率先應(yīng)用于教師助手、作業(yè)批改和輔助教學(xué)等全系產(chǎn)品創(chuàng)新中,預(yù)計(jì)將在2025年世界數(shù)字教育大會(huì)上發(fā)布教育專屬大模型和創(chuàng)新應(yīng)用。
在DeepSeek方面,科大訊飛提到了R1版本的快速對(duì)標(biāo)o1模型的創(chuàng)新點(diǎn)。R1采用了R1-Zero強(qiáng)化學(xué)習(xí)訓(xùn)練方案,直接在DeepSeek-V3-base預(yù)訓(xùn)練模型上進(jìn)行大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練,無(wú)需依賴任何有監(jiān)督微調(diào)(SFT),即可在數(shù)學(xué)、代碼等推理任務(wù)上接近o1模型的效果。這一成果不僅減少了人工標(biāo)注推理過(guò)程數(shù)據(jù)的需求,還體現(xiàn)了科大訊飛在深度推理模型上的技術(shù)創(chuàng)新能力。
值得注意的是,科大訊飛在深度推理模型上的進(jìn)展并非一帆風(fēng)順。由于只能使用國(guó)產(chǎn)算力,科大訊飛在適配和優(yōu)化華為昇騰910B算力上花費(fèi)了額外的時(shí)間。然而,這些努力最終取得了顯著成效,星火深度推理模型X1雖然參數(shù)較小(僅130億),但依靠算法和數(shù)據(jù)優(yōu)勢(shì),已達(dá)到與OpenAI o1-preview對(duì)標(biāo)的水平??拼笥嶏w表示,隨著國(guó)產(chǎn)算力的逐步到位和模型參數(shù)的增加,有信心實(shí)現(xiàn)數(shù)學(xué)答題和過(guò)程思維鏈能力的全面超越。
為了降低深度推理模型的訓(xùn)練和推理成本,科大訊飛在軟硬件結(jié)合方面進(jìn)行了多項(xiàng)深度工程優(yōu)化創(chuàng)新。與DeepSeek直接在英偉達(dá)H800卡上開(kāi)展工程優(yōu)化不同,科大訊飛選擇了更難的全國(guó)產(chǎn)算力路線。通過(guò)與華為的緊密合作,科大訊飛攻克了一系列技術(shù)難題,將訓(xùn)練效率從最初的30%-50%優(yōu)化到了85%-95%以上。特別是在萬(wàn)卡網(wǎng)絡(luò)通信帶寬的利用率上,科大訊飛星火做到了95%,超越了DeepSeek的93%。
科大訊飛還指出,雖然陸續(xù)有公司宣布可以在國(guó)產(chǎn)算力平臺(tái)上提供大模型的推理服務(wù),但目前只有訊飛星火一家是訓(xùn)練和推理均在國(guó)產(chǎn)算力上進(jìn)行的。僅用1萬(wàn)張910B國(guó)產(chǎn)算力卡,科大訊飛不僅取得了大模型研發(fā)上的顯著成果,還做了大量國(guó)產(chǎn)算力平臺(tái)上的適配和效率優(yōu)化工作。這些努力體現(xiàn)了科大訊飛在追求國(guó)產(chǎn)算力極致效率上的技術(shù)實(shí)力和戰(zhàn)略勇氣。
科大訊飛表示,未來(lái)將繼續(xù)加大在深度推理模型上的研發(fā)投入,推動(dòng)星火大模型在教育、醫(yī)療等領(lǐng)域的廣泛應(yīng)用。同時(shí),也將持續(xù)關(guān)注國(guó)產(chǎn)算力的發(fā)展動(dòng)態(tài),不斷優(yōu)化和提升星火大模型在國(guó)產(chǎn)算力平臺(tái)上的性能和效率。