近期,螞蟻集團在AI領(lǐng)域的最新進展引起了廣泛關(guān)注。據(jù)新浪科技報道,螞蟻集團針對市場關(guān)注的“百靈”大模型訓練成本問題作出了正式回應。螞蟻集團表示,他們正致力于通過不斷優(yōu)化不同芯片的使用,來有效降低AI應用的成本,并且已經(jīng)在這一領(lǐng)域取得了一些顯著的成果。未來,這些成果還將逐步通過開源的方式與業(yè)界分享。
事件的背景是這樣的:螞蟻集團的Ling團隊最近在預印版Arxiv平臺上發(fā)表了一篇技術(shù)論文,詳細闡述了他們的最新研究成果。論文中,他們推出了兩款基于混合專家(MoE)架構(gòu)的大語言模型——百靈輕量版(Ling-Lite)和百靈增強版(Ling-Plus)。這兩款模型不僅在規(guī)模上有所不同,更重要的是,它們采用了一系列創(chuàng)新方法,使得在低性能硬件上也能高效訓練大模型,從而顯著降低了成本。
具體來說,百靈輕量版的參數(shù)規(guī)模達到了168億,其中激活參數(shù)為27.5億;而增強版的基座模型參數(shù)規(guī)模更是高達2900億,激活參數(shù)也有288億。這兩款模型的性能均達到了行業(yè)領(lǐng)先水平。實驗數(shù)據(jù)顯示,他們的3000億參數(shù)MoE大模型在使用國產(chǎn)GPU的低性能設備上也能完成高效訓練,其性能與完全使用英偉達芯片、同規(guī)模的稠密模型及MoE模型相當。
這一成果的發(fā)布,無疑為AI領(lǐng)域帶來了新的突破。螞蟻集團通過技術(shù)創(chuàng)新,不僅提高了大模型的訓練效率,還降低了對高性能硬件的依賴,使得更多企業(yè)和研究機構(gòu)能夠在有限的資源條件下開展AI研究和應用。
螞蟻集團還表示,他們將繼續(xù)在AI領(lǐng)域進行探索和創(chuàng)新,不斷推出更多具有實際應用價值的技術(shù)成果。同時,他們也歡迎業(yè)界同行和研究者共同參與和分享這些成果,共同推動AI技術(shù)的發(fā)展和應用。
可以預見的是,隨著螞蟻集團在AI領(lǐng)域的不斷探索和創(chuàng)新,未來將有更多具有顛覆性的技術(shù)成果涌現(xiàn)出來,為各行各業(yè)帶來更加智能化和高效化的解決方案。