近日，螞蟻集團(tuán)的Ling團(tuán)隊(duì)在預(yù)印版Arxiv平臺(tái)上發(fā)布了一篇技術(shù)論文，揭示了該團(tuán)隊(duì)在混合專(zhuān)家（MoE）大語(yǔ)言模型領(lǐng)域的最新突破。他們推出了兩款名為百靈輕量版（Ling-Lite）與百靈增強(qiáng)版（Ling-Plus）的新模型，并提出了一系列創(chuàng)新方法，使得在低性能硬件上高效訓(xùn)練大模型成為可能，極大地降低了成本。

百靈輕量版擁有168億參數(shù)（其中27.5億為激活參數(shù)），而增強(qiáng)版基座模型的參數(shù)規(guī)模更是高達(dá)2900億（激活參數(shù)為288億）。這兩款模型在性能上均達(dá)到了行業(yè)領(lǐng)先水平。實(shí)驗(yàn)證明，即使在使用國(guó)產(chǎn)GPU的低性能設(shè)備上，3000億參數(shù)的MoE大模型也能完成高效訓(xùn)練，其性能與完全使用英偉達(dá)芯片的同規(guī)模稠密模型及MoE模型不相上下。

通常，MoE模型的訓(xùn)練依賴(lài)于高性能GPU，如英偉達(dá)的H100或H800，但高昂的成本和芯片短缺問(wèn)題限制了其在資源受限環(huán)境中的應(yīng)用。螞蟻集團(tuán)Ling團(tuán)隊(duì)針對(duì)這一問(wèn)題，提出了“不使用高級(jí)GPU”擴(kuò)展模型的目標(biāo)，并通過(guò)一系列創(chuàng)新訓(xùn)練策略，成功突破了資源與預(yù)算的限制。

這些創(chuàng)新策略包括架構(gòu)與訓(xùn)練策略的革新，采用了動(dòng)態(tài)參數(shù)分配與混合精度調(diào)度技術(shù)；升級(jí)了訓(xùn)練異常處理機(jī)制，通過(guò)自適應(yīng)容錯(cuò)恢復(fù)系統(tǒng)縮短了中斷響應(yīng)時(shí)間；優(yōu)化了模型評(píng)估流程，自動(dòng)化評(píng)測(cè)框架使得驗(yàn)證周期縮短了超過(guò)50%；還突破了工具調(diào)用能力，基于知識(shí)圖譜的指令微調(diào)提升了復(fù)雜任務(wù)的執(zhí)行精度。

為了驗(yàn)證這些創(chuàng)新方法的有效性，Ling團(tuán)隊(duì)在五種不同硬件配置下對(duì)9萬(wàn)億個(gè)token進(jìn)行了Ling-Plus的預(yù)訓(xùn)練。結(jié)果顯示，使用高性能硬件配置訓(xùn)練1萬(wàn)億token的預(yù)訓(xùn)練成本約為635萬(wàn)元人民幣。而采用螞蟻集團(tuán)的優(yōu)化方法后，低規(guī)格硬件的訓(xùn)練成本降至約508萬(wàn)元人民幣，節(jié)省了近20%的成本。同時(shí)，該模型的性能與阿里的通義Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相當(dāng)。

此前，DeepSeek已通過(guò)算法創(chuàng)新和工程優(yōu)化，使用英偉達(dá)H800訓(xùn)練出了性能頂尖的V3與R1模型，為降低成本和提高效率開(kāi)辟了新途徑。螞蟻集團(tuán)的這一技術(shù)成果，如果得到驗(yàn)證和推廣，將有助于國(guó)產(chǎn)大模型尋找成本更低、效率更高的國(guó)產(chǎn)芯片或其他替代方案，進(jìn)一步降低對(duì)英偉達(dá)芯片的依賴(lài)。

螞蟻集團(tuán)的Ling團(tuán)隊(duì)還強(qiáng)調(diào)了他們?cè)谟?xùn)練過(guò)程中的靈活性和適應(yīng)性。通過(guò)優(yōu)化訓(xùn)練策略和異常處理機(jī)制，他們能夠在不同硬件配置上實(shí)現(xiàn)高效訓(xùn)練，這對(duì)于推動(dòng)大模型在更廣泛場(chǎng)景中的應(yīng)用具有重要意義。

這一技術(shù)突破不僅展示了螞蟻集團(tuán)在人工智能領(lǐng)域的深厚實(shí)力，也為國(guó)產(chǎn)大模型的發(fā)展提供了新的思路和方向。未來(lái)，隨著技術(shù)的不斷成熟和應(yīng)用場(chǎng)景的拓展，國(guó)產(chǎn)大模型有望在全球市場(chǎng)上占據(jù)更加重要的地位。

螞蟻集團(tuán)的Ling團(tuán)隊(duì)在技術(shù)創(chuàng)新的同時(shí)，也注重了技術(shù)的開(kāi)放性和共享性。他們希望通過(guò)與行業(yè)伙伴的合作與交流，共同推動(dòng)人工智能技術(shù)的快速發(fā)展和廣泛應(yīng)用。