人工智能領(lǐng)域的探索步伐從未停歇，尤其是隨著大型模型的參數(shù)量呈現(xiàn)爆炸式增長(zhǎng)，如何在提升模型容量的同時(shí)控制訓(xùn)練成本，成為了科研人員亟待解決的難題。MoE（Mixture of Experts）稀疏大模型應(yīng)運(yùn)而生，以其獨(dú)特的優(yōu)勢(shì)吸引了廣泛關(guān)注，但在推理階段遭遇的性能瓶頸卻限制了其廣泛應(yīng)用。近日，中國(guó)科學(xué)技術(shù)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院傳來(lái)喜訊，張燕詠院長(zhǎng)帶領(lǐng)團(tuán)隊(duì)，在鯤鵬昇騰科教創(chuàng)新卓越中心的強(qiáng)大算力支撐下，成功研發(fā)出一項(xiàng)創(chuàng)新框架，有效破解了MoE稀疏大模型推理性能的挑戰(zhàn)。

該團(tuán)隊(duì)的創(chuàng)新之處在于，他們深入剖析了專家選擇過(guò)程中的規(guī)律，通過(guò)對(duì)MoE層中相似token的專家選擇特征進(jìn)行細(xì)致分類，成功預(yù)測(cè)出token的專家選擇路徑偏好。這一發(fā)現(xiàn)為后續(xù)的推理性能優(yōu)化奠定了堅(jiān)實(shí)基礎(chǔ)。團(tuán)隊(duì)利用這些預(yù)測(cè)結(jié)果，巧妙地對(duì)專家負(fù)載進(jìn)行了均衡處理，通過(guò)復(fù)制頻繁訪問(wèn)的專家、替換非關(guān)鍵專家，實(shí)現(xiàn)了資源的合理分配，顯著提升了推理效率。

昇騰推理引擎MindIE在此次項(xiàng)目中發(fā)揮了重要作用。其內(nèi)置的性能分析工具不僅提供了直觀的性能數(shù)據(jù)可視化，還在實(shí)時(shí)監(jiān)測(cè)專家負(fù)載、統(tǒng)計(jì)訪問(wèn)頻率等方面給予了精準(zhǔn)的數(shù)據(jù)支持，為團(tuán)隊(duì)優(yōu)化專家負(fù)載均衡策略提供了有力依據(jù)。

團(tuán)隊(duì)還致力于降低分布式計(jì)算中的通信時(shí)延。他們根據(jù)計(jì)算節(jié)點(diǎn)上的數(shù)據(jù)預(yù)測(cè)結(jié)果，將專家提前部署到對(duì)應(yīng)的節(jié)點(diǎn)，并將需要緊密合作的專家放置在同一計(jì)算單元，從而縮短了數(shù)據(jù)與所需專家之間的物理距離。結(jié)合昇騰384超節(jié)點(diǎn)的高速總線互聯(lián)技術(shù)，跨節(jié)點(diǎn)和跨計(jì)算單元的通信消耗得到了大幅降低。

實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)。經(jīng)過(guò)一系列技術(shù)突破，該創(chuàng)新框架在多尺寸、多結(jié)構(gòu)的MoE模型中展現(xiàn)出了卓越的性能。與現(xiàn)有主流方案相比，推理時(shí)間、all2all時(shí)間、MoE層時(shí)間以及負(fù)載不均分?jǐn)?shù)均提升了超過(guò)30%。在多卡復(fù)雜場(chǎng)景中，前三項(xiàng)指標(biāo)同樣提升了30%，推理時(shí)間更是提升了20%。這一成果無(wú)疑為開(kāi)發(fā)者利用昇騰技術(shù)優(yōu)化MoE稀疏大模型推理性能提供了寶貴經(jīng)驗(yàn)。

此次項(xiàng)目的成功，不僅標(biāo)志著中國(guó)科學(xué)技術(shù)大學(xué)在MoE稀疏大模型推理性能優(yōu)化方面取得了重要進(jìn)展，也為推動(dòng)人工智能技術(shù)在各領(lǐng)域的廣泛應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。未來(lái)，鯤鵬昇騰科教創(chuàng)新卓越中心將繼續(xù)深化產(chǎn)學(xué)研合作，依托昇騰軟硬件平臺(tái)，不斷探索前沿AI模型優(yōu)化領(lǐng)域的新突破，為自主創(chuàng)新和數(shù)字經(jīng)濟(jì)發(fā)展貢獻(xiàn)力量。