在人工智能領(lǐng)域，百度近期通過其萬卡集群的部署，顯著提升了算力效能并優(yōu)化了成本結(jié)構(gòu)，為行業(yè)樹立了新的標(biāo)桿。

這一壯舉不僅為百度內(nèi)部的大模型訓(xùn)練和推理提供了強(qiáng)有力的支持，更為整個(gè)行業(yè)在降低大模型使用成本方面開辟了新的道路。面對算力緊張這一長期困擾行業(yè)的難題，百度通過自主研發(fā)芯片和構(gòu)建大規(guī)模集群，成功緩解了算力瓶頸，為行業(yè)的可持續(xù)發(fā)展注入了新的活力。

從技術(shù)層面來看，萬卡集群的超大規(guī)模并行計(jì)算能力使得訓(xùn)練效率實(shí)現(xiàn)了質(zhì)的飛躍。它能夠大幅縮短千億參數(shù)模型的訓(xùn)練周期，滿足AI原生應(yīng)用快速迭代的需求。同時(shí)，該集群還支持更大規(guī)模的模型和更復(fù)雜的多模態(tài)數(shù)據(jù)處理任務(wù)，為Sora等前沿應(yīng)用的開發(fā)提供了堅(jiān)實(shí)的基礎(chǔ)。萬卡集群還具備出色的多任務(wù)并發(fā)能力，通過動(dòng)態(tài)資源切分和優(yōu)化的通信機(jī)制，實(shí)現(xiàn)了訓(xùn)練成本的顯著降低。

隨著國產(chǎn)大模型的蓬勃發(fā)展，萬卡集群的應(yīng)用場景也在不斷拓展。它從最初的“單任務(wù)算力消耗”模式逐步過渡到“集群效能最大化”模式，通過一系列先進(jìn)的模型優(yōu)化和動(dòng)態(tài)資源分配技術(shù)，實(shí)現(xiàn)了訓(xùn)練、微調(diào)、推理等任務(wù)的混合部署，從而大幅提升了集群的綜合利用率和單位算力的成本效益。

在萬卡集群的建設(shè)過程中，百度百舸AI異構(gòu)計(jì)算平臺(tái)4.0發(fā)揮了不可或缺的作用。該平臺(tái)在硬件擴(kuò)展性、能效管理、分布式訓(xùn)練優(yōu)化等方面取得了顯著突破。它解決了卡間互聯(lián)的拓?fù)湎拗坪屯ㄐ艓捚款i問題，采用了創(chuàng)新的散熱方案以提升能效。同時(shí)，它還完善了模型的分布式訓(xùn)練策略，使得主流開源模型的訓(xùn)練效率得到了大幅提升。在穩(wěn)定性方面，百舸平臺(tái)提供了全面的容錯(cuò)機(jī)制，保障了萬卡集群在高故障率環(huán)境下的穩(wěn)定運(yùn)行。

百舸4.0還構(gòu)建了十萬卡級別的超大規(guī)模HPN高性能網(wǎng)絡(luò)。這一網(wǎng)絡(luò)通過優(yōu)化的拓?fù)浣Y(jié)構(gòu)和多路徑負(fù)載均衡策略，實(shí)現(xiàn)了跨地域通信的高效和低延遲。在通信效率方面，百舸平臺(tái)采用了先進(jìn)的擁塞控制算法和集合通信算法策略，確保了網(wǎng)絡(luò)的完全無阻塞和超高精度監(jiān)控。

在多芯混訓(xùn)方面，百舸平臺(tái)同樣展現(xiàn)出了強(qiáng)大的資源整合能力。它能夠?qū)⒉煌攸c(diǎn)、不同規(guī)模的異構(gòu)算力進(jìn)行統(tǒng)一管理，構(gòu)建起多芯資源池。當(dāng)業(yè)務(wù)提交工作負(fù)載時(shí)，百舸平臺(tái)能夠自動(dòng)進(jìn)行芯片選型，選擇性價(jià)比最高的芯片來運(yùn)行任務(wù)，從而最大化地利用集群的剩余資源。這一特性使得萬卡多芯混合訓(xùn)練的效能達(dá)到了前所未有的高度。

在集群穩(wěn)定性方面，百度自研的BCCL（百度集合通信庫）發(fā)揮了關(guān)鍵作用。它能夠快速定位故障并提供自動(dòng)化的容錯(cuò)能力，將故障恢復(fù)時(shí)間從小時(shí)級降低到分鐘級。這一技術(shù)的引入極大地提高了集群的可靠性和可用性，為萬卡集群的穩(wěn)定運(yùn)行提供了有力保障。

近期，花旗銀行發(fā)布的一份研報(bào)也對百度等中國模型的高效和低成本優(yōu)勢給予了高度評價(jià)。研報(bào)指出，這些模型將有助于加速全球AI應(yīng)用開發(fā)，并在全球范圍內(nèi)引發(fā)更多的技術(shù)創(chuàng)新。同時(shí)，中國工程院院士、清華大學(xué)計(jì)算機(jī)系教授鄭緯民也表示，構(gòu)建國產(chǎn)自主萬卡系統(tǒng)雖然充滿挑戰(zhàn)，但對于行業(yè)的長遠(yuǎn)發(fā)展而言至關(guān)重要。