騰訊技術(shù)團隊近期對DeepSeek開源項目中的DeepEP通信框架進行了深度優(yōu)化，這一舉措顯著提升了該框架在各種網(wǎng)絡環(huán)境下的性能表現(xiàn)。經(jīng)過一系列精心設計的測試，結(jié)果顯示，優(yōu)化后的DeepEP在RoCE網(wǎng)絡環(huán)境下性能實現(xiàn)了翻倍，而在IB（InfiniBand）網(wǎng)絡環(huán)境下也提升了30%。這一成果無疑為企業(yè)的AI大模型訓練提供了更為高效的解決方案。

DeepEP是一個專為專家混合（MoE）和專家并行（EP）設計的通信庫，其特點在于能夠提供高吞吐量和低延遲的全對全GPU內(nèi)核，這些內(nèi)核在MoE的派發(fā)和組合過程中發(fā)揮著關(guān)鍵作用。該庫還支持低精度運算，包括FP8，從而進一步提升了計算效率。

騰訊星脈網(wǎng)絡團隊在DeepEP開源后迅速展開了技術(shù)攻關(guān)，針對框架在實際應用中遇到的兩大瓶頸問題進行了深入研究。一是雙端口網(wǎng)卡帶寬利用率不足的問題，二是CPU控制面交互存在的時延問題。通過騰訊技術(shù)團隊的優(yōu)化，這兩個關(guān)鍵問題得到了有效解決。

優(yōu)化后的DeepEP在RoCE網(wǎng)絡環(huán)境下實現(xiàn)了性能的顯著提升，性能翻倍的表現(xiàn)令人矚目。同時，在IB網(wǎng)絡環(huán)境下，優(yōu)化后的框架也展現(xiàn)出了更加出色的通信效率，相較于優(yōu)化前提升了30%。這一成果不僅得到了DeepSeek項目的公開致謝，還被贊譽為一次“巨大的加速”代碼貢獻。

騰訊已經(jīng)將這一優(yōu)化后的技術(shù)全面開源，并成功應用于其混元大模型等項目的訓練推理過程中。在騰訊星脈與H20服務器構(gòu)建的環(huán)境中，該方案展現(xiàn)出了出色的通用性和穩(wěn)定性，為企業(yè)AI大模型訓練提供了強有力的技術(shù)支持。