論文*A Review of DeepSeek Models’ Key Innovative Techniques*介紹了開(kāi)源大語(yǔ)言模型DeepSeek-V3和DeepSeek-R1背后的關(guān)鍵創(chuàng)新技術(shù)，涵蓋架構(gòu)優(yōu)化、訓(xùn)練算法改進(jìn)等多個(gè)方面，這些技術(shù)提升了模型性能和訓(xùn)練效率，同時(shí)指出了研究中的開(kāi)放性問(wèn)題與未來(lái)方向。

1. 模型概述與研究背景：ChatGPT開(kāi)啟大語(yǔ)言模型（LLM）新時(shí)代，專有模型表現(xiàn)卓越，開(kāi)源模型與之仍有差距。2025年1月，DeepSeek的DeepSeek-V3和DeepSeek-R1模型表現(xiàn)突出，性能可與頂尖專有模型媲美，且訓(xùn)練成本低。剖析其技術(shù)對(duì)推動(dòng)LLM研究意義重大。

2. 關(guān)鍵創(chuàng)新技術(shù)

多頭潛在注意力（MLA）：為解決長(zhǎng)文本KV緩存瓶頸問(wèn)題，DeepSeek-V2提出MLA。通過(guò)低秩鍵值聯(lián)合壓縮，減少KV緩存占用；采用解耦旋轉(zhuǎn)位置嵌入，提升計(jì)算效率。MLA在減少緩存的同時(shí)性能優(yōu)于標(biāo)準(zhǔn)多頭注意力機(jī)制，但解耦旋轉(zhuǎn)位置嵌入有待進(jìn)一步研究。

專家混合（MoE）：DeepSeekMoE架構(gòu)創(chuàng)新地引入細(xì)粒度專家分割和共享專家隔離技術(shù)。前者提高激活專家組合靈活性，后者減少參數(shù)冗余。同時(shí)，通過(guò)輔助損失和無(wú)輔助損失的負(fù)載均衡策略，解決負(fù)載不均衡問(wèn)題，但現(xiàn)有負(fù)載均衡損失函數(shù)的理論依據(jù)及改進(jìn)方向值得探討。

多令牌預(yù)測(cè)（MTP）：DeepSeek-V3的MTP技術(shù)在訓(xùn)練時(shí)預(yù)測(cè)多個(gè)后續(xù)令牌，提升樣本效率。但由于因果鏈的引入，訓(xùn)練時(shí)間會(huì)比傳統(tǒng)單令牌預(yù)測(cè)更長(zhǎng)，該問(wèn)題在消融研究中未涉及。

算法、框架和硬件協(xié)同設(shè)計(jì)：DeepSeek-V3通過(guò)協(xié)同設(shè)計(jì)提升訓(xùn)練效率。DualPipe算法減少跨節(jié)點(diǎn)專家并行通信開(kāi)銷，采用雙向流水線調(diào)度，但存在額外內(nèi)存消耗問(wèn)題。FP8混合精度訓(xùn)練框架在不降低精度的前提下加速訓(xùn)練，對(duì)特定算子保持原精度，并采用細(xì)粒度量化策略擴(kuò)展FP8動(dòng)態(tài)范圍。

組相對(duì)策略優(yōu)化（GRPO）：GRPO是近端策略優(yōu)化（PPO）的變體，在LLM訓(xùn)練中，它直接估計(jì)優(yōu)勢(shì)，避免訓(xùn)練價(jià)值函數(shù)，減少內(nèi)存使用，且性能與PPO相當(dāng)，效率更高。

后訓(xùn)練：基于基礎(chǔ)模型的強(qiáng)化學(xué)習(xí)：DeepSeek-R1-Zero在基礎(chǔ)模型上采用純強(qiáng)化學(xué)習(xí)訓(xùn)練，展現(xiàn)出模型通過(guò)強(qiáng)化學(xué)習(xí)學(xué)習(xí)和泛化的能力，但存在可讀性差和語(yǔ)言混合等問(wèn)題。DeepSeek-R1則采用監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)交替的迭代訓(xùn)練方法，并通過(guò)冷啟動(dòng)、推理導(dǎo)向的強(qiáng)化學(xué)習(xí)、拒絕采樣和SFT、RL對(duì)齊四個(gè)階段優(yōu)化模型。

3. 研究討論與未來(lái)方向：Transformer架構(gòu)改進(jìn)方面，對(duì)解耦旋轉(zhuǎn)位置嵌入的深入研究和負(fù)載均衡目標(biāo)的理論證明有重要意義；多令牌預(yù)測(cè)在提高樣本效率的同時(shí)，訓(xùn)練時(shí)間優(yōu)化仍有空間；算法、框架和硬件協(xié)同設(shè)計(jì)體現(xiàn)了整體設(shè)計(jì)的價(jià)值，DualPipe算法的改進(jìn)值得關(guān)注；強(qiáng)化學(xué)習(xí)在模型后訓(xùn)練階段表現(xiàn)出色，迭代訓(xùn)練方法和GRPO算法為研究開(kāi)辟了新方向。

4. 研究結(jié)論：DeepSeek模型的成功得益于在Transformer架構(gòu)、樣本效率提升、算法框架硬件協(xié)同設(shè)計(jì)、強(qiáng)化學(xué)習(xí)算法及后訓(xùn)練應(yīng)用等方面的創(chuàng)新。研究也指出了當(dāng)前存在的開(kāi)放性問(wèn)題，為未來(lái)LLM研究提供了潛在方向 。