美團(tuán)技術(shù)團(tuán)隊(duì)近期取得了一項(xiàng)重要進(jìn)展，成功將DeepSeek R1模型進(jìn)行了INT8精度量化，此舉極大地拓寬了該模型的應(yīng)用場(chǎng)景。

此前，DeepSeek R1模型由于采用FP8數(shù)據(jù)格式的原生權(quán)重，導(dǎo)致其部署范圍受限，僅能在新款英偉達(dá)GPU上運(yùn)行，而像A100這樣的老型號(hào)GPU則無法直接支持。這在一定程度上限制了模型的使用靈活性和推廣范圍。

為了打破這一局限，美團(tuán)搜索和推薦平臺(tái)部門的技術(shù)人員著手對(duì)DeepSeek R1模型進(jìn)行了INT8精度量化嘗試。經(jīng)過不懈努力，他們發(fā)現(xiàn)量化后的模型在保持原有精度的基礎(chǔ)上，成功實(shí)現(xiàn)了在不同型號(hào)GPU上的部署。這意味著，現(xiàn)在DeepSeek R1模型不僅能夠在新款英偉達(dá)GPU上高效運(yùn)行，還能在A100等老型號(hào)GPU上穩(wěn)定工作。

不僅如此，INT8量化還為DeepSeek R1模型帶來了性能上的顯著提升。與BF16相比，INT8量化后的模型在吞吐量方面實(shí)現(xiàn)了50%的增長(zhǎng)，這大大降低了模型的推理成本，提高了整體運(yùn)行效率。

為了讓更多開發(fā)者能夠受益于此項(xiàng)技術(shù)突破，美團(tuán)技術(shù)團(tuán)隊(duì)已經(jīng)將INT8量化的代碼開源發(fā)布在LLM推理框架SGLang上。同時(shí)，量化后的DeepSeek R1模型也被上傳至Hugging Face社區(qū)，供廣大開發(fā)者下載和使用。以下是模型的具體鏈接：

模型鏈接1：https://huggingface.co/meituan/DeepSeek-R1-Block-INT8

模型鏈接2：https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8