安謀科技近日宣布，其新一代“周易”NPU處理器已成功在端側(cè)部署并運(yùn)行DeepSeek-R1系列模型，不僅性能表現(xiàn)出色，而且成本效益顯著。

這款“周易”NPU專為AI大模型設(shè)計(jì)，架構(gòu)上進(jìn)行了深度優(yōu)化。據(jù)悉，其Beta測(cè)試版本已在2024年末向部分早期用戶開放，預(yù)計(jì)今年上半年將正式面世。

DeepSeek-R1系列中的1.5B和7B蒸餾版本推出后，“周易”NPU迅速在Emulation平臺(tái)上完成了部署與優(yōu)化，并在FPGA平臺(tái)上成功演示了端到端應(yīng)用。測(cè)試結(jié)果顯示，在標(biāo)準(zhǔn)測(cè)試環(huán)境下，“周易”NPU在首字計(jì)算階段的算力利用率超過(guò)40%，解碼階段的有效帶寬利用率更是高達(dá)80%以上。

該NPU的帶寬利用率展現(xiàn)出高線性特性，能夠靈活適應(yīng)從16GB/s到256GB/s的系統(tǒng)帶寬需求。在7B版本、上下文長(zhǎng)度為1024的場(chǎng)景下，“周易”NPU的最高處理速度可達(dá)每秒40 tokens，并支持動(dòng)態(tài)長(zhǎng)度的模型推理輸入。

安謀科技的軟件棧對(duì)大模型的支持和優(yōu)化也達(dá)到了成熟水平，通過(guò)動(dòng)態(tài)推理優(yōu)化和硬件算力潛力的挖掘，顯著提升了推理速度和吞吐量。目前，該軟件棧已支持Llama、Qwen、DeepSeek、ChatGLM、MiniCPM等多種主流大模型，并提供了與Hugging Face模型庫(kù)的對(duì)接工具鏈，方便用戶直接部署主流模型。

在硬件層面，“周易”NPU采用先進(jìn)的7nm工藝制造，單Cluster算力最高可達(dá)80 TOPS，能夠輕松應(yīng)對(duì)超過(guò)16K上下文長(zhǎng)度的大模型部署需求。同時(shí)，其對(duì)外帶寬提升至256GB/s，有效解決了大模型計(jì)算的帶寬瓶頸問(wèn)題。

“周易”NPU還支持FP16數(shù)據(jù)精度計(jì)算，完整支持INT4軟硬量化加速，并具備多核算力擴(kuò)展能力，滿足端側(cè)模型的低首字延遲需求。它還擁有強(qiáng)大的多任務(wù)并行處理能力，通過(guò)細(xì)粒度的任務(wù)調(diào)度和優(yōu)先級(jí)資源分配，實(shí)現(xiàn)了多任務(wù)靈活切換，確保了傳統(tǒng)語(yǔ)音、視覺業(yè)務(wù)與大模型應(yīng)用的高效協(xié)同。