近期，專注于AI芯片與解決方案的SambaNova公司宣布了一項(xiàng)重大進(jìn)展，在其基于自主研發(fā)的SN40L RDU處理器的云平臺(tái)上，推出了DeepSeek-R1 671B模型推理云服務(wù)。據(jù)稱，這一服務(wù)在業(yè)界內(nèi)以極快的token輸出速度脫穎而出，每秒可處理198個(gè)prompts。

SN40L RDU芯片是SambaNova的技術(shù)核心，它采用了臺(tái)積電先進(jìn)的5nm制程工藝，BF16算力高達(dá)638 TFLOPS。更令人矚目的是其獨(dú)特的三層存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)：片內(nèi)配備了520MB的SRAM緩存，通過2.5D封裝集成了64GB的HBM內(nèi)存，外加片外的1.5TB超大容量DDR DRAM內(nèi)存。這一設(shè)計(jì)使得SN40L RDU芯片能夠容納遠(yuǎn)超同類競(jìng)品的模型參數(shù)。

除了強(qiáng)大的硬件配置，SN40L RDU芯片在結(jié)構(gòu)上還具備高度的靈活性。它能夠根據(jù)實(shí)際需求動(dòng)態(tài)重新配置硬件資源和數(shù)據(jù)流，從而顯著提升計(jì)算效率和內(nèi)存訪問速度。這種靈活性使得SambaNova的云平臺(tái)在處理復(fù)雜AI任務(wù)時(shí)，能夠展現(xiàn)出卓越的性能。

SambaNova公司進(jìn)一步強(qiáng)調(diào)，他們僅需一個(gè)配備16個(gè)SN40L RDU芯片的機(jī)架，即可成功部署DeepSeek-R1 671B模型推理服務(wù)。這一部署方案不僅高效，而且大大降低了運(yùn)營(yíng)成本，為AI應(yīng)用的廣泛推廣奠定了堅(jiān)實(shí)基礎(chǔ)。