北京2025年7月30日 /美通社/ -- 近日,北京積算科技有限公司(以下簡(jiǎn)稱"積算科技")宣布其算力服務(wù)平臺(tái)上線赤兔推理引擎。積算科技PowerFul-AI應(yīng)用開發(fā)平臺(tái)與赤兔合作,打造高性價(jià)比的模型輕量化部署方案。用戶通過遠(yuǎn)程算力平臺(tái)預(yù)置的模型鏡像與AI工具,僅需50%的GPU算力即可解鎖大模型推理、企業(yè)知識(shí)庫搭建、智能體開發(fā),加速大模型在智能問答、報(bào)告生成、客服助手、智能體等典型行業(yè)場(chǎng)景的落地。
赤兔推理引擎由北京清程極智科技有限公司(以下簡(jiǎn)稱"清程極智")開發(fā),并聯(lián)合清華大學(xué)團(tuán)隊(duì)發(fā)布開源版本。其核心價(jià)值在于,打破了FP8模型原生部署時(shí)GPU必須支持FP8精度的要求。通過底層算子優(yōu)化(如GeMM、MoE的指令級(jí)重構(gòu))和編譯技術(shù)創(chuàng)新,赤兔早在今年三月即首次實(shí)現(xiàn)在非FP8精度卡上原生運(yùn)行FP8高精度模型,并確保推理過程幾乎零精度損失。
積算科技聯(lián)合清程極智,完成了赤兔推理引擎在積算科技PowerFul-AI應(yīng)用開發(fā)平臺(tái)上的驗(yàn)證測(cè)試。測(cè)試結(jié)果表明,赤兔推理引擎在積算科技PowerFul-AI平臺(tái)上運(yùn)行穩(wěn)定、性能表現(xiàn)優(yōu)異,滿足雙方兼容性認(rèn)證的各項(xiàng)標(biāo)準(zhǔn),能夠快速完成DeepSeek、Qwen等大模型推理部署,并支持基于非FP8精度GPU卡實(shí)現(xiàn)FP8模型部署,相比于使用BF16精度部署,GPU算力需求減半。以部署DeepSeek-R1-671B為例,原需4臺(tái)8卡機(jī)2560GB顯存,現(xiàn)僅需2臺(tái)8卡機(jī)1280GB顯存即可滿足要求。
積算科技PowerFul-AI平臺(tái)攜手赤兔推理引擎,將為AI大模型應(yīng)用開發(fā)打造"成本減半、零性能損耗"的解決方案,提供構(gòu)建企業(yè)知識(shí)庫開發(fā)、智能體搭建等功能,助力企業(yè)用戶靈活快速構(gòu)建大模型通用應(yīng)用及個(gè)性化端到端解決方案。
PowerFul-AI是積算科技的大模型應(yīng)用落地解決方案,能夠?yàn)锳I大模型落地應(yīng)用提供高效、易用、安全的端到端開發(fā)平臺(tái),幫助企業(yè)及科研機(jī)構(gòu)高效開發(fā)部署AI大模型應(yīng)用。目前,PowerFul-AI已經(jīng)全面適配DeepSeek R1、DeepSeek V3等模型。用戶只需選擇鏡像和模型文件,并配置模型所需的算力資源,即可快速完成模型部署,實(shí)現(xiàn)DeepSeek的"分鐘級(jí)"上線。
積算科技誕生于全球生成式AI浪潮,專注于智能算力服務(wù)市場(chǎng),致力于成為中國最具價(jià)值的智能算力服務(wù)商,聚焦互聯(lián)網(wǎng)、運(yùn)營商、高校、新能源汽車等領(lǐng)域的多家頭部客戶提供算力服務(wù)。公司擁有萬卡級(jí)先進(jìn)智能算力資源池,提供裸金屬、智能算力系統(tǒng)、專屬智能算力系統(tǒng)等算力服務(wù)產(chǎn)品,適用于大模型訓(xùn)練與推理、算法研究、大數(shù)據(jù)分析、自動(dòng)駕駛、智能科學(xué)計(jì)算等多元場(chǎng)景。其運(yùn)維和服務(wù)團(tuán)隊(duì)具備大規(guī)模智能算力系統(tǒng)設(shè)計(jì)建設(shè)、大模型開發(fā)應(yīng)用及性能優(yōu)化能力,可提供全棧大模型應(yīng)用開發(fā)服務(wù)支持,并根據(jù)客戶需求提供靈活服務(wù)模式。