在科技日新月異的今天,人工智能正以前所未有的速度向邊緣計(jì)算領(lǐng)域邁進(jìn),而Copilot+ PC在這一進(jìn)程中占據(jù)了舉足輕重的地位。近日,隨著DeepSeek R1模型的橫空出世,微軟也敏銳地捕捉到了這一變革的先機(jī)。
微軟官方近日宣布,已正式推出針對(duì)NPU(神經(jīng)網(wǎng)絡(luò)處理器)深度優(yōu)化的DeepSeek-R1模型。該模型現(xiàn)已在Azure AI Foundry和GitHub平臺(tái)上架,首批將針對(duì)搭載高通驍龍X系列芯片的Copilot+ PC進(jìn)行適配,隨后將逐步擴(kuò)展到英特爾酷睿Ultra 200V等其他平臺(tái)。
據(jù)悉,DeepSeek-R1的首個(gè)版本——DeepSeek-R1-Distill-Qwen-1.5B,將率先在AI Toolkit中亮相。而7B和14B兩個(gè)更大規(guī)模的版本也將緊隨其后,助力開(kāi)發(fā)者充分利用Copilot+ PC中強(qiáng)大的NPU性能。
微軟方面表示,Copilot+ PC上的NPU開(kāi)啟了一種全新的工作模式。在這種模式下,生成式AI不僅能夠按需執(zhí)行,還能夠支持半連續(xù)運(yùn)行的服務(wù)。這一特性使得開(kāi)發(fā)者能夠利用AI推理引擎,打造出更加主動(dòng)、持續(xù)的用戶體驗(yàn)。
微軟在Phi Silica項(xiàng)目上的研究成果,為DeepSeek模型的NPU優(yōu)化提供了寶貴經(jīng)驗(yàn)。通過(guò)高效的推理技術(shù),DeepSeek在首次生成token的時(shí)間和吞吐率方面均表現(xiàn)出色,同時(shí)對(duì)電池續(xù)航和PC資源消耗的影響降到了最低。DeepSeek還借鑒了多項(xiàng)關(guān)鍵技術(shù),包括模型分離以實(shí)現(xiàn)性能與效率的最佳平衡、低比特率量化以及Transformer到NPU的映射等。同時(shí),微軟還利用Windows Copilot Runtime(WCR)通過(guò)ONNX QDQ格式在Windows生態(tài)系統(tǒng)中實(shí)現(xiàn)了廣泛擴(kuò)展。
對(duì)于想要體驗(yàn)DeepSeek的用戶來(lái)說(shuō),只需下載AI Toolkit VS Code擴(kuò)展即可。而經(jīng)過(guò)ONNX QDQ格式優(yōu)化的DeepSeek模型也將很快出現(xiàn)在AI Toolkit的模型目錄中,用戶可以直接從Azure AI Foundry中拉取。下載完成后,用戶只需打開(kāi)Playground加載“deepseek_r1_1_5”模型,并給出提示詞,即可開(kāi)始體驗(yàn)DeepSeek的強(qiáng)大功能。
除了為Copilot+ PC優(yōu)化的ONNX模型外,用戶還可以在Azure Foundry中嘗試云托管的源模型。只需點(diǎn)擊“DeepSeek R1”下的“Try in Playground”按鈕,即可輕松上手。
為了直觀展示原始模型與NPU優(yōu)化模型之間的差異,微軟還提供了以下示例圖。從圖中可以看出,在相同提示下,原始模型與NPU優(yōu)化模型的響應(yīng)雖然大致相同,但在推理能力等方面仍存在微小但確實(shí)存在的差異。