亚洲精品,日韩av,亚洲国产一区二区三区亚瑟,玩弄寡妇丰满肉体,香蕉久久夜色精品升级完成,亚洲av无码成人精品区一区

  • 科技·商業(yè)·財(cái)經(jīng)媒體
科技·商業(yè)·財(cái)經(jīng)

大模型時(shí)代:數(shù)據(jù)存儲(chǔ)面臨新挑戰(zhàn),存力成關(guān)鍵

   時(shí)間:2025-03-19 10:51 作者:顧青青

在人工智能大模型產(chǎn)業(yè)的快速發(fā)展中,算力、算法和數(shù)據(jù)一直被視為三大核心要素。然而,隨著國(guó)內(nèi)AI芯片技術(shù)的不斷突破以及DeepSeek等產(chǎn)品的出現(xiàn),算力短板問(wèn)題逐漸得到緩解。然而,這并不意味著中國(guó)大模型的發(fā)展之路已經(jīng)一帆風(fēng)順,存力問(wèn)題正逐漸成為新的焦點(diǎn)。

存力,即數(shù)據(jù)存儲(chǔ)系統(tǒng),是支撐大模型訓(xùn)練和推理的重要基礎(chǔ)設(shè)施。隨著大模型規(guī)模化應(yīng)用的不斷推進(jìn),面對(duì)萬(wàn)卡集群、萬(wàn)億參數(shù)和海量數(shù)據(jù)的挑戰(zhàn),傳統(tǒng)存儲(chǔ)系統(tǒng)的局限性愈發(fā)凸顯。在數(shù)據(jù)猿近期舉辦的線上論壇上,極道科技行業(yè)解決方案經(jīng)理張策和西部數(shù)據(jù)資深售前工程師蘆浩,就存儲(chǔ)產(chǎn)業(yè)在大模型時(shí)代面臨的挑戰(zhàn)和變革進(jìn)行了深入探討。

蘆浩指出,大模型規(guī)?;虡I(yè)應(yīng)用為存儲(chǔ)產(chǎn)業(yè)帶來(lái)了四個(gè)新趨勢(shì):高容量化、多模態(tài)化、高速響應(yīng)化和低成本化。由于大模型在訓(xùn)練過(guò)程中會(huì)產(chǎn)生大量的中間數(shù)據(jù)和版本數(shù)據(jù),因此存儲(chǔ)系統(tǒng)需要具備更高的容量,以容納PB級(jí)甚至EB級(jí)的數(shù)據(jù)量。同時(shí),大模型已經(jīng)進(jìn)入多模態(tài)階段,需要存儲(chǔ)系統(tǒng)具備跨模態(tài)的實(shí)時(shí)處理能力。高速響應(yīng)和低成本也是存儲(chǔ)系統(tǒng)需要解決的重要問(wèn)題。

張策則認(rèn)為,大模型規(guī)?;虡I(yè)應(yīng)用為存儲(chǔ)產(chǎn)業(yè)帶來(lái)了三大變化:超大規(guī)模的集群化部署、分布式并行處理和安全可靠。面對(duì)超大規(guī)模的訓(xùn)練需求,通用的NAS存儲(chǔ)已經(jīng)無(wú)法支撐,需要通過(guò)集群化、多級(jí)部署來(lái)構(gòu)建龐大且靈活的存儲(chǔ)系統(tǒng)。同時(shí),分布式并行文件存儲(chǔ)系統(tǒng)能夠提供可擴(kuò)展、多節(jié)點(diǎn)的能力,應(yīng)對(duì)數(shù)據(jù)爆發(fā)式增長(zhǎng)的需求。穩(wěn)定性和可靠性也是存儲(chǔ)系統(tǒng)的基石,無(wú)法保證數(shù)據(jù)安全和服務(wù)的穩(wěn)定性,再高的算力也將被各種故障所吞沒(méi)。

存儲(chǔ)性能直接決定了大模型在訓(xùn)練推理過(guò)程中的GPU利用率。對(duì)于GPU架構(gòu)而言,堆疊算力單元不是難事,但當(dāng)前計(jì)算任務(wù)主要耗時(shí)集中在等待數(shù)據(jù)從存儲(chǔ)系統(tǒng)到達(dá)計(jì)算單元的過(guò)程。較差的存儲(chǔ)性能會(huì)嚴(yán)重增加GPU閑置時(shí)間,導(dǎo)致模型落地困難、業(yè)務(wù)成本劇增。因此,大模型的發(fā)展不僅要求底層存儲(chǔ)基礎(chǔ)設(shè)施具備更高的性能,還倒逼軟件定義存儲(chǔ)(SDS)向高性能、彈性化與智能化方向迭代。

蘆浩表示,市場(chǎng)渴望更高性能、大容量、低成本的技術(shù)突破。在性能方面,未來(lái)的存儲(chǔ)硬件應(yīng)進(jìn)一步提升接口帶寬,優(yōu)化存儲(chǔ)介質(zhì)降低延遲,改進(jìn)存儲(chǔ)架構(gòu)減少數(shù)據(jù)查找定位等操作時(shí)間。同時(shí),由于大模型訓(xùn)練會(huì)帶來(lái)大量的文件讀寫操作,因此需要對(duì)存儲(chǔ)硬件有高的IOPs性能突破。在存儲(chǔ)容量擴(kuò)展方面,需要采用Scale Out和Scale Up縱向擴(kuò)展和橫向擴(kuò)展的存儲(chǔ)架構(gòu),提高存儲(chǔ)容量以容納海量的數(shù)據(jù)。在功耗和成本方面,需要大力探索新型的存儲(chǔ)介質(zhì),如HAMR等。

技術(shù)創(chuàng)新之外,存算協(xié)同的發(fā)展模式也被認(rèn)為是未來(lái)的大勢(shì)所趨。倪光南院士曾指出,用廣義算力去定義一個(gè)算力中心才更準(zhǔn)確。美國(guó)的算力中心存算比為1.11TB/GFlops,而中國(guó)約為美國(guó)的37.8%。存算一體作為一種新的計(jì)算架構(gòu),被認(rèn)為是具有潛力的革命性技術(shù)。它通過(guò)打破“存儲(chǔ)-計(jì)算分離”的模式,直接在存儲(chǔ)單元內(nèi)部集成計(jì)算單元,支持?jǐn)?shù)據(jù)本地化處理,降低網(wǎng)絡(luò)傳輸瓶頸。

極道科技作為國(guó)內(nèi)首家提出存管算協(xié)同的分布式系統(tǒng)廠商,張策表示,存算協(xié)同的算力平臺(tái)不僅能應(yīng)對(duì)大規(guī)模數(shù)據(jù)集的處理挑戰(zhàn),支持復(fù)雜計(jì)算任務(wù),還能通過(guò)與存儲(chǔ)的協(xié)同,針對(duì)業(yè)務(wù)類型優(yōu)化存儲(chǔ)配置,進(jìn)而借助計(jì)算集群的智能化加速科研分析效率。在實(shí)際運(yùn)行中,系統(tǒng)中硬件能力存在大量“閑置”,關(guān)鍵在于存儲(chǔ)系統(tǒng)無(wú)法獨(dú)立拆解無(wú)序堆疊的I/O。通過(guò)存算協(xié)同機(jī)制,可以將關(guān)鍵信息傳遞給存儲(chǔ)系統(tǒng),使其能夠識(shí)別并拆解這些無(wú)序堆疊的I/O,化無(wú)序?yàn)橛行?,并針?duì)不同的I/O進(jìn)行精準(zhǔn)優(yōu)化。

對(duì)存儲(chǔ)產(chǎn)業(yè)而言,大模型不僅是需求者,更是革新者。大模型能夠精準(zhǔn)分析每一個(gè)計(jì)算任務(wù)所需的存儲(chǔ)帶寬、CPU、GPU資源,從而精準(zhǔn)判斷作業(yè)執(zhí)行周期和完成時(shí)間。隨著DeepSeek和Manus等超級(jí)AI單品的問(wèn)世,大模型時(shí)代正在加速到來(lái)。在新的階段,算效的價(jià)值將越發(fā)凸顯,存儲(chǔ)產(chǎn)業(yè)作為優(yōu)化效率的重要基礎(chǔ)設(shè)施,將扮演比以往更重要的角色,但也勢(shì)必要承擔(dān)更大的責(zé)任。

 
 
更多>同類內(nèi)容
全站最新
熱門內(nèi)容