IBM近期揭曉了其Granite 4.0系列中的一款迷你版模型——Granite 4.0 Tiny預(yù)覽版的細(xì)節(jié)。這款模型在5月2日進(jìn)行了介紹，是Granite系列中的小型版本之一。

Granite 4.0 Tiny Preview以其卓越的計(jì)算效率和極低的內(nèi)存需求脫穎而出。在FP8精度下，它僅需12GB顯存便能同時(shí)運(yùn)行5個(gè)128KB上下文窗口的對(duì)話。這樣強(qiáng)大的性能只需一張英偉達(dá)GeForce RTX 3060 12GB顯卡便能實(shí)現(xiàn)，該顯卡的建議零售價(jià)為329美元（約2383元人民幣）。

盡管目前預(yù)覽版僅訓(xùn)練了2.5T的Token數(shù)，但其性能已能與訓(xùn)練了12T Token的Granite 3.3 2B Instruct相媲美。更令人驚訝的是，在128KB上下文窗口下支持16個(gè)并發(fā)會(huì)話時(shí)，其內(nèi)存需求降低了約72%。據(jù)IBM透露，最終版本的Granite 4.0 Tiny預(yù)計(jì)性能將達(dá)到甚至超越Granite 3.3 8B Instruct的水平。

Granite 4.0 Tiny Preview的總參數(shù)規(guī)模為70億，但實(shí)際參與計(jì)算的活躍參數(shù)僅為10億。它基于Granite 4.0系列全線采用的混合Mamba-2/Transformer架構(gòu)，這種架構(gòu)結(jié)合了速度與精度，有效降低了內(nèi)存消耗，同時(shí)保持了出色的性能。

目前，Granite 4.0 Tiny預(yù)覽版已在Hugging Face平臺(tái)上以標(biāo)準(zhǔn)的Apache 2.0許可證開放獲取。IBM計(jì)劃在今年夏天正式發(fā)布Granite 4.0系列的Tiny、Small和Medium版本，為用戶帶來(lái)更多選擇。