近期，科技界傳來(lái)一則新動(dòng)態(tài)，谷歌在其Gemini 2.5 API中引入了名為“隱式緩存”的新功能，旨在通過(guò)智能化手段降低開(kāi)發(fā)者的成本。據(jù)科技媒體WinBuzzer于5月9日?qǐng)?bào)道，這一創(chuàng)新技術(shù)能自動(dòng)識(shí)別并重用API請(qǐng)求中的常見(jiàn)前綴，從而幫助開(kāi)發(fā)者實(shí)現(xiàn)成本的大幅縮減，最高可達(dá)75%。

具體而言，“隱式緩存”功能適用于Gemini 2.5系列中的Pro和Flash模型。該功能無(wú)需開(kāi)發(fā)者進(jìn)行任何手動(dòng)配置，系統(tǒng)默認(rèn)啟用，大大簡(jiǎn)化了操作流程。它通過(guò)自動(dòng)檢測(cè)并重用API請(qǐng)求中的重復(fù)前綴，有效提升了效率，降低了成本。

值得注意的是，“隱式緩存”與谷歌早前在2024年5月推出的“顯式緩存”有所不同。后者需要開(kāi)發(fā)者自行配置，而前者則完全由系統(tǒng)自動(dòng)處理，不僅節(jié)省了成本，還顯著提升了用戶體驗(yàn)。為了最大化隱式緩存的效果，谷歌建議開(kāi)發(fā)者在構(gòu)建提示詞時(shí)，將穩(wěn)定且常見(jiàn)的內(nèi)容置于開(kāi)頭，隨后再添加用戶特定的變量?jī)?nèi)容。

谷歌還指出，如果開(kāi)發(fā)者在短時(shí)間內(nèi)發(fā)送具有相似前綴的請(qǐng)求，將有助于提高緩存的命中率，進(jìn)一步提升效率。不過(guò)，為了享受這一功能，開(kāi)發(fā)者需要滿足一定的Token數(shù)量要求：Gemini 2.5 Flash模型需至少1024個(gè)Token，而Gemini 2.5 Pro模型則需至少2048個(gè)Token。

為了幫助開(kāi)發(fā)者更好地了解緩存的使用情況，谷歌在API響應(yīng)中新增了“cached_content_token_count”字段。這一字段將顯示緩存Token的使用詳情以及優(yōu)惠計(jì)費(fèi)信息，讓開(kāi)發(fā)者能夠清晰掌握成本節(jié)約的具體情況。

盡管谷歌宣稱“隱式緩存”功能能夠帶來(lái)高達(dá)75%的成本節(jié)省，但實(shí)際效果仍需第三方進(jìn)行驗(yàn)證。同時(shí)，由于不同開(kāi)發(fā)者的使用模式可能存在差異，因此具體節(jié)省的幅度也可能有所不同。

谷歌并未完全放棄“顯式緩存”方案。作為可選方案，顯式緩存仍然支持Gemini 2.5及2.0模型，并允許開(kāi)發(fā)者自定義緩存內(nèi)容和生存時(shí)間（TTL，默認(rèn)1小時(shí)）。這一靈活性使得開(kāi)發(fā)者能夠根據(jù)自身需求選擇最適合的緩存方案。