大型語言模型(LLM)的崛起,將向量數(shù)據(jù)庫從默默無聞的搜索技術(shù)推向了AI成功的舞臺中央。在ChatGPT風(fēng)靡全球之前,向量數(shù)據(jù)庫市場還相對小眾,僅有Pinecone、Milvus、Zilliz等少數(shù)幾家“原生”企業(yè)活躍其中。
LLM中的檢索增強(qiáng)生成(RAG)技術(shù),對向量索引的依賴程度極高,這促使主流數(shù)據(jù)庫廠商紛紛開始支持向量索引。對于多模態(tài)的NoSQL和關(guān)系數(shù)據(jù)庫而言,添加向量數(shù)據(jù)類型變得輕而易舉。一夜之間,Oracle、Elastic、DataStax、Couchbase、MongoDB、Teradata、AWS等數(shù)據(jù)庫巨頭,都具備了存儲、索引和處理向量數(shù)據(jù)的能力。
然而,隨著向量數(shù)據(jù)庫市場的競爭加劇,企業(yè)在為AI大模型選擇向量數(shù)據(jù)庫時(shí),卻面臨著諸多挑戰(zhàn)。性能不達(dá)標(biāo)、吞吐量小、延遲高、缺乏Serverless版本、配置和管理難度大等問題,都成為了企業(yè)選型時(shí)的痛點(diǎn)。
在這一背景下,不少企業(yè)在向量數(shù)據(jù)庫的發(fā)展上,推出了諸多創(chuàng)新舉措,為市場帶來了別具一格的功能和卓越的性能。其中,Pinecone作為云原生向量數(shù)據(jù)庫的佼佼者,在2024年底將推理功能集成到了其向量數(shù)據(jù)庫中,這一舉動引起了行業(yè)的廣泛關(guān)注。
Pinecone的推理功能,讓用戶能夠在同一個(gè)平臺上完成數(shù)據(jù)存儲、推理和檢索,極大地簡化了集成過程。通過引入領(lǐng)先的稀疏嵌入和重新排序模型,Pinecone提高了搜索的準(zhǔn)確性,并減少了token的浪費(fèi),從而降低了成本。測試結(jié)果顯示,Pinecone的重新排名模型pinecone-rerank-v0將搜索準(zhǔn)確率提高了60%,與行業(yè)領(lǐng)先模型相比,平均提高了9%。
除了Pinecone之外,Databricks也推出了無縫集成在Data Intelligence Platform中的無服務(wù)器向量數(shù)據(jù)庫——Databricks Vector Search。該數(shù)據(jù)庫支持從源到索引的自動數(shù)據(jù)同步,消除了復(fù)雜且昂貴的維護(hù),同時(shí)利用了組織已經(jīng)構(gòu)建的安全和數(shù)據(jù)治理工具。憑借其無服務(wù)器設(shè)計(jì),Databricks Vector Search可以輕松擴(kuò)展,以支持每秒數(shù)十億次嵌入和數(shù)千次實(shí)時(shí)查詢。
Serverless技術(shù)的引入,也讓向量數(shù)據(jù)庫的使用變得更加便捷和高效。與傳統(tǒng)的自主管理服務(wù)器相比,無服務(wù)器數(shù)據(jù)庫在完全托管的云基礎(chǔ)架構(gòu)上運(yùn)行,由第三方云提供商管理底層數(shù)據(jù)庫服務(wù)器和IT基礎(chǔ)設(shè)施,并保證隨著工作負(fù)載的變化而彈性擴(kuò)展。這不僅節(jié)省了成本,還提高了運(yùn)營效率。
Pinecone作為Serverless托管云服務(wù)商的代表,其Serverless架構(gòu)簡化了水平擴(kuò)展,提高了彈性,并降低了成本。像Gong這樣的客戶,通過采用Pinecone無服務(wù)器,將成本降低了10倍或更多。Pinecone無服務(wù)器還消除了預(yù)置、部署、更新、監(jiān)控或以其他方式管理服務(wù)器的需要,這些任務(wù)都由Pinecone處理。
在混合搜索方面,Rockset、SingleStore和Milvus等企業(yè)也為向量數(shù)據(jù)庫設(shè)定了新的方向?;旌纤阉鲗⑾蛄克阉鳌⑽谋舅阉?、地理空間搜索和結(jié)構(gòu)化搜索合并到單個(gè)查詢中,以檢索和排名最相關(guān)的結(jié)果。這種搜索方式不僅提高了搜索的準(zhǔn)確性,還為用戶提供了更豐富的搜索結(jié)果。
隨著人工智能技術(shù)的快速發(fā)展,向量數(shù)據(jù)庫在處理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)方面的重要性日益凸顯。市場對向量數(shù)據(jù)庫的性能要求也在不斷提高,延遲、吞吐量、向量嵌入數(shù)量等關(guān)鍵指標(biāo)都成為了衡量向量數(shù)據(jù)庫性能的重要標(biāo)準(zhǔn)。為了滿足這些要求,向量數(shù)據(jù)庫企業(yè)紛紛展開了性能競賽,不斷推出新的技術(shù)和算法來提高性能。
Zilliz最近更新了其向量數(shù)據(jù)庫,將吞吐量和延遲提高了10倍,并將搜索準(zhǔn)確率從70%提高到95%。同時(shí),Zilliz還推出了新的AutoIndexer功能,無需手動配置數(shù)據(jù)庫即可在每個(gè)數(shù)據(jù)集上實(shí)現(xiàn)最佳性能。Zilliz向量數(shù)據(jù)庫還支持與Nvidia GPU搭配使用,在GPU和CPU的混合上運(yùn)行,為用戶提供了更多的選擇。
除了Zilliz之外,其他向量數(shù)據(jù)庫企業(yè)也在不斷優(yōu)化性能。開源的向量數(shù)據(jù)庫Weaviate可以將ML模型中的數(shù)據(jù)對象和向量嵌入無縫擴(kuò)展到數(shù)十億個(gè)數(shù)據(jù)對象,并在短短幾毫秒內(nèi)從數(shù)百萬個(gè)對象中快速搜索最近的鄰居。百度智能云推出的VectorDB 1.0也在性能上取得了顯著提升,相比同類開源產(chǎn)品,QPS在不同線程下平均時(shí)延最低,性能提升40~60%。
總之,隨著AI時(shí)代的到來,向量數(shù)據(jù)庫在加速參與和增長發(fā)展方面變得越來越重要。各大企業(yè)紛紛推出創(chuàng)新技術(shù)和算法來提高性能,滿足市場需求。未來,向量數(shù)據(jù)庫將繼續(xù)在AI應(yīng)用中發(fā)揮重要作用,為大型企業(yè)釋放關(guān)鍵商機(jī)。