界面新聞記者 | 崔鵬
7月4日下午,騰訊云正式發(fā)布AI原生(AI Native)向量數(shù)據(jù)庫Tencent Cloud VectorDB,該數(shù)據(jù)庫能夠被廣泛應(yīng)用于大模型的訓(xùn)練、推理和知識庫補充等場景。騰訊方面表示,它是國內(nèi)首個從接入層、計算層、到存儲層提供全生命周期AI化的向量數(shù)據(jù)庫。
根據(jù)官方公開的數(shù)據(jù)信息,騰訊云向量數(shù)據(jù)庫最高支持10億級向量檢索規(guī)模,延遲控制在毫秒級;它相比傳統(tǒng)單機插件式數(shù)據(jù)庫檢索規(guī)模提升10倍,同時具備百萬級每秒查詢(QPS)的峰值能力。
“如果你看好AI大模型,就應(yīng)該看好向量數(shù)據(jù)庫”,騰訊云數(shù)據(jù)庫副總經(jīng)理羅云表示,隨著大模型的不斷發(fā)展和普及,AI Native向量數(shù)據(jù)庫將成為企業(yè)數(shù)據(jù)處理的標(biāo)配。
向量數(shù)據(jù)庫通過把數(shù)據(jù)向量化然后進(jìn)行存儲和查詢,能極大提升效率和降低成本。它能解決大模型預(yù)訓(xùn)練成本高、沒有“長期記憶”、知識更新不足、提示詞工程復(fù)雜等問題,突破大模型在時間和空間上的限制,加速大模型落地行業(yè)場景。
騰訊官方的數(shù)據(jù)顯示,將騰訊云向量數(shù)據(jù)庫用于大模型預(yù)訓(xùn)練數(shù)據(jù)的分類、去重和清洗相比傳統(tǒng)方式可以實現(xiàn)10倍效率的提升,如果將向量數(shù)據(jù)庫作為外部知識庫用于模型推理,則可以將成本降低2-4個數(shù)量級。
羅云稱,騰訊云重新定義了AI Native的開發(fā)范式,提供了接入層、計算層、存儲層的全面AI化解決方案,使用戶在使用向量數(shù)據(jù)庫的全生命周期,都能應(yīng)用到AI能力。
具體而言,在接入層,騰訊云向量數(shù)據(jù)庫支持自然語言文本的輸入,同時采用“標(biāo)量+向量”的查詢方式,支持全內(nèi)存索引;在計算層,AI Native開發(fā)范式能實現(xiàn)全量數(shù)據(jù)AI計算,一站解決企業(yè)在搭建私域知識庫時的文本切分(segment)、向量化(embedding)等難題;在存儲層,騰訊云向量數(shù)據(jù)庫支持?jǐn)?shù)據(jù)智能存儲分布,讓企業(yè)存儲成本降低50%。
騰訊官方信息稱,使用騰訊云向量數(shù)據(jù)庫后,企業(yè)接入大模型需要花費的時間,能從一個月降低至三天左右,極大降低企業(yè)的接入成本。
對于產(chǎn)品的商業(yè)化問題,羅云表示,目前向量數(shù)據(jù)庫可以單獨對外提供,未來也不排除把向量數(shù)據(jù)庫和其它相關(guān)產(chǎn)品打包售賣的可能性。
在具體落地應(yīng)用層面,騰訊方面表示,該向量數(shù)據(jù)庫基于騰訊每日處理千億次檢索的向量引擎(OLAMA),數(shù)據(jù)接入AI的效率比傳統(tǒng)方案提升10倍,運行穩(wěn)定性達(dá)到99.99%,目前已經(jīng)應(yīng)用在騰訊視頻、QQ瀏覽器、QQ音樂等30多款騰訊內(nèi)部產(chǎn)品之中。
以騰訊視頻的應(yīng)用為例,視頻庫中的圖片、音頻、標(biāo)題文本等內(nèi)容使用騰訊云向量數(shù)據(jù)庫,月均完成的檢索和計算量高達(dá)200億次,能夠滿足版權(quán)保護(hù)、原創(chuàng)識別、相似性檢索等場景需求。
從使用結(jié)果來看,向量數(shù)據(jù)庫能直接提升運營效率。官方信息顯示,使用騰訊云向量數(shù)據(jù)庫后,QQ音樂人均聽歌時長提升3.2%、騰訊視頻有效曝光人均時長提升1.74%、QQ瀏覽器成本降低了37.9%。