天眼查知識(shí)產(chǎn)權(quán)信息顯示,近期,快手關(guān)聯(lián)公司北京達(dá)佳互聯(lián)信息技術(shù)有限公司申請(qǐng)的“圖生視頻模型生成方法、視頻生成方法及裝置”專利公布。
摘要顯示,本專利所述生成視頻方法包括:輸入樣本圖像和樣本文本描述信息至預(yù)設(shè)文生視頻模型;基于空間模塊對(duì)樣本圖像和樣本文本描述信息進(jìn)行空間特征提取處理,得到第一樣本特征處理結(jié)果;基于時(shí)序自注意力模塊對(duì)第一樣本特征處理結(jié)果進(jìn)行處理,得到第二樣本特征處理結(jié)果;以及基于運(yùn)動(dòng)適配器模塊對(duì)第一樣本特征處理結(jié)果進(jìn)行運(yùn)動(dòng)信息控制,得到第三樣本特征處理結(jié)果;根據(jù)第二樣本特征處理結(jié)果和第三樣本特征處理結(jié)果生成預(yù)測(cè)視頻數(shù)據(jù);根據(jù)預(yù)設(shè)視頻數(shù)據(jù)和樣本視頻數(shù)據(jù)更新空間模塊和運(yùn)動(dòng)適配器模塊的參數(shù),得到圖生視頻模型。本公開能夠控制生成視頻的運(yùn)動(dòng)信息,且降低對(duì)系統(tǒng)資源的消耗。