近期,阿里巴巴(中國)有限公司在視頻生成技術領域的一項新進展引起了廣泛關注。據(jù)天眼查知識產(chǎn)權(quán)信息透露,該公司已成功獲得“一種圖生視頻方法和裝置”的專利授權(quán),標志著其在智能化視頻生成領域取得了重要突破。
該專利的核心技術在于實現(xiàn)智能化、端到端的圖像到視頻的轉(zhuǎn)換過程。具體而言,這一方法首先會將包含目標對象的源圖像輸入至一個先進的視頻生成模型中,以此為基礎生成初步的素材視頻。隨后,系統(tǒng)會分析素材視頻,確定幀間變換矩陣序列,為后續(xù)的圖像處理提供關鍵數(shù)據(jù)支持。
在此基礎上,專利進一步利用源圖像生成目標對象對應的對象掩碼圖像。通過應用幀間變換矩陣序列,系統(tǒng)能夠生成一系列掩碼圖像和目標對象圖像。這些圖像序列為后續(xù)的視頻生成提供了豐富的素材。
接下來,系統(tǒng)會整合源圖像、掩碼圖像序列和目標對象圖像序列,形成目標輸入數(shù)據(jù)。這些數(shù)據(jù)隨后被送入另一個支持局部重繪的視頻生成模型中,經(jīng)過精細處理,最終生成高質(zhì)量的目標視頻。這一過程巧妙地結(jié)合了兩次模型生成,不僅顯著提升了視頻生成的智能化程度,還確保了目標對象在視頻中的運動軌跡多樣且自然,避免了不必要的擴散現(xiàn)象。
尤為該專利無需預設運動參數(shù)即可實現(xiàn)上述復雜的視頻生成過程。這一創(chuàng)新特性賦予了視頻生成更大的靈活性和多樣性,使其能夠適應更多樣化的應用場景需求。無論是廣告制作、動畫制作還是虛擬現(xiàn)實等領域,該技術都有望發(fā)揮重要作用。