文|科技新知
鏖戰(zhàn)一年的“百模大戰(zhàn)”還未結(jié)束,兩個(gè)海外AI巨頭又給國(guó)內(nèi)科技大廠出了難題。
就在春節(jié)假期的尾聲,谷歌和OpenAI毫無征兆地放出了各自的 AI新“核武”。
谷歌拿出的新一代多模態(tài)大模型Gemini 1.5 Pro,將性能提升到了百萬級(jí)別,完全秒殺了OpenAI的GPT-4 Turbo,暫居地表最強(qiáng)。
而后者發(fā)布的首個(gè)文生視頻模型Sora ,則基于視覺美學(xué)的驚艷表現(xiàn),更讓人印象深刻,迅速成為全球科技圈追捧的熱點(diǎn)。
在生成視頻的保真度、長(zhǎng)度、穩(wěn)定性、一致性、分辨率、文字理解等各方面,Sora已經(jīng)超過Gen-2、SVD-XT、Pika等主流產(chǎn)品,做到了當(dāng)前最優(yōu),可以說一出手就是王炸。
去年,國(guó)內(nèi)的百度、阿里、科大訊飛等互聯(lián)網(wǎng)公司紛紛推出了自研大模型,爭(zhēng)搶智能變革時(shí)代的船票;華為、小米、OPPO、vivo等手機(jī)廠商也布局大模型,希望新技術(shù)為見頂?shù)氖袌?chǎng)帶來新的生機(jī);眾多創(chuàng)業(yè)公司也進(jìn)入該賽道,試圖輕裝上陣、彎道超車。
但物理意義上的鴻溝讓國(guó)內(nèi)的大模型產(chǎn)品在性能、生態(tài)等方面還與ChatGPT有著不小的差距。而如今視頻生成模型Sora的誕生,不出意外也將再次掀起一波跟風(fēng)的浪潮。
然而,顛覆性的效果往往來自顛覆性的思路。從當(dāng)前節(jié)點(diǎn)來看,在AI大模型領(lǐng)域國(guó)內(nèi)企業(yè)與世界前端到底還有多大差距?差在哪里?又有哪些種子選手可能脫穎而出?
恐慌
對(duì)于Sora的橫空出世,馬斯克的評(píng)論“gg humans(人類認(rèn)輸了)”,算是一種主流看法。
此前,雖然已經(jīng)有大量文生視頻技術(shù),但尚未實(shí)現(xiàn)技術(shù)收斂,主要實(shí)現(xiàn)路徑是通過各種手段讓單幀的圖片“動(dòng)”起來,類似定格動(dòng)畫。而從用戶的實(shí)際需求來看,視頻每一幀之間的連貫性與自然度是價(jià)值的關(guān)鍵,也就是視頻每幀語(yǔ)義信息的無縫銜接才是核心。
也就是說,Sora這種圍繞需求提供對(duì)應(yīng)技術(shù)解決方案的產(chǎn)品,要遠(yuǎn)遠(yuǎn)優(yōu)于通過技術(shù)可實(shí)現(xiàn)的角度來創(chuàng)造產(chǎn)品。
根據(jù)OpenAI官網(wǎng)上的介紹指出,Sora與之前的文生視頻思路并不一樣,是讓模型一次預(yù)測(cè)多幀畫面,并且確保視頻主體保持不變。這正是其巧妙之處——在視頻幀上做突破,提升了生成視頻的使用上限。
360創(chuàng)始人周鴻祎也給予了極高評(píng)價(jià),他認(rèn)為Sora的誕生意味著AGI(通用人工智能)的實(shí)現(xiàn)可能從十年縮短至一兩年。
作為Sora的前輩,AI文生視頻創(chuàng)企Runway聯(lián)合創(chuàng)始人兼CEO Cristóbal Valenzuela感慨道,以前需要花費(fèi)一年的進(jìn)展,變成了幾個(gè)月就能實(shí)現(xiàn),又變成了幾天、幾小時(shí)。
Sora發(fā)布前還曾有很多煙霧彈式的信息被放出。比如OpenAI 組建了研究?jī)和踩男聢F(tuán)隊(duì),或是正準(zhǔn)備推出 GPT-4.5-turbo,但真正的“殺手級(jí)更新”被隱藏得很好。這也導(dǎo)致像Pika、Runway一樣的明星創(chuàng)業(yè)公司,面對(duì)Sora措手不及。
其實(shí),國(guó)內(nèi)外大廠對(duì)于AI視頻生成的態(tài)度一直模棱兩可。根本問題在于,現(xiàn)在的人工視頻質(zhì)量、效果更好,且成本也能接受;AI 視頻生成此前沒有大家想象的那么顛覆,所以整體策略偏向防御,而非進(jìn)攻。
值得一提的是,國(guó)內(nèi)的字節(jié)跳動(dòng)以及百度的嗅覺更加敏銳。百度早在去年3月文心一言的發(fā)布會(huì)上,便發(fā)布了AI文生視頻的功能,百度AI會(huì)自動(dòng)根據(jù)文字內(nèi)容尋找合適的視頻素材,生成視頻后并自動(dòng)發(fā)布,這是屬于文心一言AIGC的TTV(文本內(nèi)容情感化分析)功能。
字節(jié)跳動(dòng)則在去年11月發(fā)布了PixelDance,可以通過上一個(gè)視頻片段尾幀,為下一個(gè)視頻片段頭幀提供指導(dǎo)的思路,在視頻時(shí)長(zhǎng)上有所突破,但至今仍然沒有開放用戶測(cè)試,所以具體效果如何還是未知。
如果從GPT的發(fā)展路徑來看,所有做AI視頻生成甚至做大模型的公司將面臨新一波危機(jī)。就像周鴻祎所說,盡管國(guó)內(nèi)大模型發(fā)展水平表面看已經(jīng)接近GPT-3.5,但實(shí)際上跟4.0比還有一年半的差距。OpenAl手里應(yīng)該還有一些秘密武器,無論是GPT-5還是機(jī)器自我學(xué)習(xí)自動(dòng)產(chǎn)生內(nèi)容。
但是危險(xiǎn)中也蘊(yùn)藏著機(jī)遇。OpenAI證明了用大模型的思路做視頻是可行的,文生視頻能蔚然成風(fēng)成為全球新一輪AIGC競(jìng)賽的焦點(diǎn),也給短視頻平臺(tái)上的直播電商、內(nèi)容創(chuàng)作等帶來更高的天花板。其他互聯(lián)網(wǎng)企業(yè)和內(nèi)容平臺(tái),需要做的只是證明自己也可以用大模型做出視頻。
從技術(shù)角度來看,Sora屬于多模態(tài)混合模型,由大語(yǔ)言模型和文圖生成器拼接而成。這也意味著多模態(tài)模型迭代節(jié)奏加快,不出意外2024年的第一波AI風(fēng)潮將就此展開。
風(fēng)起
自2022年末ChatGPT嶄露頭角,其強(qiáng)大的影響力如野火燎原般蔓延至國(guó)內(nèi)科技圈。百度、阿里巴巴、騰訊等一眾互聯(lián)網(wǎng)大廠,以及以米OV為代表的智能硬件公司,仿佛嗅到了新時(shí)代的氣息,紛紛宣布推出自家的大模型,意圖在這波AI浪潮中占據(jù)一席之地。
與此同時(shí),文生圖、文生視頻等多模態(tài)AIGC產(chǎn)品也在有序推進(jìn)。實(shí)事求是地來看,AI生文、生圖的應(yīng)用,早已層出不窮,相關(guān)的技術(shù)不斷日新月異。相比之下,AI文生視頻,卻是一個(gè)遲遲未被攻下的陣地,難度和價(jià)值一樣巨大。
公開信息顯示,包括字節(jié)跳動(dòng)、百度、阿里、??低?、萬興科技、拓爾思、當(dāng)虹科技在內(nèi)的科技公司,都在積極布局文生視頻,但與Sora相比存在不小的差距。
簡(jiǎn)單來講,之前的AI文生視頻工具,僅僅停留在“模擬現(xiàn)實(shí)”的層面,Sora則已經(jīng)躍升到了“構(gòu)建現(xiàn)實(shí)”的新高度。兩者的根本區(qū)別在于,前者只是對(duì)現(xiàn)實(shí)世界的表面模仿,難以深入捕捉現(xiàn)實(shí)世界的物理規(guī)則和動(dòng)態(tài)變化;而后者則是在虛擬世界中重新構(gòu)建了一種與現(xiàn)實(shí)世界并行的存在。
Sora不僅學(xué)習(xí)了像素與畫面的呈現(xiàn),更深入理解了現(xiàn)實(shí)世界的“物理規(guī)律”。例如在現(xiàn)實(shí)世界中,我們每咬下一口食物,食物上都會(huì)留下咬痕,這是遵循物理規(guī)則的自然現(xiàn)象。Sora生成的視頻中,同樣能夠精準(zhǔn)地再現(xiàn)這一細(xì)節(jié),做到“咬下去有痕跡”,從而在虛擬世界中完美再現(xiàn)了現(xiàn)實(shí)世界的真實(shí)感。而這是其他文生視頻產(chǎn)品所做不到的。
以百度的文心一言為例,雖然其能夠根據(jù)輸入的文本生成視頻,但在處理復(fù)雜場(chǎng)景和細(xì)節(jié)描繪方面仍存在不足。并且百度AI文生視頻也更像是從已有素材庫(kù)中找到更接近文字意思的視頻進(jìn)行拼接,單靠AI很難生成新的視頻內(nèi)容。
今年初,字節(jié)跳動(dòng)發(fā)布了一款超高清文生視頻模型MagicVideo-V2。據(jù)悉,該模型輸出的視頻在高清度、潤(rùn)滑度、連貫性、文本語(yǔ)義還原等方面,比目前主流的文生視頻模型Gen-2、Stable Video Diffusion、Pika 1.0等更出色。
抖音的張楠已于2月初辭去CEO崗位,聚焦在剪映業(yè)務(wù)上。這意味著,抖音將加強(qiáng)對(duì)AI生圖和視頻產(chǎn)品的布局,其中文生視頻自然是重中之重。
不過在張楠的規(guī)劃中,AI視頻所應(yīng)具備的更高保真度生成效果、更清晰生成畫面、更順暢自然的邏輯理解能力等,也被Sora一朝之間吊打。
相對(duì)于互聯(lián)網(wǎng)巨頭的低調(diào)表現(xiàn),一些上市公司在近期卻積極發(fā)聲,紛紛披露自己在視頻生成模型領(lǐng)域的業(yè)務(wù)情況。
據(jù)不完全統(tǒng)計(jì),包括萬興科技、博匯科技、易點(diǎn)天下、數(shù)碼視訊、漢王科技、當(dāng)虹科技、東方國(guó)信、神思電子、因賽集團(tuán)、拓爾思、國(guó)脈文化、佳都科技在內(nèi)的超10家A股上市公司,近三個(gè)月以來在互動(dòng)平臺(tái)上各自披露了相關(guān)視頻生成模型領(lǐng)域的業(yè)務(wù)情況。
但不能否認(rèn)的是,真正達(dá)到前沿水平的公司鳳毛麟角,許多公司只是在跟風(fēng)炒作,缺乏真正的技術(shù)儲(chǔ)備和研發(fā)能力。
東方國(guó)信直言不諱地表示,他們?cè)贏I視頻生成領(lǐng)域尚無成熟的技術(shù)儲(chǔ)備;而神思電子則回應(yīng)稱,公司正在對(duì)文生圖、圖生文、視頻生文、文生視頻等多模態(tài)數(shù)據(jù)互相跳轉(zhuǎn)的收斂性質(zhì)進(jìn)行深入研究,言下之意,他們?cè)谶@方面的技術(shù)也還在探索階段。
AI文生視頻的顛覆性,可以具體到實(shí)際運(yùn)用層面來看。圖片、視頻生成能幫助提高企業(yè)的商業(yè)化需求,如幫助降低廣告客戶成本、便捷制作視頻等。拿字節(jié)跳動(dòng)舉例,其廣告客戶投放總成本中有一到兩成為視頻制作成本,而去年開始字節(jié)已經(jīng)用相關(guān)產(chǎn)品幫助廣告客戶壓縮這部分投入。
與上一波ChatGPT的風(fēng)潮相似,盡管在推出類似AI文生視頻產(chǎn)品方面國(guó)內(nèi)企業(yè)難免落后一步,但也不失為一個(gè)摸著Sora過河的機(jī)會(huì)。
涌動(dòng)
從全球市場(chǎng)來看,AI仍然引領(lǐng)著整個(gè)科技商業(yè)前進(jìn)的方向,而且多模態(tài)成為主流。從大語(yǔ)言模型到多模態(tài),再到通用人工智能的路徑已經(jīng)逐漸清晰,分歧點(diǎn)還是在于節(jié)奏的判斷。
此前,OpenAI花了大約半年時(shí)間來測(cè)試大語(yǔ)言模型GPT-4。如果測(cè)試Sora需要差不多的時(shí)長(zhǎng),這個(gè)強(qiáng)大的視頻生成工具可能會(huì)在今年8月份開放。而這半年時(shí)間便是其他企業(yè)積累力量的窗口期。
畢竟ChatGPT已經(jīng)問世一年多,但還有大量用戶沒有使用過聊天機(jī)器人相關(guān)產(chǎn)品,這也為其他企業(yè)迎頭趕上提供了機(jī)會(huì)。
而目前國(guó)內(nèi)企業(yè)面臨的最大問題,還在于第一梯隊(duì)的AI公司如百度、科大訊飛的股價(jià),因各種原因被打到了地板價(jià),而國(guó)外的頂級(jí)企業(yè),如英偉達(dá)、微軟的股價(jià)創(chuàng)出新高,OpenAI的估值仍然在不斷上升。這也意味著海內(nèi)外AI企業(yè)在資本、人才、技術(shù)、市場(chǎng)號(hào)召力等方面存在著天然的優(yōu)劣差異。
周鴻祎認(rèn)為,科技競(jìng)爭(zhēng)最終比拼的是人才密度和深厚積累。事實(shí)也是如此,Sora應(yīng)用的是Transformer+Diffusion。從模型架構(gòu)來看,如果以Transformer為基準(zhǔn),那么文生視頻依舊是龍頭科技企業(yè)更有優(yōu)先權(quán),但是如果生成式視頻架構(gòu)依舊圍繞Diffusion展開的話,創(chuàng)業(yè)企業(yè)機(jī)會(huì)要更大一些。
不過沒有一騎絕塵的技術(shù),只有螺旋式上升的產(chǎn)業(yè)繁榮。
Sora雖然可以一次性生成幾十秒到一分鐘的視頻,但是真正在應(yīng)用階段,如果產(chǎn)品沒有提供足夠多的微操空間,確保用戶能夠?qū)⑵湔系阶约旱墓ぷ髁髦校敲创蟾怕室仓荒芙泻貌唤凶?/p>
好在技術(shù)的擴(kuò)散才剛剛開始,不會(huì)有任何一家公司“猝死”在新技術(shù)的出現(xiàn)上。OpenAI更像是一個(gè)開拓者,強(qiáng)項(xiàng)在于鋪路,普及應(yīng)用尚需要生態(tài)的力量。
就像是在文生文模型上的模塊化組合,是否會(huì)有類似手機(jī)、智能音箱一樣的專有智能設(shè)備問世?讓更多用戶可以在端側(cè)使用模型,構(gòu)建起開源+小參數(shù)模型+移動(dòng)端的思路,把當(dāng)下的產(chǎn)品做一次革新。這是國(guó)內(nèi)廠商所擅長(zhǎng)的,但同時(shí)也是未來內(nèi)卷的陣地。
從單點(diǎn)的突破來看,Sora具有里程碑意義;但是從商業(yè)化需求和混剪工作流效率提升來看,Sora本身的價(jià)值和落地效果還有待考究。
想僅靠AI生成的一分鐘視頻成為下一個(gè)董宇輝、李佳琪并不現(xiàn)實(shí),更別說制作長(zhǎng)視頻或者電影、電視劇了,即便是做一個(gè)短視頻,是通過一遍遍修改提示詞更加有效率,還是在視頻剪輯軟件里按照創(chuàng)作者的想法調(diào)整素材更快?顯然,期待Sora變得更強(qiáng),不如期待視頻剪輯軟件中盡早增添AI模塊,從而切實(shí)提升工作效率。
即使最終Sora全面放開注冊(cè),普通用戶也難以做出如當(dāng)前演示案例般的視頻Demo。所以最終各個(gè)大廠的決勝點(diǎn)還是在于如何普及多模態(tài)的應(yīng)用,如何在工具中加入AI功能,更直接地優(yōu)化工作流程。
新興技術(shù)具有普適性,并不是某個(gè)企業(yè)的專屬。對(duì)于國(guó)內(nèi)企業(yè)來說,在多模態(tài)上的探索不妨可以參考GPT的發(fā)展、落地方式,在特定垂直領(lǐng)域的應(yīng)用層面找到自身的優(yōu)勢(shì),并以此作為方向?qū)崿F(xiàn)快速發(fā)展。
只是在這個(gè)過程中,拼的還是人才密度、落地程度以及犯錯(cuò)誤的次數(shù)。