文|零態(tài)LT 吳狄
編輯|胡展嘉
運(yùn)營|陳佳慧
周鴻祎又口出狂言了。
他說,“AGI(通用人工智能)的實(shí)現(xiàn)將從10年縮短到1年”,而背后的原因,僅僅是因?yàn)橐粋€1分鐘的短視頻。
注意看,這個女人叫小美,她正向我們走來。雖然身處日本某條熱鬧的大街,小美卻總是不停地回頭張望,似乎在暗示觀眾鏡頭之外隱藏了不為人知的秘密。
圖:主角出場
鏡頭拉近,可以清晰看到小美修長的脖子和優(yōu)美的下頜線,讓整個畫面充滿了令人無法抗拒的神秘和美感。
實(shí)際上,整個短視頻中,從街景到行人,包括小美,在現(xiàn)實(shí)中根本不存在。這是OpenAI最新產(chǎn)品Sora制作的演示視頻,而正是這個視頻,讓周鴻祎做出了AGI發(fā)展將會10倍提速的預(yù)言。
傳統(tǒng)方式制作這樣一段1分鐘的視頻成本非常高。除了需要選址,選演員,提前進(jìn)行分鏡構(gòu)圖,架設(shè)機(jī)位外等,想要碰上如此理想的天氣,還需要賭一賭運(yùn)氣。落日轉(zhuǎn)瞬即逝,一旦失誤就只能第二天重頭來過。
拍攝完成后,是非常耗時的后期制作。不僅要調(diào)整畫面色調(diào),還要仔細(xì)核對畫面中是否有瑕疵,比如眼鏡反射的畫面會不會導(dǎo)致穿幫、路人中是否出現(xiàn)不協(xié)調(diào)元素等等。
但Sora出馬,全部流程就是(字面意義上的)一句話的事。
Sora官網(wǎng)上公布了十幾段“制作”精良的高清演示短片, 從現(xiàn)實(shí)人物到3D動畫,所有短片都是通過一句話生成的。
看過這些短片后,我科技圈的朋友集體表示“炸裂”;大眾圈的朋友表示“AI都到了這種程度了嗎”;而攝影圈的朋友表示,盡管還是能看出和人類攝影師有一點(diǎn)點(diǎn)差距,但依然被Sora的效果震撼了,進(jìn)而紛紛開始和我討論起失業(yè)以后,除了送外賣還可以從事什么工作。
但如果我們拋開網(wǎng)上鋪天蓋地、對Sora近乎玄幻的贊譽(yù),跳出官網(wǎng)演示視頻的魅惑就會發(fā)現(xiàn),Sora本質(zhì)上是生成式AI在視頻領(lǐng)域的一個應(yīng)用,一個diffusion transformer模型。
而官方宣傳的Sora所有功能,例如通過文字或者圖片生成高清短視頻,在此基礎(chǔ)上進(jìn)行擴(kuò)展生成一段更長的視頻等,其實(shí)很多公司都在做。比較知名的產(chǎn)品包括已經(jīng)商用的Runway,免費(fèi)的Pika,以及還在完善階段的Google Lumiere、Meta Make-A-Video,還有一些知名度稍低的產(chǎn)品如Leonardo,F(xiàn)inalFrame等等。
這里就有一個很大的疑問:憑什么出圈的又是Sora,它真有網(wǎng)上說的那么神嗎?
01 憑借更逼真的效果,OpenAI再次出圈
1月24日,谷歌研究人員公布了一段Lumiere的演示視頻。畫質(zhì)非常高清,且真實(shí)。
圖:由Lumiere生成的游泳海龜視頻
Lumiere除了可以生成真實(shí)圖片外,還可以實(shí)現(xiàn)一鍵換裝、根據(jù)圖片和提示詞生成動態(tài)視頻等功能。
圖:一鍵換裝
2月15日,剛剛過完情人節(jié)的谷歌在瘋狂星期四又重磅推出了下一代AI產(chǎn)品Gemini 1.5。在此前的演示視頻中,Gemini已經(jīng)展現(xiàn)了其在圖像識別和多輪對話中的逆天能力。
演示視頻中,演示人員畫了一個類似鴨子的輪廓讓Gemini辨認(rèn),Gemini表示它覺得像個鳥。
圖:Gemini演示
但是當(dāng)演示人員畫上了波浪后,Gemini表示通過長脖子長嘴又會游泳這幾個依據(jù),判斷這是只鴨子。
圖:Gemini演示
隨后演示人員拿了個玩具小鴨子問Gemini這個東西是什么材質(zhì)做的,Gemini表示看起來可能是橡膠也可能是塑料。而當(dāng)演示人員捏響橡膠鴨子后,Gemini立刻判斷出是用柔軟的橡膠做成的。
圖:Gemini演示
就在圈內(nèi)很多人認(rèn)為谷歌將要憑借Lumiere和Gemini拿下今年頭條的時候,OpenAI僅僅用Sora就輕松獲得了更高的關(guān)注度。
Sora這個詞很有意思,它在韓語中表示海螺殼,在日語中表示天空,在芬蘭語中表示砂礫。這就很難不讓人想到《海底兩萬里》的鸚鵡螺號,《沙丘》,以及“我們的目標(biāo)是星辰大?!钡暮狼閴阎?。
而且Sora是一個比較常見的名字,比Lumiere(法語,光)更短、更好讀。
和GPT當(dāng)年的故事如出一轍,Sora也是踩著競爭對手以碾壓式的優(yōu)勢勝出。相比同類產(chǎn)品,Sora能抓住提示詞的精髓,巧妙地生成具有多個角色和特定動作的場景。
有人做過對比,使用同樣的提示詞,讓AI生成一個在花園里、似乎正在追逐什么東西、快樂奔跑的黃白相間的貓,最終結(jié)果的差距十分明顯。
圖:不同AI產(chǎn)品的效果對比
上面由Sora生成的視頻看起來非常真實(shí),甚至在奔跑時候,貓腮幫子上的毛都會隨著腦袋起伏。而下面通過Pika, Runway, Leonardo, FinalFrame生成的視頻,貓不僅看起來不像真的,連動作都很詭異。
在生成的視頻時長上,Sora也碾壓友商。Sora可以生成1分鐘的視頻,相對的,Pika是3秒,Runway是4秒,Lumiere是5秒。
最重要的是,Sora有望解決一個生成式AI的痛點(diǎn),那就是同樣的提示詞通常不會生成同樣的結(jié)果,例如“黃白相間的貓”這個提示詞,不同的視頻里會出現(xiàn)不同模樣的黃白相間的貓。導(dǎo)致的結(jié)果,就是無法通過拼接來創(chuàng)作更長的視頻。
盡管Sora一出道就秀出了遠(yuǎn)超同行的肌肉,但Sora并沒有選擇像Pika、Runway一樣,開放給大眾使用,而是采取了Google、Meta類似的保守策略,先官宣來吊足大家胃口,然后慢慢內(nèi)測,等待一個合適的時機(jī),再向大眾開放。
因?yàn)?,有很多關(guān)鍵問題,大家都沒有找到好的解決方案。
02 AI一調(diào)皮,人類就頭疼
生成式AI天生就有一個“不按物理定律出牌”的老毛病,即便是看起來已經(jīng)非常接近真實(shí)世界的Sora也不例外。這個問題過于明顯,以至于OpenAI都懶得去遮掩,干脆自己先大方的說了出來。
從內(nèi)測用戶流出的視頻可以發(fā)現(xiàn),Sora無視物理法則隨意發(fā)揮的意愿十分高漲,而這種意愿在“必須還原物理世界”的規(guī)則約束下,很容易生成像人類做夢一樣的場景。有過做夢經(jīng)歷的朋友應(yīng)該會這樣的體會:明明夢是虛幻的,但在夢里你的感受又很“真實(shí)”。
下面就是個很典型的例子。
圖:Sora的夢境物理
注意看,視頻中的這個杯子莫名其妙的跳了起來并側(cè)翻在桌面上,杯中的液體在杯子跳起來的一瞬間穿透了杯底鋪滿桌面,而最終杯子連同里面剩余的液體一起,融進(jìn)了桌面。
圖:融進(jìn)桌面的杯子
這樣的視頻顯然無法應(yīng)用在正式的場合,大概率只能出現(xiàn)在B站的鬼畜區(qū),告訴你一個學(xué)了3年動畫的人,是如何因?yàn)橐粋€畢業(yè)作品被老師轟出門外的故事。
此外,Sora對算力有很高的要求。下面這個視頻演示了低算力和高算力之間的差距能有多可怕。
圖:算力差距
而想要高算力,就得花更多的錢。
以Runway為例,個人版收費(fèi)模式分3檔,標(biāo)準(zhǔn)版為每月15美元,可以制作一個125秒的Gen-1視頻,或者44秒的Gen-2視頻,相當(dāng)于每秒1-2.4元人民幣,超出部分需要額外付費(fèi)。Pro版每月35美元,至尊版每月95美元。而用戶如果希望加快視頻的產(chǎn)出效率,也需要額外購買“時間”。
03 能力越大,危險越大
生成式AI在社會層面有幾個老生常談的問題。
首先就是造假問題。AI生成的視頻越真實(shí),造假就越容易。最直接的解決辦法是將AI生成的內(nèi)容打上一個特殊的標(biāo)簽,以便于平臺將其和人工拍攝的視頻進(jìn)行區(qū)分,OpenAI和Google的確也在做這件事。
但水印的問題在于,它可以在分享的過程中會被人惡意抹除。例如通過截圖、錄屏的方式獲得視頻副本,不會帶有任何水印。
其次是版權(quán)問題。版權(quán)問題比造假更加復(fù)雜,它既是一個形而上的宏大概念,又和每一個創(chuàng)作者的個人利益息息相關(guān)。目前對版權(quán)的爭論主要集中在AI和人類對齊的過程中,比如,AI通過學(xué)習(xí)別的藝術(shù)家的風(fēng)格在此基礎(chǔ)上進(jìn)行的創(chuàng)作,和人類以同樣方式進(jìn)行的創(chuàng)作,本質(zhì)上有沒有區(qū)別?
而更直白的問題則是,AI到底是來幫我賺錢的,還是來跟我搶錢呢?
這些問題一個比一個難解決,也就意味著Sora們至少在短時間內(nèi)不會向公眾開放。從某種角度來看,這或許對于視頻制作者是一個好消息,至少有了更多的緩沖時間,來思考如何應(yīng)對接下來Sora們帶來的沖擊。
無論如何,Sora們向公眾開放,只是時間問題,至于會不會像周鴻祎預(yù)言的那么快,可能還存在疑問。但有一點(diǎn)毫無疑問:
那時候的Sora們,將比現(xiàn)在更加強(qiáng)大。