OpenAI的文生視頻大模型Sora已經(jīng)發(fā)布兩天,其沖擊力依然不減。
2月18日,新京報(bào)貝殼財(cái)經(jīng)記者進(jìn)行了Sora與其他文生視頻大模型的對(duì)比測(cè)試,發(fā)現(xiàn)Sora在時(shí)間和視頻生成質(zhì)量上均對(duì)“同行”產(chǎn)生了“降維打擊”:其他文生視頻大模型僅能生成3至4秒的視頻,而Sora生成的視頻時(shí)間最多可達(dá)1分鐘,且景物也更加清晰穩(wěn)定、符合描述。
不過(guò),隨著越來(lái)越多使用Sora制作的視頻出現(xiàn)以及部分技術(shù)細(xì)節(jié)的公開,業(yè)界開始對(duì)其進(jìn)行全方位審視,其中,贊揚(yáng)和驚嘆聲不少,但Sora生成的視頻也被發(fā)現(xiàn)存在諸多不合理之處。
文生視頻對(duì)比實(shí)測(cè):Sora從“動(dòng)圖”升級(jí)到“短片”
“一個(gè)時(shí)髦的女人走在東京的街道上,街道上充滿了溫暖發(fā)光的霓虹燈和生動(dòng)的城市標(biāo)志。她穿著一件黑色的皮夾克,一件紅色的長(zhǎng)裙,一雙黑色的靴子,還帶著一個(gè)黑色的錢包。她戴著太陽(yáng)鏡,涂著紅色的口紅。她自信而隨意地走著。街道是潮濕和反光的,創(chuàng)造了一個(gè)五顏六色的燈的鏡面效果。許多行人走來(lái)走去。”這是OpenAI官網(wǎng)介紹Sora時(shí),出現(xiàn)的第一組提示詞。
在OpenAI推出Sora之前,文生視頻領(lǐng)域的創(chuàng)業(yè)公司主要包括Pika、Runway等,為了驗(yàn)證Sora的能力,新京報(bào)貝殼財(cái)經(jīng)記者將上述同樣的提示詞輸入Pika文生視頻模型,以及Runway旗下的Gen-2video文生視頻模型進(jìn)行了實(shí)測(cè)。
在相同提示詞下,新京報(bào)貝殼財(cái)經(jīng)記者使用Pika生成的視頻截圖。
在相同提示詞下,新京報(bào)貝殼財(cái)經(jīng)記者使用runway旗下Gen-2video生成的視頻截圖。
OpenAI官網(wǎng)上Sora生成的視頻。
貝殼財(cái)經(jīng)記者發(fā)現(xiàn),在相同的提示詞下,Pika僅能生成3秒的視頻,Gen-2video則可以生成4秒的視頻。其中,Pika的視頻為“時(shí)髦女人”的背影,無(wú)法體現(xiàn)她“戴著太陽(yáng)鏡,涂著紅色的口紅”的描述,不過(guò)對(duì)于提示詞中“潮濕反光的街道和五顏六色燈的鏡面效果”體現(xiàn)得較好,但整體上視頻較為模糊。
Gen-2video則跳出了“無(wú)法輸入這么多提示詞”的彈窗,并根據(jù)能夠輸入的部分生成了一個(gè)4秒的視頻,該視頻相比Pika顯然精細(xì)很多,也符合提示詞描述的人物形象,包括“街道、人群、黑錢包”等。
但可以發(fā)現(xiàn),無(wú)論是Pika還是Gen-2video,都忽略了“一件紅色的長(zhǎng)裙”這個(gè)細(xì)節(jié),且貝殼財(cái)經(jīng)記者通過(guò)觀看視頻發(fā)現(xiàn),這兩段視頻仍能看出AI生成的影子,特別是Gen-2video的人物臉部,有細(xì)微的形變,這正是AI生成視頻的特點(diǎn)之一:難以始終保持同一人物的連貫性。
而Sora不僅體現(xiàn)了提示詞中的全部細(xì)節(jié),而且還很好地保持了人物的連貫性,使得該視頻幾乎可以“以假亂真”。當(dāng)然,如果仔細(xì)觀察,可以發(fā)現(xiàn)該視頻中人物的腳步在某幾個(gè)幀會(huì)出現(xiàn)不自然的扭曲,以及該視頻中的背景廣告牌雖然酷似日文,但由于目前AI還無(wú)法直接在視頻中“認(rèn)識(shí)”文字,其只能生成似是而非的“日文”,這都是AI生成視頻的特點(diǎn)之一。
但即便如此,Sora還是用事實(shí)顯現(xiàn)出了同其他文生視頻大模型的代差。
在谷歌和推特都有從業(yè)經(jīng)歷的AI創(chuàng)業(yè)者Gabor Cselle也發(fā)布了使用相同提示詞,在其他四個(gè)文生視頻模型中“復(fù)現(xiàn)”Sora“穿過(guò)下雪、櫻花飛舞的東京街道……”的場(chǎng)景,并表示“其他模型達(dá)不到能和Sora比較的效果”。
Gabor Cselle社交賬號(hào)截圖。
在國(guó)內(nèi),也有不少AI從業(yè)者直觀地感受到了Sora帶來(lái)的沖擊。
清華大學(xué)沈陽(yáng)教授團(tuán)隊(duì)一直聚焦AI在各個(gè)領(lǐng)域的應(yīng)用,并也一直在使用AI模型進(jìn)行文生視頻的操作。2月17日,他在朋友圈發(fā)布了一條團(tuán)隊(duì)成員花兩天制作的“半失敗”AI視頻,并表示“從這里可以看出和Sora的差距,我讓她暫時(shí)放棄這個(gè)作品,等算法升級(jí)再重做一下。”
對(duì)于Sora出現(xiàn)后,使用AI制作視頻的工作能否繼續(xù),沈陽(yáng)回復(fù)貝殼財(cái)經(jīng)記者“慢慢弄,往前挪唄”。
理解物理世界顛覆影視、游戲行業(yè) Sora是“通用世界模型”嗎?
為何Sora能夠在視頻生成的質(zhì)量上明顯領(lǐng)先同業(yè)產(chǎn)品?OpenAI在官方網(wǎng)站上表示,Sora是能夠理解和模擬現(xiàn)實(shí)世界的模型的基礎(chǔ),相信這一能力將是實(shí)現(xiàn)通用人工智能的重要里程碑。不過(guò),Sora還存在很多不完善之處,仍然處于世界模型研究應(yīng)用的初期階段。
什么是世界模型?貝殼財(cái)經(jīng)了解到,實(shí)際上runway公司在去年12月就提出過(guò)要開發(fā)通用世界模型(General World Model),用其旗下的Gen-2模型來(lái)模擬整個(gè)世界,“我們相信,人工智能的下一個(gè)重大進(jìn)步將來(lái)自理解視覺(jué)世界及其動(dòng)態(tài)的系統(tǒng),這就是為什么我們要圍繞通用世界模型開始一項(xiàng)新的長(zhǎng)期研究工作。”
從效果上看,目前OpenAI已經(jīng)通過(guò)Sora部分做到了這一點(diǎn),因?yàn)橹挥欣斫馕锢硎澜绲倪\(yùn)行法則,文生視頻模型才能創(chuàng)造出更加逼真的視頻。英偉達(dá)高級(jí)科學(xué)家Jim Fan就對(duì)此表示,Sora是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的物理引擎,“它是對(duì)許多世界的模擬,無(wú)論是真實(shí)的,還是虛構(gòu)的。該模擬器通過(guò)去噪和梯度學(xué)習(xí)方式,學(xué)習(xí)了復(fù)雜的渲染、直觀的物理、長(zhǎng)期推理和語(yǔ)義理解。”
而理解現(xiàn)實(shí)世界的物理法則,也正是通往通用人工智能這一“終極目標(biāo)”的必經(jīng)之路。
對(duì)此,不少科技圈名人都發(fā)出了驚嘆,馬斯克直接在社交平臺(tái)上發(fā)布短評(píng)“GG世界”(GG是網(wǎng)絡(luò)游戲的用語(yǔ)之一,原指游戲結(jié)束時(shí)玩家互相致意,后引申為“游戲結(jié)束”)。
360公司董事長(zhǎng)周鴻祎則直接在朋友圈發(fā)文稱,一旦AI能夠接上攝像頭,觀看并理解世界上所有的電影,它對(duì)世界的理解能力將遠(yuǎn)遠(yuǎn)超過(guò)僅僅通過(guò)文字學(xué)習(xí)所能達(dá)到的水平。在這種情況下,實(shí)現(xiàn)通用人工智能不再是遙不可及的夢(mèng)想。周鴻祎甚至預(yù)測(cè),這一天可能在一兩年內(nèi)就會(huì)到來(lái),而不是十年或二十年。
在現(xiàn)實(shí)層面,有更多人擔(dān)心文生視頻大模型可能直接沖擊影視和游戲行業(yè)。美國(guó)舊金山早期投資人Zak Kukoff預(yù)測(cè),在5年內(nèi),一個(gè)不到5人的團(tuán)隊(duì)將可能用文生視頻模型制作出一部票房收入超過(guò)5000萬(wàn)美元的電影。
值得注意的是,日前大火的游戲《幻獸帕魯》的開發(fā)團(tuán)隊(duì)就僅有4人,有許多人質(zhì)疑該團(tuán)隊(duì)使用了AI生成技術(shù)制作游戲角色,以節(jié)省成本。而根據(jù)OpenAI 發(fā)布的最新Sora技術(shù)報(bào)告,Sora能夠模擬視頻游戲的數(shù)字化過(guò)程,Sora能在控制 Minecraft 游戲角色進(jìn)行基本操作的同時(shí),高質(zhì)量動(dòng)態(tài)渲染游戲世界。這意味著,個(gè)人開發(fā)制作游戲的門檻可能會(huì)被進(jìn)一步降低。
前阿里巴巴副總裁,Lepton AI公司創(chuàng)始人賈揚(yáng)清則直接評(píng)價(jià)Sora“真的非常牛”,他表示Sora的問(wèn)世可能會(huì)給對(duì)作OpenAI的公司帶來(lái)一波被大廠FOMO(害怕錯(cuò)過(guò)機(jī)會(huì)而導(dǎo)致的收購(gòu))收購(gòu)的機(jī)會(huì)。賈揚(yáng)清預(yù)測(cè),大模型市場(chǎng)長(zhǎng)期仍將呈現(xiàn)閉源寡頭的格局,開源大模型仍然需要一段時(shí)間才能追趕上,而從算法小廠的角度來(lái)看,要么在算法上與OpenAI媲美,要么深耕垂直領(lǐng)域的應(yīng)用,要么選擇開源道路;最后,基礎(chǔ)設(shè)施的需求將繼續(xù)猛增。