2024年2月發(fā)布的文生視頻模型Sora引起關(guān)注。這一技術(shù)的問世被認(rèn)為是視頻生成領(lǐng)域的重大突破。對比同樣引起轟動(dòng)的ChatGPT，二者在技術(shù)路線和產(chǎn)品定位上有所聯(lián)系，又有所區(qū)別。一方面Sora結(jié)合了ChatGPT所采用的模型架構(gòu)，能夠結(jié)合數(shù)個(gè)靜止畫面生成連續(xù)的視頻，也可以自動(dòng)修補(bǔ)殘缺的視頻段。另一方面Sora和ChatGPT都有良好的自然語言理解能力，可以根據(jù)用戶的描述生成與調(diào)整視頻內(nèi)容，也可以對用戶提供的素材進(jìn)行總結(jié)歸納和補(bǔ)充。Sora的問世是OpenAI在模型架構(gòu)、數(shù)據(jù)管理等方向積累創(chuàng)新的結(jié)果，其背后是GPT系列的技術(shù)轉(zhuǎn)化和新技術(shù)創(chuàng)新的融合。ChatGPT側(cè)重于對文本內(nèi)容的理解和生成，用戶可以與之進(jìn)行對話問答，也可以指令其撰寫文章、編寫代碼等，其基礎(chǔ)功能主要由文字交互實(shí)現(xiàn)。最常見的應(yīng)用場景主要是文本內(nèi)容的處理，包括對文字的解讀、重組、拓展、排序等。Sora則側(cè)重于視頻內(nèi)容的創(chuàng)造，其核心功能是根據(jù)文本提示生成視頻內(nèi)容，在理解和模擬物理世界的前提下，構(gòu)造出虛擬的世界并展現(xiàn)這個(gè)世界的交互規(guī)律。
文生視頻模型都在多個(gè)方面表現(xiàn)出強(qiáng)大的能力，但其本身并不完美。類似的生成式模型仍然存在一些問題，如不能完全反映所有的物理規(guī)律，主要表現(xiàn)為一些違背生活常識和科學(xué)認(rèn)識的情況仍然會(huì)發(fā)生。上述文生視頻模型缺陷由來已久，并且在短期內(nèi)難以得到很好的解決，在維持、擴(kuò)大模型優(yōu)勢的同時(shí)克服這些缺陷將成為人工智能產(chǎn)業(yè)下一階段的重點(diǎn)。
首先文生視頻模型的首要缺陷是其巨量的算力資源消耗。相較于主流的大語言模型算力，圖像參數(shù)要占用更多的算力資源。為了追求更好的模型性能，全球人工智能產(chǎn)業(yè)的算力需求還會(huì)進(jìn)一步提高，算力匱乏的國家和地區(qū)將處于技術(shù)不利地位。
其次是模型幻覺現(xiàn)象依然嚴(yán)重。與文本生成模型類似，視頻生成模型也受幻覺效應(yīng)影響。訓(xùn)練數(shù)據(jù)在壓縮等處理環(huán)節(jié)中失真、用戶提示詞過于模糊或者根據(jù)安全策略不能響應(yīng)時(shí)，模型會(huì)被迫填補(bǔ)空缺內(nèi)容。這種填補(bǔ)有可能使模型陷入幻覺認(rèn)識，輸出與事實(shí)不符或者用戶未要求的內(nèi)容。
最后是生成視頻細(xì)節(jié)上存在常識性錯(cuò)誤。文生視頻模型對物理法則的認(rèn)識還停留在初級階段，它能夠正確反映人和物體宏觀上的互動(dòng)關(guān)系，但還不能準(zhǔn)確把握涉及物體形狀改變的物理規(guī)律。生成式人工智能既可能因?yàn)槿狈φJ(rèn)知而生成錯(cuò)誤內(nèi)容，也可能因?yàn)楸徊划?dāng)灌輸認(rèn)知而生成錯(cuò)誤內(nèi)容。比如，當(dāng)人物咬下一口餅干后，餅干卻依舊保持完整。雖然這類常識性錯(cuò)誤通常被控制在很小的規(guī)模，但依舊說明模型對真實(shí)物理規(guī)律的理解還停留在較淺層次。
Sora的技術(shù)路線和性能表現(xiàn)依托于大語言模型基座提供的強(qiáng)大的自然語言理解能力。未來用戶與生成式人工智能的交互會(huì)越來越輕松，模型也會(huì)因?yàn)楸淮罅坑脩羰褂枚玫竭M(jìn)一步的反饋訓(xùn)練。研發(fā)能夠理解、再現(xiàn)甚至模擬物理交互的生成式人工智能將成為新的產(chǎn)業(yè)發(fā)展方向。
一是媒體行業(yè)能夠借助此類工具提高內(nèi)容生產(chǎn)效率，包括電視劇、電影、自媒體等行業(yè)在內(nèi)。隨著生成時(shí)長、場景準(zhǔn)確度、提示詞遵循度等性能指標(biāo)的不斷提升，生成式人工智能將有效降低媒體行業(yè)的制作成本和從業(yè)門檻，改變媒體行業(yè)的內(nèi)容生態(tài)。融合各種模型架構(gòu)的生成式人工智能還將在未來勝任不同內(nèi)容的具體任務(wù)，例如可以同時(shí)參與電影的腳本編寫、選角協(xié)助、鏡頭規(guī)劃和剪輯輔助等。在完整意義上的通用人工智能出現(xiàn)以前，可以并行承擔(dān)某個(gè)領(lǐng)域或行業(yè)內(nèi)所有工作的準(zhǔn)通用人工智能可能會(huì)先一步進(jìn)入社會(huì)生產(chǎn)當(dāng)中。
二是創(chuàng)意產(chǎn)業(yè)生態(tài)會(huì)因生成式人工智能的不斷發(fā)展而變化。文生視頻模型所生成的虛擬視頻具備想象力和設(shè)計(jì)感，能根據(jù)關(guān)鍵詞、圖片或視頻生成相關(guān)內(nèi)容，創(chuàng)作者可以將自己的設(shè)計(jì)、思路和半成品交給人工智能，讓其生成完整的創(chuàng)意作品；或者找尋已有作品中的可改進(jìn)之處?，F(xiàn)階段的生成式人工智能多搭載連接多個(gè)不同媒體形式的功能，可以融合文字、聲音、圖像、視頻等各形式素材，創(chuàng)造極其豐富的內(nèi)容。生成式人工智能產(chǎn)業(yè)會(huì)不斷強(qiáng)化模型對人思想的呈現(xiàn)能力，大幅降低內(nèi)容創(chuàng)作者的門檻。普通人也將有機(jī)會(huì)描繪自己心中的藝術(shù)世界，創(chuàng)意作品的內(nèi)容和形式將變得更加豐富，創(chuàng)意產(chǎn)業(yè)有望迎來新的發(fā)展。
三是游戲與仿真產(chǎn)業(yè)將借助生成式人工智能獲得新的發(fā)展方向。新一代生成式人工智能展現(xiàn)出的數(shù)字模擬能力無疑會(huì)進(jìn)一步降低游戲的制作門檻，使小團(tuán)隊(duì)也能獨(dú)立完成大制作的開發(fā)；這項(xiàng)突破還給數(shù)字仿真帶來了新的技術(shù)路線——如果生成式人工智能能夠正確且精準(zhǔn)地認(rèn)識物理規(guī)律，那么利用模型演算、預(yù)測復(fù)雜事件走向?qū)⒊蔀榭赡堋Ｎ磥?，生成式人工智能?huì)越來越接近一個(gè)完整的虛擬世界引擎。
四是生成式人工智能有望成為元宇宙世界的基點(diǎn)，它們的表現(xiàn)在一定程度上融合了虛擬與現(xiàn)實(shí)，一旦與物聯(lián)網(wǎng)、腦機(jī)接口等前端技術(shù)結(jié)合，將會(huì)給社會(huì)帶來全新的信息交互方式。在大規(guī)模的訓(xùn)練后，不僅可以通過圖像理解視覺世界，還可以對現(xiàn)實(shí)世界進(jìn)行模擬。雖然相關(guān)技術(shù)還有很大的進(jìn)步空間，但是最先進(jìn)的生成式人工智能已經(jīng)能夠模擬部分的物理交互。文生視頻只是新一代生成式人工智能的表現(xiàn)形式。物理模擬模型的本質(zhì)作用是進(jìn)一步融合虛擬與現(xiàn)實(shí)，從虛擬中創(chuàng)造出無限接近現(xiàn)實(shí)的內(nèi)容。由此可見，生成式人工智能有望成為元宇宙建構(gòu)的另一個(gè)基點(diǎn)。
正如嬰兒無數(shù)次看到母親從一個(gè)地方消失又出現(xiàn)，他才能漸漸理解這個(gè)世界的物理法則，生成式人工智能已經(jīng)開始通過觀察動(dòng)態(tài)的視頻學(xué)習(xí)3D一致性、物體連貫性等物理常識。算法從理解這個(gè)世界的真實(shí)物理關(guān)系到模擬出逼真的物理世界，或許只需要短短的數(shù)年時(shí)間。在這期間，先進(jìn)的生成式人工智能可以賦能專用工業(yè)軟件，拓展其功能邊界、提升解決問題的效率。更多以模擬世界為目標(biāo)的模型將會(huì)問世，精準(zhǔn)地模擬過去難以實(shí)現(xiàn)的場景，在自動(dòng)駕駛研發(fā)、產(chǎn)品設(shè)計(jì)、電影制作等業(yè)務(wù)中發(fā)揮作用。在人工智能的輔助下，更多的人能夠在更短的學(xué)習(xí)周期內(nèi)就掌握完成多數(shù)工作任務(wù)的能力，社會(huì)勞動(dòng)力將會(huì)得到進(jìn)一步的解放，出現(xiàn)在我們眼前的生成式人工智能絕不只是單純的視頻生成模型，而是AI與真實(shí)世界互動(dòng)的開始。
