文|偲睿洞察 Renee
編輯|孫越
在AI的長(zhǎng)河里，從不缺一鳴驚人、一夜成名的技術(shù)。上圖，便是從Sora的示范視頻上截取的，無(wú)論是略顯蓬松的貓毛，還是主人被吵醒緊蹙的眉毛，與真實(shí)世界里的畫(huà)面，別無(wú)兩樣。
半個(gè)月前，Open AI發(fā)布了首個(gè)文生視頻模型Sora，再次讓AI界沸騰——其是第一個(gè)能夠根據(jù)人類指令生成長(zhǎng)達(dá)一分鐘視頻的模型，上一個(gè)討論度這么高的產(chǎn)品，還是ChatGPT。
從ChatGPT到Sora，這16個(gè)月里，AI界的戰(zhàn)火已從千模大戰(zhàn)的戰(zhàn)場(chǎng)上，蔓延到各個(gè)細(xì)分應(yīng)用之中。
對(duì)于普通人來(lái)說(shuō)，就是原先你可以問(wèn)諸如文心一言、訊飛星火等通用大模型各種問(wèn)題，生成各種文字、圖片答案，現(xiàn)在可以通過(guò)文字描述，生成還原度極高的視頻。以下便是OpenAI的示范視頻，提示詞是一架無(wú)人機(jī)在阿馬爾菲海岸的巖石露頭上環(huán)繞著一座美麗而歷史悠久的教堂······
更令人驚訝的是，以往的視頻模型是多個(gè)真實(shí)圖片的組合，并不具備理解力，而Sora是“聽(tīng)懂”人話后，進(jìn)行視頻的建構(gòu)。
（圖源：Open AI）
我們能看到，在OpenAI Sora 官方介紹頁(yè)里，紙飛機(jī)有了自我意識(shí)，自由翱翔。這或許就是 OpenAI 終極的目標(biāo)，也將是無(wú)數(shù)AI大廠的愿景。
現(xiàn)下，Sora已然敲響戰(zhàn)鼓，百度、字節(jié)等以AI為標(biāo)簽的大廠們是否會(huì)緊跟腳步，以及能不能造出類似模型，是擺在李彥宏、張一鳴們面前的問(wèn)題。但目前大廠們都在靜默之中，等待著屬于自己的質(zhì)變。
當(dāng)然，一旦造出來(lái)，類Sora模型變現(xiàn)路徑倒是要比ChatGPT“現(xiàn)實(shí)”不少。
其可以是抖音、好看視頻等視頻平臺(tái)的高效創(chuàng)作工具，也可以制作簡(jiǎn)單的特效，給近日爆火的微短劇提供更多題材。更進(jìn)一步的猜測(cè)是，影視作品中大部分特效成本、人力成本都可以省去。
不過(guò)，對(duì)于國(guó)內(nèi)以大模型創(chuàng)業(yè)的企業(yè)來(lái)說(shuō)，又增加了一道坎——還沒(méi)把ChatGPT消化掉，又來(lái)了個(gè)新課題。跟，沒(méi)有更多的精力，不跟，沒(méi)有熱度有可能涼得更快。
01 Sora到底牛在哪里？
一系列文章、視頻展現(xiàn)效果顯示，Sora的出世意味著細(xì)分應(yīng)用文生視頻模型迎來(lái)了iPhone時(shí)刻。
事實(shí)上，文生視頻并不是新鮮事兒，去年年底，全球AI企業(yè)陸陸續(xù)續(xù)發(fā)布了自己的文生視頻模型。去年11月份，Meta發(fā)布了視頻生成模型 Emu Video。從官方示例中可以看出，其局限于較為簡(jiǎn)單的動(dòng)作。
緊接著，Stability.ai也發(fā)布了開(kāi)源視頻生成模型 Stable Video Diffusion (SVD)，并且也在官方論文中大方承認(rèn)自己的不足——生成的視頻相對(duì)缺少動(dòng)態(tài)性。
也就是說(shuō)，生成有高度一致性且有豐富動(dòng)態(tài)性的視頻，讓視頻內(nèi)容真正地動(dòng)起來(lái)，是去年年底視頻生成領(lǐng)域中的最大挑戰(zhàn)。
在Sora發(fā)布以前表現(xiàn)最好的，莫過(guò)于PixelDance。從展示的結(jié)果來(lái)看，在基礎(chǔ)模式下（用戶只需要提供一張指導(dǎo)圖片+文本描述），人物動(dòng)作、臉部表情、相機(jī)視角控制、特效動(dòng)作，Pixeldance都可以很好地完成。
國(guó)內(nèi)大廠也同樣是去年年底開(kāi)始布局。
字節(jié)跳動(dòng)于去年11月18日推出了文生視頻模型PixelDance，可生成有高度一致性且有豐富動(dòng)態(tài)性的視頻。阿里緊隨其后也上線了Animate Anyone模型，一張人物照片，再配合骨骼動(dòng)畫(huà)引導(dǎo)，就能生成動(dòng)畫(huà)視頻。
23年末，百度發(fā)布了文生視頻工具“度加剪輯”，據(jù)稱可以一鍵獲取最新熱點(diǎn)、ai生成文案、一鍵生成視頻。同時(shí)一大批“應(yīng)ChatGPT而生”的AI創(chuàng)業(yè)公司也在去年年底參與進(jìn)來(lái)，共同探索AI大模型應(yīng)用。
而時(shí)間來(lái)到2024年2月中旬，OpenAI的Sora還是憑借更逼真、流暢的效果，遙遙領(lǐng)先。
為何 Sora 可以一騎絕塵？紅衣大叔周鴻祎給出了答案，大概的意思是，在這之前我們做視頻、做圖用的都是Diffusion，我們可以把視頻看成是多個(gè)真實(shí)圖片的組合，它并沒(méi)有真正掌握這個(gè)世界的知識(shí)。
但 Sora 能像人一樣理解坦克是有巨大沖擊力的，坦克能撞毀汽車，而不會(huì)出現(xiàn)汽車撞毀坦克的情況。OpenAl 利用它的大語(yǔ)言模型優(yōu)勢(shì)，把 LLM 和 Diffusion 結(jié)合起來(lái)訓(xùn)練，讓 Sora 實(shí)現(xiàn)了對(duì)現(xiàn)實(shí)世界的理解和對(duì)世界的模擬兩層能力。
自Transformer架構(gòu)引領(lǐng)通用大模型浪潮后，LLM+Diffusion這一新興研究框架或許又會(huì)有大批量的追隨者。
開(kāi)源后跟不跟，不開(kāi)源搞不搞，成為每個(gè)AI廠商面前的難題。
02 誰(shuí)都能玩得起嗎？
事實(shí)上，要不要跟隨Sora這個(gè)問(wèn)題，或許并不再取決于個(gè)人/公司意愿，而是一些硬性條件+軟實(shí)力。例如，公司還有足夠的芯片嗎？
去年，據(jù)偲睿洞察測(cè)算，ChatGPT光是訪問(wèn)階段就要耗去3萬(wàn)多個(gè)A100，這儼然已是巨頭們的游戲。按照去年一份流傳出的交流紀(jì)要顯示，大廠們手握著豐厚的資源——阿里云AI專家提到，阿里云在云上有上萬(wàn)片的A100，整體能夠達(dá)到10萬(wàn)片，集團(tuán)體量應(yīng)該是阿里云的5倍。騰訊云利用H800加速卡打造的大模型算力集群，集群規(guī)模達(dá)到了數(shù)千臺(tái)服務(wù)器。
盡管Sora只是一個(gè)視頻模型，但對(duì)算力的渴求也不小。目前，訓(xùn)練端由于暫無(wú)明確算法架構(gòu)和訓(xùn)練詳細(xì)數(shù)據(jù)。據(jù)民生證券測(cè)算，一個(gè)月內(nèi)訓(xùn)練完Youtube全部新增視頻需要約231片A100。考慮到模型都是經(jīng)過(guò)多次訓(xùn)練得到，算力需求仍有較大程度提高的可能性。而推理端的需求量更是驚人，假設(shè)Sora模型參數(shù)為30億，則對(duì)應(yīng)1846萬(wàn)個(gè)A100需求。
緊接著，第二個(gè)致命的問(wèn)題是，公司有高質(zhì)量的數(shù)據(jù)集嗎？現(xiàn)階段，谷歌、OpenAI等國(guó)際大廠們，都在爭(zhēng)搶高質(zhì)量的文本數(shù)據(jù)集。
根據(jù)第一批大模型弄潮兒的經(jīng)驗(yàn)，若是沒(méi)有備足充足的彈藥，很有可能會(huì)草草離場(chǎng)。
據(jù)智東西不完全統(tǒng)計(jì)，2023年11月-2024年1月，有4家AI大模型創(chuàng)企宣布關(guān)停。在這之中，其中有大廠獨(dú)立出來(lái)的團(tuán)隊(duì)，有明星產(chǎn)品創(chuàng)始人新成立的公司，也有已經(jīng)走過(guò)十余年的“老牌”企業(yè)。有的缺錢(qián)、有的缺精準(zhǔn)定位，想要玩AI，空有一腔熱血遠(yuǎn)遠(yuǎn)不夠。
事實(shí)上，更致命的問(wèn)題是，公司有AI天才嗎？
周鴻祎表示，科技競(jìng)爭(zhēng)最終比拼的是人才密度和深厚積累。這里的人才密度，絕不是說(shuō)規(guī)模——畢竟OpenAI的Sora團(tuán)隊(duì)只有13個(gè)人，應(yīng)屆博士帶隊(duì)，00后參與。
我們不得不佩服OpenAI的勇氣，將“選賢舉能”發(fā)揮得淋漓盡致，除了未知的潛能，年輕人還有一個(gè)最大的優(yōu)勢(shì)——能熬。據(jù)謝賽寧透露，Sora是Bill他們?cè)贠penAI的嘔心瀝血之作，“雖然不知道細(xì)節(jié)，但他們每天基本不睡覺(jué)高強(qiáng)度工作了一年”。
從以上部分團(tuán)隊(duì)成員背景可以看出，其門(mén)檻極高——大部分都是名校博士畢業(yè)+實(shí)習(xí)/工作經(jīng)驗(yàn)，有本科學(xué)生，不過(guò)也要有著創(chuàng)業(yè)經(jīng)歷、多段工作經(jīng)歷。無(wú)論是OpenAI公司，還是人才本人，都積累了無(wú)數(shù)個(gè)量變，為質(zhì)變做準(zhǔn)備。
或許，包括OpenAI在內(nèi)的AI公司們，都在等哪個(gè)“無(wú)名小卒”（要么是MIT、清北級(jí)別的學(xué)生，要么3-5年創(chuàng)業(yè)、大廠經(jīng)歷，要么是二者的結(jié)合）悟得了AI的真理，一戰(zhàn)成名，成為AI大神。
ChatGPT和Sora告訴我們的是，A100、高質(zhì)量數(shù)據(jù)、AI天才，是新時(shí)代的稀缺物資，國(guó)內(nèi)大廠尚有欠缺，從零開(kāi)始的大模型創(chuàng)業(yè)公司們怕是跟不上熱度，也跟不上速度。
03 微短劇，或許是現(xiàn)下大廠高性價(jià)比變現(xiàn)方式
在AI各類資源都很有限的情況下，All in AI的大廠們?cè)诟S之前，必然會(huì)考慮投資回報(bào)比，也就是Sora能夠極大地改變哪些行業(yè)的模式？同時(shí)還和大廠已有業(yè)務(wù)密切相關(guān)？
答案，非短視頻行業(yè)莫屬。
對(duì)于定位于熱點(diǎn)話題視頻的創(chuàng)作者們，Sora可謂是極大地提高了工作效率。畢竟熱點(diǎn)話題比拼的是時(shí)效，大家很難有二創(chuàng)的空間，只要學(xué)會(huì)了，便能快速拉開(kāi)差距。目前在國(guó)內(nèi)，已經(jīng)有電商服務(wù)機(jī)構(gòu)向帶貨主播推出“AI根據(jù)熱梗自動(dòng)撰寫(xiě)視頻腳本”的服務(wù)。
而對(duì)于一些深度話題，創(chuàng)作者們則可以與AI分工合作。
創(chuàng)作者產(chǎn)出事件/產(chǎn)品的差異化內(nèi)容、確認(rèn)文章大綱；而AI負(fù)責(zé)重復(fù)勞動(dòng)的部分，例如展現(xiàn)產(chǎn)品的特性，給文字自動(dòng)加背景視頻，無(wú)需創(chuàng)作者去各大網(wǎng)站搜羅。也就是說(shuō)，創(chuàng)作者們能夠靠著AI省去不少事，出現(xiàn)更多的“靈光一現(xiàn)”，吸引更多的用戶停留。
在這之中，最大的受益人便是平臺(tái)。于是，我們也就不難理解為何2月7日，抖音集團(tuán)CEO張楠辭去集團(tuán)CEO一職，把精力聚焦在剪映的發(fā)展上。據(jù)了解過(guò)去一年，張楠已經(jīng)把絕大多數(shù)精力傾斜到剪映相關(guān)業(yè)務(wù)上，并親自帶隊(duì)在AI輔助創(chuàng)作上尋求突破，即將推出一個(gè)AI生圖和視頻的產(chǎn)品。
視頻平臺(tái)快手必然會(huì)在這個(gè)方向努力：在去年的那一波卷大模型的浪潮中，快手宣布已組建大模型研發(fā)團(tuán)隊(duì)，推進(jìn)在搜索、AIGC 輔助生成圖文視頻方面的應(yīng)用。
百度，也正在跟上節(jié)奏。盡管好看視頻在百度的存在感并不高，但每年都在實(shí)打?qū)嵉赝七M(jìn)該業(yè)務(wù)：2020年下半年開(kāi)始，百度開(kāi)始一系列大手筆運(yùn)作。百度先后投資MCN機(jī)構(gòu)牧云文化、引入宋健（內(nèi)容生態(tài)平臺(tái)總經(jīng)理，年前已離職），以及在11月17日宣布斥資36億美元并購(gòu)YY中國(guó)。
2024年微短劇爆火，百度也在不斷加碼該市場(chǎng)。據(jù)光子星球報(bào)道，百度將在上半年完成與微短劇適配的基礎(chǔ)設(shè)施建設(shè)，包括創(chuàng)作者生態(tài)、分發(fā)邏輯、用戶運(yùn)營(yíng)等，并嘗試跑通變現(xiàn)路徑。
微短劇，或許是百度等類Sora視頻模型的“用武之地”。
相比于大型的影視大作，微短劇的特效制作、內(nèi)容創(chuàng)作各方面門(mén)檻都較低，與此同時(shí)，類Sora模型能給近日爆火的微短劇提供更多題材范圍，例如科幻等。若是人物細(xì)節(jié)逼真，演員的片酬都可能為零，如果分?jǐn)偝杀緲O低的話，視頻內(nèi)容行業(yè)將很快被洗牌。
百度們亟需推出中國(guó)Sora，除了因?yàn)樾聵I(yè)務(wù)的需要，還需考慮到站位的問(wèn)題。作為上一個(gè)千模大戰(zhàn)的發(fā)起者，百度再次迎來(lái)證明自己的時(shí)刻。2024年的春天，來(lái)得很晚，無(wú)論是真實(shí)的天氣，還是AI行業(yè)。
去年冬天，研究部門(mén)能拿著以往AI積累，趕上大模型的浪潮，市場(chǎng)部門(mén)也能借此開(kāi)大會(huì)、與友商們一起打響千模大戰(zhàn)。
今年冬天，研究員們還在加班加點(diǎn)想著怎么把通用大模型落實(shí)到千行萬(wàn)業(yè)時(shí)，文生視頻這一細(xì)分領(lǐng)域又出現(xiàn)一個(gè)勁敵。
永遠(yuǎn)在黑暗中前行，永遠(yuǎn)有人走得更快，國(guó)內(nèi)AI大廠們的黎明，忽近忽遠(yuǎn)。不過(guò)，離黎明更近的Sora，也需加強(qiáng)常識(shí)學(xué)習(xí)——在完整看完頭圖的原視頻之后發(fā)現(xiàn)，女孩的胳膊與手并不在同一個(gè)維度。