雖然計(jì)算機(jī)在觀看悲情電影時(shí)不會(huì)哭,但它卻能預(yù)測(cè)我們的淚點(diǎn)。
在2016年倫敦科幻電影節(jié)上首次亮相的科幻微電影《Sunspring》(《陽(yáng)春》),講述了一個(gè)全民失業(yè)的反烏托邦國(guó)度,一經(jīng)放映就吸引了大票粉絲,有觀眾評(píng)價(jià)它有趣卻又怪誕,但也有很多觀眾反饋它的情節(jié)設(shè)計(jì)存在諸多不合理。
其實(shí),這部影片最大的亮點(diǎn)就在于:它的編劇是人工智能(AI)。
看到這里,很多人可能又會(huì)感慨:“機(jī)器會(huì)不會(huì)取代人類編劇,就像無(wú)人駕駛汽車可能取代了人類司機(jī)一樣?!”
其實(shí),如前面所說(shuō),如果你細(xì)看這部影片,就會(huì)發(fā)現(xiàn)很多“穿幫”劇情。比如,片中某個(gè)角色咳嗽時(shí)眼球竟然掉了!還有有影評(píng)家指出:“片中的對(duì)話聽(tīng)起來(lái)像是不相關(guān)語(yǔ)句的拼湊”。不難看出,盡管科技不斷進(jìn)步,但人類編劇的地位卻仍然不可動(dòng)搖。
這里,我們來(lái)設(shè)想一個(gè)不太極端的場(chǎng)景:機(jī)器和人類是否有可能共同完成一個(gè)劇本?即由人類編劇負(fù)責(zé)撰寫(xiě)巧妙的轉(zhuǎn)折和現(xiàn)實(shí)對(duì)話,AI則負(fù)責(zé)提供見(jiàn)解、增強(qiáng)故事的感染力,比如識(shí)別能觸動(dòng)觀眾的背景音樂(lè)或畫(huà)面。
——人物命運(yùn)的跌宕起伏,包括在困境中掙扎、克服困難、誤入歧途、戰(zhàn)勝邪惡勢(shì)力等等。我們發(fā)現(xiàn),不論是對(duì)于YouTube上的業(yè)余視頻制作者,還是電影工作室制作人,只要涉及到劇情編寫(xiě),都會(huì)考量這些問(wèn)題。
因此,如果機(jī)器能做到這些,那么編劇是否可以借助這些信息來(lái)預(yù)測(cè)觀眾的反應(yīng),從而調(diào)整自己的劇本?答案是肯定的。
首先,我們先來(lái)談?wù)勄楦星€。
縱觀整個(gè)文學(xué)領(lǐng)域,我們發(fā)現(xiàn)像桑達(dá)克、斯皮爾伯格、普魯斯特和皮克斯這樣的傳奇作家,就非常善于拿捏和激發(fā)觀眾的情感,并通過(guò)觀眾的喜惡,適當(dāng)調(diào)整故事情節(jié),在關(guān)鍵的時(shí)刻喚起觀眾內(nèi)心的快樂(lè)、傷感或憤怒。然而,就算是最優(yōu)秀的作家,也無(wú)法確保故事情節(jié)的完美無(wú)缺,就連莎士比亞的某些戲劇也可能無(wú)法讓觀眾產(chǎn)生共鳴(沒(méi)有多少人喜歡他的《辛白林》)。
那么,是什么導(dǎo)致有些電影廣受好評(píng),有些卻無(wú)人問(wèn)津?對(duì)情感曲線的把握非常關(guān)鍵。
情感曲線這一概念由來(lái)已久,大師級(jí)作家都對(duì)它十分熟悉,有些人還會(huì)嘗試找出其中的通用模式。舉個(gè)例子,美國(guó)黑色幽默作家Kurt Vonnegut就認(rèn)為最成功的情感曲線是《灰姑娘》的故事模式:在故事開(kāi)頭主人公灰姑娘身處困境,接著在仙女教母的幫助下扭轉(zhuǎn)命運(yùn),其他難題也隨之解決。
總結(jié)一下,即“苦難”的故事開(kāi)頭,但最終都有圓滿的結(jié)局——王子和公主從此過(guò)上了幸福美滿的生活。
毋庸置疑,故事的情感曲線往往會(huì)影響觀眾的參與度,包括觀眾在社交網(wǎng)絡(luò)上的影評(píng),以及是否將其推薦給其他朋友。據(jù)賓夕法尼亞大學(xué)對(duì)《紐約時(shí)報(bào)》的文章展開(kāi)的研究發(fā)現(xiàn),讀者更樂(lè)意分享那些能引起強(qiáng)烈情感共鳴的故事,尤其是能喚起讀者積極情緒的故事。由此可推測(cè),電影觀眾也會(huì)有與讀者相似的反饋方式。
此前,佛蒙特大學(xué)開(kāi)發(fā)了一種算法,即利用計(jì)算機(jī)掃描影片臺(tái)詞或劇本內(nèi)容來(lái)構(gòu)建情感曲線。
在此基礎(chǔ)上,不久前MIT社會(huì)機(jī)器實(shí)驗(yàn)室又聯(lián)合麥肯錫消費(fèi)技術(shù)與媒體團(tuán)隊(duì)繼續(xù)進(jìn)行了深入研究,研發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型,用來(lái)觀看影片、電視節(jié)目和網(wǎng)絡(luò)短片中的細(xì)節(jié)特征,并實(shí)時(shí)評(píng)估其中包含的積極與消極情緒。
這些模型的研究范圍覆蓋影片的所有元素,包括情節(jié)、角色、對(duì)話,及例如追車場(chǎng)景中的人臉特寫(xiě)或音樂(lè)片段等其他細(xì)節(jié)。通過(guò)將各部分組成一個(gè)整體,就形成了故事的情感曲線。
也就是說(shuō),當(dāng)機(jī)器查看了未標(biāo)記視頻后,就能基于所有視聽(tīng)元素為故事創(chuàng)作出情感曲線。這是前所未見(jiàn)的。
,影片主角Carl Fredricksen是個(gè)脾氣暴躁的小老頭,在妻子Ellie去世后,他用數(shù)千個(gè)氣球帶著自己的房子飛向南美。為了更好展現(xiàn)Carl的探險(xiǎn)旅程,編劇需要想出一個(gè)快速交代復(fù)雜背景故事的方法。
影片以一個(gè)無(wú)聲的片段(只有背景音樂(lè))為開(kāi)頭,隨著Carl的生活場(chǎng)景徐徐展開(kāi),情感曲線也就出現(xiàn)了。(我們也觀察了整部影片的情感曲線,但分段考查更能以小見(jiàn)大。)如下圖:
圖1:由機(jī)器算法所展現(xiàn)的電影《飛屋環(huán)游記》片頭的情感曲線
從圖中可以看到,影片中蒙太奇(在電影中指有意涵的時(shí)空人為的拼貼剪輯手法)的高低點(diǎn),x軸是時(shí)間,以分鐘為單位;y軸是視覺(jué)效價(jià),即圖像在特定時(shí)間喚起觀眾積極或消極情緒的程度。此處由機(jī)器打分,分?jǐn)?shù)越高,情緒越積極。為開(kāi)展全面分析,我們還用機(jī)器為完整影音建立了類似圖表。不過(guò)重點(diǎn)在圖像上,因?yàn)檫@也是接下來(lái)分析觀眾情感投入的研究重點(diǎn)。
在圖中,視覺(jué)效價(jià)的分值為0到1,但并非每部電影的情感曲線都會(huì)跨域整個(gè)區(qū)間。重點(diǎn)在于相對(duì)效價(jià),即某個(gè)場(chǎng)景與其他場(chǎng)景相比之下的積極或消極程度,以及情感曲線的整體形狀。
和其他影片一樣,《飛屋環(huán)游記》片頭的蒙太奇片段中也有系列情緒波動(dòng),因此其情感曲線并非連續(xù)上升或下降。例如,Carl在兒時(shí)探險(xiǎn)時(shí),曲線到達(dá)了峰值(carl兒時(shí)的探險(xiǎn)經(jīng)歷中有很多美好快樂(lè)的回憶);而當(dāng)年輕的Ellie半夜恐嚇Carl時(shí),曲線瞬間大幅下滑。Carl受到驚嚇后,曲線呈現(xiàn)了消極走向。另外兩處的峰值間隔較長(zhǎng),出現(xiàn)于Carl和Ellie婚后渴望孩子以及老兩口深情相擁的片段。結(jié)尾處, Carl在Ellie 病逝后獨(dú)自一人回到家中,情感效價(jià)驟降。
目前,MIT的機(jī)器學(xué)習(xí)模型已經(jīng)分析了上千部影片,并為每部影片繪制了情感曲線。為檢驗(yàn)其準(zhǔn)確性,團(tuán)隊(duì)還招募了志愿者為各電影片段手動(dòng)標(biāo)注情感標(biāo)簽,同時(shí),志愿者們通過(guò)注明喚起情感共鳴的影片元素,如對(duì)話、音樂(lè)或畫(huà)面,還可以不斷優(yōu)化模型。
通過(guò)對(duì)影片分析數(shù)據(jù)的篩選,我們開(kāi)發(fā)了一套為影片故事分類的方法,即把情感曲線相同的影片歸為一類。這個(gè)方法結(jié)合了聚類算法k-medoids與動(dòng)態(tài)時(shí)間規(guī)整算法,從而檢測(cè)兩個(gè)不同情緒變化頻率的視頻序列之間的相似之處。
整個(gè)研究過(guò)程選取了兩個(gè)不同的數(shù)據(jù)集,分別由500多部好萊塢電影和Vimeo網(wǎng)站上的1500個(gè)短片構(gòu)成,并從中歸納情感曲線的類別。
在初步分析其視覺(jué)效價(jià)時(shí),我們發(fā)現(xiàn)大多數(shù)影片可歸納為幾種類別,結(jié)果與Kurt Vonnegut的猜想一致。
的影片的情感曲線
從上圖中看到,Vimeo數(shù)據(jù)集中的情感曲線可分為五類。例如,標(biāo)黃的曲線類型在視頻前期消極情緒激增,此后直至接近尾聲,始終維持積極情緒。(經(jīng)機(jī)器對(duì)數(shù)據(jù)進(jìn)行分析評(píng)分,所有影片開(kāi)頭和結(jié)尾處的效價(jià)值都會(huì)偏低。)
了解影片的情感走向誠(chéng)然有趣,但明確如何使用這些分析結(jié)果更為重要。
影片的情感曲線或曲線類別能否決定觀眾的觀影反應(yīng)?包含特定情感曲線的影片能否激發(fā)觀眾的情緒?研究團(tuán)隊(duì)嘗試通過(guò)分析Vimeo短片的數(shù)據(jù)集來(lái)回答以上問(wèn)題。(相較于聲音曲線,視覺(jué)曲線與影片內(nèi)容的關(guān)聯(lián)性更強(qiáng),且結(jié)合兩種曲線會(huì)增加分析難度,因此決定圍繞視覺(jué)曲線展開(kāi)分析。)
在保證影響在線反饋的元數(shù)據(jù)(如影片長(zhǎng)度和上傳日期)不變的前提下,我們運(yùn)用了回歸模型分析影片的情感曲線特征。
需要說(shuō)明的是,本研究的目的是預(yù)測(cè)Twitter及其他社交媒體上影片的評(píng)論數(shù)。除去評(píng)論中的負(fù)面內(nèi)容,多數(shù)情況下,評(píng)論越多說(shuō)明觀眾反應(yīng)越強(qiáng)烈。但也有例外,比如像Gigli和Ishtar(《鴛鴦綁匪》和《伊斯達(dá)》)這類電影,盡管能引發(fā)大量網(wǎng)評(píng),卻鮮有好評(píng)。
。由分析可知,圖2標(biāo)紅的曲線類型走勢(shì)起起伏伏,早期充滿成功和喜悅,后期逐漸陷入不幸。在所有類別中,此類影片結(jié)局最悲慘。但盡管如此,還是會(huì)給觀眾留下深刻印象。
除此之外,在針對(duì)Vimeo短片的其他分析中,還有一類影片的評(píng)論最多,遠(yuǎn)高于其他影片(見(jiàn)圖3)。這類影片多以積極的情感爆發(fā)作為故事高潮,接近曲線尾端時(shí)走勢(shì)激增。而圖中這兩類影片的主要區(qū)別在于左側(cè)圖中的故事在圓滿結(jié)局前的情緒波動(dòng)更大。
圖3:兩類評(píng)論最多的影片類型
研究表明觀眾更喜愛(ài)大團(tuán)圓結(jié)局的結(jié)果正好相反。
在此基礎(chǔ)上,研究團(tuán)隊(duì)還瀏覽了Vimeo網(wǎng)上短片的所有評(píng)論,對(duì)情感傾向進(jìn)行分類評(píng)分,然后運(yùn)行程序統(tǒng)計(jì)了評(píng)論長(zhǎng)度。分析結(jié)果表明,上述三類影片(即黃色、紅色和藍(lán)色線條)的評(píng)論更長(zhǎng),觀眾反應(yīng)更強(qiáng)烈。評(píng)論不僅只有“好電影”幾個(gè)字,還可見(jiàn)走心評(píng)論,如“太棒了……太震撼了……仿佛受到了重?fù)簟?rdquo;還有些評(píng)論也很醒目,它們不局限于個(gè)別的視覺(jué)畫(huà)面,還在意影片帶來(lái)的整體感受,或影片的情節(jié)走向。
事實(shí)上,這些分析并非要讓編劇按照特定模版撰寫(xiě)劇本,就像要求George Orwell為《1984》續(xù)寫(xiě)美滿結(jié)局來(lái)博觀眾歡心一樣。但它們可以激勵(lì)編劇客觀地審視劇本內(nèi)容,并作出相應(yīng)調(diào)整以引發(fā)觀眾共鳴,包括改變關(guān)鍵場(chǎng)景配樂(lè)或?qū)η楣?jié)、對(duì)話或角色等內(nèi)容進(jìn)行微調(diào)。
越來(lái)越多的影視從業(yè)者開(kāi)始逐漸意識(shí)到AI的價(jià)值,并利用其中的價(jià)值進(jìn)行創(chuàng)作。
來(lái)源:McKinsey
作者:Eric Chu, Jonathan Dunn, Deb Roy, Geoffrey Sands, and Russell Stevens
編譯整理:科技行者
好文章,需要你的鼓勵(lì)
騰訊ARC實(shí)驗(yàn)室推出AudioStory系統(tǒng),首次實(shí)現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長(zhǎng)篇音頻故事。該系統(tǒng)結(jié)合大語(yǔ)言模型的敘事推理能力與音頻生成技術(shù),通過(guò)交錯(cuò)式推理生成、解耦橋接機(jī)制和漸進(jìn)式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場(chǎng)景并保持整體連貫性。在AudioStory-10K基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開(kāi)辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過(guò)讓AI同時(shí)學(xué)習(xí)外觀和運(yùn)動(dòng)信息,顯著解決了當(dāng)前視頻生成模型中動(dòng)作不連貫、違反物理定律的核心問(wèn)題。該技術(shù)僅需添加兩個(gè)線性層就能大幅提升運(yùn)動(dòng)質(zhì)量,在多項(xiàng)測(cè)試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實(shí)用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實(shí)驗(yàn)室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語(yǔ)言模型人性化對(duì)話問(wèn)題。該研究創(chuàng)建了包含20萬(wàn)高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評(píng)測(cè)基準(zhǔn),通過(guò)創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時(shí)顯著提升人性化交互水平,為AI價(jià)值觀對(duì)齊提供了可行技術(shù)路徑。
谷歌DeepMind團(tuán)隊(duì)開(kāi)發(fā)的GraphCast是一個(gè)革命性的AI天氣預(yù)測(cè)模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報(bào),準(zhǔn)確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過(guò)學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測(cè)方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來(lái)了效率和精度的雙重突破。