雖然計(jì)算機(jī)在觀看悲情電影時(shí)不會哭,但它卻能預(yù)測我們的淚點(diǎn)。
在2016年倫敦科幻電影節(jié)上首次亮相的科幻微電影《Sunspring》(《陽春》),講述了一個(gè)全民失業(yè)的反烏托邦國度,一經(jīng)放映就吸引了大票粉絲,有觀眾評價(jià)它有趣卻又怪誕,但也有很多觀眾反饋它的情節(jié)設(shè)計(jì)存在諸多不合理。
其實(shí),這部影片最大的亮點(diǎn)就在于:它的編劇是人工智能(AI)。
看到這里,很多人可能又會感慨:“機(jī)器會不會取代人類編劇,就像無人駕駛汽車可能取代了人類司機(jī)一樣?!”
其實(shí),如前面所說,如果你細(xì)看這部影片,就會發(fā)現(xiàn)很多“穿幫”劇情。比如,片中某個(gè)角色咳嗽時(shí)眼球竟然掉了!還有有影評家指出:“片中的對話聽起來像是不相關(guān)語句的拼湊”。不難看出,盡管科技不斷進(jìn)步,但人類編劇的地位卻仍然不可動搖。
這里,我們來設(shè)想一個(gè)不太極端的場景:機(jī)器和人類是否有可能共同完成一個(gè)劇本?即由人類編劇負(fù)責(zé)撰寫巧妙的轉(zhuǎn)折和現(xiàn)實(shí)對話,AI則負(fù)責(zé)提供見解、增強(qiáng)故事的感染力,比如識別能觸動觀眾的背景音樂或畫面。
——人物命運(yùn)的跌宕起伏,包括在困境中掙扎、克服困難、誤入歧途、戰(zhàn)勝邪惡勢力等等。我們發(fā)現(xiàn),不論是對于YouTube上的業(yè)余視頻制作者,還是電影工作室制作人,只要涉及到劇情編寫,都會考量這些問題。
因此,如果機(jī)器能做到這些,那么編劇是否可以借助這些信息來預(yù)測觀眾的反應(yīng),從而調(diào)整自己的劇本?答案是肯定的。
首先,我們先來談?wù)勄楦星€。
縱觀整個(gè)文學(xué)領(lǐng)域,我們發(fā)現(xiàn)像桑達(dá)克、斯皮爾伯格、普魯斯特和皮克斯這樣的傳奇作家,就非常善于拿捏和激發(fā)觀眾的情感,并通過觀眾的喜惡,適當(dāng)調(diào)整故事情節(jié),在關(guān)鍵的時(shí)刻喚起觀眾內(nèi)心的快樂、傷感或憤怒。然而,就算是最優(yōu)秀的作家,也無法確保故事情節(jié)的完美無缺,就連莎士比亞的某些戲劇也可能無法讓觀眾產(chǎn)生共鳴(沒有多少人喜歡他的《辛白林》)。
那么,是什么導(dǎo)致有些電影廣受好評,有些卻無人問津?對情感曲線的把握非常關(guān)鍵。
情感曲線這一概念由來已久,大師級作家都對它十分熟悉,有些人還會嘗試找出其中的通用模式。舉個(gè)例子,美國黑色幽默作家Kurt Vonnegut就認(rèn)為最成功的情感曲線是《灰姑娘》的故事模式:在故事開頭主人公灰姑娘身處困境,接著在仙女教母的幫助下扭轉(zhuǎn)命運(yùn),其他難題也隨之解決。
總結(jié)一下,即“苦難”的故事開頭,但最終都有圓滿的結(jié)局——王子和公主從此過上了幸福美滿的生活。
毋庸置疑,故事的情感曲線往往會影響觀眾的參與度,包括觀眾在社交網(wǎng)絡(luò)上的影評,以及是否將其推薦給其他朋友。據(jù)賓夕法尼亞大學(xué)對《紐約時(shí)報(bào)》的文章展開的研究發(fā)現(xiàn),讀者更樂意分享那些能引起強(qiáng)烈情感共鳴的故事,尤其是能喚起讀者積極情緒的故事。由此可推測,電影觀眾也會有與讀者相似的反饋方式。
此前,佛蒙特大學(xué)開發(fā)了一種算法,即利用計(jì)算機(jī)掃描影片臺詞或劇本內(nèi)容來構(gòu)建情感曲線。
在此基礎(chǔ)上,不久前MIT社會機(jī)器實(shí)驗(yàn)室又聯(lián)合麥肯錫消費(fèi)技術(shù)與媒體團(tuán)隊(duì)繼續(xù)進(jìn)行了深入研究,研發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)模型,用來觀看影片、電視節(jié)目和網(wǎng)絡(luò)短片中的細(xì)節(jié)特征,并實(shí)時(shí)評估其中包含的積極與消極情緒。
這些模型的研究范圍覆蓋影片的所有元素,包括情節(jié)、角色、對話,及例如追車場景中的人臉特寫或音樂片段等其他細(xì)節(jié)。通過將各部分組成一個(gè)整體,就形成了故事的情感曲線。
也就是說,當(dāng)機(jī)器查看了未標(biāo)記視頻后,就能基于所有視聽元素為故事創(chuàng)作出情感曲線。這是前所未見的。
,影片主角Carl Fredricksen是個(gè)脾氣暴躁的小老頭,在妻子Ellie去世后,他用數(shù)千個(gè)氣球帶著自己的房子飛向南美。為了更好展現(xiàn)Carl的探險(xiǎn)旅程,編劇需要想出一個(gè)快速交代復(fù)雜背景故事的方法。
影片以一個(gè)無聲的片段(只有背景音樂)為開頭,隨著Carl的生活場景徐徐展開,情感曲線也就出現(xiàn)了。(我們也觀察了整部影片的情感曲線,但分段考查更能以小見大。)如下圖:
圖1:由機(jī)器算法所展現(xiàn)的電影《飛屋環(huán)游記》片頭的情感曲線
從圖中可以看到,影片中蒙太奇(在電影中指有意涵的時(shí)空人為的拼貼剪輯手法)的高低點(diǎn),x軸是時(shí)間,以分鐘為單位;y軸是視覺效價(jià),即圖像在特定時(shí)間喚起觀眾積極或消極情緒的程度。此處由機(jī)器打分,分?jǐn)?shù)越高,情緒越積極。為開展全面分析,我們還用機(jī)器為完整影音建立了類似圖表。不過重點(diǎn)在圖像上,因?yàn)檫@也是接下來分析觀眾情感投入的研究重點(diǎn)。
在圖中,視覺效價(jià)的分值為0到1,但并非每部電影的情感曲線都會跨域整個(gè)區(qū)間。重點(diǎn)在于相對效價(jià),即某個(gè)場景與其他場景相比之下的積極或消極程度,以及情感曲線的整體形狀。
和其他影片一樣,《飛屋環(huán)游記》片頭的蒙太奇片段中也有系列情緒波動,因此其情感曲線并非連續(xù)上升或下降。例如,Carl在兒時(shí)探險(xiǎn)時(shí),曲線到達(dá)了峰值(carl兒時(shí)的探險(xiǎn)經(jīng)歷中有很多美好快樂的回憶);而當(dāng)年輕的Ellie半夜恐嚇Carl時(shí),曲線瞬間大幅下滑。Carl受到驚嚇后,曲線呈現(xiàn)了消極走向。另外兩處的峰值間隔較長,出現(xiàn)于Carl和Ellie婚后渴望孩子以及老兩口深情相擁的片段。結(jié)尾處, Carl在Ellie 病逝后獨(dú)自一人回到家中,情感效價(jià)驟降。
目前,MIT的機(jī)器學(xué)習(xí)模型已經(jīng)分析了上千部影片,并為每部影片繪制了情感曲線。為檢驗(yàn)其準(zhǔn)確性,團(tuán)隊(duì)還招募了志愿者為各電影片段手動標(biāo)注情感標(biāo)簽,同時(shí),志愿者們通過注明喚起情感共鳴的影片元素,如對話、音樂或畫面,還可以不斷優(yōu)化模型。
通過對影片分析數(shù)據(jù)的篩選,我們開發(fā)了一套為影片故事分類的方法,即把情感曲線相同的影片歸為一類。這個(gè)方法結(jié)合了聚類算法k-medoids與動態(tài)時(shí)間規(guī)整算法,從而檢測兩個(gè)不同情緒變化頻率的視頻序列之間的相似之處。
整個(gè)研究過程選取了兩個(gè)不同的數(shù)據(jù)集,分別由500多部好萊塢電影和Vimeo網(wǎng)站上的1500個(gè)短片構(gòu)成,并從中歸納情感曲線的類別。
在初步分析其視覺效價(jià)時(shí),我們發(fā)現(xiàn)大多數(shù)影片可歸納為幾種類別,結(jié)果與Kurt Vonnegut的猜想一致。
的影片的情感曲線
從上圖中看到,Vimeo數(shù)據(jù)集中的情感曲線可分為五類。例如,標(biāo)黃的曲線類型在視頻前期消極情緒激增,此后直至接近尾聲,始終維持積極情緒。(經(jīng)機(jī)器對數(shù)據(jù)進(jìn)行分析評分,所有影片開頭和結(jié)尾處的效價(jià)值都會偏低。)
了解影片的情感走向誠然有趣,但明確如何使用這些分析結(jié)果更為重要。
影片的情感曲線或曲線類別能否決定觀眾的觀影反應(yīng)?包含特定情感曲線的影片能否激發(fā)觀眾的情緒?研究團(tuán)隊(duì)嘗試通過分析Vimeo短片的數(shù)據(jù)集來回答以上問題。(相較于聲音曲線,視覺曲線與影片內(nèi)容的關(guān)聯(lián)性更強(qiáng),且結(jié)合兩種曲線會增加分析難度,因此決定圍繞視覺曲線展開分析。)
在保證影響在線反饋的元數(shù)據(jù)(如影片長度和上傳日期)不變的前提下,我們運(yùn)用了回歸模型分析影片的情感曲線特征。
需要說明的是,本研究的目的是預(yù)測Twitter及其他社交媒體上影片的評論數(shù)。除去評論中的負(fù)面內(nèi)容,多數(shù)情況下,評論越多說明觀眾反應(yīng)越強(qiáng)烈。但也有例外,比如像Gigli和Ishtar(《鴛鴦綁匪》和《伊斯達(dá)》)這類電影,盡管能引發(fā)大量網(wǎng)評,卻鮮有好評。
。由分析可知,圖2標(biāo)紅的曲線類型走勢起起伏伏,早期充滿成功和喜悅,后期逐漸陷入不幸。在所有類別中,此類影片結(jié)局最悲慘。但盡管如此,還是會給觀眾留下深刻印象。
除此之外,在針對Vimeo短片的其他分析中,還有一類影片的評論最多,遠(yuǎn)高于其他影片(見圖3)。這類影片多以積極的情感爆發(fā)作為故事高潮,接近曲線尾端時(shí)走勢激增。而圖中這兩類影片的主要區(qū)別在于左側(cè)圖中的故事在圓滿結(jié)局前的情緒波動更大。
圖3:兩類評論最多的影片類型
研究表明觀眾更喜愛大團(tuán)圓結(jié)局的結(jié)果正好相反。
在此基礎(chǔ)上,研究團(tuán)隊(duì)還瀏覽了Vimeo網(wǎng)上短片的所有評論,對情感傾向進(jìn)行分類評分,然后運(yùn)行程序統(tǒng)計(jì)了評論長度。分析結(jié)果表明,上述三類影片(即黃色、紅色和藍(lán)色線條)的評論更長,觀眾反應(yīng)更強(qiáng)烈。評論不僅只有“好電影”幾個(gè)字,還可見走心評論,如“太棒了……太震撼了……仿佛受到了重?fù)簟?rdquo;還有些評論也很醒目,它們不局限于個(gè)別的視覺畫面,還在意影片帶來的整體感受,或影片的情節(jié)走向。
事實(shí)上,這些分析并非要讓編劇按照特定模版撰寫劇本,就像要求George Orwell為《1984》續(xù)寫美滿結(jié)局來博觀眾歡心一樣。但它們可以激勵(lì)編劇客觀地審視劇本內(nèi)容,并作出相應(yīng)調(diào)整以引發(fā)觀眾共鳴,包括改變關(guān)鍵場景配樂或?qū)η楣?jié)、對話或角色等內(nèi)容進(jìn)行微調(diào)。
越來越多的影視從業(yè)者開始逐漸意識到AI的價(jià)值,并利用其中的價(jià)值進(jìn)行創(chuàng)作。
來源:McKinsey
作者:Eric Chu, Jonathan Dunn, Deb Roy, Geoffrey Sands, and Russell Stevens
編譯整理:科技行者
好文章,需要你的鼓勵(lì)
新加坡國立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實(shí)現(xiàn)大語言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。