CNET科技資訊網(wǎng) 1月29日 國際報道:相信每個人都感受到過音樂的力量,其能夠扭轉我們的情緒,激發(fā)懷舊、恐懼乃至興奮之感。而在娛樂之外,無數(shù)研究亦已經(jīng)證明音樂擁有著激發(fā)行動甚至帶來實際性改變的能力。
零售商產利用音樂促使購物者接受更高的價格,賭場亦通過播放音樂吸引來賓 參與,而這還僅僅是音樂實際功效的一小部分。而除了作為背景增強某種情緒之外,對音樂的良好運用還能夠帶來出色的引導效果——而這也正是虛擬現(xiàn)實與增強現(xiàn)實內容創(chuàng)建者們一直以來希望擁有的,能夠幫助用戶在360度全方位環(huán)境下充分感受一切的強大助力。
發(fā)掘音樂的作用將成為VR戲劇內容走向全面成功的關鍵所在。然而就目前而言,音樂仍然僅僅被作為一種背景情緒因素。我們需要扭轉這一點,而轉變的起點正是調整我們自身對于音樂的固有看法。
從歷史角度看,電影中的音樂使用僅限于屏內音樂(例如畫面中人物的演奏)或者屏外音樂(樂隊提前錄制好音樂并配合畫面中的某些場景)。但在VR影片當中,屏內與屏外音樂間的界線開始變得模糊。例如在虛擬現(xiàn)實版本的《Kismet》影片當中,房間中首先通過留聲機播放著值得回味的吉普賽風格小提琴旋律,但隨著故事的推進管弦樂配樂加入進來以進一步烘托氣氛。由于我們渲染在整個世界當中,因此音樂仿佛是“撲面而來”并串連著場景及其背后為我們所熟知的美好記憶。
目前,行業(yè)認為我們在VR影片中使用音樂的具體方式應當有所區(qū)別,因為我們不再只是被動的觀察者,而開始作為積極的參與者甚至是主角本身。這是一種故事層面的動態(tài)模式的轉變,而且在視頻游戲誕生之前從未存在。在VR世界當中,用戶作出的決定能夠影響到故事的進展,而在選擇看向哪里時其亦可能錯過一些重要的故事元素。其中的挑戰(zhàn)在于如何吸引觀眾始終專注于我們希望其看到的內容,而音樂與音效的引導性力量將成為解決方案中的重要組成部分。事實上,音樂的力量能夠通過左右我們的關注取向或者微妙影響我們的行為以實現(xiàn)這項目標。
目前實現(xiàn)這一目標的最大障礙在于我們的觀念,因為我們所需要的技術已經(jīng)完備,且每天都在不斷改進以幫助故事講述者利用音樂引導觀眾注意力。視頻游戲音頻引擎——例如Audiokinetic的Wwise——引發(fā)了VR音樂革命,而更多新型技術的興起亦在推動空間音頻更加趨近于真實的生活體驗。
隨著VR電影領域的發(fā)展成熟,我們能夠自行引導整個體驗流程,包括經(jīng)歷故事、音樂與音效。為了利用技術手段實現(xiàn)這一目標,我們不僅需要適應內容的播放速度,同時亦需要注意用戶體驗層面的互動并以此為基礎進行順序變化,且這一切都需要以無縫化方式實現(xiàn)——即在無人注意的情況下自然而然地發(fā)生。
音樂需要成為一位看不見的操縱大師,以完成以往電影剪輯師與導演負責實現(xiàn)的效果。
我們看到了VR所能帶來的恐怖體驗,例如VRWERX網(wǎng)站發(fā)布的《Paranormal Activity(超自然活動)》,其中用戶能夠根據(jù)自己的節(jié)奏進行探索與體驗,而音效與音樂則會在特定時刻出現(xiàn)以起到渲染恐怖氣氛、增加懸疑感或者誤導性的作用。在這里,音樂被用于引領觀眾了解下一步該做些什么。由于大多數(shù)觀眾都擁有恐怖電影觀影經(jīng)歷,因此我們往往很清楚具體的音效線索將指向怎樣的結果。在凝視著黑暗的走廊時音樂突然轉靜意味著什么?屏幕上音樂盒播放著孩童般的旋律意味著什么?不祥的語氣又意味著什么?我發(fā)現(xiàn)自己開始被音樂與音效所引導及影響,而不只是像傳統(tǒng)恐怖電影那樣跟隨導演設計好的鏡頭來感受預期中的效果。音樂需要成為一位看不見的操縱大師,以完成以往電影剪輯師與導演負責實現(xiàn)的效果。
早期的VR電影,例如Chris Milk拍攝的《Clouds Over Sidra(錫德拉的云)》通過將音效引入360度難民營環(huán)境改變了影片的傳統(tǒng)敘事基礎。在這里,語音始終縈繞在觀眾周邊,并與鋼琴配樂一道構建起電影的情感基調。
觀眾必須認真觀察影片中的每一個場景,從而逐步了解12歲敘利亞難民Sidra和她的朋友們。語音與音效引導著我們的關注點,同時亦帶領我們了解整個故事。在這里,音樂作為一種情感強調性載體“撲面而來”,在無意間暗示我們該用怎樣的情緒配合故事情節(jié)并關注主人公的命運。
這部影片中的音樂負責幫助觀眾將注意力集中在場景中兒童間的互動、難民們的面孔與他們的生活身上。導演通過音樂演奏,讓觀眾“看到”他希望我們看到的特定情緒導向與氛圍片段。通過這樣的方式,音樂在不知不覺中將觀眾的注意力于360度環(huán)境內進行引導,最終完成了良好的故事體驗。
著眼于VR影片的故障講述模式,我們顯然需要擺脫傳統(tǒng)影片音樂使用思維的束縛。我們需要共同努力,將故事視為音樂同時將音樂當成故事。
動態(tài)音樂正是其中一類敘事解決方案,而且內容創(chuàng)建者們需要意識到音樂作為工具的強大力量——其不信能夠增強故事中的情感因素,同時亦能夠塑造觀眾對于所經(jīng)歷的每一項元素的相應感知,最終立足于特定的時間、地點與審美角度將目光投向故事的核心。事實上,單純開放視角只會產生混亂的觀影體驗。
VR導演們需要與互動音樂作曲家及其他工作人員通力配合,將音樂視為無言的旁白,并利用這種潛在意識層面的膠水將虛擬世界與敘事線粘合在一起。
好文章,需要你的鼓勵
新加坡國立大學研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓練AI玩簡單撲克游戲就能讓其數(shù)學推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學題目作為訓練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉移到數(shù)學解題中,為AI訓練提供了新思路。
同濟大學團隊開發(fā)的GIGA-ToF技術通過融合多幀圖像的"圖結構"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術利用圖像間的不變幾何關系,結合深度學習和數(shù)學優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領域提供更可靠的3D視覺解決方案。
伊利諾伊大學研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學習訓練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構聯(lián)合提出SparseLoRA技術,通過動態(tài)稀疏性實現(xiàn)大語言模型訓練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓練效率,已在多個任務上驗證有效性。