▲Scandy Pro捕獲全彩色3D掃描

不久前，來自華盛頓大學(xué)的一組研究人員發(fā)布了一項(xiàng)新的實(shí)驗(yàn)性技術(shù)。這項(xiàng)技術(shù)能夠直接從靜態(tài)2D圖像當(dāng)中剪切字符，并將其轉(zhuǎn)換為3D動(dòng)畫，最終以AR的方式將信息引入現(xiàn)實(shí)世界。這香技術(shù)被命名為Photo Wake-Up，適用于照片、海報(bào)乃至涂鴉藝術(shù)，能夠?yàn)榍度胧絇inocchios注入生命，使這些圖形自由地在現(xiàn)實(shí)環(huán)境中行走、跑步乃至跳躍。

該團(tuán)隊(duì)在去年12月接受《麻省理工學(xué)院技術(shù)評(píng)論》雜志采訪時(shí)表示：“我們相信這種方法不僅能夠?yàn)槿藗兲峁┬蕾p照片并與其互動(dòng)的新方式，而且還帶來了立足單一圖像重建虛擬化身的新途徑，甚至能夠從單張照片中洞悉人類藝術(shù)建模的真實(shí)狀態(tài)。”

▲由Chung-Yi Weng、Brian Curless、Ira Kemelmacher-Shlizerman合作開發(fā)的Photo Wake-Up

事實(shí)上，基于2D圖像重建3D模型的想法并不算新鮮。早在十多年之前，由吳恩達(dá)帶隊(duì)的斯坦福3D重建小組就研究過這一課題。然而，此次出現(xiàn)的解決方案要比以往任何時(shí)候都更加強(qiáng)大（或者說需求更為迫切），而且其與當(dāng)前青少年VR與AR行業(yè)的內(nèi)容供應(yīng)問題密切相關(guān)。

擴(kuò)展3D模型工具包

截至目前，大多數(shù)用于VR及AR內(nèi)容的3D模型仍由3D藝術(shù)家們手動(dòng)創(chuàng)建，這是一項(xiàng)時(shí)間密集、成本高昂而且毫無擴(kuò)展性可言的工作。另外，行業(yè)當(dāng)中還存在著人才短缺的問題，而且這種問題并不能隨著規(guī)模化而有所緩和。正因?yàn)槿绱?，以Sketchfab為代表的各類3D repo才受到廣泛歡迎，藝術(shù)家們可以在這里發(fā)布、分享、發(fā)現(xiàn)、購(gòu)買以及出售各類3D、VR與AR內(nèi)容。

盡管如此，創(chuàng)作者社區(qū)仍然迫切想要擺脫對(duì)于人類勞動(dòng)力的依賴，并希望能夠從那些提供自動(dòng)化能力的工具當(dāng)中獲得更理想的效益。具體來講，這些工具必須能夠創(chuàng)造捷徑與“訣竅”，從而顯著加快并改善創(chuàng)作過程。

對(duì)此，Trnio公司創(chuàng)始人兼CEO Jan-Michael Trssler表示：“對(duì)于真正讓人身臨其境的世界，最出色的內(nèi)容創(chuàng)作者需要使用大量的技術(shù)與軟件來創(chuàng)造真實(shí)的元素。我見過很多藝術(shù)家在使用攝影方法測(cè)量并捕捉物體，而后將此作為3D模型的創(chuàng)建起點(diǎn)。接下來，藝術(shù)家們會(huì)對(duì)資產(chǎn)元素進(jìn)行簡(jiǎn)化與優(yōu)化，以便使其在AR/VR引擎當(dāng)中發(fā)揮作用。”

如今，以攝影測(cè)量與體積捕捉為代表的3D掃描技術(shù)在輸出質(zhì)量方面不斷發(fā)展，并不斷縮短著3D模型的生產(chǎn)周期，這就使得現(xiàn)實(shí)世界變得越來越易于成為3D模型制作工作的直接來源。這類技術(shù)能夠幫助當(dāng)前的創(chuàng)作者，乃至任何有意投身其中的新人，或尚在猶豫的潛在參與者更輕松地完成自己腦海中勾勒出的形象。

來自新奧爾良的Scandy公司創(chuàng)始人兼總裁Charles Carriere指出：“我們認(rèn)為，大多數(shù)內(nèi)容創(chuàng)作者實(shí)際上并沒有探索3D內(nèi)容，因?yàn)樗麄內(nèi)鄙龠@類工具。事實(shí)上，目前幾乎所有正在創(chuàng)建的內(nèi)容都以2D形式存在，因?yàn)槊總€(gè)人都能夠輕松訪問并使用2D工具——其中最重要的就是手機(jī)攝像頭。只要能夠?yàn)檫@些具有高度創(chuàng)造性的Snapchat、Instagram以及YouTube大牛們提供能夠創(chuàng)建3D模型的平臺(tái)及工具，那么高質(zhì)量3D內(nèi)容將以爆炸式的速度增長(zhǎng)，并吸引到更多消費(fèi)者。”

但真正的黃金時(shí)代尚未到來。人才的新鮮血液，或者3D掃描技術(shù)的不斷進(jìn)步，仍然無法通過快速或者實(shí)質(zhì)性的解決方案來彌補(bǔ)該行業(yè)目前所面臨的內(nèi)容供應(yīng)短缺問題。無論公平與否，消費(fèi)級(jí)與企業(yè)市場(chǎng)的關(guān)注周期仍然有限，而且人們或多或少會(huì)在潛意識(shí)當(dāng)中期望VR與AR內(nèi)容的生產(chǎn)與迭代周期能夠與以往所習(xí)慣的2D內(nèi)容在速度上相匹配。

2D到3D，從重建到重現(xiàn)

立足以往的實(shí)際情況，這樣的期待明顯非常不切實(shí)際。然而，Photo Wake-Up這類3D重建技術(shù)的出現(xiàn)突然令2D圖像、資產(chǎn)乃至資源庫(kù)成了一種取之不盡、用之不竭的素材供應(yīng)源。3D模型能夠以幾乎全自動(dòng)的方式生成，并被快速應(yīng)用到沉浸式體驗(yàn)場(chǎng)景當(dāng)中。事實(shí)上，這項(xiàng)技術(shù)不僅使得整個(gè)行業(yè)得以迎頭趕上，甚至有望在沉浸式領(lǐng)域引發(fā)寒武紀(jì)般的生命大爆發(fā)。

著眼于當(dāng)下，AR零售與購(gòu)物領(lǐng)域?qū)⒊蔀榈谝粋€(gè)重要的灘頭陣地。包括蘋果、Facebook、PayPal校友以及斯坦福大學(xué)多位博士在內(nèi)的資深企業(yè)家團(tuán)隊(duì)，在日前以Threedy.ai公司參與者的身份集體亮相。Threedy.ai是一家深度科技初創(chuàng)企業(yè)，專門負(fù)責(zé)解決3D內(nèi)容供應(yīng)難題。

Threedy.ai公司聯(lián)合創(chuàng)始人兼CEO Nima Sarshar解釋稱，“大家可以會(huì)認(rèn)為創(chuàng)造這些產(chǎn)品的制造商肯定已經(jīng)擁有了對(duì)應(yīng)的3D模型素材，但事實(shí)告訴我們，雖然存在相關(guān)的CAD文件，相關(guān)廠商也愿意將其公開，并借此生成3D網(wǎng)格，但卻缺少與之對(duì)應(yīng)的紋理或者材料。另外，也沒有統(tǒng)一的AR模型創(chuàng)建工作流程能夠消化來自六大主要CAD供應(yīng)商的具體工具，以及超過14種文件格式。整個(gè)制造業(yè)都在大量以外包方式處理手動(dòng)紋理打包工作。”

舉例來說，Houzz AR應(yīng)用程序允許用戶根據(jù)尺寸與顏色等指標(biāo)對(duì)房間內(nèi)的家具進(jìn)行查看。其中的挑戰(zhàn)在于，一切先進(jìn)的AR購(gòu)物應(yīng)用程序，包括Houzz、Wayfair以及Overstock等，都只擁有一小部分庫(kù)存的3D模型。具體而言，Houzz所擁有的3D模型僅占全部餐廳家具類別中的3%。

▲Threedy.ai公司正在將2D圖像轉(zhuǎn)換為3D模型

Sarshar解釋稱，“我們的目標(biāo)是成為商業(yè)產(chǎn)品3D模型領(lǐng)域的Getty Images網(wǎng)站。大家可以想象一下，未來也許亞馬遜目錄中的每一件商品都擁有對(duì)應(yīng)的3D模型，這樣的資源庫(kù)將會(huì)多大。”

他們的第一款產(chǎn)品是Threedy Convert，能夠利用家用產(chǎn)品及家具的普通2D照片，通過專用計(jì)算幾何與深度學(xué)習(xí)算法，將其自動(dòng)轉(zhuǎn)換為高質(zhì)量3D模型。此項(xiàng)技術(shù)能夠批量應(yīng)用于不斷增長(zhǎng)的產(chǎn)品類別，并且通常只需要一張產(chǎn)品照片，整個(gè)實(shí)現(xiàn)成本也比現(xiàn)有解決方案便宜近兩個(gè)數(shù)量級(jí)。

Sarshar指出：“掃描雖然能夠提供更高的質(zhì)量，但整個(gè)過程仍然非?？菰锴页杀靖甙骸Ａ硗?，從高多邊形掃描結(jié)果到適用于XR的低多邊形模型的轉(zhuǎn)換也絕非易事。還有一個(gè)重要的難題，對(duì)于大部分電子商務(wù)網(wǎng)站而言，大家根本沒有對(duì)應(yīng)的物理對(duì)象，而只有數(shù)量有限的非結(jié)構(gòu)化產(chǎn)品照片。”

這種以低維素材為起點(diǎn)，協(xié)助建立起高維素材的方法既令人驚訝，也絕對(duì)會(huì)受到市場(chǎng)的熱烈追捧。該技術(shù)并不是短期可行的補(bǔ)救式措施，而是代表著一種全新的內(nèi)容轉(zhuǎn)換渠道。隨著VR與AR行業(yè)不斷發(fā)展與變化，這些內(nèi)容有望在合適的時(shí)刻全面將渲染式體驗(yàn)推向普羅大眾——我個(gè)人樂觀地認(rèn)為，這一切在今年之內(nèi)就有可能發(fā)生。

Amir Bozorgzadeh是Virtuleap公司的CEO，該公司是通過神經(jīng)科學(xué)研究與機(jī)器學(xué)習(xí)實(shí)現(xiàn)人體在VR與AR環(huán)境中實(shí)現(xiàn)自我表達(dá)的企業(yè)，他認(rèn)為，如此一來，廠商與品牌方就能夠感受到用戶在查看內(nèi)容時(shí)所抱有的興奮、憤怒或者厭倦等情緒。