Google在基礎(chǔ)架構(gòu)上的支出很高,而且越來越高,2013年第四季度增長逾1倍至22.6億美元。
Google周四公布了第四季度財(cái)報(bào),營收增長17%至168.6億美元,凈利潤為33.8億美元。Google業(yè)績大幅增長的基礎(chǔ)之一是在基礎(chǔ)架構(gòu)上投入巨資——其中主要是服務(wù)器、網(wǎng)絡(luò)設(shè)備和數(shù)據(jù)中心。
第四季度22.6億美元的基礎(chǔ)架構(gòu)支出略低于第三季度的22.9億美元,但比上年同期增長了逾1倍。相比之下,2013年第三季度通用汽車在基礎(chǔ)架構(gòu)方面的支出為19億美元。
過去數(shù)十年,計(jì)算產(chǎn)業(yè)的主流商業(yè)模式是低投入、高產(chǎn)出,例如微軟,軟件只要開發(fā)成功,增加銷售的邊際成本幾乎為零。目前,互聯(lián)網(wǎng)創(chuàng)業(yè)公司可以利 用亞馬遜的云計(jì)算服務(wù),減小早期的基礎(chǔ)架構(gòu)支出。但在Google所處的產(chǎn)業(yè),基礎(chǔ)架構(gòu)支出卻越來越高。過去3年,Google在每個(gè)季度發(fā)布的財(cái)報(bào)中都 指出,“我們預(yù)計(jì)將繼續(xù)增加資本支出。”
計(jì)算基礎(chǔ)架構(gòu)不僅是Google搜索算法,也是Google預(yù)測用戶輸入搜索關(guān)鍵字的基礎(chǔ)。另外,Google+、實(shí)時(shí)廣告競拍、通過Google Play發(fā)布Android應(yīng)用、Google Apps也都離不開計(jì)算基礎(chǔ)架構(gòu)的支持。
當(dāng)然,Google還有其他支出,例如,支付維護(hù)基礎(chǔ)架構(gòu)、開發(fā)新一代服務(wù)、進(jìn)行專利訴訟、提供后勤服務(wù)的4.8萬名員工的薪酬。但毫無疑問的是,Google巨額利潤的基礎(chǔ)是大量的硬件。
好文章,需要你的鼓勵(lì)
新加坡國立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實(shí)現(xiàn)大語言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。