IBM將攜手英偉達(dá)和美國能源部共同建立兩個新的杰出超級計算機(jī)中心。本次合作的工作將主要圍繞兩個方面的內(nèi)容而展開,一是確保應(yīng)用程序能夠充分利用超級計算機(jī)的強(qiáng)大性能,二是收集開發(fā)人員、工程師和科學(xué)家的反饋意見。
這兩個超級計算機(jī)中心分別坐落于美國能源部的橡樹嶺國家實驗室(Oak Ridge National Laboratory)和加州勞倫斯利弗莫爾國家實驗室(Lawrence Livermore National Laboratory),它們將重點(diǎn)推進(jìn)超級計算、發(fā)展代碼創(chuàng)新。
根據(jù)在德國法蘭克福召開的國際超級計算機(jī)大會上簡述的合作協(xié)議,由IBM組建的OpenPower聯(lián)盟將負(fù)責(zé)提供技術(shù)支持,英偉達(dá)與Mellanox也在該聯(lián)盟中。IBM已經(jīng)與美國能源部簽署了一份超級計算合同,而且正在開展這兩個全新超級計算機(jī)系統(tǒng)的部署工作,以期在2018年投入使用。
IBM與英偉達(dá)的這一合作與惠普和英特爾宣布的合作協(xié)議目標(biāo)一致。雙方目標(biāo)均為:將高性能計算機(jī)(HPC)工作負(fù)載和系統(tǒng)推向更多企業(yè),利用超級計算部署體系來展示其發(fā)展?jié)摿?。IBM公司在法國蒙彼利埃已經(jīng)建立了一座POWER加速與設(shè)計中心,最近還推出了其SuperVessel服務(wù)。
IBM公司表示,在正式交付美國能源部塞拉(Sierra)和薩米特(Summit)這兩個新超級計算機(jī)系統(tǒng)之前,這些全新高性能計算中心還將針對能源、氣候、生物物理學(xué)和醫(yī)藥等領(lǐng)域的研究進(jìn)行優(yōu)化。
為確保應(yīng)用程序籌備、硬件工程師和應(yīng)用程序開發(fā)者之間的相互配合,這兩個IBM-Nvidia超級計算中心將包含多種技術(shù)方案,以及整合了IBM公司POWER處理器、英偉達(dá)圖形處理器和連接器產(chǎn)品的多種設(shè)計方案。兩個中心的技術(shù)團(tuán)隊將專注于編程模型、算法、應(yīng)用程序以及計算性能。
總的來說,兩大超級計算系統(tǒng)的部署將基于OpenPOWER設(shè)計,同時采用英偉達(dá)與Mellanox的技術(shù)。
好文章,需要你的鼓勵
新加坡國立大學(xué)研究團(tuán)隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊通過對比實驗發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強(qiáng)于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓(xùn)練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓(xùn)練效率,已在多個任務(wù)上驗證有效性。