作者| 金旺
欄目| 機(jī)器人新紀(jì)元
2023年8月15日,宇樹科技對(duì)外發(fā)布了首款通用人形機(jī)器人H1,在次日的WRC 2023上,我們從宇樹科技聯(lián)合創(chuàng)始人陳立那里得知:
這款產(chǎn)品從立項(xiàng)到發(fā)布,僅僅用了6個(gè)月的時(shí)間。
與此同時(shí),我們看到,就在這年年底,這款名為H1的人形機(jī)器人實(shí)現(xiàn)了小批量出貨。
成立于2016年的宇樹科技(以下簡稱:宇樹),一向以“快”著稱,即便是在那個(gè)電驅(qū)四足機(jī)器人的蠻荒年代,宇樹從團(tuán)隊(duì)成立到第一款產(chǎn)品問世也是如此:
2016年底成立公司,2017年初拉起團(tuán)隊(duì),2017年10月發(fā)布首款四足機(jī)器人產(chǎn)品,產(chǎn)品發(fā)布后馬上有訂單進(jìn)來……
對(duì)于宇樹而言,“快”是常態(tài),不過,宇樹科技創(chuàng)始人王興興也曾公開表示,在創(chuàng)業(yè)之初,他曾“堅(jiān)決反對(duì)過做人形機(jī)器人”。
從最初的“堅(jiān)決反對(duì)”到如今的“快速入局”,他們沒有想到,人形機(jī)器人的時(shí)代會(huì)這么快到來。
就像當(dāng)年他們沒有想到,會(huì)那么快有機(jī)會(huì),奔向四足機(jī)器人創(chuàng)業(yè)浪潮。
01 四足機(jī)器人的另一條路徑
陳立和王興興是上海大學(xué)的同窗密友,常年混跡在同一個(gè)實(shí)驗(yàn)室里,只不過,他們當(dāng)時(shí)并不在同一個(gè)課題組,用陳立的話說就是,“王興興當(dāng)時(shí)每天都在做機(jī)器狗,我每天在看著他做機(jī)器狗。”
四年同窗情誼,在這個(gè)過程中逐漸建立起來,兩人也互相熟知對(duì)方的能力所在。
王興興是個(gè)很有天賦的技術(shù)男,在那個(gè)波士頓動(dòng)力的液壓四足機(jī)器人還是主流的年代,他在實(shí)驗(yàn)室里就已經(jīng)用一套電驅(qū)方案搭建出了四足機(jī)器人Xdog,并且憑借這一作品在2015年全國某機(jī)器人大賽中拿到了二等獎(jiǎng)。
一年后,一位投資人通過這次比賽中的Xdog,找到了剛?cè)肼毚蠼耐跖d興問是否有意創(chuàng)業(yè),這就有了后來的宇樹科技。
2016年年底,王興興開始籌建自己的機(jī)器人團(tuán)隊(duì),對(duì)于本就做過Xdog的他而言,原型機(jī)打造不會(huì)太難,商業(yè)化也就成了一個(gè)必須要盡早考慮的問題。
這時(shí),王興興想到了大學(xué)時(shí)同一實(shí)驗(yàn)室中很有商業(yè)天分的陳立。
于是,王興興找到了在全球最大視頻監(jiān)控設(shè)備制造商之一企業(yè)中工作的陳立說,要不要一起做四足機(jī)器人?
陳立一直都知道王興興有創(chuàng)業(yè)做四足機(jī)器人的打算,尤其是在Xdog嶄露頭角這一年,電驅(qū)四足機(jī)器人也有了破土而出的跡象。
那些年,波士頓動(dòng)力一直是全球范圍內(nèi)四足機(jī)器人領(lǐng)域的網(wǎng)紅玩家,在2010年前后,該團(tuán)隊(duì)先后在YouTube上發(fā)布的BigDog和LS3演示視頻,展現(xiàn)出了超強(qiáng)的運(yùn)動(dòng)能力,不過,這兩款產(chǎn)品均采用液壓驅(qū)動(dòng)。
“當(dāng)時(shí)大家都不敢想象能用電驅(qū)方案做四足機(jī)器人,最主要的原因是電機(jī)扭矩不夠,”陳立告訴科技行者。
這也是王興興當(dāng)年做出Xdog的稀缺性所在。
2016年,重做四足機(jī)器人時(shí),宇樹只有一個(gè)五六人的團(tuán)隊(duì),當(dāng)時(shí)他們相信,只要先把產(chǎn)品做穩(wěn)定,未來一定會(huì)有市場。
一切就像他們預(yù)想的那樣,第一款四足機(jī)器人很快在2017年10月完成研發(fā)、對(duì)外發(fā)布,他們?yōu)榈谝豢钏淖銠C(jī)器人起名叫Laikago。
陳立告訴科技行者,“我們做產(chǎn)品研發(fā),是先做產(chǎn)品的功能定義,包括整機(jī)尺寸、參數(shù)、性能等,做好功能定義后,會(huì)再反推支撐這樣的功能需要怎樣的核心零部件,然后去研發(fā)它們。”
此外,宇樹從一開始就確立了全自研路線。
Laikago上用到的關(guān)節(jié)模組、主控板、BMS管理系統(tǒng)都是團(tuán)隊(duì)自研而來,尤其是關(guān)節(jié)模組,當(dāng)時(shí)他們第一款采用行星減速器的關(guān)節(jié)模組能量密度做到了105N.m,這為宇樹后續(xù)產(chǎn)品商業(yè)化時(shí)死磕穩(wěn)定性和性價(jià)比埋下了伏筆。
2017年,市面上的四足機(jī)器人屈指可數(shù),尤其是更有商業(yè)化潛力的電驅(qū)四足機(jī)器人。
陳立說,Laikago的出現(xiàn)最主要的影響是讓機(jī)器人科研領(lǐng)域有了一款能買得到的電驅(qū)四足機(jī)器人,走出了“無狗可用”的困境,不過,宇樹真正的目的是想加速通用(足式)機(jī)器人時(shí)代的來臨。
實(shí)際上,Laikago一經(jīng)發(fā)布,就有高校、研究所及企業(yè)實(shí)驗(yàn)室等前來詢價(jià)采買,宇樹團(tuán)隊(duì)很快拿到了商業(yè)訂單,陳立的工作重心也正式從產(chǎn)品開發(fā)轉(zhuǎn)到了商業(yè)化上,開始招人、做訂單對(duì)接、商務(wù)管理,技術(shù)支持、輸出解決方案、項(xiàng)目交付。
由于當(dāng)時(shí)基于對(duì)成本的考慮,宇樹新成立的銷售部和技術(shù)支持部每個(gè)部門都只招了一個(gè)人,銷售部會(huì)兼著把市場宣發(fā)一起做到位,技術(shù)支持部則負(fù)責(zé)解決售前售后客戶答疑和對(duì)接,但這些工作,主要還是由陳立來一手抓。
2018年,陳立一人一狗參加CCF-GAIR 2018時(shí),他半天不敢喝水,因?yàn)榕律舷词珠g會(huì)錯(cuò)過和客戶交流的機(jī)會(huì)。
那是每個(gè)創(chuàng)業(yè)團(tuán)隊(duì)從產(chǎn)品研發(fā)走向商業(yè)化都會(huì)經(jīng)歷的一個(gè)過程,也是陳立最忙碌的日子。
不過,宇樹真正繁忙的日子,才剛剛開始。
02 第一個(gè)商業(yè)著陸點(diǎn)
2019年,一款四足機(jī)器人后空翻的視頻在網(wǎng)上爆火,在此之前,大多數(shù)圈內(nèi)人想到會(huì)后空翻的四足機(jī)器人,都會(huì)波士頓動(dòng)力的Spot。
不過,這款四足機(jī)器人不是Spot,而是宇樹這一年對(duì)外發(fā)布的AlienGo。
會(huì)后空翻對(duì)于四足機(jī)器人真有那么重用嗎?
陳立告訴科技行者,“四足機(jī)器人后空翻就實(shí)用程度上來看,其實(shí)沒有那么重要,更多是一個(gè)綜合性能的體現(xiàn)。”
陳立以更成熟的汽車產(chǎn)業(yè)為例解釋稱:
“一輛超跑零百加速只要二點(diǎn)幾秒,一輛普通家用汽車零百加速需要6-10秒,除了在等紅綠燈時(shí),起步快一些外,在實(shí)際開車過程中不會(huì)有太直觀的體驗(yàn),但這確實(shí)是一輛汽車綜合性能非常重要的直觀體現(xiàn)。
四足機(jī)器人后空翻也是如此,例如在尺寸、重量、成本一定的前提下,你的關(guān)節(jié)扭矩是否足以支撐你的四足機(jī)器人做后空翻才是關(guān)鍵。”
也是自這款定位為“行業(yè)功能機(jī)”的AlienGo起,宇樹的四足機(jī)器人開始真正進(jìn)入商業(yè)領(lǐng)域。
以最早用到AlienGo的電力巡檢應(yīng)用場景為例,這是一個(gè)極其枯燥又亟需降本增效的場景,在這一場景中,往往各種表計(jì)安裝位置較為低矮,人工巡檢很難看仔細(xì),還無法做到24小時(shí)巡檢。
有的時(shí)候,巡檢人員在經(jīng)過幾次巡檢后,他們認(rèn)為對(duì)這些數(shù)據(jù)已經(jīng)了然于胸,然而一旦出現(xiàn)故障,往往又難以準(zhǔn)確定位到故障點(diǎn)。
通過使用四足機(jī)器人進(jìn)行電力巡檢,不僅可以提升巡檢準(zhǔn)確度,也是一個(gè)將事后排故轉(zhuǎn)向事前排查的過程。
電力巡檢由此成了宇樹在產(chǎn)業(yè)化上找到的第一個(gè)著陸點(diǎn)。
與此同時(shí),在商業(yè)化道路上一直備受詬病的波士頓動(dòng)力,在2019年終于開始將四足機(jī)器人Spot Mini推向商業(yè)市場,國內(nèi)四足機(jī)器人市場也涌現(xiàn)出了優(yōu)寶特、Dogotix等新玩家。
據(jù)陳立回憶,這一年,全球四足機(jī)器人銷售額大概有幾個(gè)億,按銷售量算的話,也就只有幾千臺(tái)。
就宇樹自身來看,這一年,他們賣出了小幾百臺(tái)四足機(jī)器人,也算有了不小的收獲。
雖然從市場規(guī)模來看,2019年的四足機(jī)器人仍屬小眾,但這一產(chǎn)品終于跨入了產(chǎn)業(yè)化階段,一個(gè)新的周期緩緩開啟。
03 錯(cuò)過的風(fēng)口
2024年,陳立一直很忙,從春節(jié)過后到現(xiàn)在,一刻不曾停歇,這樣的工作節(jié)奏也讓他想起了三年前的熱鬧場景。
2021年2月,宇樹24臺(tái)四足機(jī)器人以小牛“犇犇”的形象登上了央視牛年春晚舞臺(tái),為劉德華、王一博、關(guān)曉彤伴舞,一時(shí)讓宇樹的四足機(jī)器人家喻戶曉。
這是宇樹四足機(jī)器人第一次登上全民舞臺(tái),陳立告訴科技行者,“春晚后,找我們?cè)儍r(jià)的人數(shù)暴增,但基本都是普通消費(fèi)者,一聽要幾萬塊錢,也就沒了下文。”
這一年,登上春晚舞臺(tái)的是宇樹第一款小尺寸四足機(jī)器人——體積更小、售價(jià)也更便宜的教育版四足機(jī)器人A1,這款四足機(jī)器人最早是在美國拉斯維加斯的CES 2020期間發(fā)布。
這款機(jī)器人也直接將四足機(jī)器人的市價(jià)打到了10萬元以內(nèi)。
陳立說,“A1對(duì)于整個(gè)行業(yè)的意義在于,它讓四足機(jī)器人從能買到但依然很貴,直接進(jìn)入到了大家真正買得起的階段。”
之所以能將售價(jià)打下來,依然是因?yàn)橛顦鋸囊婚_始就確立的產(chǎn)品全自研路線。
陳立認(rèn)為,堅(jiān)持核心零部件自研,以及整機(jī)全自研至少為宇樹帶來了三個(gè)好處:
首先,可以極大地?fù)舸┕?yīng)鏈成本。
“如果零部件自研,上游供應(yīng)商就會(huì)從零部件供應(yīng)商變成材料供應(yīng)商,例如電機(jī)如果不是自研的話,供應(yīng)商就是電機(jī)廠商,如果自研,上游供應(yīng)商就是銅線、磁鐵等材料供應(yīng)商,中國傳統(tǒng)材料產(chǎn)業(yè)做得并不差,性價(jià)比又很高。”
其次,宇樹每一代產(chǎn)品都可以將硬件性能榨干。
“就用到行業(yè)場景中的四足機(jī)器人,考慮到負(fù)重和性能,一般都是越大越好,但是我們需要考慮成本和技術(shù)路線問題,我們一直在做一件事——在一定尺寸、重量、成本下,將現(xiàn)有硬件性能‘榨干’。”
最后則是產(chǎn)品設(shè)計(jì)上的優(yōu)勢(shì)傳承。
“在整個(gè)產(chǎn)品體系迭代過程中,諸如線纜內(nèi)置、電池快速插拔、關(guān)節(jié)被動(dòng)懸掛系統(tǒng)等,是我們從AlienGo一直沿用到了現(xiàn)在。”
即便如此,在2021年,宇樹登上春晚的A1,售價(jià)依然要幾萬元。
對(duì)于科研和商用而言,這樣的價(jià)格已經(jīng)很性感,但對(duì)于普通消費(fèi)者而言,哪怕是和手機(jī)、筆記本這樣的高端消費(fèi)產(chǎn)品相比,這樣的售價(jià)依然十分昂貴。
陳立回憶起2021年的場景,依然不免惋惜,“如果當(dāng)時(shí)登上春晚的是我們的Go1,那結(jié)果一定會(huì)不一樣。”
Go1是宇樹在2021年6月發(fā)布的第一款真正面向消費(fèi)市場的四足機(jī)器人,這款產(chǎn)品售價(jià)再次降低到了1.6萬元。
實(shí)際上,這款產(chǎn)品立項(xiàng)早在2020年1月A1發(fā)布后就已經(jīng)正式立項(xiàng),是宇樹內(nèi)部面向消費(fèi)市場規(guī)劃的一款重量級(jí)產(chǎn)品。
在“錯(cuò)過”春晚后,宇樹研發(fā)團(tuán)隊(duì)像打了雞血一樣,僅用了4個(gè)月時(shí)間,就將這款產(chǎn)品推向了市場。
也是在這一年,在宇樹機(jī)器狗登上春晚、MIT四足機(jī)器人項(xiàng)目開源、小米四足機(jī)器人進(jìn)入戰(zhàn)場這幾件關(guān)鍵戰(zhàn)事推動(dòng)下,四足機(jī)器人開始邁入消費(fèi)市場。
從出貨量來看,2022年,宇樹四足機(jī)器人Go 1出貨數(shù)千臺(tái)。
這時(shí),四足機(jī)器人離成為國民級(jí)產(chǎn)品更進(jìn)了一步。
同樣是在這年年底,ChatGPT的熱潮,帶火了人形機(jī)器人。
04 “抽空”做人形
對(duì)于每個(gè)機(jī)器人團(tuán)隊(duì)而言,要不要做人形機(jī)器人,都是一個(gè)需要考慮的終極問題。
因?yàn)槿诵螜C(jī)器人始終是機(jī)器人的終極形態(tài),就像通用人工智能之于人工智能一樣。
在2016年創(chuàng)業(yè)之初,面對(duì)投資人的一再追問,王興興表態(tài)“堅(jiān)決反對(duì)做人形機(jī)器人”,因?yàn)楫?dāng)時(shí)他覺得人形機(jī)器人還很遙遠(yuǎn)。
不過,陳立告訴科技行者,“我們后來是在2019年想到要做人形機(jī)器人的,但當(dāng)時(shí)四足機(jī)器人市場競爭很激烈,而四足機(jī)器人又是我們的主戰(zhàn)場,我們一直沒能抽出人手來做人形機(jī)器人。”
正因如此,宇樹的人形機(jī)器人立項(xiàng)一拖再拖,直到2023年2月才在內(nèi)部正式立項(xiàng)。
談及宇樹人形機(jī)器人立項(xiàng)原因,陳立告訴科技行者,主要有三個(gè):
首先,特斯拉官宣要做人形機(jī)器人,我們覺得這會(huì)是一個(gè)風(fēng)口;
其次,我們Go2和B2兩款四足機(jī)器人研發(fā)進(jìn)度超預(yù)期,終于能夠抽出人手做人形機(jī)器人,“原打算Go2是2023年年底發(fā)布,但2023年7月我們就做完了”;
當(dāng)然,最重要的還是人工智能技術(shù)突飛猛進(jìn),讓我們看到了機(jī)會(huì)。
于是,宇樹內(nèi)部抽調(diào)了一些工程師,開始研發(fā)人形機(jī)器人。
在宇樹內(nèi)部,做人形機(jī)器人同樣是軟件、硬件兩條腿走路:
一邊是硬件工程師在做產(chǎn)品定義、開發(fā)人形機(jī)器人硬件本體;
另一邊,軟件工程師也在開發(fā)算法、在仿真環(huán)境中進(jìn)行算法調(diào)優(yōu)。
整個(gè)過程只用了6個(gè)月,宇樹第一款通用人形機(jī)器人H1趕在WRC 2023前完成研發(fā),并在這一展會(huì)上正式亮相。
能夠這么快做出一款人形機(jī)器人,宇樹官方的說法是——有做四足機(jī)器人的基礎(chǔ),做人形機(jī)器人并不難。
具體而言,陳立告訴科技行者,“H1最重要的膝關(guān)節(jié),用的正是宇樹四足機(jī)器人B2上360N.m的關(guān)節(jié)電機(jī)。”
這么快速成型的人形機(jī)器人很好地證明了宇樹團(tuán)隊(duì)的技術(shù)實(shí)力,但必然會(huì)有很多不足之處。
陳立告訴我們,“去年8月發(fā)布時(shí),我們這款人形機(jī)器人還有些問題沒有解決,樣機(jī)也只有展出的那幾臺(tái),更重要的是,當(dāng)時(shí)H1還不具備量產(chǎn)能力。”
因?yàn)橐谀甑走M(jìn)行小批量生產(chǎn),僅僅是生產(chǎn)上遇到的問題,就夠陳立頭疼的了。
“以生產(chǎn)線裝機(jī)過程為例,我們需要一遍一遍教操作工人如何組裝,中間如果有一個(gè)工序出錯(cuò),最后裝起來的人形機(jī)器人看上去都一樣,但實(shí)際運(yùn)行起來,很可能會(huì)出錯(cuò)。”
當(dāng)然,在過去這幾個(gè)月里,宇樹人形機(jī)器人研發(fā)團(tuán)隊(duì)又對(duì)這款產(chǎn)品在算法上進(jìn)行了多次優(yōu)化,在穩(wěn)定性上得到了極大的提升。
穩(wěn)定性提升最直接的體現(xiàn)是,今年3月,H1學(xué)會(huì)了后空翻。
05 大模型加速改變
為什么國內(nèi)其他人形機(jī)器人,不會(huì)后空翻?
這是我看到宇樹H1后空翻視頻時(shí)腦子里冒出來的第一個(gè)問題,陳立告訴我們,這背后關(guān)乎的其實(shí)正是機(jī)器人的穩(wěn)定性和可靠性。
要想讓人形機(jī)器人學(xué)會(huì)后空翻,首先要經(jīng)得起“摔”。
宇樹H1在學(xué)習(xí)后空翻過程中摔過很多次,也維修過幾次,不過,陳立告訴科技行者,“這臺(tái)人形機(jī)器人的本體和電機(jī)始終沒有摔壞。”
更甚者,最后用來拍視頻的這臺(tái)H1,其實(shí)就是WRC 2023上展示的那臺(tái)人形機(jī)器人。
很多人形機(jī)器人團(tuán)隊(duì),如果關(guān)鍵零部件不是完全自研,摔壞了電機(jī)需要找電機(jī)供應(yīng)商進(jìn)行維修,如果更換電機(jī),則又要重新調(diào)參數(shù)。
“很多人形機(jī)器人團(tuán)隊(duì)或者沒有信心去做這件事,或者本身沒有足夠多的人形機(jī)器人去做測(cè)試,也或者他們已經(jīng)試過了,但人形機(jī)器人摔得粉碎。”
穩(wěn)定性、可靠性、成本是陳立認(rèn)為人形機(jī)器人現(xiàn)在最需要解決的問題,宇樹也正在小步快跑,解決這些問題。
這其中,人工智能技術(shù)的突破,成了推動(dòng)人形機(jī)器人快速迭代的一大利器。
我們見到陳立時(shí),美國英偉達(dá)GTC 2024結(jié)束不久,他告訴科技行者,宇樹H1現(xiàn)在已經(jīng)用上了英偉達(dá)的人形機(jī)器人通用基礎(chǔ)模型,關(guān)于大模型對(duì)人形機(jī)器人帶來的最重要的改變,陳立將其總結(jié)為“效率”二字。
“大模型讓人形機(jī)器人在仿真環(huán)境中的學(xué)習(xí)效率更高,也讓我們的研發(fā)同事得以更快將運(yùn)動(dòng)控制模型做出來……”
實(shí)際上,在去年9月,當(dāng)宇樹人形機(jī)器人團(tuán)隊(duì)幾位工程師第一次開發(fā)人形機(jī)器人運(yùn)動(dòng)AI模型時(shí), 最初做出來的AI模型用到機(jī)器人上近乎災(zāi)難,機(jī)器人運(yùn)動(dòng)起來東倒西歪,甚至站都站不起來。
某天晚上,宇樹人形機(jī)器人團(tuán)隊(duì)一位工程師開著電腦對(duì)AI模型進(jìn)行訓(xùn)練,晚上回家也沒有關(guān)電腦,等第二天回來時(shí)發(fā)現(xiàn),訓(xùn)練出來的性能超乎想象。
這正是當(dāng)下人工智能技術(shù)為人形機(jī)器人帶來的驚喜。
2023年,在宇樹發(fā)布通用人形機(jī)器人H1時(shí),僅僅在WRC 2023展會(huì)上,就云集了二十多款各式各樣的人形機(jī)器人,人形機(jī)器人在這一年熾手可熱,甚至令人眼花繚亂。
而在前不久首屆中國具身智能大會(huì)上,陳立在演講中指出,“人形機(jī)器人現(xiàn)在處于一個(gè)快速迭代過程中,大家現(xiàn)在都說自己的方案是最好的,但很可能明天就有一個(gè)企業(yè)或高校團(tuán)隊(duì)推出的人形機(jī)器人方案就比你的好,這很有可能,也是一個(gè)很必要的發(fā)展過程。”
“就產(chǎn)業(yè)發(fā)展而言,我希望這種迭代更新速度可以再快一些,這樣就可以大幅縮短這一諸神混戰(zhàn)的時(shí)期,將人形機(jī)器人快速推向產(chǎn)業(yè)落地期。”
好文章,需要你的鼓勵(lì)
新加坡國立大學(xué)研究團(tuán)隊(duì)開發(fā)了SPIRAL框架,通過讓AI與自己對(duì)弈零和游戲來提升推理能力。實(shí)驗(yàn)顯示,僅訓(xùn)練AI玩簡單撲克游戲就能讓其數(shù)學(xué)推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學(xué)題目作為訓(xùn)練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學(xué)解題中,為AI訓(xùn)練提供了新思路。
同濟(jì)大學(xué)團(tuán)隊(duì)開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機(jī)噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學(xué)習(xí)和數(shù)學(xué)優(yōu)化方法,在合成數(shù)據(jù)集上實(shí)現(xiàn)37.9%的精度提升,并在真實(shí)設(shè)備上展現(xiàn)出色泛化能力,為機(jī)器人、AR和自動(dòng)駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學(xué)研究團(tuán)隊(duì)通過對(duì)比實(shí)驗(yàn)發(fā)現(xiàn),經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練的視覺語言模型雖然表現(xiàn)出"頓悟時(shí)刻"現(xiàn)象,但這些自我糾錯(cuò)行為并不能實(shí)際提升推理準(zhǔn)確率。研究揭示了AI模型存在"生成-驗(yàn)證差距",即生成答案的能力強(qiáng)于驗(yàn)證答案質(zhì)量的能力,且模型在自我驗(yàn)證時(shí)無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機(jī)構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動(dòng)態(tài)稀疏性實(shí)現(xiàn)大語言模型訓(xùn)練加速1.6倍,計(jì)算成本降低2.2倍。該方法使用SVD稀疏性估計(jì)器智能選擇重要計(jì)算部分,在保持模型性能的同時(shí)顯著提升訓(xùn)練效率,已在多個(gè)任務(wù)上驗(yàn)證有效性。
關(guān)注智造、硬件、機(jī)器人。