CNET科技行者 8月29日 北京消息 人工智能領(lǐng)域有三大奠基人,分別是Geoffrey Hinton、Yann LeCun與Yoshua Bengio。本文主要圍繞“神經(jīng)網(wǎng)絡(luò)之父”Geoffrey Hinton。
Geoffrey Hinton,被稱為“神經(jīng)網(wǎng)絡(luò)之父”、“深度學習鼻祖”,他曾獲得愛丁堡大學人工智能的博士學位,并且為多倫多大學的特聘教授。在2012年,Hinton還獲得了加拿大基廉獎(Killam Prizes,有“加拿大諾貝爾獎”之稱的國家最高科學獎)。2013年,Hinton 加入谷歌并帶領(lǐng)一個AI團隊,他將神經(jīng)網(wǎng)絡(luò)帶入到研究與應(yīng)用的熱潮,將“深度學習”從邊緣課題變成了谷歌等互聯(lián)網(wǎng)巨頭仰賴的核心技術(shù),并將HintonBack Propagation(反向傳播)算法應(yīng)用到神經(jīng)網(wǎng)絡(luò)與深度學習。
從Geoffrey Hinton家族開始說起
Geoffrey Hinton出生于戰(zhàn)后英國的溫布爾登,他的父親叫Howard Everest Hinton,是個英國昆蟲學家,喜歡研究甲殼蟲。他的母親Margaret是一位教師。而他們一家也都流淌著飽含聰明才智的DNA:他的叔叔是著名的經(jīng)濟學家Colin Clark,正是他發(fā)明了“國民生產(chǎn)總值”這個經(jīng)濟學術(shù)語;他的曾曾祖父是著名的邏輯學家George Boole,他發(fā)明的布爾代數(shù)(Boolean algebra)奠定了現(xiàn)代計算機科學的基礎(chǔ)。
Geoffrey Hinton的學習生涯
早在1960年代,Geoffrey Hinton的高中時期,就有一個朋友告訴他,人腦的工作原理就像全息圖一樣。創(chuàng)建一個3D全息圖,需要大量的記錄入射光被物體多次反射的結(jié)果,然后將這些信息存儲進一個龐大的數(shù)據(jù)庫中。大腦儲存信息的方式居然與全息圖如此類似,大腦并非將記憶儲存在一個特定的地方,而是在整個神經(jīng)網(wǎng)絡(luò)里傳播。Hinton為此深深的著迷。對Hinton來說,這是他人生的關(guān)鍵,也是他成功的起點。
但是,Hinton的“AI之路”走的并不平坦。
Hinton先是進入了克利夫頓大學,畢業(yè)后,他進入了劍橋大學國王學院攻讀物理和化學,但僅讀了一個月后就退學了。他談到:“我那時候18歲,第一次離開家自己生活。當時的工作十分繁重,周圍沒有任何女孩,我感到有些壓抑。”
一年之后,他再次申請攻讀建筑學,結(jié)果又退學了——而退學后僅僅一天,他又轉(zhuǎn)而攻讀物理學和生理學。此后,他又改讀哲學,但因為與他的導師發(fā)生爭吵而告終。他承認道:“我有一種教育上的多動癥。”
此后,Hinton并沒有繼續(xù)完成他的學業(yè),而是退學后搬到了北倫敦的伊斯靈頓區(qū),那里當時混亂不堪,他在那里成為了一個包工的木匠。他說道:“我做過一些貨架、懸吊門這些沒什么特別的東西。人們都是靠做這類東西賺錢。”每個星期六的早上,他都會去伊斯靈頓的埃塞克斯路圖書館,在他的筆記本里匆匆記下關(guān)于大腦工作原理的理論。
經(jīng)過幾年的艱辛工作,Hinton又回到了學術(shù)界,并從1973年開始在英國愛丁堡大學攻讀人工智能博士學位,繼續(xù)他的神經(jīng)網(wǎng)絡(luò)的探索。
后來,他轉(zhuǎn)到了美國匹茲堡的卡內(nèi)基梅隆大學繼續(xù)進行他自己的研究,但他很快意識到,他所在的院系以及整個美國大部分的AI研究工作都是由美國國防部(DoD)資助的。于是他毅然辭職以示抗議,并搬到了加拿大這個軍事資助基本無害的地方。
他表示:“我離開的時候,帶走了一美分硬幣,并用一臺施樂復印機將它放大,然后把它掛在了我的辦公室門上。但是我把其中的‘G’改成了一‘D’,所以上面那句話就變成了:in DoD we trust(‘我們信賴國防部’)。”
既有對AI的恐慌 也有對AI未來發(fā)展的期望
人工智能的美麗新世界已經(jīng)開啟,而且將永久性地改變著我們的生活,不過,這些改變,有好也有壞。
據(jù)Hinton表示,相比人們對機器日益提升的智能程度的擔憂,對人類而言,更為緊迫的威脅其實是殺手機器人的開發(fā)。(為強調(diào)這一點,116家AI公司創(chuàng)始人在本周聯(lián)合簽署了一份請愿書,呼吁禁止制作致命的機器人武器。)
Hinton自己以前也簽署過類似的請愿書,并鄭重地寫信給英國國防部闡述他對此的擔憂。他談到:“(英國國防部)回復說現(xiàn)在還沒必要對此做出什么處理,因為人工智能技術(shù)的發(fā)展仍任重而道遠,而且不管怎么說,它們還有可能會帶來很多益處。不過,他們肯定有能力做到這一點。”
除此之外,他還擔心人工智能會越來越多地被用于政府對平民的監(jiān)視,而且他還透露稱自己曾因為擔他的研究會被安全部門濫用,拒絕了一份在加拿大相當于美國國家安全局董事會的工作邀約。
不過,盡管已經(jīng)討論過了當前正在研發(fā)的“無人機群”等武器話題,Hinton仍然相信AI所產(chǎn)生的效益會給人類帶來福音,尤其是在醫(yī)療和教育領(lǐng)域。
Hinton在1994年失去了他的第一任妻子Ros,她因卵巢癌逝世,留下他獨自撫養(yǎng)照顧他們收養(yǎng)的兩個年幼的孩子。后來,他與其現(xiàn)任妻子Jackie再婚,不過,據(jù)說Jackie現(xiàn)在也被診斷出患有胰腺癌。
他認為,人工智能的成果將使醫(yī)學變得更加高效。他設(shè)想,過不了多久,每個人都能夠花100美元獲取自己的基因圖譜(目前這一項目的費用為1000美元)。不過,對于放射科醫(yī)生而言,AI的發(fā)展并不是個好消息,而且Hinton也認為X射線檢測工作可能很快就會被大量機器人取代。
雖然大量工作崗位將會消失,但他堅持認為,確保人們不會被經(jīng)濟自動化浪潮拋下是政府和企業(yè)的工作和職責。
Hinton表示:“在一個分工明確的組織型社會里,提高生產(chǎn)力將使每個人受益。問題不在于技術(shù),而在于利益的分配方式。”
現(xiàn)在的Hinton:一半歸多倫多大學,一半歸Google大腦
現(xiàn)在,Geoffrey Hinton一半時間在多倫多大學教書,一半時間在 Google建設(shè)神秘的Google大腦。
深入到谷歌位于多倫多市中心總部內(nèi)部的辦公室,經(jīng)過其屋頂綠綠的高爾夫球場、桌上足球桌和大膽采用同該公司Logo標志一樣基本色的人體工學座椅,我們將看到一個不修邊幅的人站在那里,就像是剛從昆汀·布萊克的畫像中走出來,與周圍環(huán)境格格不入。
從外貌上看,Geoffrey Hinton教授有著所有英國學者的典型特征:一頭蓬亂的頭發(fā),皺巴巴的襯衫,襯衫前口袋里還插著一排圓珠筆,守著一個巨大且臟亂的白板,白板上寫滿了各種復雜難解的方程式。他的辦公室里根本沒有座椅,69歲的Hinton教授喜歡一直站著。
雖然他看起來可能有些古怪,但對他辦公室外的那些年輕的人事物而言,Hinton是一種類似于神級的存在:他被人們譽為“人工智能(AI)教父”,而這項已經(jīng)引發(fā)全球性變革的新技術(shù)背后,與其聰明才智密不可分。
他過去帶過的學生已陸續(xù)被硅谷挖走,分別在蘋果、Facebook和Google這類的科技巨頭公司里領(lǐng)導著人工智能領(lǐng)域的研究工作,而他自己也被Google聘請為公司副總裁,主管工程設(shè)計部門。在接下來的幾個月里,他將執(zhí)掌多倫多新募集了1.8億美元資金的人工智能研究所Vector Institute,以期鞏固這座城市在人工智能領(lǐng)域作為全球領(lǐng)導者的地位。
盡管在北美呆了這么多年,Geoffrey Hinton教授仍舊操著一口標準的英式口音說道:“被稱為‘教父’,我感覺有一些難為情。”
他笑著表示:“我對我自己的數(shù)據(jù)有一種里根式的篤信。”而正是Geoffrey Hinton對自己的工作成果不可動搖的信念,促使他從學術(shù)生涯多年的不得志走到了當前最熱門的AI前沿。
Hinton教授是機器學習的開創(chuàng)者,使得計算機可以獨立想出程序、自己解決問題。特別重要的是,他還從中開辟了機器學習的一個子領(lǐng)域,即所謂的“深度學習”,也就是讓那些機器像一個蹣跚學步的孩子一樣,模仿大腦的神經(jīng)網(wǎng)絡(luò)形式。
這意味著計算機可以自動構(gòu)建一層層智慧網(wǎng)絡(luò)。隨著近年來非常強大的處理技術(shù)的出現(xiàn),這種深度學習框架經(jīng)歷了巨大的變革,現(xiàn)已成為主流方法:從我們的智能手機中的語音識別模式到圖像檢測軟件再到亞馬遜為用戶推薦購買哪本圖書,全都離不開深度學習。
Hinton及其同事們的工作挖掘出了機器學習的無限潛力,他們也被其競爭對手戲稱為“加拿大黑手黨”。
近期,Geoffrey Hinton帶領(lǐng)谷歌大腦團隊推出了新作:通過給個體標簽建模來提高分類能力,同時也展示了通過采用這種標記方法我們提升了計算機輔助診斷糖尿病導致視網(wǎng)膜病變的準確度。谷歌大腦團隊提供了一種創(chuàng)新的方法,以處理那些數(shù)量巨大的、需要借助專家來標記標簽的現(xiàn)實數(shù)據(jù)。
同時,Geoffrey Hinton在多倫多大學也有新動作,近期,多倫多大學宣布成立一個專注于人工智能研究的獨立研究機構(gòu)——向量學院(Vector Institute),作為多倫多大學計算機系名譽教授的Geoffrey Hinton被任命為首席科學顧問將在這里開展人工智能研究,吸引更多人才并致力于將多倫多建設(shè)成一個全球人工智能的中心。Hinton的這個團隊也會是Google Brain的一個延伸,而恰巧在去年底,Google早已宣布在蒙特利爾開設(shè)了一個Google Brain的分部。
即便是高瞻遠矚如Hinton,他也不知道人工智能革命接下來會將我們帶向何處。他說道:“在這個領(lǐng)域,很難預測五年以后的事情,畢竟事情往往并不會像你期待的那樣如期而至。”
不過可以確定的是,正如我們所知,新世界的大門即將開啟。
文章末尾的彩蛋——《人工智能發(fā)展大事記》
1950年 圖靈測試
阿蘭·圖靈(Alan Turing)最為著名的是他在二戰(zhàn)時于布萊切利園(Bletchley Park)所做的加密工作,他為只能機器行為設(shè)計了一項測試。如果人類觀察者無法確切地辨別出測試的回應(yīng)者是機器還是人類,那么這臺機器就算是通過了圖靈測試。圖靈把這個測試稱為“模仿游戲”。
1956年 “人工智能”誕生
在美國新罕布什爾州達特茅斯學院的一次計算機科學會議上,人工智能作為一個正式的學科被正式創(chuàng)立。由于在教導機器學習下棋和用英語解決一些問題方面初見成效,美國國防部便開始資助人工智能的研究,并預測人們將在二十世紀七十年代中期以前解決人工智能問題。
1968年 《2001:太空漫游》
斯坦利·庫布里克(Stanley Kubrik)導演的這部電影中那個殺氣騰騰的計算機HAL,已經(jīng)使得一種狂暴的人工智能想法在流行文化中扎根。同年,菲利普·迪克(Philip K Dick)也出版了一部類似的小說,后來這部小說被拍攝成為了電影《銀翼殺手》(Blade Runner)。
二十世紀70年代 人工智能“蕭條期”
由于受到數(shù)學家詹姆斯·萊特希爾(James Lighthill)對人工智能行業(yè)進展做出的批評報告的部分影響,美國和英國政府紛紛撤回了對人工智能研發(fā)的資助資金。
這是人工智能的第一個主要“寒冬”,而到了二十世紀80年代末,由于個人電腦的繁榮發(fā)展勢不可擋,第二個AI寒冬到來了。我們可以看到AI這個詞從文獻研究中消失了數(shù)年,取而代之的是“機器學習”和“信息學”。
1984年 《終結(jié)者》發(fā)布
詹姆斯·卡梅隆(James Cameron)在他這部經(jīng)典科幻電影中設(shè)定了一個名為天網(wǎng)(SkyNet)的人工智能系統(tǒng),結(jié)果這個系統(tǒng)后來自我意識覺醒,開始毀滅人類尋求自衛(wèi)。
1997年 深藍(Deep Blue)擊敗卡斯帕羅夫(Kasparov)
這是人類國際象棋特級大師首次在比賽中被計算機擊敗。而計算機深藍在這場國際象棋比賽中的勝利也引發(fā)了人們對把國際象棋作為測試評估基準的重新思考,畢竟這種游戲很容易通過計算蠻力攻克。
2011年 沃森(Waston)在《危險邊緣》中獲勝
沃森是一個由IBM公司特別設(shè)計用來參與智力競賽節(jié)目的系統(tǒng),在這些競賽中,參賽者可以前來挑戰(zhàn)上一位贏家。而沃森在《危險邊緣》節(jié)目中贏得了100萬美元的頭獎。如今這款基礎(chǔ)軟件已被用于各種注重理解人類語言的應(yīng)用程序中,例如,它可以在醫(yī)療保健領(lǐng)域作為醫(yī)護人員的醫(yī)療決策支持系統(tǒng)使用。
2011年 Siri問世
Siri最初是在2008年從美國國防部高級研究計劃局(DARPA)的研究中剝離出來的一個私人助理應(yīng)用。隨后,蘋果公司在2010年收購了這家公司,并在2011年將人工智能引入了大眾市場設(shè)備iPhone 4S。
2012年 無人駕駛汽車
美國加州已經(jīng)通過立法將無人駕駛汽車上路合法化,不過為了安全性,目前車上還需要有一個人在場。這一進展是谷歌不斷推動的結(jié)果,而且谷歌也宣布其無人駕駛汽車已行駛30000英里,沒有發(fā)生一次事故。
2016年 DeepMind擊敗圍棋冠軍
由谷歌DeepMind研發(fā)的計算機程序AlphaGo,擊敗了圍棋九段高手李世乭(Lee Sedol)。繼深藍在國際象棋中獲勝之后,計算機科學家們不得不轉(zhuǎn)將圍棋作為一個更加復雜的人工智能測試場,測試計算機的推理能力。
好文章,需要你的鼓勵
新加坡國立大學研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓練AI玩簡單撲克游戲就能讓其數(shù)學推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學題目作為訓練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學解題中,為AI訓練提供了新思路。
同濟大學團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學習和數(shù)學優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學習訓練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓練效率,已在多個任務(wù)上驗證有效性。