如今,幾乎每家上市企業(yè)都在積極討論人工智能技術(shù)對自身運營方式的重大影響。從特斯拉使用AI技術(shù)改善自動駕駛性能,到Levis通過AI強化產(chǎn)品決策能力,每個人都熱切想要在AI領(lǐng)域占據(jù)一席之地。
但要實現(xiàn)這一目標(biāo),組織的智能度必須進一步提升。為了逐步發(fā)展出嚴肅AI,我們需要采用監(jiān)督學(xué)習(xí)方法,而監(jiān)督學(xué)習(xí)的效果又由標(biāo)記數(shù)據(jù)的質(zhì)量決定。原始數(shù)據(jù)需要經(jīng)過漫長的標(biāo)記過程,而后方可用于增強監(jiān)督學(xué)習(xí)模型,由此產(chǎn)生的預(yù)算甚至可能給組織帶來可感受的壓力。過去十年以來,組織高管在存儲數(shù)據(jù)并將數(shù)據(jù)轉(zhuǎn)化為收入方面,主要擁有三種選項:
1.DIY并建立自己的定制數(shù)據(jù)標(biāo)記系統(tǒng)。為人力、技術(shù)及時間層面的重大投資做好準備并調(diào)撥預(yù)算,借此建立起一套規(guī)模龐大、可永久保存的健壯生產(chǎn)系統(tǒng)。聽起來不難?也許吧,畢竟谷歌和Facebook都成功了。但這一切未必適合您,因為那些科技巨頭擁有出色的人才與幾乎無窮的IT預(yù)算,足以建立并維護這些復(fù)雜的標(biāo)記系統(tǒng)——換言之,這類企業(yè)的預(yù)算甚至與世界上某些小國的GDP相當(dāng)。另外,即使您擁有充足的人力與時間來從零開始構(gòu)建大規(guī)模生產(chǎn)系統(tǒng),您的組織能接受這項長期延續(xù)的巨額投資嗎?
2. 外包。專業(yè)服務(wù)合作伙伴當(dāng)然很給力,但您仍然需要開發(fā)自己的內(nèi)部工具。這種方式還可能帶來其它風(fēng)險,因為此類解決方案要求將第三方數(shù)據(jù)與您自己的專有數(shù)據(jù)混合起來,通過顯著擴大數(shù)據(jù)樣本量在理論上獲取質(zhì)量更高的模型。您是否對自己的數(shù)據(jù)審計跟蹤能力有信心,保證其能夠在持久數(shù)據(jù)標(biāo)記要求的整個生命周期中保持專有性?即使您的供應(yīng)商倒閉,您在AI旅程中作為競爭優(yōu)勢開發(fā)出的流程是否可重復(fù)且始終可靠?您積累了數(shù)十的知識產(chǎn)權(quán)(數(shù)據(jù))可能因此而不慎泄露,導(dǎo)致其落入同樣與您合作伙伴聯(lián)手構(gòu)建系統(tǒng)的競爭方手中。以自動駕駛汽車行業(yè)為例,Scale.ai已經(jīng)成為領(lǐng)域中規(guī)模最大的服務(wù)商,幾乎所有相關(guān)機構(gòu)都與其保持合作關(guān)系。
3. 使用訓(xùn)練數(shù)據(jù)平臺(TDP)。這些屬于相對較新的市場解決方案,可提供一套統(tǒng)一平臺,將負責(zé)收集、標(biāo)記并饋送數(shù)據(jù)的所有作業(yè)匯總至監(jiān)督學(xué)習(xí)模型當(dāng)中,或者幫助用戶自主構(gòu)建新模型。這種方法可幫助不同規(guī)模的組織獲得等同于Salesforce及Hubspot等客戶關(guān)系管理商的方式建立標(biāo)準化工作流程。其中一些平臺還使用集成化機器學(xué)習(xí)算法自動執(zhí)行復(fù)雜任務(wù),借此進一步降低工作難度。更重要的是,TDP解決方案能夠幫助數(shù)據(jù)科學(xué)家擺脫繁重的任務(wù),將主要精力集中在構(gòu)建實際結(jié)構(gòu)(而非構(gòu)建及維護復(fù)雜而脆弱的定制化系統(tǒng))當(dāng)中。目前比較重要的TDP廠商包括Labelbox、Alegion以及Superb.ai。
我們?yōu)槭裁葱枰?xùn)練數(shù)據(jù)平臺
任何組織在開啟自己的AI探索之旅前,首先需要明確一點:數(shù)據(jù)標(biāo)記是監(jiān)督機器學(xué)習(xí)系統(tǒng)中成本最高、最為耗時的部分之一。隨著機器學(xué)習(xí)系統(tǒng)逐步發(fā)展成熟并可用于生產(chǎn)環(huán)境,數(shù)據(jù)標(biāo)記任務(wù)仍然不會停止。這項任務(wù)將永遠存在并不斷增長。無論選擇外包標(biāo)記還是內(nèi)部標(biāo)記,組織都需要選擇一套TDP進行工作管理。
TDP旨在促進整個數(shù)據(jù)標(biāo)記過程,加快產(chǎn)生高質(zhì)量數(shù)據(jù)的速度,由此幫助組織快速創(chuàng)建高性能的AI模型與應(yīng)用程序。如今,已經(jīng)有部分企業(yè)在強調(diào)TDP技術(shù)的重要性,但真正能被稱為“TDP”的解決方案仍然非常有限。
其中有兩點非常重要:業(yè)務(wù)準備情況與直觀的使用界面。如果未對業(yè)務(wù)做好充分準備,IT部門將拒絕使用。如果界面不夠直觀,用戶也會尋找其他更易于使用的方案。此外,任何負責(zé)處理敏感的、對業(yè)務(wù)至關(guān)重要的信息的系統(tǒng),也都需要具備企業(yè)級的安全性與可伸縮性保障,否則同樣無法正常起效。而實際情況甚至證明,這類目標(biāo)也許永遠無法實現(xiàn)。IT消費化至少已經(jīng)持續(xù)了十年,但Instagram這類簡單易用的應(yīng)用都很難在組織內(nèi)普及。Salesforce的自動化工具之所以能夠從Siebel手中奪取市場,靠的就是輕松愉快的用戶體驗與便捷的云交付。
除了這些基礎(chǔ)之外,數(shù)據(jù)注釋、管理與迭代同樣非常重要。如果候選系統(tǒng)無法滿足這三項要求,那么其同樣不能算是真正的TDP。下面來看關(guān)于這三項核心指標(biāo)的更多細節(jié):
注釋。TDP必須提供可用于智能自動注釋功能的工具,即盡可能自動做出更多標(biāo)記。高水平的TDP應(yīng)該能夠處理有限數(shù)量、帶有專業(yè)標(biāo)簽的數(shù)據(jù)。我們以放射科醫(yī)師處理的X光片為例,系統(tǒng)需要首先從圖像中識別出腫瘤,而后再做出預(yù)標(biāo)記。而審核人員的工作,就是糾正各類錯誤標(biāo)記問題。機器會為標(biāo)記結(jié)果提供一項置信度輸出,例如特定標(biāo)簽正確標(biāo)記的可能性為80%。對審核人員來說,優(yōu)先級最高的工作應(yīng)該是檢查并糾正機器認為置信度不足的標(biāo)簽。因此,組織應(yīng)努力推動注釋自動化并投入于相關(guān)專業(yè)服務(wù),確保數(shù)據(jù)標(biāo)記的準確性與完整性。好消息是,目前與注釋相關(guān)的多數(shù)任務(wù)無需人工即可輕松完成。
管理。TDP應(yīng)該用作數(shù)據(jù)訓(xùn)練項目中的中央記錄系統(tǒng)。數(shù)據(jù)科學(xué)家與其他團隊成員將在TDP中開展協(xié)作,通過與傳統(tǒng)項目管理工具的集成、或者在平臺本體之內(nèi),創(chuàng)建工作流并分配任務(wù)。
由此得出的數(shù)據(jù)集,還可供后續(xù)項目使用。以美國為例,每年約30%的房屋會投保房屋保險。為了預(yù)測風(fēng)險并做出準確定價,保險公司需要分析多種數(shù)據(jù)——例如房齡、是否有游戲池或者蹦床,或者房屋與樹木間的距離。為了推進這個過程,企業(yè)現(xiàn)在使用計算機視覺通過衛(wèi)星圖像為保險公司提供連續(xù)分析支持。在對新興市場中的房屋進行分類時,企業(yè)應(yīng)該使用TDP重復(fù)使用現(xiàn)有數(shù)據(jù)集。例如,如果某家公司有意進軍英國市場,則應(yīng)該能夠重用來自美國的現(xiàn)有訓(xùn)練數(shù)據(jù),以此為基礎(chǔ)稍加更新以適應(yīng)當(dāng)?shù)夭町?例如英國本地的建筑材料選擇)。這些迭代周期,將使企業(yè)提供高準確度數(shù)據(jù),同時迅速做出調(diào)整以適應(yīng)美國及其他地區(qū)的房屋情況變化。
這意味著您的TDP需要提供與其他軟件相集成的API,借此對接項目管理應(yīng)用、數(shù)據(jù)收集與處理工具,并幫助組織通過SDK建立自定義工具、擴展TDP。
迭代。真正的TDP必須承認這樣的現(xiàn)實:帶有注釋的數(shù)據(jù)永遠不會保持靜態(tài)。相反,數(shù)據(jù)會不斷變化,隨著更多數(shù)據(jù)加入數(shù)據(jù)集而持續(xù)迭代,并由模型提供關(guān)于數(shù)據(jù)有效性的反饋。而保持數(shù)據(jù)準確性、客觀性的關(guān)鍵,就是迭代。我們需要測試模型、改進模型、再次測試、持續(xù)循環(huán)。拖拉機的智能噴霧器能夠在50%的概率將除草劑準確噴向雜草,而隨著訓(xùn)練數(shù)據(jù)中的雜草圖像越來越多,計算機視覺模型的后續(xù)迭代有望逐步將準確率提升至90%或更高,同時幫助噴霧器更準確地識別出那些不需要噴灑除草劑的植物。這個過程可能相當(dāng)耗時,而且在高自動化水平的支持下,往往仍需要審核人員的參與。通過一次次迭代,我們可以推動模型逐步走向最佳狀態(tài)。而TDP的目的就是加速這種迭代,并確保每次迭代都能給模型帶來積極的改進,由此節(jié)約時間和金錢。
展望未來
正如十八世紀的標(biāo)準化與可互換部件引發(fā)了工業(yè)革命一樣,用于定義TDP的標(biāo)準框架也開始將AI技術(shù)推向新的高度。盡管尚處于起步階段,但真正的TDP管理平臺能夠以更可靠的方式將原始數(shù)據(jù)(特別是寶貴的知識產(chǎn)權(quán))轉(zhuǎn)化為標(biāo)記數(shù)據(jù),由此幫助組織在所在行業(yè)中建立起實際競爭優(yōu)勢。
在另一方面,高層管理人員還需要切實理解通過投資挖掘AI潛在財富的必要性。以往,組織只能在自主構(gòu)建、外包或者直接采購之間做出選擇,三者都會帶來高昂的成本。更重要的是,自主構(gòu)建與外包還可能帶來巨大的隱性成本,導(dǎo)致組織難以成功邁入新的業(yè)務(wù)領(lǐng)域。真正的TDP能夠“降低”這一高成本決策的風(fēng)險,同時有效保護企業(yè)的核心競爭優(yōu)勢,即知識產(chǎn)權(quán)。
好文章,需要你的鼓勵
騰訊ARC實驗室推出AudioStory系統(tǒng),首次實現(xiàn)AI根據(jù)復(fù)雜指令創(chuàng)作完整長篇音頻故事。該系統(tǒng)結(jié)合大語言模型的敘事推理能力與音頻生成技術(shù),通過交錯式推理生成、解耦橋接機制和漸進式訓(xùn)練,能夠?qū)?fù)雜指令分解為連續(xù)音頻場景并保持整體連貫性。在AudioStory-10K基準測試中表現(xiàn)優(yōu)異,為AI音頻創(chuàng)作開辟新方向。
Meta與特拉維夫大學(xué)聯(lián)合研發(fā)的VideoJAM技術(shù),通過讓AI同時學(xué)習(xí)外觀和運動信息,顯著解決了當(dāng)前視頻生成模型中動作不連貫、違反物理定律的核心問題。該技術(shù)僅需添加兩個線性層就能大幅提升運動質(zhì)量,在多項測試中超越包括Sora在內(nèi)的商業(yè)模型,為AI視頻生成的實用化應(yīng)用奠定了重要基礎(chǔ)。
上海AI實驗室發(fā)布OmniAlign-V研究,首次系統(tǒng)性解決多模態(tài)大語言模型人性化對話問題。該研究創(chuàng)建了包含20萬高質(zhì)量樣本的訓(xùn)練數(shù)據(jù)集和MM-AlignBench評測基準,通過創(chuàng)新的數(shù)據(jù)生成和質(zhì)量管控方法,讓AI在保持技術(shù)能力的同時顯著提升人性化交互水平,為AI價值觀對齊提供了可行技術(shù)路徑。
谷歌DeepMind團隊開發(fā)的GraphCast是一個革命性的AI天氣預(yù)測模型,能夠在不到一分鐘內(nèi)完成10天全球天氣預(yù)報,準確性超越傳統(tǒng)方法90%的指標(biāo)。該模型采用圖神經(jīng)網(wǎng)絡(luò)技術(shù),通過學(xué)習(xí)40年歷史數(shù)據(jù)掌握天氣變化規(guī)律,在極端天氣預(yù)測方面表現(xiàn)卓越,能耗僅為傳統(tǒng)方法的千分之一,為氣象學(xué)領(lǐng)域帶來了效率和精度的雙重突破。