當我們談到訓練像ChatGPT這樣的大型AI模型時，就像在描述一個需要數(shù)千臺超級電腦同時工作的巨大工廠。這項由谷歌DeepMind的Arthur Douillard和Yanislav Donchev等研究員領導的研究發(fā)表于2025年1月的arXiv預印本平臺，論文編號為arXiv:2501.18512v1，有興趣深入了解的讀者可以通過https://arxiv.org/abs/2501.18512訪問完整論文。

在這個AI工廠里，每臺機器都需要不斷地與其他機器分享信息，就像一群廚師在準備一道復雜菜品時需要持續(xù)溝通一樣。但問題來了：當廚師數(shù)量從幾十個增加到幾千個時，他們之間的溝通就變成了一個巨大的挑戰(zhàn)。每個廚師都需要知道其他人在做什么，需要同步配菜的進度，這就需要一個強大的通信網絡。

傳統(tǒng)的AI訓練方法就像要求所有廚師在每一個步驟后都必須停下來，等待所有人都完成，然后一起交換筆記，確保每個人的配方都是最新的。這種方法雖然能保證菜品質量，但需要極其快速的通信網絡，就像需要為每個廚師配備超高速對講機一樣昂貴。

研究團隊發(fā)現(xiàn)了一個聰明的解決方案，他們稱之為"Streaming DiLoCo"（流式分布式低通信訓練）。這個名字聽起來很技術化，但實際上就像是重新設計了廚師之間的協(xié)作方式。他們的方法不是讓所有廚師同時交換所有信息，而是讓廚師們分組工作，每組內的廚師可以快速溝通，但組與組之間只需要偶爾交換關鍵信息。

更巧妙的是，他們不是一次性交換所有配方信息，而是分批次、分部分地交換。比如今天交換關于調料的信息，明天交換關于火候的信息，后天交換關于擺盤的信息。這樣一來，每次需要傳輸?shù)男畔⒘看蟠鬁p少，但最終的菜品質量卻幾乎不受影響。

這項研究的核心貢獻在于三個創(chuàng)新設計。首先，他們開發(fā)了一種"片段同步"機制，就像讓廚師們不再同時交換整本菜譜，而是按章節(jié)分批交換。其次，他們實現(xiàn)了"重疊通信"，讓廚師們在等待新信息的同時可以繼續(xù)工作，而不是傻等著。最后，他們使用了"信息壓縮"技術，就像將原本需要寫滿一整頁的配方壓縮成幾個關鍵詞，大幅減少了需要傳輸?shù)男畔⒘俊?/p>

實驗結果令人印象深刻。在訓練一個10億參數(shù)的語言模型時，傳統(tǒng)方法需要1767TB的數(shù)據(jù)傳輸，而他們的新方法只需要4.42TB，節(jié)省了400倍的帶寬。更重要的是，訓練出來的AI模型質量幾乎沒有下降，在各種語言理解任務上的表現(xiàn)與傳統(tǒng)方法不相上下。

一、傳統(tǒng)AI訓練的帶寬瓶頸

要理解這項研究的重要性，我們需要先了解現(xiàn)在AI訓練面臨的挑戰(zhàn)。當今的大型語言模型，比如GPT系列或者Claude，都需要在數(shù)千臺專用計算機上同時訓練。這些計算機就像是一個巨大orchestra（管弦樂團）中的樂手，每個人都有自己的樂譜，但必須保持完美同步才能演奏出和諧的音樂。

在傳統(tǒng)的訓練方法中，每臺計算機處理一小批數(shù)據(jù)后，都需要將學到的"經驗"（在技術上叫梯度）分享給所有其他計算機。這就像orchestra中的每個樂手在演奏完一小段后，都需要與其他所有樂手交換演奏心得，確保大家對音樂的理解保持一致。

問題在于，當樂手數(shù)量從幾十個增加到幾千個時，這種"全員交換心得"的做法變得極其昂貴。每個樂手都需要與其他所有人通話，這需要極其強大的通信基礎設施。在現(xiàn)實中，這意味著需要每秒傳輸數(shù)百GB甚至TB級別的數(shù)據(jù)，這樣的網絡帶寬成本高昂，有時甚至比計算硬件本身還要昂貴。

更糟糕的是，所有樂手都必須停下來等待最慢的那個人完成信息交換，才能開始下一輪演奏。這種等待不僅浪費了計算資源，還大大延長了訓練時間。當某臺計算機出現(xiàn)故障或者網絡延遲時，整個訓練過程都會受到影響。

谷歌DeepMind的研究團隊意識到，這種"人人都要與人人交流"的模式雖然理論上最優(yōu)，但在實際大規(guī)模部署中存在根本性的可擴展性問題。隨著AI模型規(guī)模的快速增長，這個問題只會變得更加嚴重。因此，他們開始尋找一種既能保證訓練效果，又能大幅降低通信需求的新方法。

二、DiLoCo的基礎思想

為了解決帶寬瓶頸問題，研究團隊首先回到了一個叫DiLoCo（分布式低通信）的已有方法。這個方法的核心思想就像是將大型orchestra分成幾個小樂隊，每個小樂隊內部可以快速溝通和協(xié)調，但樂隊之間只需要偶爾同步一下整體進度。

具體來說，DiLoCo將所有計算機分成幾個組（稱為"工作節(jié)點"或"replica"），每組內的計算機可以像傳統(tǒng)方法那樣頻繁交換信息，但不同組之間只需要每隔一段時間（比如每100個訓練步驟）才交換一次信息。這就像是讓每個小樂隊先內部排練一首曲子，然后各個樂隊的指揮再聚到一起交流演奏心得，最后各自回去指導自己的樂隊。

這種方法的優(yōu)勢很明顯。由于組內通信可以使用高速網絡（比如同一個數(shù)據(jù)中心內的計算機），而組間通信頻率很低，整體的帶寬需求大大降低。同時，由于不需要等待所有計算機同時完成，系統(tǒng)對單個節(jié)點的故障或延遲更加魯棒。

然而，傳統(tǒng)的DiLoCo方法仍然存在兩個主要問題。首先，雖然組間通信頻率降低了，但每次通信時仍然需要傳輸完整的模型參數(shù)信息，這在單位時間內的帶寬需求（稱為"峰值帶寬"）仍然很高。其次，當進行組間通信時，所有計算機都必須停下訓練工作等待同步完成，這造成了計算資源的浪費。

研究團隊認識到，要真正實現(xiàn)"分布式免費午餐"（指在不影響訓練效果的前提下大幅降低通信成本），需要在DiLoCo的基礎上進行更深入的優(yōu)化。他們的目標是不僅降低通信頻率，還要降低每次通信的數(shù)據(jù)量，并且讓通信與計算能夠并行進行。

三、流式同步：化整為零的智慧

Streaming DiLoCo的第一個創(chuàng)新就是"流式同步"機制。傳統(tǒng)方法就像是要求各個小樂隊的指揮每次見面時都要交換完整的樂譜，而流式同步則是讓他們每次只交換樂譜的一部分，比如這次只討論弦樂部分，下次討論管樂部分，再下次討論打擊樂部分。

在技術實現(xiàn)上，研究團隊將神經網絡模型按層分割成若干"片段"（fragments）。比如一個有24層的神經網絡可以分成8個片段，每個片段包含3層。在每個同步周期內，不是同時同步所有片段，而是按照預設的時間表依次同步不同片段。

這種分片同步有兩種模式：順序模式和交錯模式。順序模式就像按照樂譜的頁碼順序依次討論，先討論第1-3頁，再討論第4-6頁，以此類推。交錯模式則更巧妙，就像輪流討論第1頁、第4頁、第7頁，然后討論第2頁、第5頁、第8頁，這樣能讓更新的信息更均勻地分布在整個模型中。

實驗表明，交錯模式通常能取得更好的效果，因為它能讓網絡的不同層級都能及時獲得更新的信息，避免某些層長期得不到同步而偏離正確方向。這就像在orchestra中，如果長期只讓弦樂聲部交流心得而忽視管樂聲部，整個音樂的和諧性就會受到影響。

通過這種分片同步，每次通信需要傳輸?shù)臄?shù)據(jù)量減少了片段數(shù)量的倍數(shù)。如果分成8個片段，那么峰值帶寬需求就降低到原來的1/8。這對于大規(guī)模分布式訓練來說是一個巨大的改進，因為網絡基礎設施的成本往往是按峰值帶寬而不是平均帶寬來計算的。

四、重疊通信：時間的藝術

Streaming DiLoCo的第二個創(chuàng)新是"重疊通信"機制，這解決了計算資源在等待通信時被浪費的問題。傳統(tǒng)方法就像是要求所有樂手在交換心得時都必須停止演奏，而重疊通信則允許大部分樂手繼續(xù)演奏，只有需要交換心得的那部分樂手暫停一下。

具體的做法是這樣的：當系統(tǒng)決定要同步某個片段時，并不立即停止所有計算來等待通信完成，而是讓計算過程繼續(xù)進行。只有當真正需要使用同步后的參數(shù)時，才會等待通信完成并應用更新。這個等待時間被稱為"重疊延遲"（overlap delay），通常設置為幾個訓練步驟的時間。

這種設計的巧妙之處在于，神經網絡訓練過程中，新接收到的參數(shù)不需要立即使用，可以在幾個訓練步驟后再應用。這個延遲窗口正好可以用來進行通信，從而實現(xiàn)計算與通信的并行。

研究團隊發(fā)現(xiàn)，適度的重疊延遲（比如1-5個訓練步驟）幾乎不會影響訓練效果，但能顯著提高計算資源的利用率。這是因為神經網絡訓練具有一定的魯棒性，短期的參數(shù)同步延遲不會對最終的收斂造成嚴重影響。

更進一步，這種重疊機制還提高了系統(tǒng)對網絡延遲的容忍度。在傳統(tǒng)方法中，網絡延遲直接轉化為計算資源的空閑時間，而在重疊通信中，只要網絡延遲不超過重疊窗口，就不會影響整體的訓練效率。這對于跨地域的分布式訓練尤其有價值，因為地理距離造成的網絡延遲是不可避免的。

五、量化壓縮：信息的精簡藝術

Streaming DiLoCo的第三個創(chuàng)新是對傳輸數(shù)據(jù)進行極度壓縮，將原本需要32位浮點數(shù)表示的參數(shù)信息壓縮到僅用4位就能表示。這就像是將原本需要一整頁紙才能寫完的樂譜心得，壓縮成幾個關鍵詞就能表達清楚。

傳統(tǒng)上，神經網絡的參數(shù)和梯度都使用32位浮點數(shù)（FP32）表示，這能提供很高的精度，但也意味著每個參數(shù)需要4個字節(jié)的存儲和傳輸空間。研究團隊發(fā)現(xiàn)，在參數(shù)同步過程中，并不需要保持如此高的精度。他們使用了一種叫做E3M0的4位浮點數(shù)格式，其中1位表示正負號，3位表示指數(shù)，0位表示尾數(shù)。

這種極度壓縮聽起來很危險，因為精度的損失可能會累積并最終影響模型性能。但實驗結果表明，即使在訓練數(shù)十億參數(shù)的大型模型時，這種4位壓縮也不會造成明顯的性能下降。這是因為參數(shù)同步的過程本身就具有某種"去噪"效果，多個工作節(jié)點的參數(shù)平均能夠抵消單個節(jié)點的隨機誤差。

更重要的是，雖然通信時使用4位壓縮，但接收方在進行實際計算時會將這些壓縮值重新轉換回32位精度。這確保了訓練過程的數(shù)值穩(wěn)定性，同時最大化了通信效率的提升。

通過這種量化壓縮，每次通信的數(shù)據(jù)量又進一步減少了8倍（從32位減少到4位）。結合流式同步和重疊通信，整體的帶寬需求相比傳統(tǒng)方法減少了數(shù)百倍，這就是論文標題中"400倍"這個數(shù)字的來源。

六、實驗驗證：理論照進現(xiàn)實

為了驗證這些創(chuàng)新的實際效果，研究團隊進行了大量實驗，從3500萬參數(shù)的小模型一直測試到40億參數(shù)的大型模型。他們的實驗就像是在不同規(guī)模的orchestra中測試新的協(xié)作方法，確保無論是室內樂隊還是大型交響樂團都能從中受益。

在模型質量方面，實驗結果令人鼓舞。在C4數(shù)據(jù)集上訓練的各個規(guī)模模型中，Streaming DiLoCo的表現(xiàn)與傳統(tǒng)的數(shù)據(jù)并行方法幾乎完全一致。比如在10億參數(shù)的模型上，傳統(tǒng)方法的評估損失為2.49，而Streaming DiLoCo為2.48，幾乎沒有差別。在HellaSwag常識推理任務上，準確率也從46.6%僅下降到46.0%。

更重要的是，研究團隊還在更真實的場景中測試了他們的方法。他們使用Dolma數(shù)據(jù)集訓練了一個10億參數(shù)的模型，使用了250億個tokens（相當于傳統(tǒng)推薦訓練量的10倍，這在現(xiàn)實中更常見）。在這個更具挑戰(zhàn)性的設置中，Streaming DiLoCo不僅保持了與傳統(tǒng)方法相當?shù)男阅?，在某些任務上甚至略有?yōu)勢。

在帶寬使用方面，改進效果極其顯著。傳統(tǒng)數(shù)據(jù)并行方法在訓練過程中需要交換4418TB的數(shù)據(jù)，而Streaming DiLoCo只需要11.05TB，節(jié)省了400倍。更重要的是，峰值帶寬需求從數(shù)百Gbps降低到了幾Gbps，這使得跨地域分布式訓練變得現(xiàn)實可行。

研究團隊還構建了一個詳細的計算利用率模擬器，模擬在不同帶寬條件下各種方法的計算效率。結果顯示，傳統(tǒng)數(shù)據(jù)并行方法需要100-300Gbps的帶寬才能保持90%以上的計算利用率，而Streaming DiLoCo只需要1-5Gbps就能達到95%的利用率。這意味著相同的網絡基礎設施可以支持規(guī)模大得多的分布式訓練。

七、技術細節(jié)與實現(xiàn)挑戰(zhàn)

雖然Streaming DiLoCo的核心思想相對簡單，但實際實現(xiàn)涉及許多精巧的工程細節(jié)。就像設計一個復雜的機械裝置，每個齒輪都需要精確配合才能讓整個系統(tǒng)順暢運轉。

在片段劃分策略上，研究團隊發(fā)現(xiàn)最優(yōu)的片段大小是每個片段包含3層神經網絡。太小的片段會導致通信開銷增加，太大的片段則不能充分發(fā)揮流式同步的優(yōu)勢。對于不同規(guī)模的模型，他們保持片段大小不變，這意味著更大的模型會有更多的片段，從而獲得更好的帶寬優(yōu)化效果。

在同步時機的安排上，系統(tǒng)使用了一個精心設計的調度算法。每個片段都有一個時間偏移量，確保不同片段的同步時間均勻分布。比如在一個有8個片段、同步間隔為100步的設置中，第一個片段在第100步同步，第二個片段在第112.5步同步，以此類推。這種錯開安排避免了網絡擁堵，也讓模型的不同部分能夠更均勻地接收更新。

在參數(shù)融合方面，當一個片段接收到同步更新時，需要將遠程更新與本地計算結果進行融合。研究團隊使用了一個簡單的線性組合：新參數(shù) = α × 本地參數(shù) + (1-α) × 遠程參數(shù)，其中α是一個介于0和1之間的融合系數(shù)。實驗表明，α=0.5通常能取得最好的效果。

內存管理也是一個重要考慮。由于Streaming DiLoCo需要同時維護多個版本的片段參數(shù)，內存開銷會增加。但研究團隊巧妙地利用了訓練過程的時序特性：在某個時刻只有少數(shù)幾個片段需要保存額外的參數(shù)版本，大部分參數(shù)可以存儲在較慢但更便宜的內存中，只在需要時才加載到高速內存。

八、擴展性與魯棒性分析

Streaming DiLoCo不僅在性能上表現(xiàn)出色，在系統(tǒng)的擴展性和魯棒性方面也有顯著優(yōu)勢。這些特性對于實際的大規(guī)模AI訓練部署至關重要。

在擴展性方面，傳統(tǒng)數(shù)據(jù)并行方法的通信復雜度隨著參與節(jié)點數(shù)量的平方增長，這使得超大規(guī)模訓練變得極其困難。而Streaming DiLoCo將這個復雜度降低到了線性增長，這意味著可以相對輕松地擴展到更多的計算節(jié)點。研究團隊的模擬顯示，即使擴展到數(shù)萬個GPU，系統(tǒng)仍然能夠保持高效的計算利用率。

在容錯性方面，傳統(tǒng)方法中任何一個節(jié)點的故障都可能導致整個訓練過程停止。而在Streaming DiLoCo中，由于工作節(jié)點之間的依賴性較低，單個節(jié)點的故障影響有限。系統(tǒng)可以簡單地用該節(jié)點的歷史參數(shù)或其他節(jié)點的參數(shù)來替代，而不需要重啟整個訓練過程。

研究團隊還測試了系統(tǒng)對網絡異構性的適應能力。在實際部署中，不同地理位置的數(shù)據(jù)中心之間可能存在不同的網絡延遲和帶寬條件。傳統(tǒng)方法要求所有節(jié)點保持嚴格同步，因此受限于最慢的網絡連接。而Streaming DiLoCo允許不同工作節(jié)點使用不同的重疊延遲設置，讓系統(tǒng)能夠自動適應網絡條件的差異。

實驗表明，即使某些工作節(jié)點的網絡延遲比其他節(jié)點高5倍，系統(tǒng)仍然能夠保持穩(wěn)定的訓練進度和模型質量。這種彈性使得跨大洲的分布式訓練成為可能，大大擴展了可用計算資源的范圍。

九、與相關工作的比較

為了更好地理解Streaming DiLoCo的優(yōu)勢，研究團隊將其與多種現(xiàn)有方法進行了詳細比較。這就像是在不同的orchestra協(xié)作方法之間進行"盲聽測試"，看哪種方法能在相似條件下產生最好的音樂效果。

與FedPart等部分參數(shù)同步方法相比，Streaming DiLoCo的關鍵區(qū)別在于所有參數(shù)仍然參與訓練計算，只是同步時機不同。FedPart在同步某個片段時會凍結其他片段的訓練，這雖然簡化了實現(xiàn)，但會浪費大量計算資源。實驗顯示，這種凍結策略會導致20%的性能下降，這在計算資源寶貴的大規(guī)模訓練中是不可接受的。

與WASH、Sparta等隨機參數(shù)同步方法相比，Streaming DiLoCo采用的確定性調度更加可預測和可控。隨機方法雖然理論上有一定優(yōu)勢，但在實際工程實現(xiàn)中容易出現(xiàn)負載不均衡和通信擁堵問題。

與PowerSGD、GaLore等梯度壓縮方法相比，Streaming DiLoCo的壓縮是針對參數(shù)同步過程的，而不是梯度計算過程。這使得它可以與現(xiàn)有的梯度壓縮方法結合使用，進一步提高通信效率。

研究團隊還比較了不同的量化方案，從簡單的Top-K選擇到復雜的低秩分解。結果表明，對于參數(shù)同步任務，簡單的低位量化（如4位浮點數(shù)）就足夠了，更復雜的壓縮方法并不能帶來顯著的額外收益，反而會增加計算開銷。

十、實際應用前景與挑戰(zhàn)

Streaming DiLoCo的研究成果對AI行業(yè)有著深遠的影響。它讓原本只有少數(shù)科技巨頭才能承擔的超大規(guī)模AI訓練變得更加平民化，就像是將原本需要專業(yè)錄音棚才能完成的音樂制作變成了可以在家庭工作室實現(xiàn)的技術。

從經濟角度看，400倍的帶寬節(jié)省意味著訓練成本的大幅降低。對于一個需要數(shù)千GPU訓練數(shù)月的大型模型，網絡基礎設施的成本往往占總成本的20-30%。Streaming DiLoCo可以將這部分成本降低到幾乎可以忽略的水平，讓更多研究機構和公司有能力訓練自己的大型模型。

從技術發(fā)展角度看，這種方法為跨地域、跨機構的協(xié)作AI訓練開辟了新可能。研究機構可以將閑置的計算資源貢獻到一個全球性的訓練網絡中，而不需要專門的高速網絡連接。這可能催生新的商業(yè)模式和合作方式。

然而，實際應用中仍然存在一些挑戰(zhàn)。首先是系統(tǒng)復雜性的增加。Streaming DiLoCo需要精確的時序控制和狀態(tài)管理，這對系統(tǒng)的可靠性提出了更高要求。任何時序錯誤都可能導致參數(shù)不一致和訓練失敗。

其次是調試和監(jiān)控的困難。在傳統(tǒng)方法中，所有節(jié)點在同一時刻擁有相同的模型參數(shù)，問題診斷相對簡單。而在Streaming DiLoCo中，不同節(jié)點的參數(shù)可能處于不同的同步狀態(tài)，這使得性能調優(yōu)和問題定位變得更加復雜。

最后是對現(xiàn)有軟件生態(tài)系統(tǒng)的兼容性。大多數(shù)現(xiàn)有的深度學習框架都是針對傳統(tǒng)數(shù)據(jù)并行設計的，采用Streaming DiLoCo需要對框架進行深度修改，這可能影響其他功能的穩(wěn)定性。

十一、未來發(fā)展方向

雖然Streaming DiLoCo已經取得了顯著的成果，但研究團隊認為這只是分布式AI訓練優(yōu)化的開始。他們在論文中提到了多個值得進一步探索的方向。

首先是自適應調度策略。當前的片段同步調度是靜態(tài)設定的，但理想情況下應該根據(jù)網絡條件、計算負載和訓練進度動態(tài)調整。研究團隊正在探索使用強化學習來自動優(yōu)化同步策略，讓系統(tǒng)能夠在不同條件下自動找到最優(yōu)的配置。

其次是更高效的壓縮算法。雖然4位量化已經很有效，但研究團隊認為還有進一步優(yōu)化的空間。他們正在研究基于模型結構和訓練動態(tài)的自適應量化方法，在不同的訓練階段和模型部分使用不同的壓縮策略。

第三個方向是異構計算支持?，F(xiàn)實中的分布式訓練環(huán)境往往包含不同性能的硬件設備，從高端數(shù)據(jù)中心GPU到邊緣計算設備。Streaming DiLoCo需要能夠適應這種異構性，讓不同性能的設備都能有效參與訓練。

最后是安全性和隱私保護。當訓練網絡擴展到跨機構時，如何保護參數(shù)信息不被惡意節(jié)點獲取或篡改成為一個重要問題。研究團隊正在探索結合同態(tài)加密和差分隱私的解決方案。

說到底，Streaming DiLoCo代表的不僅僅是一種技術優(yōu)化，而是對AI訓練范式的重新思考。它證明了通過巧妙的工程設計，我們可以在幾乎不犧牲模型質量的前提下大幅降低資源需求。這種"分布式免費午餐"的理念可能會催生更多創(chuàng)新思路，推動AI技術向更加高效、可持續(xù)的方向發(fā)展。

隨著AI模型規(guī)模的持續(xù)增長和應用需求的不斷擴大，像Streaming DiLoCo這樣的優(yōu)化技術將變得越來越重要。它們不僅能降低訓練成本，更重要的是能讓AI技術的發(fā)展更加民主化，讓更多研究者和組織有能力參與到前沿AI的開發(fā)中來。這種技術的普及可能會加速整個AI領域的進步，帶來更多意想不到的突破和應用。

對于有興趣了解更多技術細節(jié)的讀者，可以通過arXiv:2501.18512訪問完整論文，其中包含了詳細的實驗數(shù)據(jù)、實現(xiàn)細節(jié)和理論分析。研究團隊還承諾會開源相關代碼，讓這項技術能夠被更廣泛地使用和改進。

Q&A

Q1：Streaming DiLoCo是什么？它解決了什么問題？

A：Streaming DiLoCo是谷歌DeepMind開發(fā)的一種新型AI訓練方法，專門解決大規(guī)模AI模型訓練中的帶寬瓶頸問題。傳統(tǒng)方法需要所有計算機頻繁交換完整信息，需要巨大的網絡帶寬，而Streaming DiLoCo通過分片同步、重疊通信和數(shù)據(jù)壓縮三個技術，將帶寬需求降低了400倍。

Q2：Streaming DiLoCo會影響AI模型的訓練質量嗎？

A：實驗表明幾乎不會影響訓練質量。在多個規(guī)模的模型測試中，使用Streaming DiLoCo訓練的模型在各種語言理解任務上的表現(xiàn)與傳統(tǒng)方法基本一致，評估損失和準確率的差別都在1%以內，這個差異在實際應用中可以忽略不計。

Q3：普通研究機構能使用Streaming DiLoCo嗎？有什么要求？

A：這項技術的最大優(yōu)勢就是大幅降低了硬件門檻。傳統(tǒng)方法需要100-300Gbps的超高速網絡，而Streaming DiLoCo只需要1-5Gbps就能保持95%的訓練效率，這使得普通研究機構也能進行大規(guī)模AI訓練。不過目前還需要對現(xiàn)有深度學習框架進行修改才能使用。