近日，來(lái)自俄羅斯AIRI、Skoltech、MIPT和MBZUAI等研究機(jī)構(gòu)的研究團(tuán)隊(duì)發(fā)表了一項(xiàng)重要研究成果，由Danil Sivtsov、Ivan Rodkin、Gleb Kuzmin、Yuri Kuratov和Ivan Oseledets共同完成。這篇題為《對(duì)角線批處理技術(shù)：突破循環(huán)記憶Transformer模型在長(zhǎng)上下文處理中的并行瓶頸》（Diagonal Batching Unlocks Parallelism in Recurrent Memory Transformers for Long Contexts）的論文于2025年6月5日在arXiv上發(fā)布（arXiv:2506.05229v1）。

想象一下，如果你曾經(jīng)嘗試使用大型語(yǔ)言模型處理一本小說(shuō)或長(zhǎng)篇報(bào)告這樣的長(zhǎng)文本，你可能會(huì)遇到兩個(gè)主要問題：一是處理速度慢得令人沮喪，二是模型會(huì)因?yàn)閮?nèi)存不足而崩潰。這正是目前Transformer模型面臨的主要挑戰(zhàn) - 它們?cè)谔幚黹L(zhǎng)文本時(shí)需要消耗平方級(jí)的計(jì)算資源和線性增長(zhǎng)的內(nèi)存空間。

循環(huán)記憶Transformer（RMT）模型提供了一個(gè)聰明的解決方案：它們將長(zhǎng)文本切分成較小的片段，并通過特殊的"記憶"機(jī)制將信息從一個(gè)片段傳遞到下一個(gè)片段。就像我們閱讀一本長(zhǎng)篇小說(shuō)時(shí)會(huì)記住前面章節(jié)的重要情節(jié)，然后帶著這些記憶繼續(xù)閱讀后面的章節(jié)一樣。這種方法將計(jì)算復(fù)雜度從平方級(jí)降低到線性級(jí)，內(nèi)存使用從線性增長(zhǎng)降低到恒定大小。

然而，這種循環(huán)記憶方法也帶來(lái)了新的問題：由于每個(gè)片段的處理都依賴于前一個(gè)片段的結(jié)果，模型被迫按順序處理所有內(nèi)容，無(wú)法充分利用現(xiàn)代GPU的并行計(jì)算能力。這就像一群廚師被迫排成一隊(duì)，一個(gè)接一個(gè)地完成烹飪?nèi)蝿?wù)，而不是同時(shí)在廚房的不同區(qū)域工作一樣，極大地降低了效率。

研究團(tuán)隊(duì)提出的"對(duì)角線批處理"技術(shù)巧妙地解決了這個(gè)問題。他們發(fā)現(xiàn)，雖然片段之間存在依賴關(guān)系，但通過重新安排計(jì)算順序，可以在不破壞這些依賴關(guān)系的情況下實(shí)現(xiàn)部分并行計(jì)算。簡(jiǎn)單來(lái)說(shuō)，這種方法就像是讓廚師們采用錯(cuò)開的工作時(shí)間，在保證菜品準(zhǔn)備順序的同時(shí)，最大化廚房的使用效率。

應(yīng)用于LLaMA-1B ARMT模型上，對(duì)角線批處理技術(shù)在處理131,072個(gè)標(biāo)記（相當(dāng)于一本中等長(zhǎng)度的書籍）的長(zhǎng)文本時(shí)，比標(biāo)準(zhǔn)的LLaMA-1B模型快3.3倍，比順序執(zhí)行的RMT實(shí)現(xiàn)快1.8倍。更令人印象深刻的是，在內(nèi)存使用方面，ARMT模型比原始模型節(jié)省了驚人的167.1倍空間。

這項(xiàng)研究的重要性不僅在于提高了處理速度，還在于它不需要對(duì)現(xiàn)有模型進(jìn)行任何重新訓(xùn)練 - 這是一種純運(yùn)行時(shí)的計(jì)算重排技術(shù)，可以直接應(yīng)用于現(xiàn)有的RMT模型。對(duì)于需要處理長(zhǎng)文本的實(shí)際應(yīng)用，如文檔分析、書籍理解或長(zhǎng)對(duì)話歷史跟蹤，這項(xiàng)技術(shù)提供了一個(gè)實(shí)用且高效的解決方案。

一、對(duì)角線批處理：讓模型像協(xié)調(diào)舞蹈一樣高效工作

傳統(tǒng)的Transformer模型在處理長(zhǎng)文本時(shí)面臨著嚴(yán)峻的挑戰(zhàn)。它們的計(jì)算成本隨著文本長(zhǎng)度的平方增長(zhǎng)，內(nèi)存需求也隨著文本長(zhǎng)度線性增長(zhǎng)。這就像是一個(gè)閱讀者需要在閱讀每個(gè)新句子時(shí)回顧所有之前讀過的內(nèi)容 - 當(dāng)文章變得非常長(zhǎng)時(shí)，這種方法變得極其低效且消耗大量資源。

工程師們已經(jīng)提出了許多優(yōu)化方案來(lái)解決這些問題。比如FlashAttention和xFormers庫(kù)通過減少內(nèi)存訪問開銷來(lái)提高吞吐量；多查詢注意力(MQA)、分組查詢注意力(GQA)和多頭潛在注意力(MLA)等技術(shù)通過共享和優(yōu)化KV緩存來(lái)降低GPU內(nèi)存使用；而Ring Attention和Microsoft DeepSpeed的Ulysses則嘗試將序列數(shù)據(jù)分布在多個(gè)設(shè)備上，以突破單個(gè)GPU的內(nèi)存限制。

除了這些工程優(yōu)化，研究人員還探索了替代標(biāo)準(zhǔn)Transformer的架構(gòu)。線性循環(huán)模型如S4、RWKV、RetNet和Mamba用替代注意力機(jī)制的讀寫操作取代了標(biāo)準(zhǔn)的softmax注意力。這些模型像Transformer一樣支持高效的并行訓(xùn)練，同時(shí)在推理過程中又像RNN一樣只需要恒定的內(nèi)存。然而，這些方法通常會(huì)降低模型的記憶容量和讀寫操作的準(zhǔn)確性。

記憶增強(qiáng)模型，特別是具有段級(jí)循環(huán)的記憶增強(qiáng)Transformer，提供了另一種解決方案。這些模型將歷史信息壓縮到固定大小的記憶狀態(tài)中，并在段之間傳遞這些狀態(tài)。在循環(huán)記憶Transformer(RMT)中，特殊的記憶標(biāo)記在段之間攜帶狀態(tài)信息，每個(gè)Transformer塊就像一個(gè)循環(huán)單元。這種方法將推理復(fù)雜度降低到線性時(shí)間和恒定內(nèi)存，能夠支持任意長(zhǎng)的上下文。然而，RMT的循環(huán)特性使其難以充分并行化：所有后續(xù)層都具有循環(huán)依賴關(guān)系，所有段都必須按順序處理。

并行循環(huán)記憶Transformer(PRMT)是一類更廣泛的架構(gòu)，其中每一層都維護(hù)自己的記憶狀態(tài)。PRMT在層內(nèi)本地化循環(huán)，消除了所有層間記憶流動(dòng)。聯(lián)想循環(huán)記憶Transformer(ARMT)屬于這個(gè)家族，并展示了卓越的可擴(kuò)展性，它能夠在長(zhǎng)達(dá)5000萬(wàn)個(gè)標(biāo)記的序列上保持高質(zhì)量，遠(yuǎn)超RMT和Mamba的能力。RWKV、Mamba和其他線性循環(huán)架構(gòu)也可以被視為PRMT家族的成員，因?yàn)樗鼈兌疾捎昧藢蛹?jí)記憶設(shè)計(jì)。

然而，實(shí)際上，這些方法僅在單個(gè)段內(nèi)利用并行性，而這種并行性受到RAM和計(jì)算限制。因此，在處理極長(zhǎng)序列時(shí)，這些方法往往退化為按順序處理段，甚至退化到標(biāo)記級(jí)的循環(huán)處理，沒有解決真正的段間并行問題。

本研究提出的對(duì)角線批處理技術(shù)是一種調(diào)度方案，可以在不改變PRMT精確循環(huán)特性的情況下，解鎖其推理過程中的段間并行性。通過將層和段計(jì)算的二維網(wǎng)格重新組織為獨(dú)立的"對(duì)角線"，該方法能夠在每次GPU內(nèi)核啟動(dòng)時(shí)并發(fā)執(zhí)行多達(dá)N_Layers個(gè)操作。對(duì)角線批處理完全封裝了跨段的Transformer塊計(jì)算，從而消除了之前RMT實(shí)現(xiàn)中存在的層級(jí)和段級(jí)同步障礙。

研究團(tuán)隊(duì)在ARMT框架中實(shí)現(xiàn)了對(duì)角線批處理，并在NVIDIA A100/H100 GPU上對(duì)LLaMA-1B、3B和8B模型進(jìn)行了評(píng)估，序列長(zhǎng)度最長(zhǎng)達(dá)到131,072個(gè)標(biāo)記。實(shí)驗(yàn)結(jié)果表明，對(duì)于1B模型，與標(biāo)準(zhǔn)全注意力推理相比，對(duì)角線批處理實(shí)現(xiàn)了3.3倍的加速，與順序ARMT基線相比，實(shí)現(xiàn)了1.8倍的改進(jìn)。這些結(jié)果證明，對(duì)角線批處理是一種在極長(zhǎng)上下文上進(jìn)行精確、線性時(shí)間推理的實(shí)用解決方案。

二、解開循環(huán)記憶Transformer的并行潛力

為了理解對(duì)角線批處理的工作原理，我們需要先了解循環(huán)記憶Transformer的基本架構(gòu)。循環(huán)記憶Transformer(RMT)通過引入段級(jí)循環(huán)來(lái)擴(kuò)展標(biāo)準(zhǔn)Transformer架構(gòu)。具體來(lái)說(shuō)，對(duì)應(yīng)于段s的隱藏表示依賴于從前一個(gè)段s-1傳播的循環(huán)狀態(tài)M（即所謂的記憶）。

在原始RMT公式中，記憶狀態(tài)被實(shí)現(xiàn)為一系列嵌入向量。記憶更新機(jī)制可以正式表示為：[_, _, Ms] = Transformer([Ms–1, Hs–1, Ms–1])，其中Ms表示與段s相關(guān)的記憶狀態(tài)，Hs–1表示來(lái)自段s-1的輸入嵌入，方括號(hào)表示輸入序列的連接。

聯(lián)想循環(huán)記憶Transformer(ARMT)引入了一種并行記憶機(jī)制，設(shè)計(jì)用于支持分層記憶結(jié)構(gòu)。與原始RMT不同，ARMT在不同層之間維護(hù)不同的記憶狀態(tài)。這種設(shè)計(jì)通過允許每一層存儲(chǔ)和更新自己的記憶，實(shí)現(xiàn)了更具表現(xiàn)力的記憶表示。

ARMT中的記憶更新規(guī)則通過一系列復(fù)雜的數(shù)學(xué)公式實(shí)現(xiàn)，本質(zhì)上是實(shí)現(xiàn)了帶有delta規(guī)則的準(zhǔn)線性注意力，用于段級(jí)循環(huán)。這種機(jī)制使ARMT能夠在保持計(jì)算效率的同時(shí)處理極長(zhǎng)的序列。

對(duì)角線批處理方法主要適用于層級(jí)循環(huán)架構(gòu)，其中每個(gè)段（時(shí)間步）的輸出僅依賴于同一層中前一段（時(shí)間步）的輸入和輸出。這類模型被廣泛稱為并行循環(huán)記憶Transformer(PRMT)。

在ARMT中，每一層l都有自己的記憶狀態(tài)，由聯(lián)想矩陣Al組成。記憶狀態(tài)通過特殊的聯(lián)想塊更新，該塊接收前一段t-1的Transformer層輸出Hl t-1作為輸入。這種每層記憶允許我們優(yōu)化哪些段可以并行計(jì)算以及在哪些層進(jìn)行計(jì)算的調(diào)度。

對(duì)角線批處理的核心直覺來(lái)自對(duì)依賴圖的分析。在樸素方法中，我們必須執(zhí)行大量前向操作（n_segments × n_layers），每個(gè)操作處理形狀為（segment_size, hidden_size）的輸入。

由于并行記憶的使用，每個(gè)（segment, layer）對(duì)只依賴于前面的對(duì)：（segment, layer-1）和（segment-1, layer）。鑒于這種依賴關(guān)系，所有segment + layer = i的對(duì)可以在第i次迭代中并行計(jì)算。每次迭代可以被可視化為前向傳遞計(jì)算圖中的一條對(duì)角線。

如果執(zhí)行不受計(jì)算能力限制，這種對(duì)角線執(zhí)行方法可以帶來(lái)顯著的加速。需要注意的是，這種屬性僅適用于并行記憶模型。在遞歸記憶模型中，每個(gè)（segment, layer）依賴于所有先前的（segment-k, layer-n）對(duì)，使得對(duì)角線批處理不適用。

通過這種方式，對(duì)角線批處理技術(shù)將n_layers × n_segments個(gè)順序操作減少到n_layers + n_segments個(gè)分組計(jì)算，大大提高了處理效率。

三、技術(shù)實(shí)現(xiàn)與性能突破

對(duì)角線批處理技術(shù)的實(shí)現(xiàn)需要對(duì)模型架構(gòu)進(jìn)行一些修改。研究團(tuán)隊(duì)使用ARMT框架作為基礎(chǔ)，將所有層替換為單個(gè)分組層。具體來(lái)說(shuō)，他們對(duì)基本模型架構(gòu)進(jìn)行了以下調(diào)整：

首先，將線性層替換為GroupedMatmul操作。權(quán)重和偏置是通過堆疊原始層的權(quán)重和偏置構(gòu)建的。這就像是將多位廚師的菜譜合并到一個(gè)大食譜中，讓他們可以同時(shí)按照這個(gè)統(tǒng)一的食譜工作，而不是每個(gè)人依次使用各自的食譜。

其次，層歸一化權(quán)重也通過在所有層之間堆疊參數(shù)來(lái)替換。此外，前向傳遞經(jīng)過調(diào)整以確保正確的廣播行為。這相當(dāng)于確保所有廚師使用統(tǒng)一的測(cè)量標(biāo)準(zhǔn)和工具，以便協(xié)調(diào)工作。

最后，所有其他操作保持不變，但它們操作的方式就像處理大得多的批次大小一樣，從而促進(jìn)并行執(zhí)行。就像廚師們雖然各自工作，但都在同一個(gè)大廚房里協(xié)同操作，共享設(shè)備和空間。

對(duì)于分組矩陣乘法，研究團(tuán)隊(duì)使用了CUTLASS庫(kù)中的GroupedGEMM函數(shù)，并進(jìn)行了一個(gè)小優(yōu)化：輸出張量被預(yù)先分配為單個(gè)大張量，然后在不增加額外開銷的情況下被分割成單獨(dú)的子矩陣。

在實(shí)驗(yàn)部分，研究團(tuán)隊(duì)評(píng)估了對(duì)角線批處理方法在單個(gè)請(qǐng)求推理和批處理策略方面的性能。實(shí)驗(yàn)使用了Llama-3系列模型進(jìn)行，包括160M、1B、3B和8B參數(shù)大小的模型變體。

首先，研究團(tuán)隊(duì)分析了網(wǎng)絡(luò)內(nèi)瓶頸操作的效率提升情況。對(duì)于線性層，他們發(fā)現(xiàn)分組GEMM的FLOPS（每秒浮點(diǎn)運(yùn)算次數(shù)）隨著組大小的增加而增長(zhǎng)，類似于相應(yīng)批次大小的GEMM。這為他們的方法與底層模型批次大小擴(kuò)展的相似性提供了基礎(chǔ)。他們將組大小設(shè)置為模型中的層數(shù)，使分組GEMM操作達(dá)到a100和h100 GPU的峰值GEMM flops，確保高利用率。

對(duì)于注意力層，研究團(tuán)隊(duì)沒有修改任何內(nèi)容，而是讓注意力層執(zhí)行批處理操作，批次大小等于層數(shù)。這將其性能提升到實(shí)現(xiàn)FLOPS峰值。

這些單個(gè)操作的性能提升直接轉(zhuǎn)化為整體模型加速。在所有模型大小和批次配置中，他們的實(shí)現(xiàn)始終比默認(rèn)的ARMT實(shí)現(xiàn)實(shí)現(xiàn)了顯著的加速。對(duì)于較小的段大小，增益尤為明顯。這是因?yàn)椋瑢?duì)于較大的矩陣乘法，硬件利用率已接近峰值FLOPS，留給組擴(kuò)展的空間較少。

這些結(jié)果的一個(gè)關(guān)鍵含義是，研究人員可以優(yōu)先考慮基于質(zhì)量的段大小選擇，而不必過于受性能限制。對(duì)角線批處理將性能與段大小解耦，為架構(gòu)決策提供了更大的靈活性。

在對(duì)角線批處理與小批量處理的比較中，研究團(tuán)隊(duì)在相同的硬件和模型配置下測(cè)量了每段的計(jì)算時(shí)間。結(jié)果表明，對(duì)角線批處理在幾乎所有測(cè)試場(chǎng)景中都實(shí)現(xiàn)了與微批處理相匹配的每段計(jì)算擴(kuò)展。

為了提供可實(shí)現(xiàn)性能的上限，他們還報(bào)告了理想均勻負(fù)載情況，即所有段計(jì)算都使用具有最大可實(shí)現(xiàn)FLOPS的完整分組層進(jìn)行計(jì)算。可以看到，這種均勻負(fù)載設(shè)置要好得多，基本上匹配或超過最大批次大小的性能。它們之間的差距是當(dāng)前實(shí)現(xiàn)的效率低下之處。

值得注意的是，對(duì)角線批處理為較大的模型（從1B參數(shù)開始）提供了顯著的性能改進(jìn)，特別是當(dāng)段大小適中時(shí)。對(duì)于這些配置，對(duì)角線批處理匹配大批次大小的性能。

這些發(fā)現(xiàn)表明，對(duì)角線批處理有效地捕獲了大批次推理的利用率優(yōu)勢(shì)——通過并行化調(diào)度而非增加內(nèi)存分配。

四、誤差積累與實(shí)際應(yīng)用

研究團(tuán)隊(duì)還對(duì)對(duì)角線批處理在推理階段的誤差積累進(jìn)行了實(shí)證研究。他們的實(shí)驗(yàn)表明，對(duì)于短于32,768個(gè)標(biāo)記的所有序列，總體誤差小于2%，這與生產(chǎn)中使用的其他高效層實(shí)現(xiàn)相當(dāng)。例如，他們觀察到FlashAttention2與其他注意力實(shí)現(xiàn)相比，在相同的隨機(jī)輸入序列上產(chǎn)生1-2%的相對(duì)logits誤差。

誤差的詳細(xì)值表明，隨著段數(shù)的增加，誤差會(huì)逐漸積累，但不會(huì)超過2%的閾值。然而，誤差積累對(duì)下游任務(wù)的影響可以忽略不計(jì)。為了證明這一點(diǎn)，研究團(tuán)隊(duì)在BABILong基準(zhǔn)測(cè)試上評(píng)估了訓(xùn)練好的ARMT模型，結(jié)果表明，原始實(shí)現(xiàn)和使用對(duì)角線批處理的實(shí)現(xiàn)在BABILong基準(zhǔn)測(cè)試上達(dá)到了相同的結(jié)果。

對(duì)于64k長(zhǎng)度的標(biāo)記序列，對(duì)角線批處理可以將相對(duì)速度提高3.2倍，顯著提升了處理效率。這意味著在實(shí)際應(yīng)用中，對(duì)角線批處理可以在保持模型性能的同時(shí)，大大縮短處理長(zhǎng)文本的時(shí)間。

研究團(tuán)隊(duì)還實(shí)現(xiàn)了對(duì)角線批處理的反向傳播，以支持訓(xùn)練過程。通過對(duì)齊訓(xùn)練和推理代碼，消除了可能導(dǎo)致logits級(jí)浮點(diǎn)漂移的差異。這進(jìn)一步確保了對(duì)角線批處理技術(shù)在全流程應(yīng)用中的穩(wěn)定性和可靠性。

在實(shí)際應(yīng)用方面，對(duì)角線批處理技術(shù)對(duì)不同大小的模型均顯示出顯著的性能提升。對(duì)于Llama-160M模型，在處理131,072個(gè)標(biāo)記的序列時(shí)，對(duì)角線批處理比基本ARMT快3.9倍；對(duì)于Llama-1B模型，快2.7倍；對(duì)于Llama-3B模型，快1.3倍；對(duì)于Llama-8B模型，快1.14倍。

這些結(jié)果表明，對(duì)角線批處理技術(shù)在各種模型規(guī)模下都能有效提升性能，特別是對(duì)于中小型模型，提升更為顯著。對(duì)于需要處理長(zhǎng)文本但計(jì)算資源有限的應(yīng)用場(chǎng)景，這項(xiàng)技術(shù)提供了一個(gè)實(shí)用的解決方案。

總的來(lái)說(shuō)，對(duì)角線批處理是一種通過重新安排計(jì)算順序來(lái)提高循環(huán)記憶Transformer推理效率的創(chuàng)新技術(shù)。它不需要對(duì)模型進(jìn)行重新訓(xùn)練，可以無(wú)縫集成到現(xiàn)有系統(tǒng)中，并在保持高精度的同時(shí)顯著提高處理長(zhǎng)文本的速度和效率。

五、結(jié)論與未來(lái)展望

Transformer模型在處理長(zhǎng)上下文推理時(shí)仍然面臨著計(jì)算復(fù)雜度平方增長(zhǎng)和內(nèi)存需求線性增長(zhǎng)的挑戰(zhàn)。雖然Mamba、RWKV和循環(huán)記憶Transformer（RMT）等線性復(fù)雜度架構(gòu)試圖解決這些問題，但RMT特別有吸引力，因?yàn)樗恍鑼?duì)現(xiàn)有架構(gòu)進(jìn)行最小的修改，確保與現(xiàn)有模型和算法的兼容性。

本文證明，RMT及其層記憶變體（PRMT）的主要瓶頸不是算法復(fù)雜度，而是調(diào)度問題：循環(huán)依賴迫使細(xì)粒度同步，導(dǎo)致現(xiàn)代加速器利用不足。研究團(tuán)隊(duì)提出的對(duì)角線批處理方法通過將層-段計(jì)算網(wǎng)格重新組織為有利于并發(fā)的對(duì)角線，解決了這一問題，從而使每個(gè)內(nèi)核能夠處理多達(dá)N_Layers個(gè)操作，而不改變精確的循環(huán)特性。

實(shí)驗(yàn)結(jié)果表明，配備對(duì)角線批處理的Llama-1B ARMT在處理131,072個(gè)標(biāo)記的上下文任務(wù)時(shí)，比普通Llama-1B快3.3倍，比順序RMT實(shí)現(xiàn)快1.8倍，同時(shí)保持了結(jié)果的高精確度（相對(duì)誤差僅1%）。

考慮到這些優(yōu)勢(shì)，對(duì)角線批處理將PRMT理論上吸引人的計(jì)算擴(kuò)展轉(zhuǎn)變?yōu)樵跇O長(zhǎng)上下文上進(jìn)行精確線性時(shí)間推理的實(shí)用解決方案。通過消除主要的性能障礙，它使記憶增強(qiáng)的循環(huán)Transformer成為下一代LLM應(yīng)用的有競(jìng)爭(zhēng)力且可擴(kuò)展的基礎(chǔ)，這些應(yīng)用需要高效的長(zhǎng)范圍輸入處理。

然而，盡管具有這些優(yōu)勢(shì)，對(duì)角線批處理也存在一些實(shí)際限制。首先，它不直接兼容具有層內(nèi)循環(huán)的循環(huán)記憶Transformer（RMT）。不過，更有前途的方法是專注于并行RMT，之前的工作已經(jīng)證明這種方法更為有效。其次，當(dāng)前的實(shí)現(xiàn)假設(shè)層配置均勻。當(dāng)模型采用異構(gòu)層或不同的隱藏大小時(shí)，應(yīng)用該技術(shù)需要更復(fù)雜的分組邏輯和手動(dòng)工程。最后，可實(shí)現(xiàn)的加速隨層數(shù)增加而增加，因此較淺的模型或?qū)訑?shù)很少的模型只會(huì)看到適度的性能提升。

未來(lái)的研究方向可能包括：進(jìn)一步優(yōu)化對(duì)異構(gòu)架構(gòu)的支持，探索在其他類型的循環(huán)神經(jīng)網(wǎng)絡(luò)上應(yīng)用類似技術(shù)的可能性，以及結(jié)合其他優(yōu)化技術(shù)（如量化和稀疏化）進(jìn)一步提高性能。隨著大型語(yǔ)言模型在各種應(yīng)用領(lǐng)域的普及，高效處理長(zhǎng)上下文的能力將變得越來(lái)越重要，對(duì)角線批處理技術(shù)為解決這一挑戰(zhàn)提供了一個(gè)有前途的方向。