這項(xiàng)由香港科技大學(xué)的王澤東、李思遠(yuǎn)以及浙江大學(xué)的研究團(tuán)隊(duì)共同完成的研究發(fā)表于2025年7月，論文名為"Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning"。感興趣的讀者可以通過(guò)論文編號(hào)arXiv:2507.21049v1獲取完整研究?jī)?nèi)容。

在人工智能的世界里，有一個(gè)讓研究者們頭疼不已的問(wèn)題：如何讓AI系統(tǒng)像人類一樣同時(shí)掌握多項(xiàng)技能？這就好比培養(yǎng)一個(gè)學(xué)生，你希望他既擅長(zhǎng)數(shù)學(xué)，又精通語(yǔ)文，還能在體育方面表現(xiàn)出色。然而現(xiàn)實(shí)往往是殘酷的——當(dāng)你試圖讓AI同時(shí)學(xué)習(xí)多個(gè)任務(wù)時(shí)，它們之間會(huì)互相干擾，就像一個(gè)學(xué)生在學(xué)數(shù)學(xué)時(shí)把語(yǔ)文忘了，學(xué)語(yǔ)文時(shí)又把數(shù)學(xué)搞混了。

這種現(xiàn)象在學(xué)術(shù)界被稱為"負(fù)遷移"，簡(jiǎn)單來(lái)說(shuō)就是不同任務(wù)之間的學(xué)習(xí)會(huì)相互沖突，導(dǎo)致整體性能下降。傳統(tǒng)的解決方法就像給不同科目安排不同的學(xué)習(xí)時(shí)間和精力分配，或者調(diào)整各科目之間的學(xué)習(xí)順序，但效果往往不盡如人意。

香港科技大學(xué)的研究團(tuán)隊(duì)提出了一個(gè)全新的解決思路。他們認(rèn)為，與其糾結(jié)于如何調(diào)配學(xué)習(xí)時(shí)間和精力，不如直接從AI的"大腦"——也就是內(nèi)部表征空間入手。這就像是直接觀察學(xué)生大腦中不同知識(shí)的存儲(chǔ)和連接方式，然后有針對(duì)性地進(jìn)行優(yōu)化。

研究團(tuán)隊(duì)開(kāi)發(fā)的Rep-MTL方法包含兩個(gè)核心機(jī)制。第一個(gè)機(jī)制叫做"任務(wù)特定顯著性調(diào)節(jié)"，就像給每個(gè)學(xué)科保留專屬的學(xué)習(xí)區(qū)域，確保數(shù)學(xué)知識(shí)不會(huì)被語(yǔ)文知識(shí)覆蓋。具體來(lái)說(shuō)，這個(gè)機(jī)制通過(guò)分析AI在處理不同任務(wù)時(shí)哪些"神經(jīng)元"最活躍，然后用一種叫做熵正則化的數(shù)學(xué)方法來(lái)保持這些活躍模式的獨(dú)特性。

第二個(gè)機(jī)制被稱為"跨任務(wù)顯著性對(duì)齊"，它的作用是找出不同任務(wù)之間的共同點(diǎn)，讓AI能夠充分利用這些共性。這就像發(fā)現(xiàn)數(shù)學(xué)中的邏輯思維能力其實(shí)也能幫助學(xué)好物理，于是有意識(shí)地強(qiáng)化這種跨學(xué)科的連接。研究團(tuán)隊(duì)使用了對(duì)比學(xué)習(xí)的方法，讓AI學(xué)會(huì)識(shí)別哪些知識(shí)是可以跨任務(wù)共享的，哪些是需要保持獨(dú)立的。

為了驗(yàn)證這個(gè)方法的有效性，研究團(tuán)隊(duì)在四個(gè)不同的任務(wù)組合上進(jìn)行了大規(guī)模實(shí)驗(yàn)。這些任務(wù)包括室內(nèi)場(chǎng)景理解（需要AI同時(shí)進(jìn)行語(yǔ)義分割、深度估計(jì)和表面法向量預(yù)測(cè)）、城市場(chǎng)景理解（語(yǔ)義分割和深度估計(jì)）以及跨領(lǐng)域圖像分類等。實(shí)驗(yàn)結(jié)果令人驚喜：Rep-MTL不僅在所有測(cè)試場(chǎng)景中都取得了最佳性能，而且即使與最基礎(chǔ)的等權(quán)重方法結(jié)合使用，也能顯著超越其他復(fù)雜的優(yōu)化策略。

在NYUv2數(shù)據(jù)集的實(shí)驗(yàn)中，Rep-MTL相比基準(zhǔn)方法實(shí)現(xiàn)了1.70%的任務(wù)級(jí)性能提升，比之前的最佳方法DB-MTL高出約48%。更重要的是，這種提升是全面的——不管是語(yǔ)義分割的精度、深度估計(jì)的準(zhǔn)確性，還是表面法向量預(yù)測(cè)的質(zhì)量，都得到了顯著改善。

研究團(tuán)隊(duì)還使用了一種叫做"冪律指數(shù)分析"的評(píng)估方法來(lái)深入理解Rep-MTL的工作機(jī)制。這種分析方法可以評(píng)估神經(jīng)網(wǎng)絡(luò)不同部分的訓(xùn)練質(zhì)量，就像給學(xué)生大腦的不同區(qū)域做"體檢"。結(jié)果顯示，使用Rep-MTL訓(xùn)練的模型在共享部分（相當(dāng)于學(xué)生的基礎(chǔ)認(rèn)知能力）展現(xiàn)出更好的跨任務(wù)知識(shí)整合能力，而在任務(wù)特定部分（相當(dāng)于專業(yè)技能區(qū)域）則保持了良好的獨(dú)立性和平衡性。

從計(jì)算效率的角度來(lái)看，Rep-MTL也表現(xiàn)出色。雖然相比簡(jiǎn)單的損失函數(shù)加權(quán)方法需要額外的計(jì)算開(kāi)銷，但它比大多數(shù)梯度操作方法更加高效。具體來(lái)說(shuō)，Rep-MTL比Nash-MTL快約26%，比FairGrad快約12%，同時(shí)還能提供更好的性能表現(xiàn)。

這項(xiàng)研究的創(chuàng)新之處在于跳出了傳統(tǒng)的"沖突解決"思維框架。以往的方法主要關(guān)注如何減少不同任務(wù)之間的沖突，就像在爭(zhēng)吵的孩子之間當(dāng)調(diào)解員。而Rep-MTL則更像是一個(gè)善于發(fā)現(xiàn)和培養(yǎng)孩子潛能的教育專家，既保護(hù)每個(gè)孩子的獨(dú)特性，又幫助他們發(fā)現(xiàn)彼此之間的共同點(diǎn)，實(shí)現(xiàn)互相促進(jìn)。

研究團(tuán)隊(duì)還對(duì)方法的穩(wěn)定性進(jìn)行了全面測(cè)試。他們發(fā)現(xiàn)Rep-MTL對(duì)超參數(shù)的變化相對(duì)不敏感，在較寬的參數(shù)范圍內(nèi)都能保持穩(wěn)定的性能表現(xiàn)。這意味著這個(gè)方法在實(shí)際應(yīng)用中具有良好的魯棒性，不需要過(guò)度精細(xì)的參數(shù)調(diào)優(yōu)就能取得不錯(cuò)的效果。

通過(guò)詳細(xì)的消融實(shí)驗(yàn)，研究團(tuán)隊(duì)證實(shí)了兩個(gè)核心機(jī)制的協(xié)同效應(yīng)。單獨(dú)使用跨任務(wù)顯著性對(duì)齊能夠帶來(lái)一定的性能提升，但效果有限。單獨(dú)使用任務(wù)特定顯著性調(diào)節(jié)也能在一定程度上緩解負(fù)遷移問(wèn)題。只有當(dāng)兩個(gè)機(jī)制結(jié)合使用時(shí)，Rep-MTL才能發(fā)揮出最大的潛力，實(shí)現(xiàn)顯著的性能提升。

說(shuō)到底，這項(xiàng)研究為多任務(wù)學(xué)習(xí)領(lǐng)域帶來(lái)了全新的視角。它告訴我們，要讓AI真正實(shí)現(xiàn)"一專多能"，關(guān)鍵不在于如何平衡不同任務(wù)之間的沖突，而在于如何從AI的內(nèi)部表征入手，既保護(hù)各任務(wù)的獨(dú)特性，又促進(jìn)它們之間的有益交流。這就像培養(yǎng)一個(gè)全面發(fā)展的學(xué)生，既要讓他在各個(gè)學(xué)科都有所專長(zhǎng)，又要讓他能夠靈活運(yùn)用跨學(xué)科的知識(shí)來(lái)解決復(fù)雜問(wèn)題。

這個(gè)研究成果不僅在學(xué)術(shù)界具有重要意義，在實(shí)際應(yīng)用中也有廣闊的前景。從自動(dòng)駕駛汽車需要同時(shí)進(jìn)行物體檢測(cè)、路徑規(guī)劃和決策制定，到智能助手需要同時(shí)理解語(yǔ)言、生成回復(fù)和執(zhí)行任務(wù)，Rep-MTL的思路都可能帶來(lái)顯著的性能提升。隨著AI系統(tǒng)越來(lái)越多地被要求同時(shí)處理多種任務(wù)，這種"內(nèi)在協(xié)調(diào)"的方法將變得越來(lái)越重要。

當(dāng)然，這項(xiàng)研究也為后續(xù)的工作指明了方向。如何進(jìn)一步優(yōu)化表征空間的利用效率，如何在更復(fù)雜的任務(wù)組合中保持方法的有效性，如何將這種思路擴(kuò)展到更大規(guī)模的模型中，都是值得繼續(xù)探索的問(wèn)題。但毫無(wú)疑問(wèn)，Rep-MTL為多任務(wù)學(xué)習(xí)這個(gè)重要研究領(lǐng)域開(kāi)辟了一條充滿希望的新道路。對(duì)于想要深入了解這項(xiàng)研究細(xì)節(jié)的讀者，可以通過(guò)論文編號(hào)arXiv:2507.21049v1獲取完整的技術(shù)報(bào)告。

Q&A

Q1：Rep-MTL是什么？它能解決什么問(wèn)題？ A：Rep-MTL是一種讓AI同時(shí)學(xué)習(xí)多個(gè)任務(wù)的新方法，就像讓學(xué)生既學(xué)好數(shù)學(xué)又學(xué)好語(yǔ)文。它解決的核心問(wèn)題是不同任務(wù)之間的相互干擾，通過(guò)直接優(yōu)化AI的內(nèi)部表征空間，既保護(hù)每個(gè)任務(wù)的獨(dú)特性，又促進(jìn)任務(wù)間的有益協(xié)作，避免了傳統(tǒng)方法中"顧此失彼"的問(wèn)題。

Q2：這個(gè)方法會(huì)不會(huì)很復(fù)雜，實(shí)際應(yīng)用中好用嗎？ A：雖然原理相對(duì)復(fù)雜，但Rep-MTL在實(shí)際使用中表現(xiàn)出良好的穩(wěn)定性和效率。它對(duì)參數(shù)調(diào)整不太敏感，不需要過(guò)度精細(xì)的調(diào)優(yōu)就能取得好效果。而且計(jì)算效率比很多現(xiàn)有方法都要高，比如比Nash-MTL快26%，這讓它在實(shí)際應(yīng)用中更有優(yōu)勢(shì)。

Q3：Rep-MTL的效果到底有多好？能用在哪些地方？ A：實(shí)驗(yàn)顯示Rep-MTL在各種任務(wù)組合中都取得了最佳性能，比如在室內(nèi)場(chǎng)景理解任務(wù)中性能提升了1.70%，比之前最好的方法高出48%。它可以應(yīng)用在自動(dòng)駕駛、智能助手、機(jī)器人等需要同時(shí)處理多種任務(wù)的AI系統(tǒng)中，幫助這些系統(tǒng)更好地協(xié)調(diào)不同能力。