多輪對話就像我們?nèi)粘Ａ奶煲粯?，需要在好幾個(gè)回合中保持邏輯連貫、情感恰當(dāng)。這項(xiàng)由浙江大學(xué)的唐雨琦團(tuán)隊(duì)與阿里巴巴集團(tuán)合作完成的研究發(fā)表于2025年8月，研究論文可通過GitHub代碼庫 https://github.com/James-TYQ/MTDEval 獲取完整內(nèi)容。他們發(fā)現(xiàn)了一個(gè)有趣的現(xiàn)象：雖然大語言模型在單輪對話評估方面已經(jīng)相當(dāng)成熟，但在多輪對話質(zhì)量評判上仍然存在很大挑戰(zhàn)，就像一個(gè)只會品嘗單道菜的美食家突然需要評判整桌宴席的水準(zhǔn)一樣。

當(dāng)前最主流的做法是讓大語言模型充當(dāng)"評委"來給對話打分，但這種方法就像請幾個(gè)有偏見的裁判來評判比賽一樣，經(jīng)常會出現(xiàn)自我偏好、分?jǐn)?shù)壓縮、評判標(biāo)準(zhǔn)不一致等問題。為了解決這些偏見，研究人員想出了一個(gè)辦法：請多個(gè)AI評委一起評判，然后綜合他們的意見。這種方法確實(shí)更公正，但就像請一桌子人吃飯結(jié)賬時(shí)每個(gè)人都要算一遍賬一樣，計(jì)算成本極高，在實(shí)際應(yīng)用中很不現(xiàn)實(shí)。

研究團(tuán)隊(duì)提出了一個(gè)絕妙的解決方案：既然多個(gè)評委一起判斷更準(zhǔn)確，為什么不讓一個(gè)聰明的學(xué)生去學(xué)習(xí)所有優(yōu)秀評委的評判標(biāo)準(zhǔn)，然后單獨(dú)完成評判工作呢？這就是他們開發(fā)的MTDEval系統(tǒng)的核心思想。這個(gè)系統(tǒng)通過學(xué)習(xí)多個(gè)頂級AI評委的評判智慧，將這些知識融合到一個(gè)輕量級的評估模型中，既保持了多評委評判的準(zhǔn)確性，又大大降低了計(jì)算成本。

研究團(tuán)隊(duì)還專門構(gòu)建了兩個(gè)重要的數(shù)據(jù)集來訓(xùn)練和測試他們的系統(tǒng)。第一個(gè)是P?-MTD數(shù)據(jù)集，包含約1.1萬個(gè)多輪對話，每個(gè)對話都經(jīng)過五個(gè)頂級AI評委從十個(gè)細(xì)分維度進(jìn)行標(biāo)注。第二個(gè)是Daily-MTD數(shù)據(jù)集，這是一個(gè)高質(zhì)量的人工標(biāo)注數(shù)據(jù)集，包含600個(gè)日常生活場景的多輪對話，每個(gè)對話都由五位自然語言處理專家進(jìn)行詳細(xì)評估。

一、多個(gè)評委勝過單個(gè)專家：團(tuán)隊(duì)合作的智慧

在現(xiàn)實(shí)生活中，我們都知道"三個(gè)臭皮匠頂個(gè)諸葛亮"的道理。研究團(tuán)隊(duì)發(fā)現(xiàn)，在多輪對話評估這件事上也是如此。傳統(tǒng)的做法是讓一個(gè)AI模型充當(dāng)評委，但這個(gè)"評委"往往會帶有各種偏見。比如說，它可能更喜歡自己生成的內(nèi)容，就像廚師總覺得自己做的菜最香一樣?；蛘咚赡茉诖蚍謺r(shí)過于保守，把所有分?jǐn)?shù)都擠在中等水平，就像不敢給極端評價(jià)的中庸評委。

研究團(tuán)隊(duì)采用了五個(gè)業(yè)界頂尖的AI模型作為評委團(tuán)：Claude-3.7-Sonnet、GPT-4o、Grok-3、DeepSeek-R1和Gemini-2.0-Flash。這就像邀請了五位不同風(fēng)格的美食評論家來品評一家餐廳，每個(gè)人都有自己的專長和視角。Claude可能更注重邏輯性，GPT-4o可能更關(guān)注創(chuàng)意表達(dá)，而DeepSeek-R1則可能在準(zhǔn)確性方面更加嚴(yán)格。

當(dāng)這些"評委"一起工作時(shí)，魔法就發(fā)生了。他們需要從十個(gè)不同的維度來評估對話質(zhì)量：準(zhǔn)確性、邏輯性、對話性、相關(guān)性、個(gè)性化、創(chuàng)造性、互動(dòng)性、情感性、信息豐富度和安全性。每個(gè)維度就像品評一道菜的不同方面，比如色澤、香味、口感、營養(yǎng)價(jià)值等。這種全方位的評估確保了評判的全面性和公正性。

更有趣的是，研究團(tuán)隊(duì)在收集這些評委意見時(shí)采用了一個(gè)巧妙的策略。他們會故意調(diào)換對話A和B的位置，如果某個(gè)評委在調(diào)換前后給出了不一致的判斷，這個(gè)樣本就會被剔除。這就像讓品酒師盲品兩款酒，如果他們在不知道品牌的情況下前后評價(jià)不一致，說明這次評判不夠可靠。通過這種方式，研究團(tuán)隊(duì)確保了訓(xùn)練數(shù)據(jù)的高質(zhì)量和一致性。

最終的數(shù)據(jù)分布也很有意思：40%的樣本被判定為A更好，40%被判定為B更好，剩下20%被認(rèn)為是平局。這種均衡的分布避免了模型在訓(xùn)練時(shí)產(chǎn)生偏向某一方的傾向，就像確保天平兩邊的砝碼重量相當(dāng)一樣。

二、從多師傅到獨(dú)當(dāng)一面：知識蒸餾的藝術(shù)

既然多個(gè)評委一起判斷效果更好，那為什么不直接一直使用這種方式呢？原因很簡單：成本太高了。每次評估都要調(diào)用五個(gè)不同的AI模型，就像每次做決定都要召開董事會一樣，雖然結(jié)果更可靠，但效率極低。研究團(tuán)隊(duì)想出了一個(gè)絕妙的辦法：讓一個(gè)學(xué)生去學(xué)習(xí)所有老師的本領(lǐng)，最終能夠獨(dú)立完成評判工作。

這個(gè)"學(xué)生"就是MTDEval系統(tǒng)。它的架構(gòu)相當(dāng)巧妙，由兩部分組成：一個(gè)負(fù)責(zé)理解對話內(nèi)容的文本編碼器，和一個(gè)負(fù)責(zé)做出評判的質(zhì)量預(yù)測器。文本編碼器就像一個(gè)善于傾聽的人，能夠準(zhǔn)確理解對話的內(nèi)容和語境。質(zhì)量預(yù)測器則像一個(gè)經(jīng)驗(yàn)豐富的評委，基于理解的內(nèi)容給出專業(yè)的評判。

訓(xùn)練過程采用了一種叫做"學(xué)習(xí)排序"的方法，這個(gè)概念可以用一個(gè)簡單的比喻來理解。假設(shè)你要教一個(gè)人識別好酒和差酒，最有效的方法不是告訴他們"這瓶酒值8分，那瓶酒值6分"，而是讓他們比較"這瓶酒比那瓶酒好"。通過大量的比較訓(xùn)練，這個(gè)人最終就能準(zhǔn)確判斷任意兩瓶酒的優(yōu)劣。

更精妙的是，研究團(tuán)隊(duì)還加入了一個(gè)"評委可靠性"的概念。在現(xiàn)實(shí)中，不同的評委確實(shí)有不同的準(zhǔn)確度。有些評委經(jīng)驗(yàn)豐富，判斷準(zhǔn)確；有些評委可能在某些方面有盲點(diǎn)。系統(tǒng)會自動(dòng)學(xué)習(xí)每個(gè)評委的可靠程度，并在融合他們的意見時(shí)給予相應(yīng)的權(quán)重。實(shí)驗(yàn)結(jié)果顯示，DeepSeek-R1被系統(tǒng)認(rèn)為是最可靠的評委，而其他評委各有所長。

這種訓(xùn)練方式的好處是顯而易見的。系統(tǒng)不僅學(xué)會了如何評判對話質(zhì)量，還學(xué)會了如何平衡不同評委的意見，就像一個(gè)優(yōu)秀的團(tuán)隊(duì)領(lǐng)導(dǎo)能夠綜合不同成員的建議做出最佳決策一樣。訓(xùn)練完成后，這個(gè)系統(tǒng)就能獨(dú)立完成評估工作，速度快、成本低，但準(zhǔn)確性卻不輸給多評委團(tuán)隊(duì)。

三、兩個(gè)珍貴數(shù)據(jù)集：訓(xùn)練的營養(yǎng)基礎(chǔ)

要訓(xùn)練出一個(gè)優(yōu)秀的對話評估系統(tǒng)，就像培養(yǎng)一個(gè)專業(yè)的品酒師一樣，需要讓它接觸大量高質(zhì)量的樣本。研究團(tuán)隊(duì)為此專門構(gòu)建了兩個(gè)數(shù)據(jù)集，就像為學(xué)徒準(zhǔn)備了豐富多樣的學(xué)習(xí)材料。

第一個(gè)數(shù)據(jù)集叫P?-MTD，這個(gè)名字代表"成對偏好標(biāo)注的多輪對話"。這個(gè)數(shù)據(jù)集的規(guī)模相當(dāng)可觀，包含約1.1萬個(gè)多輪對話樣本。每個(gè)樣本都像一場完整的對話劇本，包含了從2輪到10輪不等的交流過程。更重要的是，每個(gè)對話都經(jīng)過了五位AI評委的細(xì)致評判，從十個(gè)不同維度進(jìn)行打分，就像一部電影要經(jīng)過多個(gè)專業(yè)影評人從劇情、演技、攝影、音效等多個(gè)角度進(jìn)行評價(jià)一樣。

構(gòu)建這個(gè)數(shù)據(jù)集的過程相當(dāng)嚴(yán)謹(jǐn)。研究團(tuán)隊(duì)首先從一個(gè)包含83.1萬個(gè)中文多輪對話的大型數(shù)據(jù)集中進(jìn)行篩選，只保留那些主題連貫、邏輯清晰的高質(zhì)量對話。然后，他們使用不同的AI模型為同一個(gè)用戶查詢生成多種不同質(zhì)量的回復(fù)，確保數(shù)據(jù)集中包含了從優(yōu)秀到平庸的各種樣本。為了避免長度偏見（即更長的回復(fù)可能被認(rèn)為更好），他們還特意控制了回復(fù)長度的差異不超過10個(gè)單詞。

第二個(gè)數(shù)據(jù)集Daily-MTD更加珍貴，因?yàn)樗耆扇祟悓＜覙?biāo)注。研究團(tuán)隊(duì)招募了10名計(jì)算機(jī)科學(xué)專業(yè)的本科生來收集對話數(shù)據(jù)，每個(gè)學(xué)生都要與兩個(gè)不同的聊天機(jī)器人進(jìn)行真實(shí)對話，話題涵蓋日常生活的方方面面。這個(gè)過程產(chǎn)生了1080個(gè)原始對話，然后由五位自然語言處理專家從中精選出600個(gè)最具代表性的對話。

這些專家的標(biāo)注工作極其細(xì)致。他們需要從十個(gè)細(xì)分維度對每個(gè)對話進(jìn)行評估，就像專業(yè)的餐廳評論家要從環(huán)境、服務(wù)、菜品質(zhì)量、性價(jià)比等多個(gè)角度來評價(jià)一家餐廳一樣。令人驚喜的是，專家們的一致性相當(dāng)高：45%的對話獲得了所有五位專家的一致評分，25%的對話有四位專家意見一致，只有30%的對話是三位專家意見一致。這種高度一致性證明了評估標(biāo)準(zhǔn)的科學(xué)性和專家判斷的可靠性。

為了適應(yīng)不同的評估需求，研究團(tuán)隊(duì)將Daily-MTD數(shù)據(jù)集改造成了三種不同的形式：用于單獨(dú)評分的Daily-MTD，用于比較評估的Daily-MTD-Pair，以及用于多維度比較的Daily-MTD-Dim。這就像同一套教材被改編成了適合不同年級學(xué)生使用的版本，確保了數(shù)據(jù)集的廣泛適用性。

四、實(shí)驗(yàn)驗(yàn)證：系統(tǒng)的真實(shí)表現(xiàn)

任何新系統(tǒng)都需要經(jīng)過嚴(yán)格的測試才能證明其價(jià)值，MTDEval也不例外。研究團(tuán)隊(duì)設(shè)計(jì)了一系列全面的實(shí)驗(yàn)來驗(yàn)證系統(tǒng)的性能，就像新車需要經(jīng)過各種路況的測試才能上市銷售一樣。

實(shí)驗(yàn)涵蓋了三種不同的評估方式。第一種是單獨(dú)評分，就像給學(xué)生的作文打分一樣，系統(tǒng)需要為每個(gè)對話給出一個(gè)具體的質(zhì)量分?jǐn)?shù)。在這種測試中，MTDEval在七個(gè)測試基準(zhǔn)中的三個(gè)基準(zhǔn)上都表現(xiàn)出色，甚至在某些指標(biāo)上超越了一些知名的商業(yè)AI系統(tǒng)。特別是在xDial-IEval基準(zhǔn)測試中，MTDEval的表現(xiàn)甚至超過了大部分專有模型，這個(gè)結(jié)果相當(dāng)令人驚喜。

第二種是配對比較，就像讓系統(tǒng)判斷兩篇文章哪篇寫得更好一樣。在這種測試中，MTDEval的表現(xiàn)更加出色，在八個(gè)測試任務(wù)中有七個(gè)都獲得了開源模型中的最高分，其中一個(gè)獲得了第二名。更令人印象深刻的是，在某些具有挑戰(zhàn)性的基準(zhǔn)測試如MT-Bench-Human和Chatbot Arena上，MTDEval甚至超越了所有專有模型的表現(xiàn)。這就像一個(gè)剛畢業(yè)的學(xué)生在某些專業(yè)領(lǐng)域的表現(xiàn)超過了資深專家一樣令人驚喜。

第三種是多維度比較，這是最具挑戰(zhàn)性的測試。系統(tǒng)需要從十個(gè)不同的細(xì)分維度來比較兩個(gè)對話的優(yōu)劣，就像一個(gè)全能型評委需要從多個(gè)專業(yè)角度來評判作品一樣。結(jié)果顯示，MTDEval在平均準(zhǔn)確率上達(dá)到了72.87%，不僅超越了所有開源模型，甚至在整體表現(xiàn)上超過了專有模型。特別值得注意的是，在對話性和安全性這兩個(gè)重要維度上，MTDEval的表現(xiàn)尤為突出。

為了更深入地理解系統(tǒng)的工作原理，研究團(tuán)隊(duì)還進(jìn)行了一系列消融實(shí)驗(yàn)。他們發(fā)現(xiàn)，如果只使用單個(gè)評委的數(shù)據(jù)來訓(xùn)練系統(tǒng)，性能會明顯下降，這證明了多評委方法的價(jià)值。更有趣的是，當(dāng)他們移除最可靠的評委DeepSeek-R1時(shí)，系統(tǒng)性能也會有所下降，但降幅不大，說明系統(tǒng)確實(shí)學(xué)會了綜合利用多個(gè)評委的智慧。

在效率方面，MTDEval的優(yōu)勢更加明顯。傳統(tǒng)的多評委方法需要調(diào)用多個(gè)大型AI模型，每次評估都要消耗大量計(jì)算資源和時(shí)間。而MTDEval只需要進(jìn)行一次前向計(jì)算就能給出結(jié)果，速度比傳統(tǒng)方法快了數(shù)倍到數(shù)十倍。具體來說，MTDEval在單獨(dú)評分任務(wù)上的平均運(yùn)行時(shí)間只有0.10秒，而其他方法通常需要0.23秒到2.32秒不等。在配對比較任務(wù)上，MTDEval只需要0.19秒，而其他方法需要0.45秒到4.77秒。這種效率提升對于需要大規(guī)模評估的實(shí)際應(yīng)用場景來說意義重大。

五、系統(tǒng)學(xué)到了什么：深入分析評委可靠性

研究團(tuán)隊(duì)不僅關(guān)心系統(tǒng)的最終表現(xiàn)，還深入分析了系統(tǒng)在訓(xùn)練過程中學(xué)到了什么。最有趣的發(fā)現(xiàn)之一是系統(tǒng)自動(dòng)學(xué)習(xí)到的各個(gè)評委的可靠性參數(shù)。這就像觀察一個(gè)團(tuán)隊(duì)合作項(xiàng)目中每個(gè)成員的實(shí)際貢獻(xiàn)度一樣，能夠揭示很多有價(jià)值的信息。

通過分析系統(tǒng)學(xué)習(xí)到的敏感性和特異性參數(shù)，研究人員發(fā)現(xiàn)DeepSeek-R1被系統(tǒng)認(rèn)為是最可靠的評委，其敏感性和特異性都達(dá)到了0.93左右，這意味著它在判斷對話質(zhì)量時(shí)很少出錯(cuò)。GPT-4o和Claude-3.7-Sonnet的可靠性也相當(dāng)高，分別達(dá)到0.92和0.91的水平。相對而言，Grok-3和Gemini-2.0-Flash的可靠性稍低一些，但仍然在可接受的范圍內(nèi)。

更有意思的是，系統(tǒng)學(xué)習(xí)到的這些可靠性參數(shù)之間存在很強(qiáng)的相關(guān)性。敏感性高的評委通常特異性也高，這表明優(yōu)秀的評委往往在各個(gè)方面都表現(xiàn)出色，而不是只在某個(gè)特定方面有專長。這個(gè)發(fā)現(xiàn)也驗(yàn)證了研究團(tuán)隊(duì)的假設(shè)：不同的AI模型確實(shí)有不同的判斷能力，而通過學(xué)習(xí)這些差異，系統(tǒng)能夠更好地融合它們的智慧。

研究團(tuán)隊(duì)還測試了評委數(shù)量和質(zhì)量對系統(tǒng)性能的影響。他們發(fā)現(xiàn)，增加更多高質(zhì)量的評委確實(shí)能夠提升系統(tǒng)性能，但提升幅度相對有限。而移除高質(zhì)量的評委或者加入低質(zhì)量的評委則會導(dǎo)致明顯的性能下降。這個(gè)發(fā)現(xiàn)告訴我們，在實(shí)際應(yīng)用中，選擇合適的評委比單純增加評委數(shù)量更重要。

六、實(shí)際應(yīng)用價(jià)值：改變對話評估的未來

MTDEval系統(tǒng)的價(jià)值不僅僅體現(xiàn)在實(shí)驗(yàn)數(shù)據(jù)上，更重要的是它為實(shí)際應(yīng)用開辟了新的可能性。在當(dāng)今的AI對話系統(tǒng)開發(fā)過程中，質(zhì)量評估一直是一個(gè)挑戰(zhàn)性問題。開發(fā)團(tuán)隊(duì)通常需要花費(fèi)大量時(shí)間和資源來評估不同版本系統(tǒng)的對話質(zhì)量，而MTDEval為這個(gè)問題提供了一個(gè)高效且可靠的解決方案。

對于AI公司來說，MTDEval可以大大加速產(chǎn)品迭代周期。原本需要幾天時(shí)間才能完成的大規(guī)模對話質(zhì)量評估，現(xiàn)在可能只需要幾個(gè)小時(shí)就能完成。這種效率提升不僅能夠節(jié)省成本，還能讓開發(fā)團(tuán)隊(duì)更快地發(fā)現(xiàn)和解決問題，從而提升最終產(chǎn)品的質(zhì)量。

對于研究機(jī)構(gòu)來說，MTDEval提供了一個(gè)標(biāo)準(zhǔn)化的評估工具，使得不同研究之間的結(jié)果更具可比性。就像科學(xué)研究需要標(biāo)準(zhǔn)化的測量工具一樣，有了MTDEval這樣的標(biāo)準(zhǔn)評估系統(tǒng)，不同團(tuán)隊(duì)的研究成果就可以在同一個(gè)尺度上進(jìn)行比較和驗(yàn)證。

更重要的是，MTDEval的開源特性使得整個(gè)學(xué)術(shù)界和工業(yè)界都能受益。研究團(tuán)隊(duì)已經(jīng)在GitHub上公開了完整的代碼和數(shù)據(jù)集，任何有需要的人都可以使用和改進(jìn)這個(gè)系統(tǒng)。這種開放的態(tài)度不僅促進(jìn)了技術(shù)的傳播，也為后續(xù)的研究和應(yīng)用奠定了基礎(chǔ)。

系統(tǒng)的多維度評估能力也為對話系統(tǒng)的精細(xì)化改進(jìn)提供了可能。通過分析系統(tǒng)在不同維度上的表現(xiàn)，開發(fā)者可以更精確地識別對話系統(tǒng)的弱點(diǎn)。比如說，如果系統(tǒng)發(fā)現(xiàn)某個(gè)對話在邏輯性方面得分很低，開發(fā)者就可以針對性地改進(jìn)模型的邏輯推理能力。這種精細(xì)化的診斷能力是傳統(tǒng)粗粒度評估方法無法提供的。

當(dāng)然，研究團(tuán)隊(duì)也誠實(shí)地指出了系統(tǒng)的局限性。MTDEval的性能很大程度上依賴于訓(xùn)練時(shí)使用的評委質(zhì)量，如果某個(gè)評委存在系統(tǒng)性偏見，這種偏見可能會被傳遞給最終的系統(tǒng)。此外，當(dāng)前的訓(xùn)練數(shù)據(jù)主要集中在日常生活場景，對于專業(yè)領(lǐng)域的對話評估可能還需要進(jìn)一步的適配和改進(jìn)。

展望未來，研究團(tuán)隊(duì)計(jì)劃在幾個(gè)方向上繼續(xù)改進(jìn)系統(tǒng)。首先是擴(kuò)大評估場景的覆蓋范圍，包括更多專業(yè)領(lǐng)域和特殊情境的對話。其次是探索動(dòng)態(tài)評委權(quán)重機(jī)制，讓系統(tǒng)能夠根據(jù)具體情況調(diào)整不同評委的影響力。最后是加強(qiáng)偏見檢測和緩解機(jī)制，進(jìn)一步提升系統(tǒng)的公平性和可信度。

總的來說，MTDEval代表了多輪對話評估領(lǐng)域的一個(gè)重要進(jìn)步。它成功地將多評委評估的準(zhǔn)確性與單模型推理的效率結(jié)合起來，為這個(gè)領(lǐng)域提供了一個(gè)實(shí)用且可靠的解決方案。更重要的是，它的開源特性和完整的數(shù)據(jù)集為后續(xù)研究提供了寶貴的資源，有望推動(dòng)整個(gè)對話評估領(lǐng)域的快速發(fā)展。

說到底，評估AI對話質(zhì)量這件事就像品評一桌豐盛的晚餐一樣，需要從多個(gè)角度綜合考慮。MTDEval系統(tǒng)就像一個(gè)訓(xùn)練有素的美食評論家，既保留了專業(yè)團(tuán)隊(duì)評審的嚴(yán)謹(jǐn)性，又具備了獨(dú)立工作的高效性。雖然這個(gè)系統(tǒng)還不完美，在某些專業(yè)領(lǐng)域可能還需要進(jìn)一步調(diào)優(yōu)，但它已經(jīng)為我們展示了AI對話評估的美好未來。對于那些希望深入了解技術(shù)細(xì)節(jié)的讀者，可以通過GitHub代碼庫 https://github.com/James-TYQ/MTDEval 獲取完整的研究資料和實(shí)現(xiàn)代碼。

Q&A

Q1：MTDEval系統(tǒng)是什么？它是如何工作的？

A：MTDEval是浙江大學(xué)開發(fā)的多輪對話評估系統(tǒng)，它的工作原理就像訓(xùn)練一個(gè)學(xué)生去學(xué)習(xí)多位優(yōu)秀老師的評判標(biāo)準(zhǔn)。系統(tǒng)通過學(xué)習(xí)五個(gè)頂級AI評委（如GPT-4o、Claude等）的評判智慧，將這些知識融合到一個(gè)輕量級模型中，最終能夠獨(dú)立完成對話質(zhì)量評估工作，既保持了多評委評判的準(zhǔn)確性，又大大降低了計(jì)算成本和時(shí)間消耗。

Q2：MTDEval比傳統(tǒng)的對話評估方法有什么優(yōu)勢？

A：MTDEval的最大優(yōu)勢是效率和準(zhǔn)確性的完美平衡。傳統(tǒng)方法要么使用單個(gè)AI評委（容易有偏見），要么使用多個(gè)評委團(tuán)隊(duì)（計(jì)算成本極高）。MTDEval通過學(xué)習(xí)多評委的智慧，單次評估只需0.1-0.2秒，比傳統(tǒng)方法快數(shù)倍到數(shù)十倍，同時(shí)在七個(gè)基準(zhǔn)測試中表現(xiàn)優(yōu)異，甚至在某些任務(wù)上超越了專有商業(yè)模型。

Q3：普通開發(fā)者可以使用MTDEval系統(tǒng)嗎？如何獲??？

A：可以。MTDEval是完全開源的系統(tǒng)，任何人都可以免費(fèi)使用。開發(fā)者可以通過GitHub代碼庫（https://github.com/James-TYQ/MTDEval）獲取完整的代碼、訓(xùn)練數(shù)據(jù)和使用文檔。系統(tǒng)支持多種評估方式，包括單獨(dú)評分、配對比較和多維度評估，可以靈活適應(yīng)不同的應(yīng)用需求。