這項(xiàng)由Moonshot AI團(tuán)隊(duì)開(kāi)發(fā)的研究發(fā)表于2025年6月，研究成果通過(guò)arXiv預(yù)印本平臺(tái)對(duì)外公布（論文編號(hào)：arXiv:2504.07491v3），有興趣深入了解的讀者可以通過(guò)https://github.com/MoonshotAI/Kimi-VL訪(fǎng)問(wèn)完整代碼和模型。

當(dāng)我們談?wù)揂I看圖和理解視頻的能力時(shí)，通常會(huì)聯(lián)想到那些需要龐大計(jì)算資源的超級(jí)模型。然而，Moonshot AI團(tuán)隊(duì)剛剛打破了這個(gè)固有印象，他們開(kāi)發(fā)的Kimi-VL模型就像一個(gè)聰明的小個(gè)子選手，在拳擊臺(tái)上與重量級(jí)選手較量時(shí)不落下風(fēng)。這個(gè)模型的核心創(chuàng)新在于使用了一種叫做"混合專(zhuān)家"的架構(gòu)，就好比一個(gè)聰明的團(tuán)隊(duì)分工合作——每個(gè)專(zhuān)家只負(fù)責(zé)自己最擅長(zhǎng)的任務(wù)，而不是讓一個(gè)人包攬所有工作。

更令人驚喜的是，這個(gè)看似"小巧"的模型實(shí)際上只激活了2.8B個(gè)參數(shù)（相當(dāng)于28億個(gè)調(diào)節(jié)鈕），卻能在多個(gè)復(fù)雜任務(wù)上與那些參數(shù)量幾十倍于它的大型模型平分秋色，甚至在某些任務(wù)上表現(xiàn)更出色。這就像一輛小排量汽車(chē)在油耗、靈活性和性能之間找到了完美平衡點(diǎn)，既不浪費(fèi)資源，又能勝任各種復(fù)雜路況。

Kimi-VL的另一個(gè)突破性特點(diǎn)是它能夠處理超長(zhǎng)內(nèi)容。傳統(tǒng)AI模型在面對(duì)長(zhǎng)視頻或多頁(yè)文檔時(shí)往往會(huì)"失憶"，就像看電影時(shí)不斷忘記前面的劇情。而Kimi-VL擁有128K的超長(zhǎng)上下文窗口，能夠記住并理解長(zhǎng)達(dá)數(shù)小時(shí)的視頻內(nèi)容或上百頁(yè)的文檔材料，這種能力在實(shí)際應(yīng)用中具有革命性意義。

研究團(tuán)隊(duì)還開(kāi)發(fā)了一個(gè)"會(huì)思考"的升級(jí)版本Kimi-VL-Thinking，這個(gè)版本能夠像人類(lèi)一樣進(jìn)行深度推理。當(dāng)面對(duì)復(fù)雜問(wèn)題時(shí)，它不會(huì)急于給出答案，而是會(huì)先在"腦海"中進(jìn)行一番深思熟慮，梳理思路，然后給出更準(zhǔn)確的回答。這種"慢思考"的能力讓它在數(shù)學(xué)推理、科學(xué)分析等需要邏輯性的任務(wù)上表現(xiàn)尤為出色。

一、視覺(jué)智能的新突破：從"笨重"到"精巧"

在人工智能的世界里，視覺(jué)理解一直是一個(gè)極具挑戰(zhàn)性的領(lǐng)域。就像教會(huì)一個(gè)從未見(jiàn)過(guò)世界的人理解圖片和視頻一樣困難，AI模型需要學(xué)會(huì)識(shí)別物體、理解場(chǎng)景、分析關(guān)系，甚至進(jìn)行復(fù)雜的推理。傳統(tǒng)的解決方案往往采用"暴力美學(xué)"——使用數(shù)百億甚至數(shù)千億的參數(shù)來(lái)建立龐大的模型，就像用推土機(jī)來(lái)完成精細(xì)雕刻的工作。

然而，這種方法面臨著顯而易見(jiàn)的問(wèn)題。龐大的模型需要大量的計(jì)算資源，就像開(kāi)著油老虎在城市里穿行一樣既不經(jīng)濟(jì)也不環(huán)保。更重要的是，這些巨型模型在實(shí)際部署時(shí)面臨著種種限制——服務(wù)器成本高昂、響應(yīng)速度緩慢、能耗巨大。這就好比為了運(yùn)輸一個(gè)人而出動(dòng)一架波音747，雖然能完成任務(wù)，但顯然不是最優(yōu)解。

Moonshot AI團(tuán)隊(duì)意識(shí)到了這個(gè)問(wèn)題，他們開(kāi)始思考：能否像瑞士手表那樣，在精巧的結(jié)構(gòu)中實(shí)現(xiàn)強(qiáng)大的功能？他們的答案就是Kimi-VL——一個(gè)采用混合專(zhuān)家架構(gòu)的視覺(jué)語(yǔ)言模型。這種架構(gòu)的核心理念就像一個(gè)高效的咨詢(xún)公司，不同的專(zhuān)家負(fù)責(zé)不同的專(zhuān)業(yè)領(lǐng)域，當(dāng)遇到具體問(wèn)題時(shí)，系統(tǒng)會(huì)自動(dòng)選擇最合適的專(zhuān)家來(lái)處理，而其他專(zhuān)家則保持"待機(jī)"狀態(tài)。

這種設(shè)計(jì)帶來(lái)的好處是顯而易見(jiàn)的。首先，它大大提高了效率——相比于讓所有"員工"都參與每一個(gè)任務(wù)，選擇性激活專(zhuān)家能夠節(jié)省大量的計(jì)算資源。其次，這種專(zhuān)業(yè)化分工讓每個(gè)專(zhuān)家都能在自己的領(lǐng)域內(nèi)發(fā)揮最大作用，就像讓數(shù)學(xué)老師專(zhuān)心教數(shù)學(xué)，語(yǔ)文老師專(zhuān)心教語(yǔ)文，而不是讓一個(gè)老師包教所有科目。

在具體實(shí)現(xiàn)上，Kimi-VL包含了三個(gè)核心組件：一個(gè)名為MoonViT的視覺(jué)編碼器、一個(gè)連接橋梁（MLP投影器），以及一個(gè)基于Moonlight的混合專(zhuān)家語(yǔ)言模型。這三個(gè)組件的協(xié)作就像一個(gè)精密的傳送帶系統(tǒng)——視覺(jué)編碼器負(fù)責(zé)"看"，投影器負(fù)責(zé)"翻譯"，語(yǔ)言模型負(fù)責(zé)"理解"和"表達(dá)"。整個(gè)過(guò)程流暢自然，沒(méi)有任何環(huán)節(jié)成為瓶頸。

值得特別提及的是，Kimi-VL在保持小體積的同時(shí)，還實(shí)現(xiàn)了對(duì)超高分辨率圖像的原生支持。傳統(tǒng)模型在處理高分辨率圖像時(shí)，通常需要將圖像切割成小塊分別處理，然后再拼接結(jié)果，這個(gè)過(guò)程就像用放大鏡一塊一塊地看拼圖，難免會(huì)錯(cuò)過(guò)整體信息。而Kimi-VL的MoonViT視覺(jué)編碼器能夠直接處理各種分辨率的圖像，保持了視覺(jué)信息的完整性和連貫性。

二、訓(xùn)練過(guò)程：如何煉成AI"全才"

Kimi-VL的訓(xùn)練過(guò)程就像培養(yǎng)一個(gè)博學(xué)多才的學(xué)者，需要經(jīng)歷多個(gè)階段的學(xué)習(xí)和磨練。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)精心安排的"課程表"，讓模型從基礎(chǔ)知識(shí)開(kāi)始，逐步掌握復(fù)雜技能，最終成長(zhǎng)為能夠勝任各種任務(wù)的"全才"。

整個(gè)訓(xùn)練過(guò)程可以比作培養(yǎng)一個(gè)從未接觸過(guò)人類(lèi)文明的外星人成為地球通。首先是"文本預(yù)訓(xùn)練"階段，就像先教這個(gè)外星人學(xué)會(huì)人類(lèi)的語(yǔ)言。模型在這個(gè)階段消化了5.2萬(wàn)億個(gè)文本標(biāo)記（tokens），建立了對(duì)人類(lèi)語(yǔ)言的基本理解。這個(gè)階段至關(guān)重要，因?yàn)檎Z(yǔ)言能力是后續(xù)所有視覺(jué)理解任務(wù)的基礎(chǔ)。

接下來(lái)是"視覺(jué)訓(xùn)練"階段，相當(dāng)于教會(huì)外星人如何"看"世界。研究團(tuán)隊(duì)使用了2萬(wàn)億個(gè)圖像-文本對(duì)來(lái)訓(xùn)練視覺(jué)編碼器，讓模型學(xué)會(huì)將看到的圖像與相應(yīng)的文字描述聯(lián)系起來(lái)。這個(gè)過(guò)程采用了一種叫做CoCa的訓(xùn)練方法，同時(shí)使用對(duì)比學(xué)習(xí)和生成學(xué)習(xí)兩種策略。對(duì)比學(xué)習(xí)就像教模型"這是蘋(píng)果，不是橙子"，而生成學(xué)習(xí)則是教模型"看到蘋(píng)果要說(shuō)'紅色的水果'"。

然后是"聯(lián)合預(yù)訓(xùn)練"階段，這時(shí)模型開(kāi)始真正學(xué)會(huì)"看懂"世界。研究團(tuán)隊(duì)精心調(diào)配了文本和多模態(tài)數(shù)據(jù)的比例，從純文本開(kāi)始，逐漸增加圖像內(nèi)容的比例，最終達(dá)到40%的多模態(tài)數(shù)據(jù)。這個(gè)過(guò)程就像學(xué)習(xí)一門(mén)外語(yǔ)時(shí)，先從單詞開(kāi)始，然后是短句，最后是復(fù)雜的文章和對(duì)話(huà)。

"聯(lián)合冷卻"階段則像是考前的強(qiáng)化復(fù)習(xí)。模型在這個(gè)階段接觸高質(zhì)量的精選數(shù)據(jù)，包括合成的數(shù)學(xué)問(wèn)題、學(xué)術(shù)論文、代碼示例等。研究團(tuán)隊(duì)特別注重質(zhì)量而非數(shù)量，就像在最后沖刺階段做精選習(xí)題而不是題海戰(zhàn)術(shù)。

最后的"長(zhǎng)上下文激活"階段是整個(gè)訓(xùn)練的點(diǎn)睛之筆。模型的上下文窗口從8K擴(kuò)展到128K，相當(dāng)于記憶能力提升了16倍。這個(gè)過(guò)程分兩個(gè)子階段進(jìn)行，每次將上下文長(zhǎng)度擴(kuò)展4倍，確保模型能夠平穩(wěn)地適應(yīng)更長(zhǎng)的內(nèi)容。同時(shí)，訓(xùn)練數(shù)據(jù)中25%是長(zhǎng)內(nèi)容，75%是短內(nèi)容，這樣既能學(xué)會(huì)處理長(zhǎng)文檔，又不會(huì)忘記處理短內(nèi)容的能力。

為了驗(yàn)證模型的長(zhǎng)上下文能力，研究團(tuán)隊(duì)設(shè)計(jì)了"大海撈針"測(cè)試。他們?cè)陂L(zhǎng)達(dá)128K的文檔中隨機(jī)插入一些特定信息，然后測(cè)試模型能否準(zhǔn)確找到這些信息。結(jié)果顯示，Kimi-VL在絕大多數(shù)情況下都能準(zhǔn)確找到"針"，證明了其強(qiáng)大的長(zhǎng)程記憶能力。

三、讓AI學(xué)會(huì)"思考"：推理能力的進(jìn)化

如果說(shuō)基礎(chǔ)版的Kimi-VL已經(jīng)足夠優(yōu)秀，那么Kimi-VL-Thinking的出現(xiàn)則將AI的能力推向了新的高度。這個(gè)升級(jí)版本的核心特色是引入了"長(zhǎng)鏈思考"能力，就像將一個(gè)只會(huì)快速反應(yīng)的運(yùn)動(dòng)員訓(xùn)練成既能快速反應(yīng)又能深度分析的智者。

長(zhǎng)鏈思考的概念并不難理解。當(dāng)人類(lèi)面對(duì)復(fù)雜問(wèn)題時(shí)，很少會(huì)立即給出答案，而是會(huì)在腦海中進(jìn)行一番思考：分析問(wèn)題、回憶相關(guān)知識(shí)、制定解決方案、驗(yàn)證答案的合理性。Kimi-VL-Thinking正是模仿了這種思考過(guò)程，在給出最終答案之前，會(huì)先進(jìn)行一番"內(nèi)心獨(dú)白"。

這種能力的培養(yǎng)需要特殊的訓(xùn)練方法。研究團(tuán)隊(duì)采用了監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相結(jié)合的策略。在監(jiān)督學(xué)習(xí)階段，他們收集了大量包含詳細(xì)推理過(guò)程的高質(zhì)量數(shù)據(jù)，就像給學(xué)生提供標(biāo)準(zhǔn)的解題步驟示例。這些數(shù)據(jù)涵蓋了規(guī)劃、評(píng)估、反思、探索等多種認(rèn)知過(guò)程，確保模型能學(xué)會(huì)類(lèi)似人類(lèi)的思維模式。

強(qiáng)化學(xué)習(xí)階段則更像是讓模型在實(shí)踐中磨練技能。系統(tǒng)會(huì)根據(jù)最終答案的正確性給出獎(jiǎng)勵(lì)或懲罰，同時(shí)還會(huì)考慮思考過(guò)程的長(zhǎng)度，避免模型產(chǎn)生過(guò)度冗長(zhǎng)的無(wú)效思考。這就像訓(xùn)練一個(gè)辯論選手，不僅要求論點(diǎn)正確，還要求論證過(guò)程簡(jiǎn)潔有力。

為了控制思考的質(zhì)量和效率，研究團(tuán)隊(duì)引入了多種技術(shù)手段。長(zhǎng)度懲罰機(jī)制確保模型不會(huì)陷入無(wú)休止的"胡思亂想"，難度控制策略讓模型根據(jù)問(wèn)題的復(fù)雜程度調(diào)整思考深度，優(yōu)先采樣技術(shù)則幫助模型專(zhuān)注于最有價(jià)值的學(xué)習(xí)樣本。

實(shí)驗(yàn)結(jié)果證明了這種設(shè)計(jì)的有效性。在數(shù)學(xué)推理任務(wù)上，Kimi-VL-Thinking在MathVision基準(zhǔn)測(cè)試中達(dá)到了56.9%的準(zhǔn)確率，比基礎(chǔ)版本提升了35.5個(gè)百分點(diǎn)。在大學(xué)水平的多學(xué)科理解測(cè)試MMMU中，思考版本的準(zhǔn)確率達(dá)到64.0%，比基礎(chǔ)版本提升了7%。這些提升看似不大，但在A(yíng)I領(lǐng)域已經(jīng)是相當(dāng)顯著的進(jìn)步。

更有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)思考能力具有良好的"可擴(kuò)展性"。當(dāng)允許模型進(jìn)行更長(zhǎng)時(shí)間的思考時(shí)（從1K個(gè)思考標(biāo)記增加到16K），其性能會(huì)持續(xù)提升。這就像給人更多時(shí)間思考復(fù)雜問(wèn)題時(shí)，答案的質(zhì)量通常會(huì)更好一樣。不過(guò)，這種提升并非無(wú)限制的——在某些任務(wù)上，4K個(gè)思考標(biāo)記就足夠了，繼續(xù)增加并不會(huì)帶來(lái)明顯改善。

四、數(shù)據(jù)構(gòu)建：喂養(yǎng)AI的"營(yíng)養(yǎng)餐"

訓(xùn)練一個(gè)優(yōu)秀的AI模型就像培養(yǎng)一個(gè)天才兒童，數(shù)據(jù)質(zhì)量的重要性不亞于營(yíng)養(yǎng)對(duì)成長(zhǎng)的影響。Kimi-VL的訓(xùn)練數(shù)據(jù)構(gòu)建過(guò)程體現(xiàn)了研究團(tuán)隊(duì)在"菜譜設(shè)計(jì)"上的精心考量，他們不僅關(guān)注數(shù)據(jù)的數(shù)量，更重視數(shù)據(jù)的質(zhì)量和多樣性。

在文本數(shù)據(jù)方面，研究團(tuán)隊(duì)直接采用了Moonlight語(yǔ)言模型的數(shù)據(jù)配方，這個(gè)數(shù)據(jù)集涵蓋了英文、中文、代碼、數(shù)學(xué)推理和知識(shí)等五個(gè)核心領(lǐng)域。就像為成長(zhǎng)中的孩子提供均衡飲食一樣，每個(gè)領(lǐng)域的數(shù)據(jù)都經(jīng)過(guò)精心篩選和質(zhì)量控制。研究團(tuán)隊(duì)對(duì)每個(gè)數(shù)據(jù)源都進(jìn)行了獨(dú)立驗(yàn)證，評(píng)估其對(duì)模型整體能力的貢獻(xiàn)，然后根據(jù)效果調(diào)整不同類(lèi)型數(shù)據(jù)的比例。

多模態(tài)數(shù)據(jù)的構(gòu)建則更加復(fù)雜，需要同時(shí)考慮視覺(jué)和文本信息的配合。研究團(tuán)隊(duì)將多模態(tài)數(shù)據(jù)分為六大類(lèi)別：圖片描述、交錯(cuò)內(nèi)容、OCR文本、知識(shí)圖譜、視頻內(nèi)容和智能體任務(wù)。每一類(lèi)數(shù)據(jù)都有其獨(dú)特的作用，就像不同的維生素對(duì)身體有不同的益處。

圖片描述數(shù)據(jù)為模型提供了基礎(chǔ)的視覺(jué)-語(yǔ)言對(duì)應(yīng)關(guān)系。研究團(tuán)隊(duì)集成了多個(gè)開(kāi)源數(shù)據(jù)集，同時(shí)也構(gòu)建了大量的內(nèi)部數(shù)據(jù)。為了避免AI產(chǎn)生幻覺(jué)（即編造不存在的信息），他們嚴(yán)格限制了合成描述數(shù)據(jù)的比例，更多依賴(lài)真實(shí)的人工標(biāo)注。

交錯(cuò)內(nèi)容數(shù)據(jù)則訓(xùn)練模型理解圖文混排的復(fù)雜材料，比如教科書(shū)、網(wǎng)頁(yè)、教程等。這類(lèi)數(shù)據(jù)的處理特別復(fù)雜，因?yàn)樾枰３謭D片和文字的正確順序關(guān)系。研究團(tuán)隊(duì)開(kāi)發(fā)了專(zhuān)門(mén)的數(shù)據(jù)重排程序，確保每張圖片都能與相應(yīng)的文字內(nèi)容正確匹配。

OCR數(shù)據(jù)幫助模型獲得文字識(shí)別能力。除了公開(kāi)數(shù)據(jù)集，研究團(tuán)隊(duì)還構(gòu)建了大量包含多語(yǔ)言、密集文本、網(wǎng)頁(yè)內(nèi)容和手寫(xiě)樣本的內(nèi)部數(shù)據(jù)集。按照OCR 2.0的原則，他們的模型還能處理圖表、表格、幾何圖形等各種類(lèi)型的視覺(jué)內(nèi)容。為了增強(qiáng)模型的魯棒性，訓(xùn)練時(shí)還使用了旋轉(zhuǎn)、扭曲、顏色調(diào)整、噪聲添加等數(shù)據(jù)增強(qiáng)技術(shù)。

知識(shí)數(shù)據(jù)的構(gòu)建理念類(lèi)似于文本預(yù)訓(xùn)練，但專(zhuān)注于從多元化來(lái)源匯集人類(lèi)知識(shí)。研究團(tuán)隊(duì)特別重視幾何數(shù)據(jù)，因?yàn)檫@對(duì)發(fā)展視覺(jué)推理能力至關(guān)重要。他們建立了標(biāo)準(zhǔn)化的知識(shí)分類(lèi)體系，確保各個(gè)類(lèi)別的內(nèi)容保持平衡。

智能體數(shù)據(jù)的收集則更具挑戰(zhàn)性。研究團(tuán)隊(duì)建立了虛擬機(jī)環(huán)境平臺(tái)，使用啟發(fā)式方法收集屏幕截圖和相應(yīng)的操作數(shù)據(jù)。這些數(shù)據(jù)被處理成密集定位格式和連續(xù)軌跡格式，涵蓋了桌面、移動(dòng)和網(wǎng)頁(yè)三種環(huán)境。為了增強(qiáng)模型的規(guī)劃能力，他們還收集了人工標(biāo)注的多步驟任務(wù)軌跡，每個(gè)軌跡都配有合成的思維鏈推理過(guò)程。

視頻數(shù)據(jù)的處理同樣精細(xì)入微。為了培養(yǎng)模型的長(zhǎng)時(shí)序理解能力和細(xì)粒度時(shí)空對(duì)應(yīng)關(guān)系感知能力，研究團(tuán)隊(duì)從多樣化資源收集了不同時(shí)長(zhǎng)的視頻數(shù)據(jù)。對(duì)于長(zhǎng)視頻，他們?cè)O(shè)計(jì)了專(zhuān)門(mén)的密集描述生成流程。同樣為了避免幻覺(jué)問(wèn)題，合成視頻描述的比例被嚴(yán)格控制。

五、性能表現(xiàn)：小身材的大能量

Kimi-VL的實(shí)際表現(xiàn)就像一個(gè)輕量級(jí)拳手在重量級(jí)比賽中的驚艷亮相。盡管只有2.8B的激活參數(shù)，但它在多個(gè)基準(zhǔn)測(cè)試中的表現(xiàn)足以讓人刮目相看，甚至在某些領(lǐng)域超越了那些體積龐大數(shù)倍的競(jìng)爭(zhēng)對(duì)手。

在大學(xué)水平的學(xué)術(shù)問(wèn)題測(cè)試中，Kimi-VL在MMMU驗(yàn)證集上達(dá)到了57.0%的準(zhǔn)確率。這個(gè)成績(jī)超過(guò)了參數(shù)量更大的DeepSeek-VL2（51.1%），與Qwen2.5-VL-7B（58.6%）和Gemma-3-12B-IT（59.6%）相當(dāng)。考慮到Kimi-VL的參數(shù)量只有這些競(jìng)爭(zhēng)對(duì)手的一半甚至更少，這樣的表現(xiàn)堪稱(chēng)出色。在視頻版的大學(xué)問(wèn)題測(cè)試VideoMMMU中，Kimi-VL同樣表現(xiàn)不俗，大幅超越了Qwen2.5-VL-7B和DeepSeek-VL2。

在通用視覺(jué)理解能力方面，Kimi-VL的表現(xiàn)更加亮眼。在MMBench-EN-v1.1測(cè)試中，它達(dá)到了83.1%的準(zhǔn)確率，與GPT-4o持平，超越了所有同級(jí)別的開(kāi)源模型。在A(yíng)I2D科學(xué)圖表理解測(cè)試中，Kimi-VL以84.9%的準(zhǔn)確率甚至超過(guò)了GPT-4o的84.6%。這些結(jié)果表明，小參數(shù)量并不意味著能力的妥協(xié)。

數(shù)學(xué)推理一直是測(cè)試AI智能水平的重要指標(biāo)。在MathVista基準(zhǔn)測(cè)試中，Kimi-VL達(dá)到了68.7%的準(zhǔn)確率，超過(guò)了GPT-4o（63.8%）和Qwen2.5-VL-7B（68.2%）。雖然在更具挑戰(zhàn)性的MathVision測(cè)試中表現(xiàn)相對(duì)謙遜，但通過(guò)思考版本的改進(jìn)，這一短板得到了顯著彌補(bǔ)。

OCR（光學(xué)字符識(shí)別）和文檔理解是Kimi-VL的強(qiáng)項(xiàng)之一。在InfoVQA測(cè)試中，它以83.2%的準(zhǔn)確率超越了GPT-4o（80.7%）和DeepSeek-VL2（78.1%）。在OCRBench綜合測(cè)試中，Kimi-VL獲得了867分的高分，超過(guò)了包括GPT-4o在內(nèi)的所有比較模型。這種優(yōu)勢(shì)主要得益于其原生分辨率的視覺(jué)編碼器設(shè)計(jì)。

在智能體任務(wù)方面，Kimi-VL展現(xiàn)出了令人印象深刻的界面理解和操作能力。在ScreenSpot-V2單步定位測(cè)試中，它達(dá)到了92.8%的準(zhǔn)確率，在極具挑戰(zhàn)性的4K屏幕ScreenSpot-Pro測(cè)試中也達(dá)到了34.5%的準(zhǔn)確率。更重要的是，在需要多步驟操作的OSWorld測(cè)試中，Kimi-VL以8.22%的成功率超越了GPT-4o（5.03%），證明了其出色的任務(wù)規(guī)劃和執(zhí)行能力。

長(zhǎng)文檔和長(zhǎng)視頻理解是大多數(shù)AI模型的痛點(diǎn)，但Kimi-VL在這方面表現(xiàn)優(yōu)異。在MMLongBench-Doc長(zhǎng)文檔理解測(cè)試中，它達(dá)到了35.1%的準(zhǔn)確率，超過(guò)了GPT-4o-mini（29.0%）和Qwen2.5-VL-7B（29.6%）。在長(zhǎng)視頻理解方面，Kimi-VL在LongVideoBench上獲得64.5分，在Video-MME測(cè)試中也取得了令人滿(mǎn)意的成績(jī)，特別是在不依賴(lài)字幕的純視覺(jué)理解任務(wù)中表現(xiàn)突出。

思考版本的Kimi-VL-Thinking則將這些優(yōu)勢(shì)進(jìn)一步放大。在數(shù)學(xué)推理方面，MathVision的準(zhǔn)確率從21.4%躍升至36.8%，提升幅度達(dá)到15.4個(gè)百分點(diǎn)。在MMMU測(cè)試中，準(zhǔn)確率從57.0%提升至61.7%，增長(zhǎng)了4.7個(gè)百分點(diǎn)。這些提升證明了"慢思考"策略的有效性。

更令人驚喜的是，Kimi-VL-Thinking還表現(xiàn)出良好的測(cè)試時(shí)擴(kuò)展性。當(dāng)允許模型使用更多思考時(shí)間時(shí)，其性能會(huì)持續(xù)提升。在MathVision測(cè)試中，從1K思考標(biāo)記擴(kuò)展到16K標(biāo)記，準(zhǔn)確率從18.7%穩(wěn)步提升至36.8%。這種特性為未來(lái)的性能優(yōu)化提供了新的思路。

六、技術(shù)創(chuàng)新：三大突破性設(shè)計(jì)

Kimi-VL的成功并非偶然，而是源于三個(gè)關(guān)鍵的技術(shù)創(chuàng)新，這些創(chuàng)新就像三個(gè)強(qiáng)大的引擎，共同驅(qū)動(dòng)著這個(gè)"小而美"的模型達(dá)到令人驚嘆的性能高度。

第一個(gè)創(chuàng)新是MoonViT原生分辨率視覺(jué)編碼器。傳統(tǒng)的視覺(jué)模型就像老式的影印機(jī)，只能處理固定尺寸的紙張，遇到超大或特殊尺寸的文檔時(shí)就束手無(wú)策。而MoonViT則像一臺(tái)智能的掃描儀，能夠直接處理任何尺寸的圖像，無(wú)需復(fù)雜的裁剪和拼接操作。

這種設(shè)計(jì)的巧妙之處在于采用了圖像"打包"技術(shù)。就像高效的行李打包一樣，MoonViT將圖像分割成小塊，然后將這些小塊按順序連接成一維序列。這種方法不僅保持了圖像的完整性，還能與語(yǔ)言模型的序列處理機(jī)制完美兼容。更重要的是，它支持可變長(zhǎng)度序列的注意力機(jī)制，確保了處理各種分辨率圖像時(shí)的高效性。

為了增強(qiáng)位置信息的表達(dá)能力，MoonViT還融合了二維旋轉(zhuǎn)位置編碼（2D RoPE）技術(shù)。這就像給每個(gè)圖像塊貼上精確的坐標(biāo)標(biāo)簽，幫助模型理解細(xì)粒度的空間關(guān)系。這種設(shè)計(jì)使得模型能夠處理高達(dá)320萬(wàn)像素的單張圖像，是原始限制的4倍。

第二個(gè)創(chuàng)新是混合專(zhuān)家（MoE）語(yǔ)言模型架構(gòu)。這種設(shè)計(jì)就像組建一個(gè)高效的專(zhuān)家顧問(wèn)團(tuán)，每個(gè)專(zhuān)家只在需要時(shí)被激活，而不是讓所有專(zhuān)家同時(shí)工作。具體來(lái)說(shuō)，Kimi-VL的語(yǔ)言模型包含16B個(gè)總參數(shù)，但每次推理時(shí)只激活其中的2.8B個(gè)參數(shù)。

這種架構(gòu)的優(yōu)勢(shì)是多方面的。首先，它大大提高了計(jì)算效率——相比傳統(tǒng)的密集模型，MoE架構(gòu)能夠在使用相同計(jì)算資源的情況下獲得更好的性能。其次，專(zhuān)業(yè)化分工使得每個(gè)專(zhuān)家都能在特定領(lǐng)域內(nèi)達(dá)到最優(yōu)表現(xiàn)。最后，這種設(shè)計(jì)還具有良好的可擴(kuò)展性，可以通過(guò)增加專(zhuān)家數(shù)量來(lái)提升模型能力，而不會(huì)成比例地增加計(jì)算成本。

第三個(gè)創(chuàng)新是超長(zhǎng)上下文處理能力。Kimi-VL支持128K的上下文長(zhǎng)度，相當(dāng)于能夠"記住"約10萬(wàn)個(gè)中文字符的內(nèi)容。這種能力就像擁有了超強(qiáng)的工作記憶，能夠在處理當(dāng)前問(wèn)題時(shí)同時(shí)參考大量的背景信息。

實(shí)現(xiàn)這種能力需要克服多個(gè)技術(shù)挑戰(zhàn)。研究團(tuán)隊(duì)采用了分階段的上下文擴(kuò)展策略，從8K逐步擴(kuò)展到128K，確保模型能夠平穩(wěn)適應(yīng)。同時(shí)，他們調(diào)整了RoPE位置編碼的基礎(chǔ)頻率，從50,000增加到800,000，以適應(yīng)更長(zhǎng)的序列。為了驗(yàn)證效果，團(tuán)隊(duì)設(shè)計(jì)了針對(duì)文本和視頻的"大海撈針"測(cè)試，結(jié)果顯示模型在絕大多數(shù)情況下都能準(zhǔn)確檢索到指定信息。

這三個(gè)創(chuàng)新的協(xié)同作用產(chǎn)生了"1+1+1>3"的效果。原生分辨率編碼器保證了視覺(jué)信息的完整性，MoE架構(gòu)提供了高效的計(jì)算能力，超長(zhǎng)上下文則確保了對(duì)復(fù)雜任務(wù)的全面理解。這種設(shè)計(jì)哲學(xué)體現(xiàn)了"少即是多"的理念——通過(guò)精心設(shè)計(jì)的架構(gòu)和訓(xùn)練策略，實(shí)現(xiàn)了小參數(shù)量下的大能力。

七、實(shí)際應(yīng)用：從實(shí)驗(yàn)室到現(xiàn)實(shí)世界

Kimi-VL的技術(shù)創(chuàng)新不僅僅停留在實(shí)驗(yàn)室的基準(zhǔn)測(cè)試中，更重要的是它在現(xiàn)實(shí)世界中展現(xiàn)出的實(shí)用價(jià)值。這些應(yīng)用場(chǎng)景就像一扇扇窗戶(hù)，讓我們看到AI技術(shù)如何真正改變?nèi)藗兊墓ぷ骱蜕罘绞健?/p>

在文檔處理和信息提取領(lǐng)域，Kimi-VL展現(xiàn)出了強(qiáng)大的實(shí)用價(jià)值。無(wú)論是掃描的歷史文獻(xiàn)、復(fù)雜的財(cái)務(wù)報(bào)表，還是包含圖表的學(xué)術(shù)論文，它都能準(zhǔn)確識(shí)別和理解其中的文字和圖像信息。這種能力特別適用于法律事務(wù)所處理大量合同文件、會(huì)計(jì)事務(wù)所分析財(cái)務(wù)報(bào)表、研究機(jī)構(gòu)整理文獻(xiàn)資料等場(chǎng)景。相比傳統(tǒng)的OCR工具只能識(shí)別文字，Kimi-VL還能理解文檔的邏輯結(jié)構(gòu)和語(yǔ)義內(nèi)容。

在教育培訓(xùn)方面，Kimi-VL的數(shù)學(xué)推理和科學(xué)分析能力為個(gè)性化學(xué)習(xí)提供了新的可能性。它不僅能解答復(fù)雜的數(shù)學(xué)題目，還能提供詳細(xì)的解題思路和步驟說(shuō)明。這就像有了一位永不疲倦的私人導(dǎo)師，能夠根據(jù)學(xué)生的具體問(wèn)題提供針對(duì)性的指導(dǎo)。特別是思考版本的Kimi-VL-Thinking，其"慢思考"的特性更接近人類(lèi)的學(xué)習(xí)過(guò)程，有助于學(xué)生理解問(wèn)題解決的思維方法。

在內(nèi)容創(chuàng)作和媒體制作領(lǐng)域，Kimi-VL的長(zhǎng)視頻理解能力為視頻編輯和內(nèi)容分析帶來(lái)了革命性的改進(jìn)。它能夠自動(dòng)識(shí)別視頻中的關(guān)鍵場(chǎng)景、生成詳細(xì)的內(nèi)容摘要、甚至協(xié)助進(jìn)行視頻剪輯和后期制作。對(duì)于新聞媒體、在線(xiàn)教育平臺(tái)、短視頻創(chuàng)作者來(lái)說(shuō)，這種能力能夠大大提高工作效率和內(nèi)容質(zhì)量。

在客戶(hù)服務(wù)和技術(shù)支持方面，Kimi-VL的智能體能力為自動(dòng)化服務(wù)開(kāi)辟了新的可能。它不僅能理解用戶(hù)通過(guò)截圖或視頻描述的問(wèn)題，還能直接在界面上執(zhí)行相應(yīng)的操作步驟。這種能力特別適用于軟件技術(shù)支持、設(shè)備操作指導(dǎo)、在線(xiàn)教學(xué)演示等場(chǎng)景。用戶(hù)不再需要冗長(zhǎng)的文字描述，簡(jiǎn)單的屏幕截圖就能讓AI助手理解問(wèn)題并提供解決方案。

在科研和數(shù)據(jù)分析領(lǐng)域，Kimi-VL的多模態(tài)理解能力為研究工作提供了強(qiáng)有力的工具。無(wú)論是分析實(shí)驗(yàn)數(shù)據(jù)圖表、處理顯微鏡圖像、還是解讀復(fù)雜的工程圖紙，它都能提供準(zhǔn)確的分析和解釋。這種能力特別有價(jià)值的是，它能夠處理那些傳統(tǒng)AI工具難以應(yīng)對(duì)的復(fù)雜、非標(biāo)準(zhǔn)化的科研數(shù)據(jù)。

在無(wú)障礙技術(shù)方面，Kimi-VL為視覺(jué)障礙人士提供了新的輔助工具。它不僅能描述圖像內(nèi)容，還能理解圖像中的文字信息、分析場(chǎng)景結(jié)構(gòu)、甚至協(xié)助進(jìn)行日常操作。這種技術(shù)有望大大改善視覺(jué)障礙人士的數(shù)字生活體驗(yàn)，讓他們能夠更獨(dú)立地使用各種數(shù)字設(shè)備和服務(wù)。

值得注意的是，Kimi-VL的高效設(shè)計(jì)使得這些應(yīng)用能夠在相對(duì)較小的計(jì)算資源下實(shí)現(xiàn)。這意味著不僅大型企業(yè)能夠部署這種技術(shù)，中小型企業(yè)甚至個(gè)人開(kāi)發(fā)者也能夠承擔(dān)相應(yīng)的成本。這種"民主化"的特性有望推動(dòng)AI技術(shù)的更廣泛應(yīng)用。

八、發(fā)展前景：挑戰(zhàn)與機(jī)遇并存

盡管Kimi-VL在多個(gè)方面取得了突破性進(jìn)展，但研究團(tuán)隊(duì)對(duì)于模型的局限性和未來(lái)發(fā)展方向有著清醒的認(rèn)識(shí)。就像任何技術(shù)創(chuàng)新一樣，當(dāng)前的成果既是一個(gè)里程碑，也是通向更廣闊未來(lái)的起點(diǎn)。

當(dāng)前最主要的挑戰(zhàn)在于模型規(guī)模的限制。雖然Kimi-VL在效率方面表現(xiàn)出色，但在處理高度專(zhuān)業(yè)化或強(qiáng)依賴(lài)語(yǔ)言能力的復(fù)雜場(chǎng)景時(shí)，其相對(duì)較小的參數(shù)量仍然構(gòu)成了一定的約束。這就像一位才華橫溢但經(jīng)驗(yàn)有限的年輕專(zhuān)家，在面對(duì)最具挑戰(zhàn)性的專(zhuān)業(yè)問(wèn)題時(shí)可能還需要更多的知識(shí)積累。

推理能力雖然已經(jīng)相當(dāng)出色，但距離理論上限仍有提升空間。特別是在需要多步推理或深度上下文理解的復(fù)雜任務(wù)中，模型有時(shí)還難以達(dá)到人類(lèi)專(zhuān)家的水平。這種限制反映在某些高難度的數(shù)學(xué)推理、科學(xué)分析和邏輯推導(dǎo)任務(wù)上。

長(zhǎng)上下文處理能力雖然已經(jīng)達(dá)到128K的水平，但對(duì)于某些需要處理極長(zhǎng)序列或大量上下文信息的高級(jí)應(yīng)用來(lái)說(shuō)，這個(gè)容量可能仍顯不足。同時(shí)，由于注意力層的參數(shù)量相對(duì)有限，在處理超長(zhǎng)內(nèi)容時(shí)的效率和準(zhǔn)確性還有進(jìn)一步優(yōu)化的空間。

面對(duì)這些挑戰(zhàn)，研究團(tuán)隊(duì)已經(jīng)制定了清晰的發(fā)展路線(xiàn)圖。首先是模型規(guī)模的擴(kuò)展，計(jì)劃開(kāi)發(fā)更大版本的Kimi-VL，以滿(mǎn)足更復(fù)雜應(yīng)用場(chǎng)景的需求。這種擴(kuò)展不僅僅是簡(jiǎn)單地增加參數(shù)量，而是要在保持高效性的同時(shí)實(shí)現(xiàn)能力的顯著提升。

在訓(xùn)練數(shù)據(jù)方面，團(tuán)隊(duì)計(jì)劃進(jìn)一步擴(kuò)充預(yù)訓(xùn)練數(shù)據(jù)的規(guī)模和質(zhì)量，特別是在專(zhuān)業(yè)領(lǐng)域知識(shí)和多語(yǔ)言?xún)?nèi)容方面。他們認(rèn)識(shí)到，高質(zhì)量的數(shù)據(jù)是提升模型能力的關(guān)鍵因素，比簡(jiǎn)單增加數(shù)據(jù)量更為重要。

后訓(xùn)練算法的改進(jìn)也是重要的發(fā)展方向。研究團(tuán)隊(duì)計(jì)劃開(kāi)發(fā)更先進(jìn)的監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)，特別是在培養(yǎng)模型的長(zhǎng)期推理能力和測(cè)試時(shí)擴(kuò)展能力方面。他們相信，通過(guò)算法創(chuàng)新能夠在不大幅增加計(jì)算成本的情況下實(shí)現(xiàn)性能的顯著提升。

從更廣闊的視角來(lái)看，Kimi-VL代表了AI發(fā)展的一個(gè)重要趨勢(shì)：從追求絕對(duì)規(guī)模轉(zhuǎn)向追求效率和實(shí)用性的平衡。這種理念的轉(zhuǎn)變有望推動(dòng)整個(gè)行業(yè)重新思考AI模型的設(shè)計(jì)哲學(xué)，更多關(guān)注如何用更少的資源實(shí)現(xiàn)更好的效果。

在產(chǎn)業(yè)應(yīng)用層面，Kimi-VL的開(kāi)源發(fā)布為更多開(kāi)發(fā)者和研究者提供了強(qiáng)大的工具基礎(chǔ)。這種開(kāi)放性有望催生更多創(chuàng)新應(yīng)用，推動(dòng)AI技術(shù)在各個(gè)垂直領(lǐng)域的深度應(yīng)用。特別是對(duì)于資源相對(duì)有限的中小企業(yè)和個(gè)人開(kāi)發(fā)者來(lái)說(shuō)，這樣的高效模型提供了參與AI革命的新機(jī)會(huì)。

從技術(shù)演進(jìn)的角度看，Kimi-VL的成功驗(yàn)證了混合專(zhuān)家架構(gòu)在多模態(tài)AI領(lǐng)域的巨大潛力。這種架構(gòu)不僅在當(dāng)前展現(xiàn)出優(yōu)勢(shì)，更重要的是為未來(lái)更大規(guī)模、更復(fù)雜的AI系統(tǒng)提供了可行的設(shè)計(jì)范式。隨著計(jì)算技術(shù)的進(jìn)步和訓(xùn)練方法的改進(jìn)，基于這種架構(gòu)的模型有望實(shí)現(xiàn)更大的突破。

總的來(lái)說(shuō)，Kimi-VL的出現(xiàn)標(biāo)志著AI技術(shù)發(fā)展進(jìn)入了一個(gè)新的階段——不再單純追求模型的龐大，而是更多關(guān)注效率、實(shí)用性和可及性的平衡。這種發(fā)展方向不僅有利于技術(shù)的普及和應(yīng)用，也為AI技術(shù)的可持續(xù)發(fā)展指明了方向。

說(shuō)到底，Kimi-VL的故事告訴我們，在人工智能的世界里，"大"不一定就是"強(qiáng)"，"小而精"的設(shè)計(jì)哲學(xué)同樣能夠創(chuàng)造出令人驚嘆的成果。就像瑞士制表業(yè)用精密工藝證明了精巧的力量一樣，Moonshot AI團(tuán)隊(duì)用Kimi-VL證明了智能設(shè)計(jì)的價(jià)值。這個(gè)只有2.8B激活參數(shù)的模型，在多個(gè)領(lǐng)域的表現(xiàn)都能與那些體積龐大數(shù)倍的競(jìng)爭(zhēng)對(duì)手平分秋色，甚至在某些任務(wù)上表現(xiàn)更為出色。

更重要的是，Kimi-VL的開(kāi)源發(fā)布體現(xiàn)了科技進(jìn)步的包容性和民主化特質(zhì)。當(dāng)強(qiáng)大的AI工具不再是少數(shù)大公司的專(zhuān)利，而是成為每個(gè)開(kāi)發(fā)者都能獲得的資源時(shí)，我們可以期待看到更多創(chuàng)新應(yīng)用的涌現(xiàn)。這種技術(shù)的普及有望推動(dòng)整個(gè)社會(huì)的數(shù)字化轉(zhuǎn)型，讓AI技術(shù)真正成為改善人類(lèi)生活質(zhì)量的工具。

當(dāng)然，任何技術(shù)都不是完美的，Kimi-VL也面臨著參數(shù)規(guī)模限制、推理能力優(yōu)化、長(zhǎng)上下文處理效率等挑戰(zhàn)。但正如研究團(tuán)隊(duì)所展示的發(fā)展路線(xiàn)圖，這些挑戰(zhàn)也正是未來(lái)突破的方向。通過(guò)持續(xù)的模型優(yōu)化、數(shù)據(jù)擴(kuò)充和算法改進(jìn)，我們有理由相信這種高效AI架構(gòu)將在未來(lái)展現(xiàn)出更大的潛力。

從某種意義上說(shuō)，Kimi-VL的成功也反映了AI發(fā)展思路的重要轉(zhuǎn)變：從單純的規(guī)模競(jìng)賽轉(zhuǎn)向效率和實(shí)用性的綜合考量。這種理念的轉(zhuǎn)變不僅有助于資源的合理利用，也為更多參與者提供了進(jìn)入AI領(lǐng)域的機(jī)會(huì)，有望推動(dòng)整個(gè)行業(yè)朝著更加健康、可持續(xù)的方向發(fā)展。

對(duì)于普通用戶(hù)而言，Kimi-VL及其后續(xù)發(fā)展意味著我們將很快能夠在日常生活中體驗(yàn)到更智能、更便捷的AI助手服務(wù)。無(wú)論是處理工作文檔、分析學(xué)習(xí)材料，還是協(xié)助創(chuàng)作內(nèi)容、解決技術(shù)問(wèn)題，這種高效的AI技術(shù)都有望成為我們得力的數(shù)字伙伴。隨著技術(shù)的不斷成熟和應(yīng)用生態(tài)的完善，人工智能將真正從實(shí)驗(yàn)室走向千家萬(wàn)戶(hù)，成為改善生活質(zhì)量的重要工具。

Q&A

Q1：Kimi-VL的混合專(zhuān)家架構(gòu)是什么意思？它為什么比傳統(tǒng)模型更高效？ A：混合專(zhuān)家架構(gòu)就像一個(gè)智能的咨詢(xún)團(tuán)隊(duì)，包含多個(gè)專(zhuān)門(mén)的"專(zhuān)家"，但每次只激活最相關(guān)的專(zhuān)家來(lái)處理特定任務(wù)，而不是讓所有專(zhuān)家同時(shí)工作。Kimi-VL雖然總共有16B個(gè)參數(shù)，但每次推理只激活2.8B個(gè)參數(shù)。這種設(shè)計(jì)既保證了處理能力，又大大節(jié)省了計(jì)算資源，就像用最合適的專(zhuān)家解決問(wèn)題，而不是勞師動(dòng)眾。

Q2：Kimi-VL能處理多長(zhǎng)的視頻或文檔？它的長(zhǎng)上下文能力有什么實(shí)際意義？ A：Kimi-VL支持128K的上下文長(zhǎng)度，相當(dāng)于能"記住"約10萬(wàn)個(gè)中文字符或數(shù)小時(shí)的視頻內(nèi)容。這意味著它在分析長(zhǎng)文檔、長(zhǎng)視頻時(shí)不會(huì)"失憶"，能保持對(duì)全部?jī)?nèi)容的理解。實(shí)際應(yīng)用中，這讓它能夠處理完整的學(xué)術(shù)論文、法律合同、培訓(xùn)視頻等，而不需要分段處理后再拼接結(jié)果。

Q3：普通用戶(hù)什么時(shí)候能使用到Kimi-VL技術(shù)？有什么使用門(mén)檻嗎？ A：Kimi-VL已經(jīng)開(kāi)源發(fā)布，開(kāi)發(fā)者可以通過(guò)GitHub獲取代碼和模型。對(duì)于普通用戶(hù)，可以期待基于這項(xiàng)技術(shù)的應(yīng)用產(chǎn)品很快出現(xiàn)。由于其高效的設(shè)計(jì)，部署成本相對(duì)較低，這意味著不僅大公司能使用，中小企業(yè)和個(gè)人開(kāi)發(fā)者也能承擔(dān)相應(yīng)成本，有望推動(dòng)相關(guān)應(yīng)用的快速普及。