7月10號(hào)，MiniMax面向全球舉辦了M1技術(shù)探討會(huì)。作為中國(guó)團(tuán)隊(duì)，我們很高興組織發(fā)起與全球?qū)W者的開放技術(shù)探討。現(xiàn)場(chǎng)，來自十幾個(gè)國(guó)家地區(qū)的觀眾從世界各地加入，與M1團(tuán)隊(duì)和全球?qū)W者進(jìn)行了技術(shù)交流。

M1團(tuán)隊(duì)與來自香港科技大學(xué)、滑鐵盧大學(xué)、Anthropic、Hugging Face、SGLang、vLLM、RL領(lǐng)域的研究者及業(yè)界嘉賓在模型架構(gòu)創(chuàng)新、RL訓(xùn)練、長(zhǎng)上下文應(yīng)用等領(lǐng)域探討了當(dāng)前的前沿話題。嘉賓詳見：

秉承開源精神，我們將本場(chǎng)探討會(huì)的技術(shù)觀點(diǎn)分享出來，以下是要點(diǎn)總結(jié)：

01

RL能否賦予模型新能力？

RL能否提升模型的基礎(chǔ)能力？很多人認(rèn)為，RL只是在激活模型在預(yù)訓(xùn)練階段就已經(jīng)學(xué)會(huì)的一些能力或技巧，不能夠讓模型從根本上學(xué)會(huì)預(yù)訓(xùn)練階段不存在的新技能，例如有些論文說，RL并不能提高模型的pass@k。

首先需要定義模型的基礎(chǔ)能力。一個(gè)比較實(shí)用的定義是，對(duì)于給定的上下文長(zhǎng)度，模型在一組特定問題上，在無限次嘗試下的通過率（pass@k, k→∞）是多少。如果這個(gè)通過率等于1，就表示這個(gè)模型能解決這類問題。如果通過率等于0，就表示模型解決不了。如果模型的生成長(zhǎng)度，即模型思考過程的長(zhǎng)度是無限的，RL什么也改變不了。根據(jù)定義，如果你有無限的上下文長(zhǎng)度，那么所有能用自然語(yǔ)言表述的問題，理論上都可以通過有限次的采樣嘗試來解決。

如果針對(duì)一個(gè)有限上下文長(zhǎng)度，RL是否能賦予模型新能力？答案是：能。因?yàn)镽L所做的是改變模型輸出的分布。預(yù)訓(xùn)練后，模型可能需要至少10W個(gè)token才能解決某個(gè)問題，但經(jīng)過RL微調(diào)后，它可能只需要10K個(gè)token。如果模型有限上下文長(zhǎng)度是50K個(gè)token，那么RL的確賦予了模型新能力。

在有限上下文長(zhǎng)度下， pass@k 是一個(gè)好的衡量指標(biāo)。K的取值很重要，這取決于如何定義模型能力，如果定義是“模型至少有一次能解決這個(gè)問題”，那么應(yīng)該用盡可能大的k來衡量pass@k；但如果定義是“模型能否在4次嘗試內(nèi)解決問題”，那應(yīng)該去衡量 pass@4。

目前 Reward 是RL scaling 的核心瓶頸，特別是如何為那些不基于結(jié)果的獎(jiǎng)勵(lì)（non-outcome-based reward）進(jìn)行建模，這是全世界都還感到困惑的地方。比如，人類可以從別人寫的一段文字或反饋中獲得正面或負(fù)面的感受，但我們目前并沒有很好的方法來對(duì)這種主觀感受進(jìn)行建模。

02

預(yù)訓(xùn)練的價(jià)值在于更多樣化的數(shù)據(jù)分布

如何理解預(yù)訓(xùn)練在RL過程中的角色？如果預(yù)訓(xùn)練在某些技能，如編程或數(shù)學(xué)，上有所欠缺，后訓(xùn)練階段僅憑RL能把這塊短板補(bǔ)上嗎？

原則上可以，只要有足夠的信息源，我們就可以用RL來替代任何過程。某種意義上，預(yù)訓(xùn)練只是RL的一種特例。任何監(jiān)督學(xué)習(xí)都可以被看作是一種特殊的強(qiáng)化學(xué)習(xí)。現(xiàn)階段，RL訓(xùn)練階段的數(shù)據(jù)分布，要遠(yuǎn)比預(yù)訓(xùn)練數(shù)據(jù)的分布狹窄得多。這正是目前進(jìn)行預(yù)訓(xùn)練能帶來的最大收益——它讓模型獲得了范圍遠(yuǎn)為廣闊的知識(shí)。

但在當(dāng)前階段，預(yù)訓(xùn)練的價(jià)值在于，我們可以在預(yù)訓(xùn)練階段接觸到更多樣化的數(shù)據(jù)分布。因?yàn)槟壳癛L訓(xùn)練數(shù)據(jù)的質(zhì)量要求門檻相當(dāng)高，我們主要知道如何在有限的環(huán)境中擴(kuò)展RL訓(xùn)練，例如reward被清晰定義的環(huán)境。目前RL研究的核心挑戰(zhàn)之一是如何拓展至reward清晰的環(huán)境之外。獎(jiǎng)勵(lì)建模（Reward Modeling）可能是一種解決方案，但更為通用的獎(jiǎng)勵(lì)信號(hào)依然是行業(yè)在探索的方向。

03

只在數(shù)學(xué)和代碼上做RL訓(xùn)練，更容易產(chǎn)生幻覺

關(guān)于通用推理，至少在今年二月左右，大多數(shù)RL數(shù)據(jù)，都來自于數(shù)學(xué)或編程領(lǐng)域。而事實(shí)是，只在數(shù)學(xué)和代碼上進(jìn)行RL訓(xùn)練，模型更容易產(chǎn)生幻覺。在很多事實(shí)性基準(zhǔn)，比如SimpleQA上的性能會(huì)顯著下降，甚至在像MMLU這樣的多學(xué)科問答基準(zhǔn)上也會(huì)下降。

因此我們做通用推理數(shù)據(jù)集的一個(gè)動(dòng)機(jī)，就是為了創(chuàng)建更多樣化的RL訓(xùn)練數(shù)據(jù)。WebInstruct-verified旨在為所有領(lǐng)域構(gòu)建更大規(guī)模的RL訓(xùn)練數(shù)據(jù)，以便模型能夠在不同領(lǐng)域取得進(jìn)步，而不僅是數(shù)學(xué)和編程。

現(xiàn)在我們甚至在嘗試進(jìn)一步擴(kuò)大這個(gè)規(guī)模。之前，通過在預(yù)訓(xùn)練數(shù)據(jù)集中搜索可用的RL數(shù)據(jù)來擴(kuò)大規(guī)模，我們成功地把它擴(kuò)展到了50萬的量級(jí)。現(xiàn)在正嘗試通過檢索更大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)集，從中獲取越來越多樣的RL數(shù)據(jù)，并采用在mid-training進(jìn)行RL的范式，而不僅僅是作為后訓(xùn)練。

04

如何讓模型用圖像思考？

目前很多視覺推理范式，核心大都集中在文本形式的思維鏈上，而視覺部分固化為一個(gè) ViT編碼器，沒法讓模型在編碼圖像上花費(fèi)更多計(jì)算資源。而像 Pixel Reasoner 或其他一些工作，正試圖幫模型重新審視圖像的特定區(qū)域，并對(duì)其進(jìn)行重新編碼，從而在關(guān)鍵區(qū)域上投入更多算力。

但這并不是一個(gè)非常本質(zhì)的提升模型能力的方法，在現(xiàn)階段更像是一個(gè)權(quán)宜之計(jì)。因?yàn)楝F(xiàn)有的視覺編碼器太弱了，無法很好地處理高分辨率圖像，所以才嘗試用zoom-in或其他操作來操縱圖像表示，然后從輸入中重新調(diào)用它，并在此基礎(chǔ)上進(jìn)行推理。在現(xiàn)階段，大多數(shù)工具，比如zoom-in、重新調(diào)用幀或高亮顯示，實(shí)際上都只是在增強(qiáng)感知能力。

也存在一些更復(fù)雜的工具，能從根本上改變圖像，比如使用圖像生成技術(shù)。這種做法就已經(jīng)超越了單純?cè)鰪?qiáng)感知的范疇，比如在幾何問題中畫輔助線。最近還沒太多這方面的成功案例，但如果有人能設(shè)法讓這種方法奏效，那它將是“用圖像思考”的一個(gè)更強(qiáng)大版本。

我們?nèi)匀恍枰鉀Q根本的瓶頸問題：如何更好地編碼視覺像素，以及如何以更好的方式在潛在空間（latent space）中進(jìn)行視覺推理——注意，不是在實(shí)際的像素空間，而是在抽象的潛在空間。

Latent reasoning可能是一個(gè)非常好的機(jī)會(huì)。很多視覺推理，特別是在機(jī)器人或具身智能領(lǐng)域，真的需要在空間中思考。在這些涉及空間感的場(chǎng)景下，文本推理就不是一個(gè)好方法，很多推理過程是隱式的，無法被清晰地表述或言語(yǔ)化。

05

當(dāng)前RL領(lǐng)域最令人興奮的挑戰(zhàn)

RL面臨挑戰(zhàn)之一，是Reward Modeling，特別是如何超越那些結(jié)果容易被評(píng)估的環(huán)境。這將會(huì)極大地?cái)U(kuò)展RL應(yīng)用場(chǎng)景。

另一個(gè)可能很重要的領(lǐng)域是多智能體。不過，多智能體目前更多受限于基礎(chǔ)設(shè)施，而非理論研究。對(duì)我來說，用一個(gè)中央模型調(diào)用子智能體和調(diào)用工具是同一回事，沒有區(qū)別。當(dāng)我說“多智能體”時(shí)，腦海中想的更多的是一個(gè)包含多個(gè)AI模型、并且它們?cè)谟?xùn)練過程中相互交互的環(huán)境。

還有一個(gè)令人興奮的領(lǐng)域就是AI自動(dòng)化研究——讓模型自己訓(xùn)練自己。這其實(shí)一直以來都與AGI的定義相關(guān)：當(dāng)模型可以在沒有人類干預(yù)的情況下，自我訓(xùn)練并自我提升。

還有剛剛提到的，非Token空間的推理，那里也存在著機(jī)會(huì)。

06

長(zhǎng)上下文是Agent的Game changer

長(zhǎng)上下文在Agent工作流中有巨大潛力。我們另一個(gè)客戶正在構(gòu)建復(fù)雜的智能體系統(tǒng)，長(zhǎng)上下文窗口對(duì)他們來說是真正的game-changer。Agent完成某個(gè)任務(wù)時(shí)，能夠?qū)⒄麄€(gè)代碼庫(kù)、API參考文檔、歷史交互數(shù)據(jù)等等，全部一次性喂給它。這種任務(wù)你不能分幾次調(diào)用來處理，因?yàn)楫?dāng)你讓智能體完成任務(wù)時(shí)，它掌握的關(guān)于這個(gè)項(xiàng)目的信息越多，產(chǎn)出的質(zhì)量就越高。

我們有望從目前在大多數(shù)情況下，只能處理相當(dāng)孤立任務(wù)的智能體，發(fā)展到那些能夠管理復(fù)雜項(xiàng)目、同時(shí)保持完整上下文感知的智能體。

對(duì)于Nebuis的客戶，M1這樣超長(zhǎng)上下文模型的真正價(jià)值在于解鎖了全新的企業(yè)級(jí)應(yīng)用場(chǎng)景。這些場(chǎng)景以前用分塊處理策略來解決，非常繁瑣，甚至幾乎不可能。

例如，一個(gè)法律行業(yè)客戶需要把文件一塊一塊地喂給大語(yǔ)言模型，并用一些竅門來優(yōu)化檢索和上下文管理。這樣問題在于，可能錯(cuò)過埋藏在某個(gè)隨機(jī)法律文件某一頁(yè)中的關(guān)鍵細(xì)節(jié)。而有了1M token的上下文窗口，就可以一次性處理整個(gè)案件歷史、所有相關(guān)判例以及所有其他信息源，這無疑能提升了服務(wù)質(zhì)量。

Writer是一家服務(wù)于全球企業(yè)級(jí)客戶的公司，長(zhǎng)上下文模型在企業(yè)級(jí)應(yīng)用需求非常廣泛。它被應(yīng)用得最多的領(lǐng)域之一是法律合規(guī)分析。比如，分析冗長(zhǎng)的合同、電子健康記錄或公司年報(bào)，從中提取關(guān)鍵條款、識(shí)別風(fēng)險(xiǎn)，然后附上引文進(jìn)行總結(jié)，需要非常巨大的上下文窗口。另一個(gè)領(lǐng)域是客戶研究洞察。比如，總結(jié)大量的調(diào)查問卷回復(fù)或研究論文，以發(fā)現(xiàn)其中的主題，并提取一些見解。

長(zhǎng)上下文模型也被大量用于收入與報(bào)告相關(guān)的業(yè)務(wù)。比如，錄入大量的項(xiàng)目招標(biāo)書，從Salesforce中拉取數(shù)據(jù)，然后自動(dòng)起草第一版的回應(yīng)；或者處理一些基金報(bào)告，這需要將內(nèi)部研究與第三方市場(chǎng)數(shù)據(jù)結(jié)合起來。還有技術(shù)支持與知識(shí)管理領(lǐng)域。這是每個(gè)開發(fā)者的負(fù)擔(dān)——對(duì)工單進(jìn)行分類，更新內(nèi)容管理系統(tǒng)，或者為已有的工作流發(fā)布內(nèi)容。要讓智能體在這個(gè)領(lǐng)域里運(yùn)作，就需要長(zhǎng)上下文能力。

07

混合架構(gòu)將成為主流

對(duì)比純線性注意力和Full Attention，混合注意力機(jī)制（Hybrid Attention）無疑是最有前景的方案。純線性注意力機(jī)制有很多根本性局限，因?yàn)樗臓顟B(tài)大小是固定的，因此，在處理長(zhǎng)序列建模問題時(shí)表現(xiàn)不佳。而Full Attention雖然提供了靈活性，但其代價(jià)也顯而易見：KV緩存大小會(huì)隨著序列長(zhǎng)度線性增長(zhǎng)，并且訓(xùn)練復(fù)雜度也是平方級(jí)的。當(dāng)序列不斷變長(zhǎng)時(shí)，高昂的推理和訓(xùn)練復(fù)雜度就會(huì)成為瓶頸。將這兩種機(jī)制結(jié)合起來，也就顯得順理成章，混合模型（Hybrid Model）就應(yīng)運(yùn)而生了。

混合架構(gòu)將會(huì)成為模型設(shè)計(jì)的主流，因?yàn)殡S著對(duì)大規(guī)模部署和低延遲需求的增長(zhǎng)，人們會(huì)越來越關(guān)心推理效率和模型的推理能力。MiniMax的模型也證明了這一點(diǎn)。至于如何進(jìn)一步拓展混合注意力架構(gòu)的空間，未來的研究者需要思考，不能只是簡(jiǎn)單地用固定的比例來交錯(cuò)堆疊Softmax注意力和線性注意力層，也許需要更多樣的混合架構(gòu)形式。

脫離硬件的純粹算法研究，正逐漸失去關(guān)注度，尤其是在LLM領(lǐng)域。如果一項(xiàng)技術(shù)無法規(guī)模化，或者不能被高效地部署，那它就很難獲得關(guān)注、形成勢(shì)能。一個(gè)算法不僅要在理論上站得住腳，還必須在硬件上——尤其是在GPU或TPU這類加速器上高效運(yùn)行。如今的算法研究者們已經(jīng)，并且也應(yīng)當(dāng)熟悉基本的硬件原理，比如內(nèi)存層級(jí)（memory hierarchy）、并行計(jì)算（parallelism）、共享內(nèi)存（shared memory）等等。他們還應(yīng)該去掌握一些底層的GPU編程工具，比如 Triton。這才是當(dāng)今在LLM領(lǐng)域做算法研究的正確方向。

混合架構(gòu)目前的瓶頸在于基礎(chǔ)設(shè)施。混合模型的有效性在去年就已經(jīng)得到了很好的驗(yàn)證，但沒有公司投入更多資金進(jìn)行大規(guī)模驗(yàn)證，直到 MiniMax 發(fā)布了他們的大模型 MiniMax Text-01，人們才意識(shí)到混合模型原來有這么大的潛力。當(dāng)前算法層面已經(jīng)趨于穩(wěn)定了，我們應(yīng)該專注于為這些新機(jī)制構(gòu)建好的基礎(chǔ)設(shè)施。

08

混合架構(gòu)推理的前沿實(shí)踐

在推理層面，隨著混合注意力架構(gòu)越來越流行，為了在SGLang或其他推理引擎中充分利用緩存感知和緩存復(fù)用等特性，我們需要為普通架構(gòu)和混合架構(gòu)設(shè)計(jì)一個(gè)統(tǒng)一的抽象層，這樣才能簡(jiǎn)單地將所有優(yōu)化應(yīng)用到混合模型上。

此外當(dāng)前MiniMax模型這種7+1層交錯(cuò)的架構(gòu)可能會(huì)帶來一些工程挑戰(zhàn)，特別是在用計(jì)算圖優(yōu)化（Graph Optimization）進(jìn)行部署時(shí)，因?yàn)椴煌瑢拥挠?jì)算和內(nèi)存訪問模式是不同的，這會(huì)導(dǎo)致GPU利用率不平衡。可能需要用一些技術(shù)來解決它，比如批處理重疊（batch overlapping）或者更先進(jìn)的pipline策略。

從支持混合架構(gòu)的技術(shù)層面來說，首先需要一個(gè)混合分配器（hybrid allocator），這個(gè)功能在vLLM中已經(jīng)有了。它有助于管理混合架構(gòu)的KV緩存——盡管對(duì)于某些部分我們不稱其為KV緩存，但混合架構(gòu)中仍然存在某種形式的狀態(tài)。這些狀態(tài)的生命周期與全注意力層的KV緩存并不同步，所以需要設(shè)計(jì)如何讓它與現(xiàn)有的緩存機(jī)制、預(yù)填充、解碼等環(huán)節(jié)協(xié)同工作。

其次，批處理重疊（batch overlapping）會(huì)很有幫助。采用了混合架構(gòu)后，有些層是full attention，有些層只是簡(jiǎn)單的線性注意力，這就存在計(jì)算不平衡。如果按順序計(jì)算，那么在計(jì)算線性注意力層時(shí)，計(jì)算資源可能就未被充分利用。但如果能將兩個(gè)微批次（micro-batches）重疊起來處理，只要比例計(jì)算得當(dāng)，理論上任意時(shí)刻都會(huì)有一個(gè)微批次在執(zhí)行計(jì)算密集型的full attention 操作，從而最大化GPU利用率。

從生產(chǎn)部署的角度來看，混合架構(gòu)的推理速度對(duì)現(xiàn)實(shí)應(yīng)用至關(guān)重要。例如，有一個(gè)客戶，需要并發(fā)處理多個(gè)幾十萬token的請(qǐng)求。但對(duì)于使用二次方復(fù)雜度注意力的傳統(tǒng)模型，在這種輸入大小和并發(fā)量下，生成速度都會(huì)變得極慢。用 DeepSeeker-R1，在8個(gè)并發(fā)請(qǐng)求、每個(gè)請(qǐng)求10萬token的情況下，平均要等待大約1分鐘才能得到首個(gè)token。而用MiniMax的模型，大約是4到5秒，數(shù)字小了一個(gè)量級(jí)。這個(gè)速度完全可以接受，并且也為在生產(chǎn)負(fù)載下，用如此大的上下文進(jìn)行在線應(yīng)用解鎖了可能性。

09

M1背后的Q&A

Q：混合線性注意力會(huì)如何影響使用RL的推理模型的性能？

A：在訓(xùn)練過程中，當(dāng)我們擴(kuò)展到可處理數(shù)萬 token 上下文長(zhǎng)度的模型時(shí)，遇到了重大問題：RL訓(xùn)練停滯不前，獎(jiǎng)勵(lì)信號(hào)在僅幾百步后就不再增長(zhǎng)。研究后，我們發(fā)現(xiàn)問題在于，線性注意力架構(gòu)在這種規(guī)模下固有的訓(xùn)練不穩(wěn)定性。這導(dǎo)致了一些問題，比如某些層激活值爆炸等，并使模型在訓(xùn)練和推理時(shí)的行為出現(xiàn)了嚴(yán)重錯(cuò)位。識(shí)別并修復(fù)了這個(gè) bug 之后，我們才成功地使用RL訓(xùn)練該模型。

這個(gè)問題，也使得我們發(fā)現(xiàn)混合線性注意力的一個(gè)根本性權(quán)衡：它效率極高，單位 token 的計(jì)算成本非常低，但通常需要生成更多的 token（即更長(zhǎng)的推理路徑）才能達(dá)到與 full attention 模型相同的性能。然而，我們的工作證明了，通過適當(dāng)規(guī)模的RL以及合適的推理時(shí)算力，混合注意力模型確實(shí)能媲美full attention架構(gòu)性能。

這對(duì)未來架構(gòu)設(shè)計(jì)的一個(gè)關(guān)鍵啟示，是評(píng)估方法的重要性。為了公平地比較混合模型與其他模型，我們應(yīng)該基于在給定任務(wù)下、固定總計(jì)算預(yù)算內(nèi)的性能來進(jìn)行評(píng)估，而不僅僅是比較固定輸出長(zhǎng)度下的效果。這提供了一個(gè)更全面、更能反映模型真實(shí)效率和能力的視角。

Q：推理模型是否已經(jīng)具備了System 2推理和自我反思能力？

A：System 2推理和自我反思，可以被理解為從大語(yǔ)言模型基本原理中涌現(xiàn)出的、可被觀測(cè)的模式。

首先其核心驅(qū)動(dòng)力，是有效利用更大的計(jì)算資源，即更長(zhǎng)的輸出，來獲得更好性能的能力。我們觀察到的高級(jí)推理能力，是擴(kuò)展這些資源后的直接結(jié)果，而非其根本原因。本質(zhì)上，為模型提供更多的計(jì)算能力去“思考”，使得這些復(fù)雜的模式得以涌現(xiàn)。

其次，這種高級(jí)推理可以被看作是一種自動(dòng)化的Prompt Engineering。對(duì)于數(shù)學(xué)或編程等復(fù)雜任務(wù)，模型學(xué)會(huì)了生成自己的內(nèi)部思考過程，這實(shí)際上取代了人類提供詳盡、分步式指令的需要。

對(duì)于寫作等任務(wù)，模型在思考過程中會(huì)先對(duì)問題進(jìn)行分析，并對(duì)寫作步驟進(jìn)行專業(yè)化拆解。它會(huì)獨(dú)立地執(zhí)行諸如規(guī)劃和對(duì)問題進(jìn)行更深層次分析等操作。這使得模型能夠通過創(chuàng)建詳細(xì)推理路徑來“像專家一樣思考”。

因此 System2 推理和自我反思，實(shí)質(zhì)上是如何高效地利用并擴(kuò)展計(jì)算預(yù)算（computation budget），同時(shí)也是模型自動(dòng)深化用戶問題的體現(xiàn)。

自創(chuàng)立以來，MiniMax 即以“與所有人共創(chuàng)智能”為使命，致力于推動(dòng)人工智能科技前沿發(fā)展，實(shí)現(xiàn)通用人工智能（AGI）。我們將繼續(xù)堅(jiān)持做上限更高的事，堅(jiān)持底層架構(gòu)和算法創(chuàng)新，與合作伙伴一起為全球開源社區(qū)持續(xù)貢獻(xiàn)。