聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

新智元報道

編輯：Peter東 喬楊

【新智元導(dǎo)讀】當(dāng)大模型面臨復(fù)雜的推理任務(wù)時，SFT表現(xiàn)出明顯不足。最近，來自CMU等機構(gòu)的華人團隊提出了一種名為「批判性微調(diào)」（CFT）的方法。該方法僅使用50,000個樣本進行訓(xùn)練，卻在多數(shù)基準(zhǔn)測試中超越了使用超過200萬個樣本的強化學(xué)習(xí)方法。

模仿訓(xùn)練是傳統(tǒng)語言模型的主要訓(xùn)練方式，而LLM在解決現(xiàn)實世界中的問題時展現(xiàn)出前所未有的性能，這一現(xiàn)象部分歸因于SFT技術(shù)的應(yīng)用。

在SFT訓(xùn)練過程中，模型被要求模仿人類標(biāo)注或合成的高質(zhì)量回復(fù)，這一行為旨在增強模型的通用指令遵循能力。這類SFT數(shù)據(jù)集通常采用Self-Instruct和Evol-Instruct等方法進行構(gòu)建。

盡管SFT在某些情況下表現(xiàn)優(yōu)異，但也存在明顯的局限性。隨著數(shù)據(jù)集規(guī)模和質(zhì)量的提升，邊際收益逐漸遞減，尤其是在訓(xùn)練本身效果已經(jīng)較為理想的基礎(chǔ)模型時，使用SFT反而可能降低性能。

為了解決這些問題，CMU、滑鐵盧大學(xué)等機構(gòu)的3名華人學(xué)者最近發(fā)表了一篇論文，提出了一種改進型的監(jiān)督微調(diào)方法，稱為批判式監(jiān)督微調(diào)（CFT）。這種方法的核心在于引導(dǎo)模型進行批判性學(xué)習(xí)，而非簡單的模仿訓(xùn)練。其靈感來源于人類的學(xué)習(xí)過程，旨在提升模型對復(fù)雜任務(wù)的適應(yīng)能力。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調(diào)：讓SFT技術(shù)煥發(fā)新生

CFT的提出不僅為SFT技術(shù)注入了新的活力，也為監(jiān)督微調(diào)方法的未來發(fā)展提供了新的思路。

學(xué)霸在學(xué)習(xí)過程中不僅進行簡單的答案復(fù)制，而是通過深入分析和批判性思考來改進自己的解答。同樣，在CFT數(shù)據(jù)集中，通過為錯誤回答提供詳細(xì)的批評，模型能夠識別響應(yīng)中的缺陷，并提出改進建議以驗證正確性。

這種方法不僅能夠顯著提升推理能力，還能使模型在處理復(fù)雜任務(wù)時表現(xiàn)出更高的適應(yīng)性和靈活性。

例如，在直角三角形的直角邊長分別為3個單位和4個單位的情況下，構(gòu)造一個正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型會按照以下步驟進行運算：首先利用勾股定理計算斜邊長度為5個單位，接著計算正方形的面積為25平方單位，以及三角形的面積為6平方單位，最后模型給出答案25-6=19平方單位。

在CFT模式下，模型不僅給出答案，還會對上述回答進行批評，指出錯誤在于應(yīng)加上而非減去三角形的面積，最終給出正確答案31平方單位。

下圖展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT模式下，大模型會直接模仿答案的結(jié)構(gòu)和格式，而CFT模式下，模型會模仿對錯誤回答的批評和糾正。

CFT模式的高訓(xùn)練效率主要歸功于其對錯誤信息的深度處理能力。

那么，如何獲取CFT訓(xùn)練所需的數(shù)據(jù)集呢？

本文基于WebInstruct平臺，構(gòu)建了一個包含50,000對問答對的數(shù)據(jù)集，其中的每一例都附有來自GPT-4等高級模型生成的批評意見。這些問答對主要聚焦于數(shù)學(xué)領(lǐng)域（占65%），同時也涵蓋了物理、化學(xué)、商業(yè)等其他主題。

對比CFT數(shù)據(jù)集與其他SFT數(shù)據(jù)集

在CFT數(shù)據(jù)集上進行7B規(guī)模的未經(jīng)指令微調(diào)優(yōu)化的LLM訓(xùn)練，包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT訓(xùn)練方法的目標(biāo)明確：將問題x與錯誤回答y組合作為輸入，優(yōu)化模型參數(shù)以生成評論c，從而訓(xùn)練模型具備批判性思維能力。

實驗結(jié)果表明，在經(jīng)過指令微調(diào)與批判性微調(diào)訓(xùn)練后，LLM在數(shù)學(xué)相關(guān)基準(zhǔn)測試中的性能提升顯著。研究發(fā)現(xiàn)，CFT訓(xùn)練的模型在數(shù)學(xué)基準(zhǔn)測試中持續(xù)優(yōu)于SFT訓(xùn)練的最佳模型。

與SFT相比，CFT方法的準(zhǔn)確率平均提升了4至10個百分點。此外，CFT模型的訓(xùn)練效率更高，在較少的訓(xùn)練數(shù)據(jù)量下即可快速收斂，這使其成為開發(fā)數(shù)學(xué)推理模型的理想選擇。

Qwen2.5-Math-7B模型在MATH和Minerva-Math任務(wù)上采用了不同訓(xùn)練方法的訓(xùn)練動態(tài)對比，包括CFT與兩種SFT變體。橫軸表示訓(xùn)練步驟，縱軸顯示模型準(zhǔn)確率。

在相同規(guī)模的50k樣本數(shù)據(jù)集上，采用CFT與SFT訓(xùn)練的基座模型在各任務(wù)上的性能提升效果顯著。

僅以Qwen2.5-Math-7B模型為例，CFT訓(xùn)練方法在所有數(shù)據(jù)集和任務(wù)上的表現(xiàn)均全面超越了SFT方法。

論文對比了Qwen2.5-Math-7B-CFT模型與知名LLM、GPT系列以及擅長數(shù)學(xué)推理的Deepseek、Mathstral、Numina等系列模型的性能。具體結(jié)果如表所示。

Qwen2.5-Math-7B-CFT模型的平均性能達(dá)到48.1%，其表現(xiàn)甚至超越了參數(shù)量為10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%）。該模型的性能與Qwen2.5-Math-72B-Instruct（56.4%）相媲美。

此外，基于CFT訓(xùn)練的模型在性能表現(xiàn)上與基于140倍計算資源訓(xùn)練的SimpleRL模型（Deepseek R1的公開版本）不相上下，其GPU使用時長減少至原來的1/144，這相當(dāng)于顯著降低了計算成本。

研究人員對CFT的多個關(guān)鍵因素進行了消融研究。結(jié)果表明，CFT在數(shù)據(jù)來源的魯棒性、噪聲響應(yīng)的魯棒性以及教師批判模型選擇等方面都表現(xiàn)出較強的能力。

例如，即使使用較弱的GPT-4o-mini模型來生成批評意見，CFT依然能夠?qū)崿F(xiàn)顯著的性能提升。

局限與擴展部分略。

在CFT訓(xùn)練數(shù)據(jù)集中，作為基準(zhǔn)的批評數(shù)據(jù)是由LLM生成的。經(jīng)過作者的手動檢查，發(fā)現(xiàn)其中有20%的批評意見本身就存在錯誤，這些錯誤可能對模型的訓(xùn)練造成一定干擾，影響其最終性能表現(xiàn)。

此外，CFT訓(xùn)練的模型目前不具備自我批評能力，因此尚未觀察到自我改進的現(xiàn)象。

該研究所使用的數(shù)據(jù)集在代表性方面仍存在不足，目前僅聚焦于數(shù)學(xué)問題，而對編程、科學(xué)推理以及人文相關(guān)領(lǐng)域的問題，是否能夠采用類似CFT模式進行訓(xùn)練，仍有待進一步探索。

CFT的優(yōu)勢在于顯著提升了模型的推理能力，并實現(xiàn)了對訓(xùn)練數(shù)據(jù)的高效利用。通過讓模型學(xué)會批判性思維，相當(dāng)于讓大型語言模型進行了一次強化學(xué)習(xí)過程。

相比于現(xiàn)有的自我修正（Self-Correction）、獎勵模型（Reward Models）等方法，CFT的目標(biāo)是通過批判學(xué)習(xí)來深化模型對問題的理解，而不是直接估計獎勵分?jǐn)?shù)或進行自我修正。這種方法在推理任務(wù)中的適應(yīng)性和靈活性表現(xiàn)更為突出。

更為關(guān)鍵的是，CFT的數(shù)據(jù)構(gòu)建和訓(xùn)練流程相對簡潔，計算成本較低，因此在實際應(yīng)用中具有較高的可行性和經(jīng)濟性。未來的研究可能在提升批判數(shù)據(jù)質(zhì)量和探索模型自我批判機制方面取得新的進展。

首先，構(gòu)建自動驗證工具或開發(fā)人類驗證的批判數(shù)據(jù)集，以增強批判數(shù)據(jù)的質(zhì)量。要使模型具備自我批判與自我改進能力，需通過用戶反饋使模型實現(xiàn)持續(xù)優(yōu)化。

進一步的研究也可能包括將CFT與其他訓(xùn)練范式，如SFT和RL相結(jié)合，擴展到多模態(tài)環(huán)境，并研究其理論基礎(chǔ)。

參考資料：

https://arxiv.org/pdf/2501.17703