聲明:本文來自于（ID:ykqsd.com）授權轉載發(fā)布。

新智元報道

編輯：Peter東 喬楊

【新智元導讀】當大模型面臨復雜的推理任務時，SFT表現(xiàn)出明顯不足。最近，來自CMU等機構的華人團隊提出了一種名為「批判性微調」（CFT）的方法。該方法僅使用50,000個樣本進行訓練，卻在多數(shù)基準測試中超越了使用超過200萬個樣本的強化學習方法。

模仿訓練是傳統(tǒng)語言模型的主要訓練方式，而LLM在解決現(xiàn)實世界中的問題時展現(xiàn)出前所未有的性能，這一現(xiàn)象部分歸因于SFT技術的應用。

在SFT訓練過程中，模型被要求模仿人類標注或合成的高質量回復，這一行為旨在增強模型的通用指令遵循能力。這類SFT數(shù)據(jù)集通常采用Self-Instruct和Evol-Instruct等方法進行構建。

盡管SFT在某些情況下表現(xiàn)優(yōu)異，但也存在明顯的局限性。隨著數(shù)據(jù)集規(guī)模和質量的提升，邊際收益逐漸遞減，尤其是在訓練本身效果已經(jīng)較為理想的基礎模型時，使用SFT反而可能降低性能。

為了解決這些問題，CMU、滑鐵盧大學等機構的3名華人學者最近發(fā)表了一篇論文，提出了一種改進型的監(jiān)督微調方法，稱為批判式監(jiān)督微調（CFT）。這種方法的核心在于引導模型進行批判性學習，而非簡單的模仿訓練。其靈感來源于人類的學習過程，旨在提升模型對復雜任務的適應能力。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調：讓SFT技術煥發(fā)新生

CFT的提出不僅為SFT技術注入了新的活力，也為監(jiān)督微調方法的未來發(fā)展提供了新的思路。

學霸在學習過程中不僅進行簡單的答案復制，而是通過深入分析和批判性思考來改進自己的解答。同樣，在CFT數(shù)據(jù)集中，通過為錯誤回答提供詳細的批評，模型能夠識別響應中的缺陷，并提出改進建議以驗證正確性。

這種方法不僅能夠顯著提升推理能力，還能使模型在處理復雜任務時表現(xiàn)出更高的適應性和靈活性。

例如，在直角三角形的直角邊長分別為3個單位和4個單位的情況下，構造一個正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型會按照以下步驟進行運算：首先利用勾股定理計算斜邊長度為5個單位，接著計算正方形的面積為25平方單位，以及三角形的面積為6平方單位，最后模型給出答案25-6=19平方單位。

在CFT模式下，模型不僅給出答案，還會對上述回答進行批評，指出錯誤在于應加上而非減去三角形的面積，最終給出正確答案31平方單位。

下圖展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT模式下，大模型會直接模仿答案的結構和格式，而CFT模式下，模型會模仿對錯誤回答的批評和糾正。

CFT模式的高訓練效率主要歸功于其對錯誤信息的深度處理能力。

那么，如何獲取CFT訓練所需的數(shù)據(jù)集呢？

本文基于WebInstruct平臺，構建了一個包含50,000對問答對的數(shù)據(jù)集，其中的每一例都附有來自GPT-4等高級模型生成的批評意見。這些問答對主要聚焦于數(shù)學領域（占65%），同時也涵蓋了物理、化學、商業(yè)等其他主題。

對比CFT數(shù)據(jù)集與其他SFT數(shù)據(jù)集

在CFT數(shù)據(jù)集上進行7B規(guī)模的未經(jīng)指令微調優(yōu)化的LLM訓練，包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT訓練方法的目標明確：將問題x與錯誤回答y組合作為輸入，優(yōu)化模型參數(shù)以生成評論c，從而訓練模型具備批判性思維能力。

實驗結果表明，在經(jīng)過指令微調與批判性微調訓練后，LLM在數(shù)學相關基準測試中的性能提升顯著。研究發(fā)現(xiàn)，CFT訓練的模型在數(shù)學基準測試中持續(xù)優(yōu)于SFT訓練的最佳模型。

與SFT相比，CFT方法的準確率平均提升了4至10個百分點。此外，CFT模型的訓練效率更高，在較少的訓練數(shù)據(jù)量下即可快速收斂，這使其成為開發(fā)數(shù)學推理模型的理想選擇。

Qwen2.5-Math-7B模型在MATH和Minerva-Math任務上采用了不同訓練方法的訓練動態(tài)對比，包括CFT與兩種SFT變體。橫軸表示訓練步驟，縱軸顯示模型準確率。

在相同規(guī)模的50k樣本數(shù)據(jù)集上，采用CFT與SFT訓練的基座模型在各任務上的性能提升效果顯著。

僅以Qwen2.5-Math-7B模型為例，CFT訓練方法在所有數(shù)據(jù)集和任務上的表現(xiàn)均全面超越了SFT方法。

論文對比了Qwen2.5-Math-7B-CFT模型與知名LLM、GPT系列以及擅長數(shù)學推理的Deepseek、Mathstral、Numina等系列模型的性能。具體結果如表所示。

Qwen2.5-Math-7B-CFT模型的平均性能達到48.1%，其表現(xiàn)甚至超越了參數(shù)量為10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%）。該模型的性能與Qwen2.5-Math-72B-Instruct（56.4%）相媲美。

此外，基于CFT訓練的模型在性能表現(xiàn)上與基于140倍計算資源訓練的SimpleRL模型（Deepseek R1的公開版本）不相上下，其GPU使用時長減少至原來的1/144，這相當于顯著降低了計算成本。

研究人員對CFT的多個關鍵因素進行了消融研究。結果表明，CFT在數(shù)據(jù)來源的魯棒性、噪聲響應的魯棒性以及教師批判模型選擇等方面都表現(xiàn)出較強的能力。

例如，即使使用較弱的GPT-4o-mini模型來生成批評意見，CFT依然能夠實現(xiàn)顯著的性能提升。

局限與擴展部分略。

在CFT訓練數(shù)據(jù)集中，作為基準的批評數(shù)據(jù)是由LLM生成的。經(jīng)過作者的手動檢查，發(fā)現(xiàn)其中有20%的批評意見本身就存在錯誤，這些錯誤可能對模型的訓練造成一定干擾，影響其最終性能表現(xiàn)。

此外，CFT訓練的模型目前不具備自我批評能力，因此尚未觀察到自我改進的現(xiàn)象。

該研究所使用的數(shù)據(jù)集在代表性方面仍存在不足，目前僅聚焦于數(shù)學問題，而對編程、科學推理以及人文相關領域的問題，是否能夠采用類似CFT模式進行訓練，仍有待進一步探索。

CFT的優(yōu)勢在于顯著提升了模型的推理能力，并實現(xiàn)了對訓練數(shù)據(jù)的高效利用。通過讓模型學會批判性思維，相當于讓大型語言模型進行了一次強化學習過程。

相比于現(xiàn)有的自我修正（Self-Correction）、獎勵模型（Reward Models）等方法，CFT的目標是通過批判學習來深化模型對問題的理解，而不是直接估計獎勵分數(shù)或進行自我修正。這種方法在推理任務中的適應性和靈活性表現(xiàn)更為突出。

更為關鍵的是，CFT的數(shù)據(jù)構建和訓練流程相對簡潔，計算成本較低，因此在實際應用中具有較高的可行性和經(jīng)濟性。未來的研究可能在提升批判數(shù)據(jù)質量和探索模型自我批判機制方面取得新的進展。

首先，構建自動驗證工具或開發(fā)人類驗證的批判數(shù)據(jù)集，以增強批判數(shù)據(jù)的質量。要使模型具備自我批判與自我改進能力，需通過用戶反饋使模型實現(xiàn)持續(xù)優(yōu)化。

進一步的研究也可能包括將CFT與其他訓練范式，如SFT和RL相結合，擴展到多模態(tài)環(huán)境，并研究其理論基礎。

參考資料：

https://arxiv.org/pdf/2501.17703