聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

新智元報道

編輯：張三、李四

【新智元導讀】在處理復(fù)雜的推理任務(wù)時，傳統(tǒng)的監(jiān)督微調(diào)（SFT）方法確實顯得力不從心。近期，CMU等高校的華人團隊在監(jiān)督微調(diào)方法上進行了突破性改進，提出了一種全新的方法——批判性微調(diào)（CFT）。該方法僅在5萬個樣本上進行微調(diào)，便在大多數(shù)基準測試中超越了使用超過200萬個樣本的強化學習方法。

模仿是傳統(tǒng)語言模型訓練的主要方式。LLM在解決現(xiàn)實世界問題方面表現(xiàn)出色，其中一項核心技術(shù)是監(jiān)督微調(diào)（SFT）。

在SFT過程中，模型需要模仿人類標注或合成的高質(zhì)量回復(fù)，以增強其遵循指令的能力。這類SFT數(shù)據(jù)集通常采用Self-Instruct和Evol-Instruct等方法構(gòu)建。

然而，這種方法存在明顯的局限性。隨著數(shù)據(jù)集規(guī)模和質(zhì)量的提升，邊際收益逐漸降低，尤其是在基礎(chǔ)模型本身效果已經(jīng)較為出色的訓練過程中，使用SFT可能會導致性能下降。

最近，三位來自全球頂尖高校的華人學者就發(fā)表了一篇論文，對SFT做出了進一步的改進，提出了一種新的方法——批判式監(jiān)督微調(diào)（CFT，Critique Fine-Tuning）。這種方法旨在讓模型更高效地模仿高質(zhì)量數(shù)據(jù)集。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調(diào)：讓SFT重新偉大

CFT將重點從簡單模仿轉(zhuǎn)向基于批判的學習，其核心思想是讓模型學會批判性思維，而不是簡單地模仿，這種理念源自人類的學習過程。

學霸在學習過程中不僅止于復(fù)制答案，而是通過深入研究、批判性分析和持續(xù)改進來優(yōu)化自己的學習成果。類似地，CFT數(shù)據(jù)集通過為模型提供針對錯誤回答的反饋，幫助LLM識別問題所在并提出相應(yīng)的改進建議，從而驗證其解決方案的正確性。

這種方法不僅顯著提升了模型的推理能力，還使其在處理復(fù)雜任務(wù)時表現(xiàn)出更強的自適應(yīng)性和靈活性。

例如，針對以下問題：在一個直角三角形中，兩條直角邊的長度分別為3個單位和4個單位，構(gòu)建一個正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型將按照以下步驟運算：首先運用勾股定理計算斜邊長度為5個單位，接著計算正方形的面積為25平方單位，再計算三角形的面積為6平方單位，最后得出答案25-6=19平方單位。

相比之下，在CFT模式下，模型不僅給出答案，還會對上述回答進行反饋，指出錯誤在于應(yīng)加而非減三角形面積，從而給出正確答案31平方單位。

如下圖所示，展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT模式下，模型直接模仿答案的結(jié)構(gòu)和格式，而CFT模式下，模型需要模仿對錯誤答案的反饋和批評。

CFT模式的顯著優(yōu)勢在于其高訓練效率。

那么，如何收集CFT訓練所需的數(shù)據(jù)呢？

論文基于WebInstruct平臺，構(gòu)建了一個包含50K個問答對的數(shù)據(jù)集，其中每個問答對都附有由GPT-4等高級模型生成的批評意見。這些數(shù)據(jù)主要聚焦于數(shù)學領(lǐng)域（占65%），同時也涵蓋了物理、化學、商業(yè)等多學科主題。

CFT數(shù)據(jù)集與SFT數(shù)據(jù)集的對比分析

在未經(jīng)指令微調(diào)的CFT數(shù)據(jù)集上，訓練一個7B規(guī)模的LLM模型，包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT方法的訓練目標明確：將問題x與錯誤回答y組合作為輸入，優(yōu)化模型參數(shù)以生成評論c，從而訓練模型具備批判性思維能力。

實驗結(jié)果顯示，LLM經(jīng)過指令微調(diào)與批判性微調(diào)后，在數(shù)學相關(guān)基準上的性能提升顯著。具體而言，CFT訓練的模型在數(shù)學基準測試中表現(xiàn)持續(xù)優(yōu)于SFT訓練的最佳模型。

與SFT相比，CFT方法的準確率平均高出4-10個百分點。此外，訓練效率更高，能夠在更少的訓練數(shù)據(jù)量上實現(xiàn)更快的收斂，因此具有開發(fā)數(shù)學推理模型的潛力。

在MATH和Minerva-Math基準測試中，對比了不同方法的訓練動態(tài)，包括CFT與兩種SFT變體。橫軸代表訓練步數(shù)，縱軸顯示模型的準確率。

在相同規(guī)模的50k樣本數(shù)據(jù)集上，比較了不同基座模型在CFT和SFT訓練后性能的提升幅度。

僅以Qwen2.5-Math-7B模型為例，在各種數(shù)據(jù)集和任務(wù)上，CFT的訓練效果都能全面超越SFT。

論文對比了訓練后的Qwen2.5-Math-7B-CFT模型與知名模型，包括Llama系列、GPT系列以及Deepseek、Mathstral、Numina等系列模型，具體結(jié)果如下表所示。

Qwen2.5-Math-7B-CFT模型的平均性能（48.1%）在參數(shù)量10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%）之上，與Qwen2.5-Math-72B-Instruct（56.4%）模型的性能接近。

此外，基于CFT訓練的模型在性能表現(xiàn)上與采用140倍計算資源訓練的SimpleRL模型（基于Deepseek R1的公開版本）不相上下，其GPU運行時間縮減至原來的1/144，這顯著降低了計算成本。

研究人員對CFT的多個關(guān)鍵因素進行了消融研究。結(jié)果表明，CFT在數(shù)據(jù)來源的魯棒性、噪聲響應(yīng)的魯棒性，以及教師批判模型選擇方面展現(xiàn)出較強的穩(wěn)定性。

例如，即使使用較弱的GPT-4o-mini模型生成批評意見，CFT仍能帶來顯著的性能提升。

局限與擴展

在CFT訓練數(shù)據(jù)集中，作為“gold standard”的批評數(shù)據(jù)全部由LLM生成。經(jīng)過作者的手動檢查，發(fā)現(xiàn)其中有20%的批評意見本身就存在錯誤，這些錯誤可能對模型訓練帶來一定干擾，影響最終效果。

此外，當前CFT訓練的模型尚未具備自我批評能力，因此目前尚未觀察到自我改進的效應(yīng)。

該研究采用的數(shù)據(jù)集存在一定的代表性問題，目前主要集中在數(shù)學問題上，而在編程、科學推理以及人文相關(guān)推理等領(lǐng)域，尚不清楚是否能采用類似的CFT模式進行訓練，仍有待進一步研究。

CFT的優(yōu)勢主要體現(xiàn)在其對模型推理能力的顯著提升以及對訓練數(shù)據(jù)的高效利用。通過模型學會批判性思維，相當于讓大模型完成一次強化學習任務(wù)。

相較于現(xiàn)有的自我修正（Self-Correction）、獎勵模型（Reward Models）等方法，CFT的目標是通過批判學習來深化模型對問題的理解，而非直接估計獎勵分數(shù)或進行自我修正。這種方法在推理任務(wù)中展現(xiàn)出更強的適應(yīng)性和靈活性。

更加關(guān)鍵的是，CFT的數(shù)據(jù)集構(gòu)建和訓練流程相對簡單，計算成本較低，因此在實際應(yīng)用中具有較高的可行性和經(jīng)濟性。未來研究可能將進一步提升批判數(shù)據(jù)的質(zhì)量，并探索模型自我批判機制的實現(xiàn)路徑。

其次，構(gòu)建自動驗證工具或開發(fā)人類驗證的批判數(shù)據(jù)集，以確保批判數(shù)據(jù)的質(zhì)量得到提升。然而，要使模型具備自我批判和自我改進的能力，就需要通過用戶反饋使模型實現(xiàn)持續(xù)優(yōu)化。

進一步的研究可能還包括將CFT與其他訓練范式（如SFT和RL）融合，并擴展到多模態(tài)環(huán)境，同時深入探討其理論基礎(chǔ)。

參考資料：

https://arxiv.org/pdf/2501.17703