聲明:本文來自于（ID:ykqsd.com）授權轉載發(fā)布。

新智元的報道

1. 撰文人：喬楊

2. 【新智元導讀】大模型在處理復雜的推理任務時往往顯得力不從心。近期，來自美國卡內基梅隆大學等高校的3位華裔學者提出了一種新的方法，即批判式監(jiān)督微調（CFT），僅在50K樣本上訓練，便在多數(shù)基準測試中超越了使用超過200萬個樣本的強化學習方法。

3. 普通語言模型在模仿人類行為方面主要依賴于監(jiān)督微調（SFT）。LLM在解決現(xiàn)實世界問題的性能之所以突飛猛進，與監(jiān)督微調技術的支撐密不可分。

4. 在SFT的過程中，模型被要求模仿人類標注或合成的高質量回復，以增強其遵循指令的能力。這類監(jiān)督微調數(shù)據(jù)集通?；赟elf-Instruct和Evol-Instruct等方法構建。

5. 不過，這種方法存在明顯的局限性。當監(jiān)督微調的效果已經(jīng)較為理想時，繼續(xù)采用這一方法可能會降低模型性能。

6. 為了突破這一局限，近期，美國卡內基梅隆大學、滑鐵盧大學等高校的3位華裔學者發(fā)表了一篇論文，提出了批判式監(jiān)督微調方法（CFT，Critique Fine-Tuning）。該方法旨在通過批判性的學習方式，使模型更有效地模仿數(shù)據(jù)集。

7. 論文鏈接：https://arxiv.org/pdf/2501.17703

8. 批判式監(jiān)督微調：讓SFT重新偉大

9. CFT將重點從簡單模仿轉向基于批判的學習，核心思想是讓模型學會批判，而不是簡單地模仿，其靈感來源于人類的學習過程。

學霸群體在學習過程中不僅進行答案的復制，而是通過分析、批判和優(yōu)化自己的解題方法。同樣，在CFT數(shù)據(jù)集中，為錯誤的回答提供具體的批評，以便模型能夠識別問題所在，并提出改進建議以驗證其正確性。

這種方法不僅有助于提升模型的推理能力，還能使其在處理復雜任務時表現(xiàn)出更強的適應性和靈活性。

例如，針對如下問題：在一個直角三角形中，兩條直角邊的長度分別為3個單位和4個單位，構造一個正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型會逐步進行運算，首先運用勾股定理計算出斜邊長度為5個單位，接著計算正方形的面積為25平方單位，以及三角形的面積為6平方單位。最后，模型給出的答案是25-6=19平方單位。

而在CFT模式下，模型會對上述答案進行批評，指出錯誤在于應該加上而非減去三角形的面積，因此正確答案應為25+6=31平方單位。

如圖所示，展示的是典型的SFT和CFT數(shù)據(jù)樣例。

SFT模式下，模型直接模仿答案的結構和形式；而CFT模式下，模型不僅模仿答案，還會模仿對錯誤答案的批評過程。

CFT模式下的訓練效率顯著高于SFT模式。

那么，如何獲取CFT訓練所需的數(shù)據(jù)呢？

該研究基于WebInstruct平臺，構建了一個包含50,000個問答對的數(shù)據(jù)集，其中的每一個問題都附帶了來自高級模型（如GPT-4）生成的批評意見。例如，上述的數(shù)學問題就是一個樣本。這些數(shù)據(jù)主要集中在數(shù)學領域（占65%），但也涵蓋了物理、化學、商業(yè)等多個主題。

CFT數(shù)據(jù)集與SFT數(shù)據(jù)集進行了對比實驗

在完成CFT數(shù)據(jù)集的訓練后，使用未經(jīng)過指令微調的7B規(guī)模LLM進行模型構建，具體包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT方法的訓練目標非常明確：將問題x與錯誤回答y進行拼接作為輸入，優(yōu)化模型參數(shù)以生成評論c，這一過程相當于訓練模型具備批判性思維能力。

實驗結果表明，經(jīng)過指令微調與批判性微調的LLM在數(shù)學推理基準測試中均表現(xiàn)出色。具體而言，CFT訓練的模型在各項評估指標上均優(yōu)于SFT訓練的最佳模型。

與SFT方法相比，CFT的準確率平均提升了4-10個百分點。值得注意的是，CFT方法的訓練效率更高，在更少的訓練數(shù)據(jù)量下實現(xiàn)了更快的收斂速度，這為開發(fā)高效數(shù)學推理模型提供了新思路。

通過動態(tài)訓練曲線圖可以看出，CFT方法在各階段的性能提升顯著，尤其是在處理復雜數(shù)學問題時展現(xiàn)出更強的泛化能力。

無論是在哪種數(shù)據(jù)集或任務場景下，CFT方法都能展現(xiàn)出卓越的性能，尤其是在處理多模態(tài)推理任務時表現(xiàn)尤為突出。

對比實驗結果表明，CFT模型在多個關鍵指標上均優(yōu)于其他主流模型，尤其是在數(shù)學推理和邏輯分析任務上表現(xiàn)尤為出色。

在對比實驗中，Qwen2.5-Math-7B-CFT模型的平均表現(xiàn)（48.1%）甚至超過了參數(shù)量10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%），在與Qwen2.5-Math-72B-Instruct（56.4%）的對比中，其性能表現(xiàn)也非常接近。

通過對比實驗結果可以看出，CFT模型在多個關鍵指標上均優(yōu)于其他主流模型，尤其是在數(shù)學推理和邏輯分析任務上表現(xiàn)尤為突出。

此外，基于CFT訓練的模型在性能上與采用140倍計算資源訓練的SimpleRL模型（Deepseek R1的公開版）相當，其GPU使用時長減少至原來的1/144，顯著降低了計算成本。

研究者對CFT的多個關鍵因素進行了消融測試。結果表明，CFT在數(shù)據(jù)來源、噪聲響應以及教師批判模型等方面具有較強的魯棒性。

例如，即使使用較弱的GPT-4o-mini模型生成批評意見，CFT依然能夠顯著提升模型性能。

局限與擴展

在CFT訓練數(shù)據(jù)集中，作為基準的批評數(shù)據(jù)全部由LLM生成。經(jīng)過作者的手動審查（共50例），發(fā)現(xiàn)其中有20%的批評意見本身就包含明顯錯誤。這些錯誤可能對模型訓練產生一定干擾，影響其最終效果。

此外，當前CFT訓練的模型尚無法進行自我批評，因此目前尚未觀察到自我改進的現(xiàn)象。

該研究使用的數(shù)據(jù)集在代表性方面仍有待加強，目前僅聚焦于數(shù)學問題，對于編程、科學推理或人文推理等領域的問題，是否能夠采用類似CFT的方法進行訓練，仍需進一步探索。

CFT的優(yōu)勢在于顯著提升模型推理能力的同時，實現(xiàn)了對訓練數(shù)據(jù)的高效利用。通過模型學會批判性思維，相當于讓大模型完成一次強化學習任務。

相較于現(xiàn)有的自我修正（Self-Correlation）、獎勵模型（Reward Models）等方法，CFT的目標是通過批判學習提升模型對問題的深入理解，而非直接估計獎勵分數(shù)或進行自我修正。這種方法在推理任務中展現(xiàn)出更強的適應性和靈活性。

更為關鍵的是，CFT的數(shù)據(jù)構建和訓練流程相對簡單，計算成本較低，在實際應用中具有較高的可行性和經(jīng)濟性。未來研究將致力于提升批判數(shù)據(jù)質量，并探索模型自我批判機制的實現(xiàn)路徑。

首先，我們致力于構建自動驗證工具或設計人類可驗證的批判數(shù)據(jù)集，以期進一步優(yōu)化批判數(shù)據(jù)的質量。然而，要使大模型具備自我批判能力并實現(xiàn)持續(xù)改進，關鍵在于通過用戶反饋機制，使模型能夠持續(xù)學習和優(yōu)化自身。

此外，未來的研究可能探索將CFT與SFT和RL等其他訓練范式相結合，擴展其在多模態(tài)環(huán)境中的應用，并深入研究其理論基礎。

注：參考資料：

https://arxiv.org/pdf/2501.17703