聲明:本文來自于（ID:ykqsd.com）授權轉載發(fā)布。

新智元的報道

【新智元導讀】在處理復雜的推理任務時，SFT往往會讓大型語言模型顯得力不從心。近期，由包括美國卡內基梅隆大學、加拿大滑鐵盧大學在內的華人團隊提出的“批判性微調”（CFT）方法，在僅5萬樣本的訓練過程中，就已經在多數基準測試中超越了基于200萬樣本的強化學習方法。

模仿被認為是傳統語言模型訓練的主要方式。LLM在解決現實世界問題方面展現出的超凡性能，其中一項核心技術是監(jiān)督微調（SFT）。

在SFT的過程中，模型需要模仿人類標注或合成的高質量回復，以增強其執(zhí)行通用指令的能力。這類SFT數據集通常采用Self-Instruct和Evol-Instruct等方法進行構建。

然而，這種方法存在明顯的局限性。當數據集規(guī)模和質量進一步提升時，SFT面臨著邊際收益遞減的問題，尤其是在訓練本身效果已經較為優(yōu)異的基礎模型時，采用SFT反而可能帶來性能下降的風險。

最近，由美國卡內基梅隆大學、加拿大滑鐵盧大學等機構的3名華人學者合作撰寫的論文，對SFT提出了進一步的改進，提出了一種名為批判式監(jiān)督微調（CFT，Critique Fine-Tuning）的方法。這一創(chuàng)新旨在幫助模型更高效地模仿訓練數據集。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調：讓SFT煥發(fā)新生

CFT將重點從簡單模仿轉向基于批判的學習方式。其核心思想是讓模型學會批判性思維，而非簡單模仿，這一理念源自人類學習過程中的自我反思機制。

這一創(chuàng)新方法的提出，標志著SFT重新展現出其潛力，為語言模型的發(fā)展注入了新的活力。

學術精英在學習過程中，不僅僅停留在簡單地復制提供的答案，而是通過深入分析、批判性思考和持續(xù)改進來深化對知識的理解。在CFT數據集中，模型通過提供相應的批評，讓大模型能夠識別錯誤，提出改進建議，并驗證正確性。

這種方法不僅有助于提升模型的推理能力，還能使模型在面對復雜任務時展現出了更強的適應能力和靈活性。

例如，針對這個問題：在直角三角形的直角邊長分別為3個單位和4個單位的情況下，構造一個正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

按照SFT模式，模型會逐步進行運算：首先應用勾股定理計算斜邊長度為5單位，接著計算正方形面積為25平方單位，三角形面積為6平方單位，最終模型給出答案25減去6。

而在CFT模式下，模型會對上述回答給出批評，指出錯誤在于應該加上而非減去三角形的面積，并給出正確答案31。

下圖展示了典型的SFT和CFT數據樣例。

SFT讓大模型直接模仿答案，CFT讓大模型模仿對錯誤回答的批評。

CFT模式具有較高的訓練效率。

那么，如何獲取CFT模式所需的訓練數據呢？

論文基于WebInstruct，構建了一個包含50K個帶批評意見的問答對作為訓練數據集，其中的批評由GPT-4等高級模型生成，上述的題目是其中一個例子。

CFT數據集與SFT數據集進行對比分析

隨后，在CFT數據集上對未經指令微調的7B規(guī)模大模型進行訓練，具體包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT方法的主要目標是：將問題x與錯誤響應y進行拼接作為輸入，通過優(yōu)化模型參數生成評論c，這等價于訓練模型具備批判性思維能力。

通過實驗，作者考察了LLM在經過指令微調和批判性微調后在數學相關基準上的性能提升。結果顯示，CFT訓練的模型在性能上持續(xù)優(yōu)于SFT訓練的最佳模型。

實驗中，作者對比了Qwen2.5-Math-7B在MATH和Minerva-Math基準上的不同方法訓練動態(tài)對比圖，展示了CFT方法與兩種SFT變體的性能表現，橫軸表示訓練步數，縱軸為準確率數值。

在同樣是50k個樣本的訓練數據下，不同基座模型經過CFT和SFT訓練后的性能提升情況得到了詳細對比。

從各種數據集和任務的測試結果來看，CFT方法的訓練效果在全面性上均優(yōu)于SFT方法。

論文中，作者將訓練后的Qwen2.5-Math-7B-CFT模型與知名的大模型如Llama系列、GPT系列，以及擅長數學推理的Deepseek、Mathstral、Numina等系列模型進行了對比分析。

從表中可以看出，Qwen2.5-Math-7B-CFT的平均性能（48.1%）顯著優(yōu)于參數量10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%），與Qwen2.5-Math-72B-Instruct（56.4%）的性能水平相當。

在模型性能對比中，Qwen2.5-Math-7B-CFT的平均準確率（48.1%）不僅超越了Llama系列中的Llama-3.1-70B-Instruct（40.4%）和Numina系列中的NuminaMath-72B-CoT（39.1%），還與Qwen2.5-Math-72B-Instruct（56.4%）的性能水平不相上下。

此外，基于CFT訓練的模型在性能上與采用140倍計算資源訓練的Deepseek R1開源模型相當，其GPU使用時長縮減至原來的1/144，顯著降低了計算成本。

研究人員對CFT的多個關鍵因素進行了消融實驗。結果表明，CFT在數據來源、噪聲處理和教師模型選擇等方面表現出較強的魯棒性。

例如，即使使用較弱的GPT-4o-mini模型生成批評意見，CFT依然能帶來顯著的性能提升。

局限與展望

在CFT的數據集中，作為基準的批評數據全部由LLM生成。經過作者的手動審查（共50條），發(fā)現其中有20%的批評意見本身就存在錯誤，這些錯誤可能對模型訓練造成一定干擾，影響最終效果。

此外，CFT訓練的模型目前尚未具備自我批評能力，尚未觀察到自我改進的現象。

該研究的數據集存在一定的局限性，目前僅聚焦于數學問題，在編程、科學推理以及人文推理等領域，是否適用CFT模式仍有待進一步探索。

CFT的優(yōu)勢主要體現在顯著提升模型推理能力以及高效利用訓練數據。通過讓模型學會批判性思維，相當于實現一次強化學習。

相比于現有的自我修正、獎勵模型等方法，CFT的目標是通過批判學習來深化模型對問題的理解，而非直接估計獎勵分數或進行自我修正。這種方法在推理任務中展現出更強的適應性和靈活性。

更為關鍵的是，CFT的數據集構建和訓練過程相對簡單，計算成本較低，因此在實際應用中具有較高的可行性和經濟性。未來的研究可能在提升批判數據質量和探索模型自我批判機制方面取得新的突破。

首先，構建自動驗證工具或設計人類可理解的批判性數據集，以顯著提升批判數據的質量；同時，要實現模型的自我批判與持續(xù)改進能力，必須通過用戶反饋機制，使模型能夠不斷優(yōu)化自身。

進一步的研究可能探索將CFT與其他訓練范式相結合，擴展至多模態(tài)應用環(huán)境，并深入研究其理論基礎。

參考資料：

https://arxiv.org/pdf/2501.17703