聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

新智元的報道

【新智元導(dǎo)讀】在處理復(fù)雜的推理任務(wù)時，SFT往往會讓大型語言模型顯得力不從心。近期，由包括美國卡內(nèi)基梅隆大學(xué)、加拿大滑鐵盧大學(xué)在內(nèi)的華人團隊提出的“批判性微調(diào)”（CFT）方法，在僅5萬樣本的訓(xùn)練過程中，就已經(jīng)在多數(shù)基準(zhǔn)測試中超越了基于200萬樣本的強化學(xué)習(xí)方法。

模仿被認為是傳統(tǒng)語言模型訓(xùn)練的主要方式。LLM在解決現(xiàn)實世界問題方面展現(xiàn)出的超凡性能，其中一項核心技術(shù)是監(jiān)督微調(diào)（SFT）。

在SFT的過程中，模型需要模仿人類標(biāo)注或合成的高質(zhì)量回復(fù)，以增強其執(zhí)行通用指令的能力。這類SFT數(shù)據(jù)集通常采用Self-Instruct和Evol-Instruct等方法進行構(gòu)建。

然而，這種方法存在明顯的局限性。當(dāng)數(shù)據(jù)集規(guī)模和質(zhì)量進一步提升時，SFT面臨著邊際收益遞減的問題，尤其是在訓(xùn)練本身效果已經(jīng)較為優(yōu)異的基礎(chǔ)模型時，采用SFT反而可能帶來性能下降的風(fēng)險。

最近，由美國卡內(nèi)基梅隆大學(xué)、加拿大滑鐵盧大學(xué)等機構(gòu)的3名華人學(xué)者合作撰寫的論文，對SFT提出了進一步的改進，提出了一種名為批判式監(jiān)督微調(diào)（CFT，Critique Fine-Tuning）的方法。這一創(chuàng)新旨在幫助模型更高效地模仿訓(xùn)練數(shù)據(jù)集。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調(diào)：讓SFT煥發(fā)新生

CFT將重點從簡單模仿轉(zhuǎn)向基于批判的學(xué)習(xí)方式。其核心思想是讓模型學(xué)會批判性思維，而非簡單模仿，這一理念源自人類學(xué)習(xí)過程中的自我反思機制。

這一創(chuàng)新方法的提出，標(biāo)志著SFT重新展現(xiàn)出其潛力，為語言模型的發(fā)展注入了新的活力。

學(xué)術(shù)精英在學(xué)習(xí)過程中，不僅僅停留在簡單地復(fù)制提供的答案，而是通過深入分析、批判性思考和持續(xù)改進來深化對知識的理解。在CFT數(shù)據(jù)集中，模型通過提供相應(yīng)的批評，讓大模型能夠識別錯誤，提出改進建議，并驗證正確性。

這種方法不僅有助于提升模型的推理能力，還能使模型在面對復(fù)雜任務(wù)時展現(xiàn)出了更強的適應(yīng)能力和靈活性。

例如，針對這個問題：在直角三角形的直角邊長分別為3個單位和4個單位的情況下，構(gòu)造一個正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

按照SFT模式，模型會逐步進行運算：首先應(yīng)用勾股定理計算斜邊長度為5單位，接著計算正方形面積為25平方單位，三角形面積為6平方單位，最終模型給出答案25減去6。

而在CFT模式下，模型會對上述回答給出批評，指出錯誤在于應(yīng)該加上而非減去三角形的面積，并給出正確答案31。

下圖展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT讓大模型直接模仿答案，CFT讓大模型模仿對錯誤回答的批評。

CFT模式具有較高的訓(xùn)練效率。

那么，如何獲取CFT模式所需的訓(xùn)練數(shù)據(jù)呢？

論文基于WebInstruct，構(gòu)建了一個包含50K個帶批評意見的問答對作為訓(xùn)練數(shù)據(jù)集，其中的批評由GPT-4等高級模型生成，上述的題目是其中一個例子。

CFT數(shù)據(jù)集與SFT數(shù)據(jù)集進行對比分析

隨后，在CFT數(shù)據(jù)集上對未經(jīng)指令微調(diào)的7B規(guī)模大模型進行訓(xùn)練，具體包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT方法的主要目標(biāo)是：將問題x與錯誤響應(yīng)y進行拼接作為輸入，通過優(yōu)化模型參數(shù)生成評論c，這等價于訓(xùn)練模型具備批判性思維能力。

通過實驗，作者考察了LLM在經(jīng)過指令微調(diào)和批判性微調(diào)后在數(shù)學(xué)相關(guān)基準(zhǔn)上的性能提升。結(jié)果顯示，CFT訓(xùn)練的模型在性能上持續(xù)優(yōu)于SFT訓(xùn)練的最佳模型。

實驗中，作者對比了Qwen2.5-Math-7B在MATH和Minerva-Math基準(zhǔn)上的不同方法訓(xùn)練動態(tài)對比圖，展示了CFT方法與兩種SFT變體的性能表現(xiàn)，橫軸表示訓(xùn)練步數(shù)，縱軸為準(zhǔn)確率數(shù)值。

在同樣是50k個樣本的訓(xùn)練數(shù)據(jù)下，不同基座模型經(jīng)過CFT和SFT訓(xùn)練后的性能提升情況得到了詳細對比。

從各種數(shù)據(jù)集和任務(wù)的測試結(jié)果來看，CFT方法的訓(xùn)練效果在全面性上均優(yōu)于SFT方法。

論文中，作者將訓(xùn)練后的Qwen2.5-Math-7B-CFT模型與知名的大模型如Llama系列、GPT系列，以及擅長數(shù)學(xué)推理的Deepseek、Mathstral、Numina等系列模型進行了對比分析。

從表中可以看出，Qwen2.5-Math-7B-CFT的平均性能（48.1%）顯著優(yōu)于參數(shù)量10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%），與Qwen2.5-Math-72B-Instruct（56.4%）的性能水平相當(dāng)。

在模型性能對比中，Qwen2.5-Math-7B-CFT的平均準(zhǔn)確率（48.1%）不僅超越了Llama系列中的Llama-3.1-70B-Instruct（40.4%）和Numina系列中的NuminaMath-72B-CoT（39.1%），還與Qwen2.5-Math-72B-Instruct（56.4%）的性能水平不相上下。

此外，基于CFT訓(xùn)練的模型在性能上與采用140倍計算資源訓(xùn)練的Deepseek R1開源模型相當(dāng)，其GPU使用時長縮減至原來的1/144，顯著降低了計算成本。

研究人員對CFT的多個關(guān)鍵因素進行了消融實驗。結(jié)果表明，CFT在數(shù)據(jù)來源、噪聲處理和教師模型選擇等方面表現(xiàn)出較強的魯棒性。

例如，即使使用較弱的GPT-4o-mini模型生成批評意見，CFT依然能帶來顯著的性能提升。

局限與展望

在CFT的數(shù)據(jù)集中，作為基準(zhǔn)的批評數(shù)據(jù)全部由LLM生成。經(jīng)過作者的手動審查（共50條），發(fā)現(xiàn)其中有20%的批評意見本身就存在錯誤，這些錯誤可能對模型訓(xùn)練造成一定干擾，影響最終效果。

此外，CFT訓(xùn)練的模型目前尚未具備自我批評能力，尚未觀察到自我改進的現(xiàn)象。

該研究的數(shù)據(jù)集存在一定的局限性，目前僅聚焦于數(shù)學(xué)問題，在編程、科學(xué)推理以及人文推理等領(lǐng)域，是否適用CFT模式仍有待進一步探索。

CFT的優(yōu)勢主要體現(xiàn)在顯著提升模型推理能力以及高效利用訓(xùn)練數(shù)據(jù)。通過讓模型學(xué)會批判性思維，相當(dāng)于實現(xiàn)一次強化學(xué)習(xí)。

相比于現(xiàn)有的自我修正、獎勵模型等方法，CFT的目標(biāo)是通過批判學(xué)習(xí)來深化模型對問題的理解，而非直接估計獎勵分?jǐn)?shù)或進行自我修正。這種方法在推理任務(wù)中展現(xiàn)出更強的適應(yīng)性和靈活性。

更為關(guān)鍵的是，CFT的數(shù)據(jù)集構(gòu)建和訓(xùn)練過程相對簡單，計算成本較低，因此在實際應(yīng)用中具有較高的可行性和經(jīng)濟性。未來的研究可能在提升批判數(shù)據(jù)質(zhì)量和探索模型自我批判機制方面取得新的突破。

首先，構(gòu)建自動驗證工具或設(shè)計人類可理解的批判性數(shù)據(jù)集，以顯著提升批判數(shù)據(jù)的質(zhì)量；同時，要實現(xiàn)模型的自我批判與持續(xù)改進能力，必須通過用戶反饋機制，使模型能夠不斷優(yōu)化自身。

進一步的研究可能探索將CFT與其他訓(xùn)練范式相結(jié)合，擴展至多模態(tài)應(yīng)用環(huán)境，并深入研究其理論基礎(chǔ)。

參考資料：

https://arxiv.org/pdf/2501.17703