聲明:本文來(lái)自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

新智元的報(bào)道

【新智元導(dǎo)讀】在處理復(fù)雜的推理任務(wù)時(shí)，SFT往往會(huì)讓大型語(yǔ)言模型顯得力不從心。近期，由包括美國(guó)卡內(nèi)基梅隆大學(xué)、加拿大滑鐵盧大學(xué)在內(nèi)的華人團(tuán)隊(duì)提出的“批判性微調(diào)”（CFT）方法，在僅5萬(wàn)樣本的訓(xùn)練過(guò)程中，就已經(jīng)在多數(shù)基準(zhǔn)測(cè)試中超越了基于200萬(wàn)樣本的強(qiáng)化學(xué)習(xí)方法。

模仿被認(rèn)為是傳統(tǒng)語(yǔ)言模型訓(xùn)練的主要方式。LLM在解決現(xiàn)實(shí)世界問(wèn)題方面展現(xiàn)出的超凡性能，其中一項(xiàng)核心技術(shù)是監(jiān)督微調(diào)（SFT）。

在SFT的過(guò)程中，模型需要模仿人類(lèi)標(biāo)注或合成的高質(zhì)量回復(fù)，以增強(qiáng)其執(zhí)行通用指令的能力。這類(lèi)SFT數(shù)據(jù)集通常采用Self-Instruct和Evol-Instruct等方法進(jìn)行構(gòu)建。

然而，這種方法存在明顯的局限性。當(dāng)數(shù)據(jù)集規(guī)模和質(zhì)量進(jìn)一步提升時(shí)，SFT面臨著邊際收益遞減的問(wèn)題，尤其是在訓(xùn)練本身效果已經(jīng)較為優(yōu)異的基礎(chǔ)模型時(shí)，采用SFT反而可能帶來(lái)性能下降的風(fēng)險(xiǎn)。

最近，由美國(guó)卡內(nèi)基梅隆大學(xué)、加拿大滑鐵盧大學(xué)等機(jī)構(gòu)的3名華人學(xué)者合作撰寫(xiě)的論文，對(duì)SFT提出了進(jìn)一步的改進(jìn)，提出了一種名為批判式監(jiān)督微調(diào)（CFT，Critique Fine-Tuning）的方法。這一創(chuàng)新旨在幫助模型更高效地模仿訓(xùn)練數(shù)據(jù)集。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調(diào)：讓SFT煥發(fā)新生

CFT將重點(diǎn)從簡(jiǎn)單模仿轉(zhuǎn)向基于批判的學(xué)習(xí)方式。其核心思想是讓模型學(xué)會(huì)批判性思維，而非簡(jiǎn)單模仿，這一理念源自人類(lèi)學(xué)習(xí)過(guò)程中的自我反思機(jī)制。

這一創(chuàng)新方法的提出，標(biāo)志著SFT重新展現(xiàn)出其潛力，為語(yǔ)言模型的發(fā)展注入了新的活力。

學(xué)術(shù)精英在學(xué)習(xí)過(guò)程中，不僅僅停留在簡(jiǎn)單地復(fù)制提供的答案，而是通過(guò)深入分析、批判性思考和持續(xù)改進(jìn)來(lái)深化對(duì)知識(shí)的理解。在CFT數(shù)據(jù)集中，模型通過(guò)提供相應(yīng)的批評(píng)，讓大模型能夠識(shí)別錯(cuò)誤，提出改進(jìn)建議，并驗(yàn)證正確性。

這種方法不僅有助于提升模型的推理能力，還能使模型在面對(duì)復(fù)雜任務(wù)時(shí)展現(xiàn)出了更強(qiáng)的適應(yīng)能力和靈活性。

例如，針對(duì)這個(gè)問(wèn)題：在直角三角形的直角邊長(zhǎng)分別為3個(gè)單位和4個(gè)單位的情況下，構(gòu)造一個(gè)正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

按照SFT模式，模型會(huì)逐步進(jìn)行運(yùn)算：首先應(yīng)用勾股定理計(jì)算斜邊長(zhǎng)度為5單位，接著計(jì)算正方形面積為25平方單位，三角形面積為6平方單位，最終模型給出答案25減去6。

而在CFT模式下，模型會(huì)對(duì)上述回答給出批評(píng)，指出錯(cuò)誤在于應(yīng)該加上而非減去三角形的面積，并給出正確答案31。

下圖展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT讓大模型直接模仿答案，CFT讓大模型模仿對(duì)錯(cuò)誤回答的批評(píng)。

CFT模式具有較高的訓(xùn)練效率。

那么，如何獲取CFT模式所需的訓(xùn)練數(shù)據(jù)呢？

論文基于WebInstruct，構(gòu)建了一個(gè)包含50K個(gè)帶批評(píng)意見(jiàn)的問(wèn)答對(duì)作為訓(xùn)練數(shù)據(jù)集，其中的批評(píng)由GPT-4等高級(jí)模型生成，上述的題目是其中一個(gè)例子。

CFT數(shù)據(jù)集與SFT數(shù)據(jù)集進(jìn)行對(duì)比分析

隨后，在CFT數(shù)據(jù)集上對(duì)未經(jīng)指令微調(diào)的7B規(guī)模大模型進(jìn)行訓(xùn)練，具體包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT方法的主要目標(biāo)是：將問(wèn)題x與錯(cuò)誤響應(yīng)y進(jìn)行拼接作為輸入，通過(guò)優(yōu)化模型參數(shù)生成評(píng)論c，這等價(jià)于訓(xùn)練模型具備批判性思維能力。

通過(guò)實(shí)驗(yàn)，作者考察了LLM在經(jīng)過(guò)指令微調(diào)和批判性微調(diào)后在數(shù)學(xué)相關(guān)基準(zhǔn)上的性能提升。結(jié)果顯示，CFT訓(xùn)練的模型在性能上持續(xù)優(yōu)于SFT訓(xùn)練的最佳模型。

實(shí)驗(yàn)中，作者對(duì)比了Qwen2.5-Math-7B在MATH和Minerva-Math基準(zhǔn)上的不同方法訓(xùn)練動(dòng)態(tài)對(duì)比圖，展示了CFT方法與兩種SFT變體的性能表現(xiàn)，橫軸表示訓(xùn)練步數(shù)，縱軸為準(zhǔn)確率數(shù)值。

在同樣是50k個(gè)樣本的訓(xùn)練數(shù)據(jù)下，不同基座模型經(jīng)過(guò)CFT和SFT訓(xùn)練后的性能提升情況得到了詳細(xì)對(duì)比。

從各種數(shù)據(jù)集和任務(wù)的測(cè)試結(jié)果來(lái)看，CFT方法的訓(xùn)練效果在全面性上均優(yōu)于SFT方法。

論文中，作者將訓(xùn)練后的Qwen2.5-Math-7B-CFT模型與知名的大模型如Llama系列、GPT系列，以及擅長(zhǎng)數(shù)學(xué)推理的Deepseek、Mathstral、Numina等系列模型進(jìn)行了對(duì)比分析。

從表中可以看出，Qwen2.5-Math-7B-CFT的平均性能（48.1%）顯著優(yōu)于參數(shù)量10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%），與Qwen2.5-Math-72B-Instruct（56.4%）的性能水平相當(dāng)。

在模型性能對(duì)比中，Qwen2.5-Math-7B-CFT的平均準(zhǔn)確率（48.1%）不僅超越了Llama系列中的Llama-3.1-70B-Instruct（40.4%）和Numina系列中的NuminaMath-72B-CoT（39.1%），還與Qwen2.5-Math-72B-Instruct（56.4%）的性能水平不相上下。

此外，基于CFT訓(xùn)練的模型在性能上與采用140倍計(jì)算資源訓(xùn)練的Deepseek R1開(kāi)源模型相當(dāng)，其GPU使用時(shí)長(zhǎng)縮減至原來(lái)的1/144，顯著降低了計(jì)算成本。

研究人員對(duì)CFT的多個(gè)關(guān)鍵因素進(jìn)行了消融實(shí)驗(yàn)。結(jié)果表明，CFT在數(shù)據(jù)來(lái)源、噪聲處理和教師模型選擇等方面表現(xiàn)出較強(qiáng)的魯棒性。

例如，即使使用較弱的GPT-4o-mini模型生成批評(píng)意見(jiàn)，CFT依然能帶來(lái)顯著的性能提升。

局限與展望

在CFT的數(shù)據(jù)集中，作為基準(zhǔn)的批評(píng)數(shù)據(jù)全部由LLM生成。經(jīng)過(guò)作者的手動(dòng)審查（共50條），發(fā)現(xiàn)其中有20%的批評(píng)意見(jiàn)本身就存在錯(cuò)誤，這些錯(cuò)誤可能對(duì)模型訓(xùn)練造成一定干擾，影響最終效果。

此外，CFT訓(xùn)練的模型目前尚未具備自我批評(píng)能力，尚未觀察到自我改進(jìn)的現(xiàn)象。

該研究的數(shù)據(jù)集存在一定的局限性，目前僅聚焦于數(shù)學(xué)問(wèn)題，在編程、科學(xué)推理以及人文推理等領(lǐng)域，是否適用CFT模式仍有待進(jìn)一步探索。

CFT的優(yōu)勢(shì)主要體現(xiàn)在顯著提升模型推理能力以及高效利用訓(xùn)練數(shù)據(jù)。通過(guò)讓模型學(xué)會(huì)批判性思維，相當(dāng)于實(shí)現(xiàn)一次強(qiáng)化學(xué)習(xí)。

相比于現(xiàn)有的自我修正、獎(jiǎng)勵(lì)模型等方法，CFT的目標(biāo)是通過(guò)批判學(xué)習(xí)來(lái)深化模型對(duì)問(wèn)題的理解，而非直接估計(jì)獎(jiǎng)勵(lì)分?jǐn)?shù)或進(jìn)行自我修正。這種方法在推理任務(wù)中展現(xiàn)出更強(qiáng)的適應(yīng)性和靈活性。

更為關(guān)鍵的是，CFT的數(shù)據(jù)集構(gòu)建和訓(xùn)練過(guò)程相對(duì)簡(jiǎn)單，計(jì)算成本較低，因此在實(shí)際應(yīng)用中具有較高的可行性和經(jīng)濟(jì)性。未來(lái)的研究可能在提升批判數(shù)據(jù)質(zhì)量和探索模型自我批判機(jī)制方面取得新的突破。

首先，構(gòu)建自動(dòng)驗(yàn)證工具或設(shè)計(jì)人類(lèi)可理解的批判性數(shù)據(jù)集，以顯著提升批判數(shù)據(jù)的質(zhì)量；同時(shí)，要實(shí)現(xiàn)模型的自我批判與持續(xù)改進(jìn)能力，必須通過(guò)用戶(hù)反饋機(jī)制，使模型能夠不斷優(yōu)化自身。

進(jìn)一步的研究可能探索將CFT與其他訓(xùn)練范式相結(jié)合，擴(kuò)展至多模態(tài)應(yīng)用環(huán)境，并深入研究其理論基礎(chǔ)。

參考資料：

https://arxiv.org/pdf/2501.17703