聲明:本文來(lái)自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

新智元報(bào)道

編輯：張三、李四

【新智元導(dǎo)讀】在處理復(fù)雜的推理任務(wù)時(shí)，傳統(tǒng)的監(jiān)督微調(diào)（SFT）方法確實(shí)顯得力不從心。近期，CMU等高校的華人團(tuán)隊(duì)在監(jiān)督微調(diào)方法上進(jìn)行了突破性改進(jìn)，提出了一種全新的方法——批判性微調(diào)（CFT）。該方法僅在5萬(wàn)個(gè)樣本上進(jìn)行微調(diào)，便在大多數(shù)基準(zhǔn)測(cè)試中超越了使用超過(guò)200萬(wàn)個(gè)樣本的強(qiáng)化學(xué)習(xí)方法。

模仿是傳統(tǒng)語(yǔ)言模型訓(xùn)練的主要方式。LLM在解決現(xiàn)實(shí)世界問(wèn)題方面表現(xiàn)出色，其中一項(xiàng)核心技術(shù)是監(jiān)督微調(diào)（SFT）。

在SFT過(guò)程中，模型需要模仿人類標(biāo)注或合成的高質(zhì)量回復(fù)，以增強(qiáng)其遵循指令的能力。這類SFT數(shù)據(jù)集通常采用Self-Instruct和Evol-Instruct等方法構(gòu)建。

然而，這種方法存在明顯的局限性。隨著數(shù)據(jù)集規(guī)模和質(zhì)量的提升，邊際收益逐漸降低，尤其是在基礎(chǔ)模型本身效果已經(jīng)較為出色的訓(xùn)練過(guò)程中，使用SFT可能會(huì)導(dǎo)致性能下降。

最近，三位來(lái)自全球頂尖高校的華人學(xué)者就發(fā)表了一篇論文，對(duì)SFT做出了進(jìn)一步的改進(jìn)，提出了一種新的方法——批判式監(jiān)督微調(diào)（CFT，Critique Fine-Tuning）。這種方法旨在讓模型更高效地模仿高質(zhì)量數(shù)據(jù)集。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調(diào)：讓SFT重新偉大

CFT將重點(diǎn)從簡(jiǎn)單模仿轉(zhuǎn)向基于批判的學(xué)習(xí)，其核心思想是讓模型學(xué)會(huì)批判性思維，而不是簡(jiǎn)單地模仿，這種理念源自人類的學(xué)習(xí)過(guò)程。

學(xué)霸在學(xué)習(xí)過(guò)程中不僅止于復(fù)制答案，而是通過(guò)深入研究、批判性分析和持續(xù)改進(jìn)來(lái)優(yōu)化自己的學(xué)習(xí)成果。類似地，CFT數(shù)據(jù)集通過(guò)為模型提供針對(duì)錯(cuò)誤回答的反饋，幫助LLM識(shí)別問(wèn)題所在并提出相應(yīng)的改進(jìn)建議，從而驗(yàn)證其解決方案的正確性。

這種方法不僅顯著提升了模型的推理能力，還使其在處理復(fù)雜任務(wù)時(shí)表現(xiàn)出更強(qiáng)的自適應(yīng)性和靈活性。

例如，針對(duì)以下問(wèn)題：在一個(gè)直角三角形中，兩條直角邊的長(zhǎng)度分別為3個(gè)單位和4個(gè)單位，構(gòu)建一個(gè)正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型將按照以下步驟運(yùn)算：首先運(yùn)用勾股定理計(jì)算斜邊長(zhǎng)度為5個(gè)單位，接著計(jì)算正方形的面積為25平方單位，再計(jì)算三角形的面積為6平方單位，最后得出答案25-6=19平方單位。

相比之下，在CFT模式下，模型不僅給出答案，還會(huì)對(duì)上述回答進(jìn)行反饋，指出錯(cuò)誤在于應(yīng)加而非減三角形面積，從而給出正確答案31平方單位。

如下圖所示，展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT模式下，模型直接模仿答案的結(jié)構(gòu)和格式，而CFT模式下，模型需要模仿對(duì)錯(cuò)誤答案的反饋和批評(píng)。

CFT模式的顯著優(yōu)勢(shì)在于其高訓(xùn)練效率。

那么，如何收集CFT訓(xùn)練所需的數(shù)據(jù)呢？

論文基于WebInstruct平臺(tái)，構(gòu)建了一個(gè)包含50K個(gè)問(wèn)答對(duì)的數(shù)據(jù)集，其中每個(gè)問(wèn)答對(duì)都附有由GPT-4等高級(jí)模型生成的批評(píng)意見(jiàn)。這些數(shù)據(jù)主要聚焦于數(shù)學(xué)領(lǐng)域（占65%），同時(shí)也涵蓋了物理、化學(xué)、商業(yè)等多學(xué)科主題。

CFT數(shù)據(jù)集與SFT數(shù)據(jù)集的對(duì)比分析

在未經(jīng)指令微調(diào)的CFT數(shù)據(jù)集上，訓(xùn)練一個(gè)7B規(guī)模的LLM模型，包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT方法的訓(xùn)練目標(biāo)明確：將問(wèn)題x與錯(cuò)誤回答y組合作為輸入，優(yōu)化模型參數(shù)以生成評(píng)論c，從而訓(xùn)練模型具備批判性思維能力。

實(shí)驗(yàn)結(jié)果顯示，LLM經(jīng)過(guò)指令微調(diào)與批判性微調(diào)后，在數(shù)學(xué)相關(guān)基準(zhǔn)上的性能提升顯著。具體而言，CFT訓(xùn)練的模型在數(shù)學(xué)基準(zhǔn)測(cè)試中表現(xiàn)持續(xù)優(yōu)于SFT訓(xùn)練的最佳模型。

與SFT相比，CFT方法的準(zhǔn)確率平均高出4-10個(gè)百分點(diǎn)。此外，訓(xùn)練效率更高，能夠在更少的訓(xùn)練數(shù)據(jù)量上實(shí)現(xiàn)更快的收斂，因此具有開發(fā)數(shù)學(xué)推理模型的潛力。

在MATH和Minerva-Math基準(zhǔn)測(cè)試中，對(duì)比了不同方法的訓(xùn)練動(dòng)態(tài)，包括CFT與兩種SFT變體。橫軸代表訓(xùn)練步數(shù)，縱軸顯示模型的準(zhǔn)確率。

在相同規(guī)模的50k樣本數(shù)據(jù)集上，比較了不同基座模型在CFT和SFT訓(xùn)練后性能的提升幅度。

僅以Qwen2.5-Math-7B模型為例，在各種數(shù)據(jù)集和任務(wù)上，CFT的訓(xùn)練效果都能全面超越SFT。

論文對(duì)比了訓(xùn)練后的Qwen2.5-Math-7B-CFT模型與知名模型，包括Llama系列、GPT系列以及Deepseek、Mathstral、Numina等系列模型，具體結(jié)果如下表所示。

Qwen2.5-Math-7B-CFT模型的平均性能（48.1%）在參數(shù)量10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%）之上，與Qwen2.5-Math-72B-Instruct（56.4%）模型的性能接近。

此外，基于CFT訓(xùn)練的模型在性能表現(xiàn)上與采用140倍計(jì)算資源訓(xùn)練的SimpleRL模型（基于Deepseek R1的公開版本）不相上下，其GPU運(yùn)行時(shí)間縮減至原來(lái)的1/144，這顯著降低了計(jì)算成本。

研究人員對(duì)CFT的多個(gè)關(guān)鍵因素進(jìn)行了消融研究。結(jié)果表明，CFT在數(shù)據(jù)來(lái)源的魯棒性、噪聲響應(yīng)的魯棒性，以及教師批判模型選擇方面展現(xiàn)出較強(qiáng)的穩(wěn)定性。

例如，即使使用較弱的GPT-4o-mini模型生成批評(píng)意見(jiàn)，CFT仍能帶來(lái)顯著的性能提升。

局限與擴(kuò)展

在CFT訓(xùn)練數(shù)據(jù)集中，作為“gold standard”的批評(píng)數(shù)據(jù)全部由LLM生成。經(jīng)過(guò)作者的手動(dòng)檢查，發(fā)現(xiàn)其中有20%的批評(píng)意見(jiàn)本身就存在錯(cuò)誤，這些錯(cuò)誤可能對(duì)模型訓(xùn)練帶來(lái)一定干擾，影響最終效果。

此外，當(dāng)前CFT訓(xùn)練的模型尚未具備自我批評(píng)能力，因此目前尚未觀察到自我改進(jìn)的效應(yīng)。

該研究采用的數(shù)據(jù)集存在一定的代表性問(wèn)題，目前主要集中在數(shù)學(xué)問(wèn)題上，而在編程、科學(xué)推理以及人文相關(guān)推理等領(lǐng)域，尚不清楚是否能采用類似的CFT模式進(jìn)行訓(xùn)練，仍有待進(jìn)一步研究。

CFT的優(yōu)勢(shì)主要體現(xiàn)在其對(duì)模型推理能力的顯著提升以及對(duì)訓(xùn)練數(shù)據(jù)的高效利用。通過(guò)模型學(xué)會(huì)批判性思維，相當(dāng)于讓大模型完成一次強(qiáng)化學(xué)習(xí)任務(wù)。

相較于現(xiàn)有的自我修正（Self-Correction）、獎(jiǎng)勵(lì)模型（Reward Models）等方法，CFT的目標(biāo)是通過(guò)批判學(xué)習(xí)來(lái)深化模型對(duì)問(wèn)題的理解，而非直接估計(jì)獎(jiǎng)勵(lì)分?jǐn)?shù)或進(jìn)行自我修正。這種方法在推理任務(wù)中展現(xiàn)出更強(qiáng)的適應(yīng)性和靈活性。

更加關(guān)鍵的是，CFT的數(shù)據(jù)集構(gòu)建和訓(xùn)練流程相對(duì)簡(jiǎn)單，計(jì)算成本較低，因此在實(shí)際應(yīng)用中具有較高的可行性和經(jīng)濟(jì)性。未來(lái)研究可能將進(jìn)一步提升批判數(shù)據(jù)的質(zhì)量，并探索模型自我批判機(jī)制的實(shí)現(xiàn)路徑。

其次，構(gòu)建自動(dòng)驗(yàn)證工具或開發(fā)人類驗(yàn)證的批判數(shù)據(jù)集，以確保批判數(shù)據(jù)的質(zhì)量得到提升。然而，要使模型具備自我批判和自我改進(jìn)的能力，就需要通過(guò)用戶反饋使模型實(shí)現(xiàn)持續(xù)優(yōu)化。

進(jìn)一步的研究可能還包括將CFT與其他訓(xùn)練范式（如SFT和RL）融合，并擴(kuò)展到多模態(tài)環(huán)境，同時(shí)深入探討其理論基礎(chǔ)。

參考資料：

https://arxiv.org/pdf/2501.17703