聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

新智元報(bào)道

編輯：Peter東 喬楊

【新智元導(dǎo)讀】當(dāng)大模型面臨復(fù)雜的推理任務(wù)時(shí)，SFT表現(xiàn)出明顯不足。最近，來自CMU等機(jī)構(gòu)的華人團(tuán)隊(duì)提出了一種名為「批判性微調(diào)」（CFT）的方法。該方法僅使用50,000個(gè)樣本進(jìn)行訓(xùn)練，卻在多數(shù)基準(zhǔn)測(cè)試中超越了使用超過200萬個(gè)樣本的強(qiáng)化學(xué)習(xí)方法。

模仿訓(xùn)練是傳統(tǒng)語言模型的主要訓(xùn)練方式，而LLM在解決現(xiàn)實(shí)世界中的問題時(shí)展現(xiàn)出前所未有的性能，這一現(xiàn)象部分歸因于SFT技術(shù)的應(yīng)用。

在SFT訓(xùn)練過程中，模型被要求模仿人類標(biāo)注或合成的高質(zhì)量回復(fù)，這一行為旨在增強(qiáng)模型的通用指令遵循能力。這類SFT數(shù)據(jù)集通常采用Self-Instruct和Evol-Instruct等方法進(jìn)行構(gòu)建。

盡管SFT在某些情況下表現(xiàn)優(yōu)異，但也存在明顯的局限性。隨著數(shù)據(jù)集規(guī)模和質(zhì)量的提升，邊際收益逐漸遞減，尤其是在訓(xùn)練本身效果已經(jīng)較為理想的基礎(chǔ)模型時(shí)，使用SFT反而可能降低性能。

為了解決這些問題，CMU、滑鐵盧大學(xué)等機(jī)構(gòu)的3名華人學(xué)者最近發(fā)表了一篇論文，提出了一種改進(jìn)型的監(jiān)督微調(diào)方法，稱為批判式監(jiān)督微調(diào)（CFT）。這種方法的核心在于引導(dǎo)模型進(jìn)行批判性學(xué)習(xí)，而非簡(jiǎn)單的模仿訓(xùn)練。其靈感來源于人類的學(xué)習(xí)過程，旨在提升模型對(duì)復(fù)雜任務(wù)的適應(yīng)能力。

論文鏈接：https://arxiv.org/pdf/2501.17703

批判式監(jiān)督微調(diào)：讓SFT技術(shù)煥發(fā)新生

CFT的提出不僅為SFT技術(shù)注入了新的活力，也為監(jiān)督微調(diào)方法的未來發(fā)展提供了新的思路。

學(xué)霸在學(xué)習(xí)過程中不僅進(jìn)行簡(jiǎn)單的答案復(fù)制，而是通過深入分析和批判性思考來改進(jìn)自己的解答。同樣，在CFT數(shù)據(jù)集中，通過為錯(cuò)誤回答提供詳細(xì)的批評(píng)，模型能夠識(shí)別響應(yīng)中的缺陷，并提出改進(jìn)建議以驗(yàn)證正確性。

這種方法不僅能夠顯著提升推理能力，還能使模型在處理復(fù)雜任務(wù)時(shí)表現(xiàn)出更高的適應(yīng)性和靈活性。

例如，在直角三角形的直角邊長(zhǎng)分別為3個(gè)單位和4個(gè)單位的情況下，構(gòu)造一個(gè)正方形。求五邊形$ABCDE$的面積（單位：平方單位）。

在SFT模式下，模型會(huì)按照以下步驟進(jìn)行運(yùn)算：首先利用勾股定理計(jì)算斜邊長(zhǎng)度為5個(gè)單位，接著計(jì)算正方形的面積為25平方單位，以及三角形的面積為6平方單位，最后模型給出答案25-6=19平方單位。

在CFT模式下，模型不僅給出答案，還會(huì)對(duì)上述回答進(jìn)行批評(píng)，指出錯(cuò)誤在于應(yīng)加上而非減去三角形的面積，最終給出正確答案31平方單位。

下圖展示了典型的SFT和CFT數(shù)據(jù)樣例。

SFT模式下，大模型會(huì)直接模仿答案的結(jié)構(gòu)和格式，而CFT模式下，模型會(huì)模仿對(duì)錯(cuò)誤回答的批評(píng)和糾正。

CFT模式的高訓(xùn)練效率主要?dú)w功于其對(duì)錯(cuò)誤信息的深度處理能力。

那么，如何獲取CFT訓(xùn)練所需的數(shù)據(jù)集呢？

本文基于WebInstruct平臺(tái)，構(gòu)建了一個(gè)包含50,000對(duì)問答對(duì)的數(shù)據(jù)集，其中的每一例都附有來自GPT-4等高級(jí)模型生成的批評(píng)意見。這些問答對(duì)主要聚焦于數(shù)學(xué)領(lǐng)域（占65%），同時(shí)也涵蓋了物理、化學(xué)、商業(yè)等其他主題。

對(duì)比CFT數(shù)據(jù)集與其他SFT數(shù)據(jù)集

在CFT數(shù)據(jù)集上進(jìn)行7B規(guī)模的未經(jīng)指令微調(diào)優(yōu)化的LLM訓(xùn)練，包括DeepSeekMath-base、Qwen2.5和Qwen2.5-Math等模型。

CFT訓(xùn)練方法的目標(biāo)明確：將問題x與錯(cuò)誤回答y組合作為輸入，優(yōu)化模型參數(shù)以生成評(píng)論c，從而訓(xùn)練模型具備批判性思維能力。

實(shí)驗(yàn)結(jié)果表明，在經(jīng)過指令微調(diào)與批判性微調(diào)訓(xùn)練后，LLM在數(shù)學(xué)相關(guān)基準(zhǔn)測(cè)試中的性能提升顯著。研究發(fā)現(xiàn)，CFT訓(xùn)練的模型在數(shù)學(xué)基準(zhǔn)測(cè)試中持續(xù)優(yōu)于SFT訓(xùn)練的最佳模型。

與SFT相比，CFT方法的準(zhǔn)確率平均提升了4至10個(gè)百分點(diǎn)。此外，CFT模型的訓(xùn)練效率更高，在較少的訓(xùn)練數(shù)據(jù)量下即可快速收斂，這使其成為開發(fā)數(shù)學(xué)推理模型的理想選擇。

Qwen2.5-Math-7B模型在MATH和Minerva-Math任務(wù)上采用了不同訓(xùn)練方法的訓(xùn)練動(dòng)態(tài)對(duì)比，包括CFT與兩種SFT變體。橫軸表示訓(xùn)練步驟，縱軸顯示模型準(zhǔn)確率。

在相同規(guī)模的50k樣本數(shù)據(jù)集上，采用CFT與SFT訓(xùn)練的基座模型在各任務(wù)上的性能提升效果顯著。

僅以Qwen2.5-Math-7B模型為例，CFT訓(xùn)練方法在所有數(shù)據(jù)集和任務(wù)上的表現(xiàn)均全面超越了SFT方法。

論文對(duì)比了Qwen2.5-Math-7B-CFT模型與知名LLM、GPT系列以及擅長(zhǎng)數(shù)學(xué)推理的Deepseek、Mathstral、Numina等系列模型的性能。具體結(jié)果如表所示。

Qwen2.5-Math-7B-CFT模型的平均性能達(dá)到48.1%，其表現(xiàn)甚至超越了參數(shù)量為10倍的Llama-3.1-70B-Instruct（40.4%）和NuminaMath-72B-CoT（39.1%）。該模型的性能與Qwen2.5-Math-72B-Instruct（56.4%）相媲美。

此外，基于CFT訓(xùn)練的模型在性能表現(xiàn)上與基于140倍計(jì)算資源訓(xùn)練的SimpleRL模型（Deepseek R1的公開版本）不相上下，其GPU使用時(shí)長(zhǎng)減少至原來的1/144，這相當(dāng)于顯著降低了計(jì)算成本。

研究人員對(duì)CFT的多個(gè)關(guān)鍵因素進(jìn)行了消融研究。結(jié)果表明，CFT在數(shù)據(jù)來源的魯棒性、噪聲響應(yīng)的魯棒性以及教師批判模型選擇等方面都表現(xiàn)出較強(qiáng)的能力。

例如，即使使用較弱的GPT-4o-mini模型來生成批評(píng)意見，CFT依然能夠?qū)崿F(xiàn)顯著的性能提升。

局限與擴(kuò)展部分略。

在CFT訓(xùn)練數(shù)據(jù)集中，作為基準(zhǔn)的批評(píng)數(shù)據(jù)是由LLM生成的。經(jīng)過作者的手動(dòng)檢查，發(fā)現(xiàn)其中有20%的批評(píng)意見本身就存在錯(cuò)誤，這些錯(cuò)誤可能對(duì)模型的訓(xùn)練造成一定干擾，影響其最終性能表現(xiàn)。

此外，CFT訓(xùn)練的模型目前不具備自我批評(píng)能力，因此尚未觀察到自我改進(jìn)的現(xiàn)象。

該研究所使用的數(shù)據(jù)集在代表性方面仍存在不足，目前僅聚焦于數(shù)學(xué)問題，而對(duì)編程、科學(xué)推理以及人文相關(guān)領(lǐng)域的問題，是否能夠采用類似CFT模式進(jìn)行訓(xùn)練，仍有待進(jìn)一步探索。

CFT的優(yōu)勢(shì)在于顯著提升了模型的推理能力，并實(shí)現(xiàn)了對(duì)訓(xùn)練數(shù)據(jù)的高效利用。通過讓模型學(xué)會(huì)批判性思維，相當(dāng)于讓大型語言模型進(jìn)行了一次強(qiáng)化學(xué)習(xí)過程。

相比于現(xiàn)有的自我修正（Self-Correction）、獎(jiǎng)勵(lì)模型（Reward Models）等方法，CFT的目標(biāo)是通過批判學(xué)習(xí)來深化模型對(duì)問題的理解，而不是直接估計(jì)獎(jiǎng)勵(lì)分?jǐn)?shù)或進(jìn)行自我修正。這種方法在推理任務(wù)中的適應(yīng)性和靈活性表現(xiàn)更為突出。

更為關(guān)鍵的是，CFT的數(shù)據(jù)構(gòu)建和訓(xùn)練流程相對(duì)簡(jiǎn)潔，計(jì)算成本較低，因此在實(shí)際應(yīng)用中具有較高的可行性和經(jīng)濟(jì)性。未來的研究可能在提升批判數(shù)據(jù)質(zhì)量和探索模型自我批判機(jī)制方面取得新的進(jìn)展。

首先，構(gòu)建自動(dòng)驗(yàn)證工具或開發(fā)人類驗(yàn)證的批判數(shù)據(jù)集，以增強(qiáng)批判數(shù)據(jù)的質(zhì)量。要使模型具備自我批判與自我改進(jìn)能力，需通過用戶反饋使模型實(shí)現(xiàn)持續(xù)優(yōu)化。

進(jìn)一步的研究也可能包括將CFT與其他訓(xùn)練范式，如SFT和RL相結(jié)合，擴(kuò)展到多模態(tài)環(huán)境，并研究其理論基礎(chǔ)。

參考資料：

https://arxiv.org/pdf/2501.17703