聲明:本文來(lái)自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

3月10日消息，當(dāng)前人工智能開發(fā)成本已降至歷史新低。雖然更低廉的開發(fā)技術(shù)讓開發(fā)者倍感欣喜，但這一趨勢(shì)并非全是利好消息。隨著開發(fā)成本降至最低點(diǎn)，大科技公司對(duì)基礎(chǔ)模型的巨額投資，必須找到合理的解釋。

以下是翻譯內(nèi)容：

建立一家人工智能公司到底需要多少錢？隨著大型語(yǔ)言模型研發(fā)成本不斷降低，這個(gè)數(shù)字每天都在下降。

人工智能的算力成本持續(xù)下降，另外一種低成本訓(xùn)練優(yōu)質(zhì)大模型的"模型蒸餾技術(shù)"正在普及。這項(xiàng)新興廉價(jià)開發(fā)技術(shù)令A(yù)I開發(fā)者興奮不已，但它并非全是利好消息，也讓一些企業(yè)感到擔(dān)憂。這項(xiàng)歷史悠久的技術(shù)正被賦予新使命：對(duì)大多數(shù)人來(lái)說(shuō)是個(gè)福音，對(duì)特定群體意味著復(fù)雜挑戰(zhàn)，而對(duì)人工智能的未來(lái)發(fā)展則意義重大。

蒸餾技術(shù)解構(gòu)

人工智能開發(fā)者和專家表示，蒸餾技術(shù)的核心在于利用一個(gè)較大的"教師"模型來(lái)提升一個(gè)較小的"學(xué)生"模型的能力。具體來(lái)說(shuō)，就是讓"教師"模型生成回答和推理路徑，再讓"學(xué)生"模型模仿其行為模式。

據(jù)悉，中國(guó)公司DeepSeek（深度求索）以約500萬(wàn)美元的成本訓(xùn)練出與OpenAI抗衡的模型，在業(yè)內(nèi)引起了廣泛關(guān)注。這一消息引發(fā)了股市恐慌，因市場(chǎng)擔(dān)心芯片需求將下降，導(dǎo)致英偉達(dá)市值下跌6000億美元（但此預(yù)測(cè)尚未證實(shí)）。

加州大學(xué)伯克利分校的研究團(tuán)隊(duì)在1月份發(fā)布了一項(xiàng)研究，顯示他們僅花費(fèi)不到1000美元的算力成本就訓(xùn)練出兩個(gè)新模型。今年2月份，斯坦福大學(xué)、華盛頓大學(xué)以及艾倫人工智能研究所的研究人員進(jìn)一步突破，僅用更低成本就訓(xùn)練出一個(gè)實(shí)用的推理模型。

這些突破都得益于蒸餾技術(shù)的運(yùn)用。

蒸餾技術(shù)通常會(huì)與微調(diào)技術(shù)（fine-tuning）相結(jié)合，能夠以遠(yuǎn)低于其他方法的成本，在訓(xùn)練階段顯著提升模型性能。開發(fā)者常用這兩種技術(shù)賦予模型特定的專業(yè)知識(shí)或技能。例如，可以將Meta開發(fā)的通用基礎(chǔ)模型蒸餾成精通美國(guó)稅法的專家系統(tǒng)；或者利用DeepSeek的R1推理模型對(duì)Llama進(jìn)行蒸餾，從而增強(qiáng)后者在生成答案需要更長(zhǎng)時(shí)間時(shí)的推理能力。這樣，即使Llama需要更長(zhǎng)時(shí)間來(lái)展示推理過(guò)程，用戶也能逐步看到其思考過(guò)程。

SemiAnalysis的R1模型分析指出，推理模型的輸出對(duì)小型模型進(jìn)行微調(diào)，使其獲得推理能力，是該模型中最引人注目的部分。

除了價(jià)格低廉外，DeepSeek還利用R1推理模型對(duì)其他開源模型進(jìn)行了蒸餾處理。盡管DeepSeek的整尺寸模型和Llama的最大規(guī)模模型體積龐大，但僅能通過(guò)高性能硬件進(jìn)行運(yùn)行。蒸餾技術(shù)能夠緩解這一難題。圖靈資本合伙人薩米爾·庫(kù)馬爾表示，經(jīng)過(guò)蒸餾的模型不僅體積更小，而且內(nèi)存占用也更低，甚至可以在手機(jī)或邊緣設(shè)備上運(yùn)行。

DeepSeek的突破性創(chuàng)新在于，蒸餾處理并未犧牲模型性能，反而提升了其性能水平。

蒸餾技術(shù)雖非新興，卻已悄然發(fā)展成為一個(gè)重要研究方向。

蒸餾技術(shù)首次出現(xiàn)在2015年，由谷歌人工智能元老杰夫·迪恩、杰弗里·辛頓及谷歌DeepMind研究副總裁奧里奧爾·維尼亞爾斯共同撰寫的一篇論文中。維尼亞爾斯透露，該論文曾被NeurIPS頂級(jí)會(huì)議拒稿，理由是該技術(shù)對(duì)領(lǐng)域的發(fā)展影響有限。十年后，蒸餾技術(shù)已成為AI研究的核心議題之一。如今蒸餾技術(shù)的威力提升，源于可用作教師的開源模型數(shù)量與質(zhì)量的顯著提升。

DeepSeek的蒸餾技術(shù)應(yīng)用可見(jiàn)一斑。在Hugging Face平臺(tái)上，Meta Llama和阿里巴巴Qwen等傳統(tǒng)模型的蒸餾版本比比皆是。目前，Hugging Face存儲(chǔ)的約150萬(wàn)個(gè)模型中，有3萬(wàn)個(gè)名稱中帶有"distill"字樣，這通常表明它們經(jīng)過(guò)了蒸餾處理。但目前尚未有蒸餾模型登上海ugging Face排行榜。

蘋果公司的研究人員曾嘗試建立"蒸餾擴(kuò)展定律"，通過(guò)教師模型的規(guī)模、目標(biāo)模型規(guī)模和算力投入等參數(shù)預(yù)測(cè)蒸餾效果。他們發(fā)現(xiàn)，在特定條件下，使用高質(zhì)量教師模型時(shí)，蒸餾效果優(yōu)于傳統(tǒng)的監(jiān)督學(xué)習(xí)，但當(dāng)教師模型過(guò)大時(shí)，性能提升將趨于停滯。

盡管如此，蒸餾技術(shù)仍有助于縮短從理論到實(shí)際應(yīng)用的距離，降低人工智能創(chuàng)業(yè)門檻。然而，多位人工智能專家指出，這種技術(shù)雖然提供了捷徑，但并未否定昂貴基礎(chǔ)模型的必要性，反而削弱了大模型廠商的盈利能力。

基礎(chǔ)模型的發(fā)展前景堪憂？英偉達(dá)首席執(zhí)行官在最新財(cái)報(bào)發(fā)布后的采訪中表示，如今全球幾乎所有AI開發(fā)者都在使用DeepSeek的R1模型進(jìn)行蒸餾。這一技術(shù)帶來(lái)的機(jī)遇不容忽視，但對(duì)OpenAI和Anthropic等公司耗巨資開發(fā)的專有大模型構(gòu)成了直接威脅，可能會(huì)引發(fā)對(duì)抗。

此外，基礎(chǔ)模型公司還可以采取更激進(jìn)的策略。匿名的谷歌DeepMind研究員表示，推理能力的模型可以通過(guò)隱藏推理步驟或"痕跡"來(lái)防止被蒸餾。雖然OpenAI在大型o1推理模型中隱藏了完整的推理路徑，但其最新發(fā)布的o3-mini版本則展示了這些信息。特朗普政府人工智能政策顧問(wèn)戴維·薩克斯今年1月份在接受采訪時(shí)表示，未來(lái)幾個(gè)月，全球頂尖的人工智能公司將加大對(duì)蒸餾技術(shù)的圍剿力度。

不過(guò)，在開源人工智能的西部大開發(fā)中，要通過(guò)技術(shù)管控來(lái)遏制技術(shù)擴(kuò)散，其難度不言而喻。IBM的 Granite 模型就曾直言，Hugging Face 平臺(tái)上的大量 GPT 模型生成的、未經(jīng)授權(quán)的格式化訓(xùn)練數(shù)據(jù)集已經(jīng)變成了一個(gè)公開的秘密。

Anthropic 和 OpenAI 均未對(duì)此置評(píng)。（辰辰）