聲明:本文來自于（ID:ykqsd.com）授權轉(zhuǎn)載發(fā)布。

3月10日，據(jù)最新消息，如今開發(fā)人工智能技術的成本已降至歷史新低。這一更低廉的開發(fā)技術讓開發(fā)者倍感振奮，然而，隨著開發(fā)成本降至最低點，大科技公司對基礎模型的巨額投資，必須找到合理的解釋。

3月10日，據(jù)最新消息，如今開發(fā)人工智能技術的成本已降至歷史新低。這一更低廉的開發(fā)技術讓開發(fā)者倍感振奮，然而，隨著開發(fā)成本降至最低點，大科技公司對基礎模型的巨額投資，必須找到合理的解釋。

隨著大語言模型研發(fā)成本的持續(xù)下降，打造一家人工智能公司所需的費用正以每日遞減的速度下降。

人工智能算力成本持續(xù)下降，此外，"模型蒸餾技術"這種以極低成本訓練出優(yōu)質(zhì)大模型的技術正在不斷普及。這項廉價開發(fā)技術令AI開發(fā)者歡欣鼓舞，但這并非全然利好，也讓一些企業(yè)感到寒意。這項歷史悠久的技術正被賦予新價值：對多數(shù)人來說，這項技術是福音；對特定群體而言，這項技術意味著復雜挑戰(zhàn)；而對于人工智能的未來發(fā)展而言，這項技術意義深遠。

蒸餾技術解構

開發(fā)人員和專家普遍認為，蒸餾技術的本質(zhì)在于運用一個模型提升另一個模型的能力。具體而言，就是讓一個較大的"教師"模型生成應答與推理路徑，再讓一個較小的"學生"模型模仿其行為模式。

據(jù)傳，中國公司DeepSeek（深度求索）以約500萬美元的成本訓練出的模型，已達到與OpenAI抗衡的程度。這一消息在業(yè)內(nèi)引起了軒然大波。然而，該消息引發(fā)市場對芯片需求下降的擔憂，導致英偉達市值下跌了6000億美元。盡管這一預測尚未成真，但該消息仍對市場產(chǎn)生了顯著影響。

今年1月，加州大學伯克利分校的研究團隊發(fā)布了一項研究，表明他們僅以不到1000美元的算力成本就訓練出兩個新模型。今年2月，斯坦福大學、華盛頓大學以及艾倫人工智能研究所的研究團隊更進一步，只用更低成本就訓練出一個可用的推理模型。

這些突破都得益于蒸餾技術。

這項技術通常會搭配微調(diào)技術（fine-tuning），能以遠低于其他方法的成本在訓練階段提升模型性能。開發(fā)人員常用這兩種技術賦予模型特定的專業(yè)知識或技能。例如，可以將Meta開發(fā)的通用基礎模型蒸餾成精通美國稅法的專家系統(tǒng)；或者利用DeepSeek的R1推理模型對Llama進行蒸餾，從而增強后者的推理能力，讓Llama在生成答案需要更長時間時，能逐步展示推理過程。

美國知名半導體分析機構SemiAnalysis的分析師在今年1月份發(fā)布的報告中指出：“R1模型中最引人注目的部分，可能就在于通過推理模型的輸出對一些非推理小模型進行微調(diào)，從而使這些模型具備推理能力?！?/p>

雖然價格低廉，但DeepSeek還將其R1推理模型作為教師，發(fā)布了其他開源模型的蒸餾版本。值得注意的是，DeepSeek的全尺寸模型以及Llama的最大規(guī)模模型過于龐大，只有特定硬件才能支持其運行。而蒸餾技術也有助于解決這一問題。圖靈資本合伙人薩米爾·庫馬爾表示：“經(jīng)過蒸餾的模型體積更小、參數(shù)更少、內(nèi)存占用更低，甚至可以在手機或邊緣設備上運行?！?/p>

DeepSeek的突破性在于，經(jīng)過蒸餾的模型性能并未因規(guī)?？s減而下降，反而有所提升。

蒸餾技術雖非新生事物，卻已悄然蛻變。

蒸餾技術最早出現(xiàn)在2015年，源于谷歌人工智能元老杰夫·迪恩、杰弗里·辛頓以及谷歌DeepMind研究副總裁奧里奧爾·維尼亞爾斯共同撰寫的一篇論文。維尼亞爾斯近期透露，該論文曾被NeurIPS頂會拒稿，理由是該技術“對領域影響有限”。十年后，蒸餾技術卻突然成為AI討論的核心議題。與過去相比，如今蒸餾技術的威力提升源于可用作教師模型的開源模型在數(shù)量與質(zhì)量上的飛躍。IBM LLM Granite技術管理總監(jiān)凱特·索爾在播客中表示：“DeepSeek通過MIT許可開源迄今最強大的模型，實質(zhì)上正在侵蝕各大廠商守護核心模型的緊閉大門?！?/p>

蒸餾技術的應用邊界索爾提到，互聯(lián)網(wǎng)開源模型庫Hugging Face平臺上充斥著諸如Meta Llama和阿里巴巴Qwen等傳統(tǒng)模型的蒸餾版本。實際上，Hugging Face存儲的約150萬個模型中，有3萬個名稱中帶有“distill”字樣，這通常表明它們經(jīng)過了蒸餾。但目前尚無蒸餾模型進入Hugging Face的榜單前列。正如實體店里的一元店，蒸餾技術雖具頂尖性價比，但可選范圍有限且存在缺陷：專精某項任務的蒸餾模型在其他領域的表現(xiàn)可能會弱化。

蘋果公司研究人員曾嘗試構建“蒸餾擴展定律”，通過教師模型的規(guī)模、目標模型規(guī)模和算力投入等參數(shù)預測蒸餾效果。他們發(fā)現(xiàn)，在特定條件下，當使用高質(zhì)量的教師模型時，蒸餾效果優(yōu)于傳統(tǒng)的監(jiān)督學習，但當教師模型過大時，性能提升將停滯。

盡管如此，這一技術仍有助于縮短從概念到原型的距離，普遍降低人工智能創(chuàng)業(yè)門檻。但多位人工智能專家強調(diào)，這種捷徑并不否定昂貴基礎模型的必要性，但卻是動搖了大模型廠商的盈利前景。

基礎模型還有出路嗎？英偉達首席執(zhí)行官黃仁勛在公司最新財報發(fā)布后接受采訪時表示：“如今全球幾乎所有AI開發(fā)者都在使用DeepSeek的R1來蒸餾新模型?！闭麴s技術帶來了機遇，但對OpenAI和Anthropic等公司耗巨資開發(fā)的專有大模型構成了威脅，有可能遭到對抗。云平臺Hyperbolic聯(lián)合創(chuàng)始人張杰表示：“我認為基礎模型將會越來越趨于同質(zhì)化。預訓練模型的能力存在天花板，我們正逼近這個極限?！睆埥苷J為，大語言模型巨頭的出路在于打造受歡迎的產(chǎn)品而非模型本身，這或許解釋了Meta選擇部分開源Llama模型的戰(zhàn)略考量。

此外，基礎模型公司還可以采用更激進的策略。匿名谷歌DeepMind研究員表示，具備推理能力的模型可以通過隱藏推理步驟或“痕跡”來防止被蒸餾。雖然OpenAI在大型o1推理模型中隱藏了完整的推理路徑，但新發(fā)布的o3-mini版本則展示了這些信息。特朗普政府人工智能政策顧問戴維·薩克斯今年1月份接受采訪時說：“未來幾個月，頭部人工智能公司將圍剿蒸餾技術。”

不過，在開源AI的"狂野西部"，要遏制技術擴散談何容易？IBM的LLM Granite的索爾直言：Hugging Face平臺充斥著大量未經(jīng)許可的格式化訓練數(shù)據(jù)集，這早已成為公開的秘密。

Anthropic和OpenAI均未對此作出回應或置評。（辰辰）