聲明:本文來自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

3月10日，最近消息顯示，如今開發(fā)人工智能的成本正降至歷史新低。盡管更經(jīng)濟(jì)的人工智能開發(fā)技術(shù)讓開發(fā)者感到欣喜，但這一趨勢并非全是利好消息。隨著開發(fā)成本降至最低點(diǎn)，大科技公司對基礎(chǔ)模型的高昂投資需要有合理的解釋。

以下為翻譯內(nèi)容：

打造一家人工智能公司究竟要花多少錢？隨著大語言模型的研發(fā)成本越來越低，這個(gè)數(shù)字每天都在下降。

人工智能算力成本持續(xù)下降，此外，一種極低成本訓(xùn)練出優(yōu)質(zhì)大模型的“模型蒸餾技術(shù)”在不斷普及。新型廉價(jià)開發(fā)技術(shù)令A(yù)I開發(fā)者歡欣鼓舞，但這并非全然利好，也讓一些企業(yè)感到寒意。這項(xiàng)歷史悠久的技術(shù)正被賦予新價(jià)值：對多數(shù)人是福音，對特定群體意味著復(fù)雜挑戰(zhàn)，而對AI未來則意義深遠(yuǎn)。

蒸餾技術(shù)解構(gòu)

人工智能開發(fā)者和專家表示，蒸餾技術(shù)的本質(zhì)在于運(yùn)用一個(gè)模型提升另一個(gè)模型。讓一個(gè)較大的“教師”模型生成應(yīng)答與推理路徑，再讓一個(gè)較小的“學(xué)生”模型模仿其行為模式。

據(jù)傳中國公司DeepSeek（深度求索）以約500萬美元成本訓(xùn)練出與OpenAI compete的模型，在業(yè)界引起軒然大波。該消息引發(fā)股市恐慌，因擔(dān)憂芯片需求下降，英偉達(dá)市值慘跌6000億美元（但此預(yù)測尚未成真）。

加州大學(xué)伯克利分校的研究團(tuán)隊(duì)則在今年1月份發(fā)布研究，表明他們用不到1000美元的算力成本就訓(xùn)練出兩個(gè)新模型。今年2月份，斯坦福大學(xué)、華盛頓大學(xué)以及艾倫人工智能研究所的研究人員更進(jìn)一步，只用更低成本就訓(xùn)練出一個(gè)可用的推理模型。

這些突破都得益于蒸餾技術(shù)。

這項(xiàng)技術(shù)通常會(huì)搭配微調(diào)技術(shù)（fine-tuning），能以遠(yuǎn)低于其他方法的成本在訓(xùn)練階段提升模型性能。開發(fā)者常用這兩種技術(shù)賦予模型特定的專業(yè)知識(shí)或技能。例如，可以將Meta開發(fā)的通用基礎(chǔ)模型蒸餾成精通美國稅法的專家系統(tǒng)；或者利用DeepSeek的R1推理模型對Llama進(jìn)行蒸餾，從而增強(qiáng)后者的推理能力，讓Llama在生成答案需要更長時(shí)間時(shí)，能逐步展示推理過程。

SemiAnalysis的分析師在今年1月份的報(bào)告中指出，R1模型中最引人注目的部分，可能在于通過推理引擎的輸出對小型模型進(jìn)行微調(diào)訓(xùn)練，使其具備推理能力。

除了價(jià)格低廉外，DeepSeek還以R1推理引擎為核心，推出其他開源模型的壓縮版本。盡管DeepSeek的全尺寸模型和Llama的最大規(guī)模模型過于龐大，僅能通過高性能硬件進(jìn)行運(yùn)行，但蒸餾技術(shù)為解決這一問題提供了新的思路。圖靈資本合伙人薩米爾·庫馬爾表示，經(jīng)過蒸餾處理的模型不僅體積更小、參數(shù)更少，而且內(nèi)存占用也大幅降低，甚至可以在移動(dòng)設(shè)備或邊緣設(shè)備上運(yùn)行。

DeepSeek的突破性創(chuàng)新在于，經(jīng)過蒸餾處理后的模型性能并未因規(guī)?？s減而下降，反而有所提升。

蒸餾技術(shù)雖非新興概念，卻已悄然發(fā)展為一項(xiàng)重要技術(shù)。

蒸餾技術(shù)最早源于2015年，由谷歌人工智能先驅(qū)杰夫·迪恩、杰弗里·辛頓以及谷歌DeepMind研究副總裁奧里奧爾·維尼亞爾斯共同撰寫的一篇論文中提出。維尼亞爾斯最近透露，該論文曾因技術(shù)影響力有限而被NeurIPS頂級會(huì)議拒稿。然而，隨著時(shí)間的推移，蒸餾技術(shù)已成為AI領(lǐng)域的核心議題。與過去相比，如今蒸餾技術(shù)的威力顯著提升，主要得益于可用作教師模型的開源模型數(shù)量和質(zhì)量的大幅增加。IBM LLM Granite技術(shù)總監(jiān)凱特·索爾表示，DeepSeek通過MIT許可開源的最強(qiáng)大模型，實(shí)質(zhì)上正在侵蝕各大公司守護(hù)核心模型的緊閉大門。

蒸餾技術(shù)的應(yīng)用邊界在索爾的討論中得到了進(jìn)一步闡述。在Hugging Face平臺(tái)上，充斥著諸如Meta Llama和阿里巴巴Qwen等傳統(tǒng)模型的蒸餾版本。實(shí)際上，Hugging Face平臺(tái)上存儲(chǔ)的約150萬個(gè)模型中，有3萬個(gè)名稱中帶有“distill”字樣，這通常表明它們經(jīng)過了蒸餾處理。然而，目前并未有蒸餾模型進(jìn)入Hugging Face的熱門榜單。正如實(shí)體商店中的一元店，蒸餾技術(shù)具有頂尖的性價(jià)比，但其可選范圍有限且存在缺陷：專精某項(xiàng)任務(wù)的蒸餾模型在其他領(lǐng)域的表現(xiàn)可能會(huì)弱化。

蘋果公司的研究人員曾嘗試建立“蒸餾擴(kuò)展模型”，通過教師模型的規(guī)模、目標(biāo)模型規(guī)模和算力投入等參數(shù)預(yù)測蒸餾效果。他們發(fā)現(xiàn)，在特定條件下，當(dāng)使用高質(zhì)量的教師模型時(shí)，蒸餾效果優(yōu)于傳統(tǒng)的監(jiān)督式學(xué)習(xí)，但當(dāng)教師模型過大時(shí)，性能提升將停滯。

盡管如此，這一技術(shù)仍有助于縮短從概念到原型開發(fā)的距離，普遍降低人工智能創(chuàng)業(yè)門檻。然而，多位人工智能專家強(qiáng)調(diào)，這種捷徑并不否定開發(fā)昂貴基礎(chǔ)模型的必要性，但卻是大模型廠商盈利前景的動(dòng)搖因素。

基礎(chǔ)模型的未來出路何在？英偉達(dá)首席執(zhí)行官黃仁勛在最新財(cái)報(bào)發(fā)布后的采訪中表示，如今全球幾乎所有AI開發(fā)者都在使用DeepSeek的R1模型來進(jìn)行蒸餾。蒸餾技術(shù)帶來的機(jī)遇不容忽視，但對OpenAI和Anthropic等公司耗巨資開發(fā)的專有大模型構(gòu)成了威脅，甚至可能引發(fā)對抗。云平臺(tái)Hyperbolic聯(lián)合創(chuàng)始人張杰表示，他認(rèn)為基礎(chǔ)模型將越來越趨同化。預(yù)訓(xùn)練模型的能力存在上限，我們正逼近這一極限。張杰還認(rèn)為，大語言模型巨頭的未來發(fā)展應(yīng)聚焦于打造受歡迎的產(chǎn)品而非模型本身，這或許解釋了Meta選擇部分開源Llama模型的戰(zhàn)略考量。

此外，基礎(chǔ)模型公司還可以采取更為激進(jìn)的策略。匿名的谷歌DeepMind研究員表示，具備推理能力的模型可以通過隱藏推理步驟或“痕跡”來防止被蒸餾。雖然OpenAI在大型o1推理引擎中隱藏了完整的推理路徑，但新發(fā)布的o3-mini版本則展示了這些信息。特朗普政府人工智能政策顧問戴維·薩克斯在今年1月份的一次采訪中表示，“未來幾個(gè)月，頭部人工智能公司將加大對蒸餾技術(shù)的圍剿力度?！?/p>

不管怎樣，在開源人工智能領(lǐng)域這個(gè)充滿活力的"西部 Wild West"，想要通過限制蒸餾技術(shù)來遏制技術(shù)擴(kuò)散，這可并非易事。IBM的 Granite 指出，Hugging Face 平臺(tái)實(shí)際上已經(jīng)積累了大量未經(jīng)許可的、經(jīng)過格式化處理的 GPT 模型訓(xùn)練數(shù)據(jù)集，這早已成為公開的秘密。

而 Anthropic 和 OpenAI 對此均未置評。（辰辰）