聲明:本文來(lái)自于（ID:ykqsd.com）授權(quán)轉(zhuǎn)載發(fā)布。

AI生成圖片

大模型的"王后"可能被取代，只有更合適的"接班人"。繼DeepSeek-R1推理模型之后，算力供應(yīng)端押寶阿里巴巴千問(wèn)QwQ-32B，被視為即將大規(guī)模落地的推理模型。

3月10日，國(guó)家超算互聯(lián)網(wǎng)平臺(tái)宣布接入阿里巴巴千問(wèn)大模型，對(duì)外提供QwQ-32B API服務(wù)，用戶可免費(fèi)獲取100萬(wàn) tokens。

不少國(guó)產(chǎn)算力廠商已推出或計(jì)劃推出更適合QwQ-32B的算力部署模式。

前期，國(guó)產(chǎn)AI芯片廠商壁仞科技推出基于壁礪TM106全系列的一體機(jī)，全面支持QWQ-32B大模型推理；摩爾線程基于高速推理框架vLLM和MT Transformer推理引擎部署了QwQ-32B；算能的SophNet云平臺(tái)接入QwQ-32B模型，依托算能自主研發(fā)的TPU，推理速度達(dá)75 Tokens/s；東南大學(xué)基于其國(guó)產(chǎn)算力平臺(tái)，接入QwQ-32B模型，成為全國(guó)首個(gè)提供該服務(wù)的高校；青云科技旗下AI算力云也上線了QwQ-32B。

行業(yè)專家指出，作為推理模型，更關(guān)注的是性價(jià)比指標(biāo)。DeepSeek-R1普及了大模型推理場(chǎng)景，之后的大模型需提供更優(yōu)效果和更低成本，才能彌補(bǔ)DeepSeek-R1的替換成本。

阿里巴巴官方透露，在冷啟動(dòng)基礎(chǔ)上，通義團(tuán)隊(duì)針對(duì)數(shù)學(xué)、編程和通用能力進(jìn)行了兩輪大規(guī)模強(qiáng)化學(xué)習(xí)。在32B模型尺寸下，既能提供極強(qiáng)推理能力，又滿足低資源消耗需求，適合快速響應(yīng)或?qū)?shù)據(jù)安全要求高的場(chǎng)景。開(kāi)發(fā)者和企業(yè)可在消費(fèi)級(jí)硬件上部署本地設(shè)備，進(jìn)一步打造高度定制化AI方案。

在一系列權(quán)威基準(zhǔn)測(cè)試中，千問(wèn)QwQ-32B模型幾乎超越OpenAI-o1-mini，與最強(qiáng)開(kāi)源推理模型DeepSeek-R1齊駕。在AIME24評(píng)測(cè)集的數(shù)學(xué)能力測(cè)試中，以及LiveCodeBench的代碼能力評(píng)估中，千問(wèn)QwQ-32B表現(xiàn)與DeepSeek-R1不相上下，遠(yuǎn)超同尺寸R1蒸餾模型。

此外，千問(wèn)QwQ-32B模型集成了智能體Agent的能力，使其在使用工具的同時(shí)進(jìn)行批判性思考，并根據(jù)環(huán)境反饋調(diào)整推理過(guò)程。

此外，千問(wèn)QwQ-32B模型中還集成了與智能體Agent相關(guān)的能力，使其能夠在使用工具的同時(shí)進(jìn)行批判性思考，并根據(jù)環(huán)境反饋調(diào)整推理過(guò)程。

上述業(yè)內(nèi)人士指出，DeepSeek的成功后，行業(yè)內(nèi)為了加快部署步伐，導(dǎo)致大模型一體機(jī)市場(chǎng)迅速發(fā)展，但事實(shí)上，一體機(jī)可能并非最適合DeepSeek-R1的部署模式。

相較于QwQ-32B的稠密架構(gòu)模型，DeepSeek采用了稀疏模型架構(gòu)，以滿血版R1為例，其6710億參數(shù)需要占用671GB顯存。為了支持輸入/輸出、過(guò)程數(shù)據(jù)等操作，還需額外預(yù)留大量顯存空間。然而，在每次推理過(guò)程中，僅有370參數(shù)被激活，這表明一體機(jī)中大量算力并未得到高效利用。

此外，國(guó)產(chǎn)芯片方面，DeepSeek-R1的開(kāi)源行為增強(qiáng)了行業(yè)對(duì)國(guó)產(chǎn)大模型的信心，而QwQ-32B憑借更大的算力和采用Apache 2.0協(xié)議開(kāi)源，使得消費(fèi)級(jí)顯卡能夠輕松部署。即使國(guó)產(chǎn)芯片在性能上不及英偉達(dá)GPU，但在做好兼容性和適應(yīng)性前提下，已能夠滿足更多個(gè)人開(kāi)發(fā)者及中小企業(yè)以低成本接入頂級(jí)模型的需求。

一位云計(jì)算行業(yè)的分析師表示，自ChatGPT推出以來(lái)，生成式AI對(duì)云計(jì)算收入增長(zhǎng)的貢獻(xiàn)至少占有一半。這些收入主要來(lái)自推出新大模型/GPU服務(wù)或通過(guò)改進(jìn)現(xiàn)有云服務(wù)來(lái)驅(qū)動(dòng)AI應(yīng)用。值得注意的是，AI不再僅僅是云計(jì)算的應(yīng)用擴(kuò)展，而是成為驅(qū)動(dòng)云計(jì)算戰(zhàn)略演進(jìn)的核心驅(qū)動(dòng)力。

從大模型與算力相互促進(jìn)的角度來(lái)看，大模型的部署正從單純的"技術(shù)摸高"走向"技術(shù)摸高+工程創(chuàng)新"的并行發(fā)展，而算力結(jié)構(gòu)則從"預(yù)訓(xùn)練"時(shí)代轉(zhuǎn)向"預(yù)訓(xùn)練+后訓(xùn)練+推理"的新模式。算力需求將持續(xù)增長(zhǎng)。

以阿里云為例，其遵循"AI驅(qū)動(dòng)，公共云優(yōu)先"的發(fā)展戰(zhàn)略，開(kāi)源的千問(wèn)大模型已成為連接AI與云計(jì)算的重要抓手。在最新一期的阿里云財(cái)報(bào)中，AI收入已連續(xù)六個(gè)季度實(shí)現(xiàn)三位數(shù)增長(zhǎng)，并推動(dòng)云服務(wù)收入重返13%的高增長(zhǎng)區(qū)間，達(dá)到317億元人民幣，增速較上一季度的7%接近翻番。這一增長(zhǎng)趨勢(shì)推動(dòng)了云+AI的估值邏輯，最終帶動(dòng)阿里巴巴股價(jià)上漲近60%，市值狂飆至超過(guò)1100億美元。

通過(guò)開(kāi)源合作，阿里通義千問(wèn)已成為支持最多大模型的國(guó)產(chǎn)算力平臺(tái)之一，并在海外被包括Camel.AI、SambaNova Cloud、OpenRouter、ChatLLM、Together.AI、LM Studio在內(nèi)的多家平臺(tái)部署并提供API服務(wù)。

目前，通義千問(wèn)在HuggingFace熱門大模型排行榜上穩(wěn)居榜首，其衍生模型數(shù)量已超過(guò)10萬(wàn)個(gè)，超越美國(guó)的Llama模型，成為全球應(yīng)用最廣泛的AI大模型。（本文首發(fā)于鈦媒體APP，作者 | 張帥，編輯 | 蓋虹達(dá)）