大模型降价之后，HPC路线怎么打Token成本战？

发布时间：2026-07-17 08:30:53 来源：安智兰德资讯网 作者：知识

出品| 虎嗅科技组
作者| 梁卡尔
编辑| 苗正卿
头图| 太初元碁提供

本文系虎嗅WAIC“追踪Token商业新范式”系列第【10】期。大模打

2026年一季度，型降公有云Token调用量已追平2025年全年总和。成本

中国信通院发布的大模打这一指数级爆发数据，标志着大模型行业正经历质变。型降Token不再仅是成本技术术语，而是大模打如水电煤般成为AI服务的核心计价单位。中国信通院人工智能研究所所长魏凯指出，型降业界对Token服务的成本关注焦点，已从单纯的大模打“调用量”转向“高质量”交付。

然而，型降在这场变革中，成本前端模型API单价持续走低，大模打用户调用成本显著下降；但后端AI芯片、型降HBM内存、成本电力及运维的物理账单却依旧沉重。大模型行业由此进入一个新的“算账周期”。

这种价格战将降本压力从前台模型厂商，直接传导至底层算力系统。今年，越来越多客户不再仅询问“单卡算力几何”，而是更关注同一模型在不同系统上，生产单个Token的综合成本。

在太初（杭州）集成电路有限公司（以下简称“太初元碁”）首席产品官、高级副总裁洪源看来，Token已成为推理时代最直观的成本载体。对用户而言，关注的是Token消耗量与问题解决率；对算力侧而言，则是在特定人工、能源和硬件成本下，追求最高的Token生产效率。因此，单个Token的生产成本，成为供需双方横向比较的关键标尺。

这意味着，国产AI芯片的竞争逻辑已变：从让大模型“跑得动”，升级为让大模型“跑得起”。

单卡跑分失效，集群效率为王

过去两年，国产AI芯片公司常被追问单卡指标。但在推理需求爆发后，客户关注点发生转移。

洪源观察到，以往客户纠结于单卡算力参数，今年则更聚焦于模型适配、单位Token生产成本及工程效率。

这一转变背后存在行业倒逼机制：大模型厂商在前台降价，DeepSeek等企业通过算法和工程创新拉低推理成本。若底层芯片、存储和网络无法提供更高的能效比，软件层节省的利润终将被硬件、能耗和集群效率重新定价。模型侧创新越快，底层算力系统的短板越易被放大。

因此，底层芯片和系统厂商的核心任务，是帮助客户在更低综合成本下持续生产Token。

相比单卡跑分，太初元碁更重视集群效率。洪源指出，大模型公司最关心的指标是：在千卡、五千卡乃至更大规模集群中，运行特定模型推理时的整体系统有效Token生产效率。

“单卡性能仅是参考基准，”洪源表示，“在万卡集群实际运行中，若底层网络互联带宽不足、通信效率未解，卡堆得再多只会造成巨大内耗。”

这也是太初元碁强调128、256卡等大规模芯片间高速互联（PC Link）、万卡集群及软硬件协同的原因。AI芯片竞争正从单卡参数表竞争，转向集群系统效率竞争。单卡性能是基础底座，但决定万卡性能上限的，是整个系统的通信与调度能力。

HPC路线切入Token成本战

太初元碁的特殊性在于，其并非从传统GPGPU路线切入，而是基于HPC（高性能计算）和异构众核基础进入AI芯片市场。这赋予了其区别于其他国产GPU路线的商业机会，但也带来了软件生态的解释成本。

正如英伟达近年来模糊“显卡”概念、将机柜包装为“巨型超算”，在推理场景中，大模型已不再是单卡表演，而是一项系统工程。相比单卡性能叙事，HPC出身团队更倾向于从集群并行效率、通信开销和任务调度理解AI推理。

前两年国产算力疯狂堆量阶段，不少智算中心堆出万卡集群，却因卡间通信和调度能力不足，导致算力严重损耗、频繁中断。这证明了万卡集群并非一万张单卡的简单相加。在大模型推理市场，超算经验能否帮助客户降低推理成本，尤其是在面对API价格战时，仍需验证。

洪源称，太初元碁对“效率”的理解概括为能效比，而非单纯堆卡。

“低端算力堆叠，虽增加了卡时，但计入能源成本和硬件折旧后，整体Token生产成本未必划算。我们不看单纯速度，而看单位Token的综合生成成本。”

国产AI芯片下一阶段的核心战场，在于谁能帮客户降低每百万Token的综合成本，且节省的收益需覆盖迁移、适配和运维成本。

真正的门槛：持续适配能力

异构路线面临的最大硬仗，是应对CUDA生态。

英伟达的核心优势在于围绕CUDA形成的开发者习惯和工具链。任何国产芯片进入生产环境，必须解决迁移成本承担问题。太初元碁采取三层策略：
1. 软件接口兼容转译：提供自研Agent迁移工具；
2. 原厂预适配：对主流模型进行预先适配。

目前，太初元碁已完成40多个主流模型的深度适配。

但能运行仅是第一步。在大模型行业，模型迭代以“周”为单位，而硬件更新以“年”为单位。芯片公司面临的最大考验，已非一次性Demo适配，而是如何跟上模型层的持续适配。

洪源认为，短期内大模型未脱离Transformer框架，只要底座不变，硬件无需频繁调整。面对周级小版本更新，太初元碁策略为：先用Transformer底座确保跑通，再针对核心算子做极致优化。

这种能力对应对突发新型架构尤为关键。DeepSeek等模型带来的MLA、MoE等工程变化，正在改变推理阶段对显存、带宽和算子的需求。若底层算子库和推理框架跟进缓慢，模型侧创新将直接转化为硬件侧适配压力。

针对新算子和新访存需求，太初元碁此前布局的“PD分离”架构，将大计算量的Prefill（预填充）阶段与高IO吞吐的Decode（解码生成）阶段拆分，利用芯片内不同核组匹配不同任务，集中资源对新算子做定向优化。

这种适配能力，决定了国产芯片在面对下一个“DeepSeek式冲击”时，能否让客户在不折腾硬件的前提下，快速将算法创新红利转化为市场竞争力。

国产芯片竞争开始分层

国产AI芯片竞争，已不能简单理解为替代英伟达。随着产业分层，各家厂商在不同客户场景中寻找定位：

• 华为昇腾：走大平台路线，优势在于供应链和生态整合；
• 百度昆仑芯、阿里平头哥：背靠大厂，拥有云和模型场景优势；
• 国产GPU公司：试图通过接近英伟达的路线降低迁移门槛；
• 太初元碁（HPC+AI异构路线）：押注集群能效比，保持“独立第三方”身份。

对于中立性的价值，洪源表示，模型公司选择芯片时，需开放模型权重和参数进行深度适配。若芯片厂自身做大模型，既当裁判员又当运动员，大模型客户天然存疑，需权衡潜在竞争关系。

身份中立为太初元碁提供了差异化机会，但这也是一把双刃剑：虽消除了客户防备心，但也意味着无法像平头哥或昆仑芯那样，利用集团内部自用业务算力池获得稳定收益。

没有大厂自留地，意味着必须在市场上竞争。这也解释了太初元碁为何坚持开源开放生态，并第一时间完成40多个主流大模型适配。最终，客户关注的仍是迁移成本、适配速度、稳定性和总成本。

智算中心不能只买卡

Token成本战的战火，终将蔓延至下游智算中心。

前两年智算中心建设热潮中，“买卡吃灰”现象频发。当资本狂热退去，算力从“军备竞赛”走向“精细化运营”时，洪源的建议很直接：先找到最终应用场景。

“你必须知道为什么建，建了之后给谁用。技术规律在变，但‘到底帮用户解决了什么真实问题’这一商业底层逻辑未变。”

这也是Token工厂能否成立的关键。衡量智算中心价值，不再是机房机柜数量或显卡堆叠量，而是集群能否稳定、持续地生产足够低成本的Token。

站在当下，洪源认为中国大模型生态正印证两个关键词：融合与场景落地。
* 融合：模型与芯片厂商走向深度协同，超越简单买卖关系；
* 场景落地：行业必须找到更多真正解决问题、且让人“用得起”的闭环场景。

以视频生成、多模态应用为例，能力已获证明，但大规模普及仍卡在成本上。未来产业破局点，未必仅在模型参数变大，而在于底层算力、模型架构和应用场景能否共同将推理成本打下来。

太初元碁押注的异构路线，正是在争夺这条成本曲线上的位置。但能否成功，取决于客户是否愿意用迁移成本换取更低的Token生产成本。

以下为虎嗅访谈精选

谈背景与行业转变

虎嗅：从您在芯片和算法领域这么多年的观察来看，为什么今年全行业都在谈“Token生产效率”和“算账”？

洪源：过渡核心还是围绕用户侧需求。今年以来，大模型能力有较大跃迁，用户发现其能真实解决问题。对用户而言，Token是使用形态；对我们算力侧而言，Token是可衡量的最直观成本载体。通过Token，用户知晓花费与问题解决率，供需双方有了横向对比标尺。

虎嗅：太初元碁内部是怎么看待“效率”这两个字的？

洪源：我们更看重“能效比”。单纯堆低端算力、堆卡，虽增加了卡时，但计入能源成本和硬件制造折旧后，整体Token生产成本并不划算。我们不仅看纯粹速度，更看单位Token的综合生成成本。

谈竞争格局

虎嗅：大模型厂商在疯狂打价格战，上层的降价会怎么传导到底层的系统商身上？

洪源：最直接感受是，以前客户纠结单卡单位算力指标，今年更关注模型适配情况、对应单位Token生产成本及工程效率。这里存在行业悖论：市场上Token价格下降是大模型厂商抢客行为及DeepSeek等公司算法工程创新的结果。实际上，底层硬件制造和存储内存成本在上升。大模型厂商承载极大成本压力，反而倒逼其更看重国产硬件性价比。

虎嗅：太初元碁一直强调128甚至256或者更多卡芯片间高速互联（PC Link）和万卡集群，为什么不把单卡跑分作为核心宣传点？

洪源：太初元碁从不单独提单卡优势，核心优势在于集群软硬件协同优化。单卡效率仅作参参考。大模型公司最关心千卡、五千卡甚至更高规模集群下，跑特定模型推理时的Token生产效率。若卡间“高速公路”未修好，单卡跑分再高，在集群中也是严重空转。

虎嗅：您怎么看待市场上几家国产芯片同行的竞争？

洪源：中国AI市场广阔，应用落地场景众多，国产芯片逐渐被认可，市场蛋糕足够大，关键在于找到自身差异点。太初元碁技术路线特殊性在于，在高性能计算加人工智能领域拥有天然基因。模型公司需开放核心模型权重和参数供芯片厂深度适配，太初元碁作为中立、独立第三方，反而是大模型厂商和运营商更放心的选择。

谈技术性能

虎嗅：英伟达有CUDA生态，太初元碁是怎么让客户在迁移到国产卡时做到“无感、丝滑”的？

洪源：我们主要做三层工作：
1. 虽不走GPGPU路线，但在自研软件中兼容和转译了CUDA命名接口规范和编程习惯，方便程序员上手；
2. 提供一套好用的迁移工具，包含能自动生成算子的智能体，以低代码方式帮客户快速迁移；
3. 最核心的是，在头部大模型厂商发版时，原厂已帮客户把前40多个主流模型深度适配好，拿过去直接就能跑。

虎嗅：大模型现在基本是“周更”节奏。你们怎么能跟上？

洪源：大版本更新上，目前纯文本或多模态均未脱离Transformer和注意力机制底层框架。只要大框架不动，硬件底层架构无需伤筋动骨。针对周级小版本更新，我们与不同模型大厂保持极高频沟通。在新模型设计之初，我们的下一代芯片便做提前准备。新模型发布后，先在Transformer基础底座确保“能跑通”，再根据用户反馈，集中精力投入研发，将核心算子拿出来做针对性微观极致优化，这是一个叠加和渐进过程。

虎嗅：在四十多个模型的深度适配中，太初元碁是怎么在底层“抠性能”，压榨每一瓦功耗的？

洪源：我们会分析到最微观算子层。例如，模型厂商极看重TTFT（首字延迟）及后续生成速率。我们做PD分离（Prefill与Decode分离），将大计算量Prefill阶段与高IO吞吐Decode阶段拆开，用芯片内不同核组对号入座。遇到DeepSeek等有工程创新的新算子，我们集中人员把大锤砸下去，彻底打下来该算子的时间消耗。

谈预判与建议

虎嗅：现在的智算中心建设非常热，但也出现了“买了一堆卡却在机房吃灰”的现象。您对这些着急建中心、买卡的企业有什么忠告？

洪源：核心建议只有一条：先找到具体最终的应用场景。你必须知道为什么建，建了之后给谁用。不管是互联网客户还是大模型客户，技术规律在变，但“到底帮用户解决了什么真实问题”这一商业底层逻辑一直没变。

虎嗅：如果请您对2026年下半年的中国大模型生态给出两个预测或关键词，会是什么？

洪源：
1. 融合：未来模型厂商与芯片厂商向下深度融合将越来越多，不再是简单买卖关系。
2. 场景落地：除Coding外，全行业必须找到更多能真正解决真实问题、且“用得起”的闭环场景。如视频生成、多模态应用，虽好用但成本高、用不起。未来突破方向，在于如何通过软硬协同，真正将多模态、视频生成的成本和功耗打下来。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4875457.html?f=wyxwapp

相关文章