对话商汤大装置杨帆:从落地到大规模商用,国产异构混合算力是更务实解法_Token_推理_媒体
位置: 当前位置: 首页 >

对话商汤大装置杨帆:从落地到大规模商用,国产异构混合算力是更务实解法_Token_推理_媒体
发布时间:2026-07-25 13:40:02
  |  
阅读量:
字号:
A+ A- A

商汤科技联合创始人、大装置事业群总裁 杨帆

出品|搜狐科技

作者|郑松毅

逛完今年的WAIC展会,明显感受到行业风向变化:除了往年持续火热的“人工智能”、“具身智能”外,又出圈一个存在感很强的关键词——Token工厂。

简单来说,AI所有推理、交互的过程都需要消耗Token,所谓Token就是AI时代最基础的生产力单元。而Token工厂,就是规模化、低成本生产AI算力与推理能力的核心底座。

伴随Agent智能体规模化落地,全网Token消耗量迎来爆发式增长。中国信通院副院长魏亮披露,国内AI日均Token调用量从2024年初1000亿,飙升至2026年3月的140万亿,短短两年涨幅超千倍,标志着Token经济已然成型。

中国工程院院士郑纬民表示,单套Agent任务的Token消耗,是传统聊天模型的百倍乃至千倍。当前国内高端算力供给不足,需求暴涨进一步放大算力供需失衡,行业陷入“低端算力闲置、高端产能紧缺”的尴尬困境。

在行业阵痛节点,2026WAIC期间,商汤大装置于上海主办“算创·无限——Agentic时代AI基础设施创新发展论坛”,聚焦探讨国产算力规模化落地难题与方案。

会后,围绕国产算力差异化破局打法、前瞻布局太空算力等大众关切话题,商汤科技联合创始人、大装置事业群总裁杨帆,大装置事业群CTO宣善明,首席科学家张行程等一众高管与搜狐科技等媒体展开深度交流。

以下为对话精编:

媒体:商汤大装置为什么选择做起国产异构混合算力?

杨帆:硬拼单卡性能是一条性价比很低的路。国产芯片相比于海外高端芯片仍存在一定的差距。

所以我们换了更务实的打法,也就是PD分离异构混合推理。我们不要求单张国产卡做到和海外高端芯片一样强,而是把AI推理工作拆成两个环节分工协作:把吃算力、适合国产芯片发挥的上下文读取任务交给国产卡,把吃显存、吃低延迟的Token生成任务交给高端芯片。不同芯片各司所长、互补短板。

媒体:这套打法的实际效果如何?怎么印证不是“纸上谈兵”?

杨帆:在我们自建的上海临港智算中心,这套混搭方案能把国产芯片利用率最高提升152%,相比于国产同构,推理性价比达到NVIDIA H系列的1.25倍,目前已经实现正毛利。

媒体:今年WAIC场馆里看到很多“Token工厂”,很多创始人也说已经变成一片红海市场。你们怎么看这个市场?

宣善明:做Token工厂的企业特别多,类型各异:有特别传统的企业,也有特别新的、一二十个人就搞一个Token工厂的,都不太一样。

媒体:会担心自家的打法策略被别家复制吗?商汤的技术壁垒在哪?

杨帆:商汤的优势在于不只有技术,我们其实搭建了“技术-生态-商业”闭环布局,从“性价比、适配性、能效比”三个维度系统性破题,推动国产算力从落地可用到规模化盈利。

媒体:前段时间Kimi发布了K3大参数模型,但其坦言已陷入算力短缺困境。模型越来越大是否仍是未来趋势?此时对于Token工厂的挑战有哪些?

张行程:我们和头部模型厂商有密切交流,目前来看模型越来越大、万亿规模的模型,甚至几万亿参数的模型,仍是主要趋势。

大参数旗舰模型对算力服务提出了新挑战:模型整体参数庞大,仅少量专家参与单次计算,计算量增加有限。但巨量的参数规模叠加上下文长度大幅增加,对推理系统的存储提出来严苛的要求,不仅需要显存、内存、高速存储构成的大规模KV Cache,还必须配套大显存GPU搭建PD分离分布式推理系统。

同时行业面临供应链约束,高端算力芯片供给紧张,需上下游深度绑定,完成从技术到供应链全链路把控,才能响应需求。

媒体:不少企业对国产算力仍缺乏信任,你们是怎么一步步打消客户的各类担忧?

杨帆:客户对国产算力的顾虑,主要集中在硬件性能、综合成本、和使用信任三层。

硬件性能的短板没法一蹴而就,需要联动整条软硬件产业链,持续缩小国产芯片与海外产品的性能差距。成本层面,当下Token需求暴涨带来规模化集中***购,叠加异构调度大幅拉高硬件利用率,Token生产成本持续下降,全国一体化算力网落地后,跨区域协同调度还能进一步摊薄运营开销。

近半年我们也跑出了日均万亿级Token服务能力,正在扭转行业对国产算力的刻板印象,能看到愿意主动尝试的客户越来越多。

媒体:商汤此次也官宣布局太空算力,卷到马斯克的商业领域,为何决定提前布局这类短期无收益的前沿领域?

杨帆:太空算力、量子计算都属于长期战略技术储备,真正商业化最快也要3年后,我们现阶段提前布局,一是为了抢占技术先发优势,二是抢占稀缺的低轨太空***。

未来有两大落地场景,一是配套自身遥感业务,为例如东南亚国家提供服务,解决应急救灾问题;二是覆盖地面网络无法触达的偏远区域,通过星上算力直接输出Token和各类AI应用服务。

媒体:长期来看,AI基础设施赛道终局比拼的核心是什么?Token工厂未来会如何演变?

杨帆:短期行业还会陷入比拼硬件规模的内卷,但长期真正拉开行业差距的,一定是系统整合与全链路优化能力,这需要构建蛮复杂的体系。

算力、AI基础设施,大家都觉得是未来智能时代的水电煤,长周期持续高增长的大行业。但恰恰因为需求太大、增长太快,导致参与玩家专业度参差不齐——大量不具备持续经营能力的低效厂商扎堆入场,最终会在行业竞争里逐渐出清淘汰。

眼下产业链上下游仍处于快速迭代期,因此对基础设施服务商来说很难给出稳定成熟的方案。有两条行业改善路径:一是待国产算力体系经过三至五年发展逐步成熟,产业链迭代波动会明显收窄;二是伴随头部专业厂商市场份额持续提升,低效落后产能将被持续挤出,行业供给结构会进一步优化。返回搜狐,查看更多

对话商汤大装置杨帆:从落地到大规模商用,国产异构混合算力是更务实解法_Token_推理_媒体