美股 insigtX

推理驱动三分之二 AI 负载,芯片部署格局生变

AI 支出正从巨型训练集群转向更小、可快速建设的站点,模块化数据中心正成为推理工作负载的天然归宿。如今,电力、冷却和内存供应对生成 token 的影响,已不亚于…

发布时间
市场
美股
信息来源
insigtX

AI 支出正从巨型训练集群转向更小、可快速建设的站点,模块化数据中心正成为推理工作负载的天然归宿。如今,电力、冷却和内存供应对生成 token 的影响,已不亚于芯片本身的原始性能。以推理为先的芯片制造商希望抓住这一转变。Positron AI Inc.在 9 月以 50 亿美元估值融资 8.75 亿美元,该公司围绕通用内存而非稀缺的高带宽内存构建推理设备。

Positron 销售与业务发展主管 Cameron McCaskill 表示,推理已超越训练,成为基础设施采购决策背后的驱动力。“我们现在正处于这样一个节点:在这些 AI 基础设施上运行的工作负载中,约三分之二是推理,三分之一是训练。而回到 2023 年,这个比例大概是 85% 训练,15% 推理,”McCaskill 说道,“所以现在你可以看到,为什么推理正在驱动他们如何建设基础设施的经济决策。”

McCaskill 在 SC26 大会上,于 SiliconANGLE Media 的直播工作室 theCUBE 的独家广播中,与 theCUBE Research 的 Rebecca Knight 和 John Furrier 进行了交谈。他们讨论了推理超越训练、Positron 的通用内存芯片设计,以及为何低功耗模块化数据中心适合推理。

为何模块化数据中心适合低功耗推理 Positron 的第一代 Atlas 服务器运行在可编程芯片上,公司计划明年初为其 Titan 服务器流片自有芯片。McCaskill 指出,甲骨文公司本季度正在其云中上线约 340 台 Atlas 服务器。一家新云提供商也已签约使用 Atlas,并承诺采用 Titan。Positron 的核心设计选择是跳过 HBM。

“业内其他公司几乎都在使用所谓的 HBM,即高带宽内存。它供应非常有限,价格非常昂贵,”McCaskill 说,“我们选择了通用内存。”这一选择也使功耗保持在足够低的水平,适用于风冷机房。McCaskill 解释说,单台 Positron 服务器的功耗约为 4500 瓦,一整机架 Titan 服务器的功耗在 40 千瓦以内。这种功耗足迹适合那些运营商能找到几兆瓦廉价电力且无需面对沉重监管障碍的站点。

对于希望将新容量变现的推理提供商而言,部署速度是吸引力的重要组成部分,McCaskill 表示。“我们现在看到有一类公司正在崛起,并向我们寻求产品,那就是模块化数据中心,他们拥有 0.5 兆瓦、1 兆瓦或 2.5 兆瓦的模块化数据中心,这些可以非常快速地部署,”McCaskill 说,“而许多推理参与者的目标,就是要在 90 到 120 天内,从获得土地和电力到实现可盈利的 token 生成。那些模块化数据中心,结合我们的技术,可以成为一个很好的解决方案。”

以下是完整的视频采访,属于 SiliconANGLE 和 theCUBE 对 SC26 大会报道的一部分:

(* 披露:NYSE Wired 赞助了 theCUBE 的这一环节。NYSE Wired 及其他赞助商对 theCUBE 或 SiliconANGLE 的内容没有编辑控制权。)

原文链接: https://siliconangle.com/2026/11/21/inference-two-thirds-ai-workloads-chip-deployment-positron-sc26/

insigtX 内容为资讯/教育性质,非投资建议。