美股 insigtX

推理驅動三分之二 AI 負載,芯片部署格局生變

AI 支出正從巨型訓練集群轉向更小、可快速建設的站點,模組化數據中心正成為推理工作負載的天然歸宿。如今,電力、冷卻和內存供應對生成 token 的影響,已不亞於…

發布時間
市場
美股
資訊來源
insigtX

AI 支出正從巨型訓練集群轉向更小、可快速建設的站點,模組化數據中心正成為推理工作負載的天然歸宿。如今,電力、冷卻和內存供應對生成 token 的影響,已不亞於芯片本身的原始性能。以推理為先的芯片製造商希望抓住這一轉變。Positron AI Inc.在 9 月以 50 億美元估值融資 8.75 億美元,該公司圍繞通用內存而非稀缺的高帶寬內存構建推理設備。

Positron 銷售與業務發展主管 Cameron McCaskill 表示,推理已超越訓練,成為基礎設施採購決策背後的驅動力。“我們現在正處於這樣一個節點:在這些 AI 基礎設施上運行的工作負載中,約三分之二是推理,三分之一是訓練。而回到 2023 年,這個比例大概是 85% 訓練,15% 推理,”McCaskill 說道,“所以現在你可以看到,為甚麼推理正在驅動他們如何建設基礎設施的經濟決策。”

McCaskill 在 SC26 大會上,於 SiliconANGLE Media 的直播工作室 theCUBE 的獨家廣播中,與 theCUBE Research 的 Rebecca Knight 和 John Furrier 進行了交談。他們討論了推理超越訓練、Positron 的通用內存芯片設計,以及為何低功耗模組化數據中心適合推理。

為何模組化數據中心適合低功耗推理 Positron 的第一代 Atlas 服務器運行在可編程芯片上,公司計劃明年初為其 Titan 服務器流片自有芯片。McCaskill 指出,甲骨文公司本季度正在其雲中上線約 340 臺 Atlas 服務器。一家新雲提供商也已簽約使用 Atlas,並承諾採用 Titan。Positron 的核心設計選擇是跳過 HBM。

“業內其他公司幾乎都在使用所謂的 HBM,即高帶寬內存。它供應非常有限,價格非常昂貴,”McCaskill 說,“我們選擇了通用內存。”這一選擇也使功耗保持在足夠低的水平,適用於風冷機房。McCaskill 解釋說,單臺 Positron 服務器的功耗約為 4500 瓦,一整機架 Titan 服務器的功耗在 40 千瓦以內。這種功耗足跡適合那些運營商能找到幾兆瓦廉價電力且無需面對沉重監管障礙的站點。

對於希望將新容量變現的推理提供商而言,部署速度是吸引力的重要組成部分,McCaskill 表示。“我們現在看到有一類公司正在崛起,並向我們尋求產品,那就是模組化數據中心,他們擁有 0.5 兆瓦、1 兆瓦或 2.5 兆瓦的模組化數據中心,這些可以非常快速地部署,”McCaskill 說,“而許多推理參與者的目標,就是要在 90 到 120 天內,從獲得土地和電力到實現可盈利的 token 生成。那些模組化數據中心,結合我們的技術,可以成為一個很好的解決方案。”

以下是完整的影片採訪,屬於 SiliconANGLE 和 theCUBE 對 SC26 大會報道的一部分:

(* 披露:NYSE Wired 贊助了 theCUBE 的這一環節。NYSE Wired 及其他贊助商對 theCUBE 或 SiliconANGLE 的內容沒有編輯控制權。)

原文連結: https://siliconangle.com/2026/11/21/inference-two-thirds-ai-workloads-chip-deployment-positron-sc26/

insigtX 內容為資訊/教育性質,非投資建議。