Google Cloud 開源工具降低 K8s 上閒置 AI 代理成本

Kubernetes 已成為分佈式訓練和推理的首選平臺，但當它運行那些大部分時間都在等待的 AI 代理時，計算賬單會怎樣？當代理的容器或虛擬機保持預配狀態時，客戶既要為等待付費，也要為工作付費。

為了幫助客戶控制這些成本並使代理工作負載更可預測，Google LLC 已向雲原生計算基金會捐贈了三個項目，Google Cloud 的 AI 基礎設施產品管理總監 Allan Naim 表示。對於 Kubernetes 本身而言，新的挑戰是在活動間歇釋放計算資源，同時讓每個代理能夠從上次中斷的地方繼續運行。

“第二幕是幾年前；Kubernetes 已成為推理和訓練的事實標準，”Naim 說。“現在真正有趣的是，我們正開啟這第三幕……其中的典型模式與 Kubernetes 最初的設計方式截然不同。”

Naim 和 Google Cloud 產品經理 Gari Singh 在 KubeCon + CloudNativeCon NA 大會上，於 SiliconANGLE Media 的直播工作室 theCUBE 的獨家直播中，與 theCUBE 的 Rebecca Knight 進行了交流。他們討論了 Google Cloud 如何利用開源工具在 AI 代理閒置時削減計算成本。

分佈式訓練和推理的開放構建模組遇上代理式 AI
Naim 解釋說，成本在代理工作負載中是一個嚴重問題，代理 90% 到 95% 的時間都處於閒置狀態，等待模型、測試運行或人工批准。Google 開發了 Agent Substrate，這是一個開源運行時，可在 Kubernetes 上的隔離環境中託管 AI 代理。當代理被掛起時，該運行時會保存其內存和本地文件的快照，並釋放其計算資源供其他代理使用。當工作恢復時，它會從該快照在可用的沙箱中恢復代理。

“從經濟角度來看，這很有幫助，”Naim 說。“我們看到，在 Kubernetes 上運行 Agent Substrate 與直接在專用虛擬機和容器上運行這些代理相比，成本降低了 10 倍。”

安全是另一個擔憂。據 Singh 介紹，作為回應，Google 在 2018 年開源了 gVisor，它位於主機內核之上，用於阻止或審計代理進行的每一次系統調用。

“代理和代理框架被設計用來解決問題——並試圖解決問題——直到它們無法解決問題為止，”Singh 說。“它們會找到各種巧妙的變通方法。它們知道周圍的一切。你要確保它沒有對你的低級安全進行某些低級更改，沒有進行出站網絡調用，沒有試圖打開它不該打開的文件。”

Singh 指出，Google 還與 Anyscale Inc. 在 KubeRay 上合作，該工具可在 Kubernetes 上原生運行 Anyscale 的 Ray 平臺，以便平臺團隊能夠為許多研究小組提供分佈式訓練和推理。Naim 補充說，OpenRL 將這種方法帶到了強化學習中，這為經過後訓練的模型提供了防護欄。

“過去，要進行強化學習，你需要聘請十幾位擁有博士學位的科研人員，”Naim 說。“我們的目標是，‘我們如何將強化學習帶入平臺工程領域，以便你可以在 Kubernetes 環境中運行強化學習，並利用它來持續改進你的代理工作負載？’”

以下是完整的影片採訪，屬於 SiliconANGLE 和 theCUBE 對 KubeCon + CloudNativeCon NA 大會報道的一部分：

（* 披露：Google Cloud 贊助了 theCUBE 的這一部分內容。Google Cloud 及其他贊助商對 theCUBE 或 SiliconANGLE 上的內容沒有編輯控制權。）