Google Cloud 开源工具降低 K8s 上闲置 AI 代理成本

Kubernetes 已成为分布式训练和推理的首选平台，但当它运行那些大部分时间都在等待的 AI 代理时，计算账单会怎样？当代理的容器或虚拟机保持预配状态时，客户既要为等待付费，也要为工作付费。

为了帮助客户控制这些成本并使代理工作负载更可预测，Google LLC 已向云原生计算基金会捐赠了三个项目，Google Cloud 的 AI 基础设施产品管理总监 Allan Naim 表示。对于 Kubernetes 本身而言，新的挑战是在活动间歇释放计算资源，同时让每个代理能够从上次中断的地方继续运行。

“第二幕是几年前；Kubernetes 已成为推理和训练的事实标准，”Naim 说。“现在真正有趣的是，我们正开启这第三幕……其中的典型模式与 Kubernetes 最初的设计方式截然不同。”

Naim 和 Google Cloud 产品经理 Gari Singh 在 KubeCon + CloudNativeCon NA 大会上，于 SiliconANGLE Media 的直播工作室 theCUBE 的独家直播中，与 theCUBE 的 Rebecca Knight 进行了交流。他们讨论了 Google Cloud 如何利用开源工具在 AI 代理闲置时削减计算成本。

分布式训练和推理的开放构建模块遇上代理式 AI
Naim 解释说，成本在代理工作负载中是一个严重问题，代理 90% 到 95% 的时间都处于闲置状态，等待模型、测试运行或人工批准。Google 开发了 Agent Substrate，这是一个开源运行时，可在 Kubernetes 上的隔离环境中托管 AI 代理。当代理被挂起时，该运行时会保存其内存和本地文件的快照，并释放其计算资源供其他代理使用。当工作恢复时，它会从该快照在可用的沙箱中恢复代理。

“从经济角度来看，这很有帮助，”Naim 说。“我们看到，在 Kubernetes 上运行 Agent Substrate 与直接在专用虚拟机和容器上运行这些代理相比，成本降低了 10 倍。”

安全是另一个担忧。据 Singh 介绍，作为回应，Google 在 2018 年开源了 gVisor，它位于主机内核之上，用于阻止或审计代理进行的每一次系统调用。

“代理和代理框架被设计用来解决问题——并试图解决问题——直到它们无法解决问题为止，”Singh 说。“它们会找到各种巧妙的变通方法。它们知道周围的一切。你要确保它没有对你的低级安全进行某些低级更改，没有进行出站网络调用，没有试图打开它不该打开的文件。”

Singh 指出，Google 还与 Anyscale Inc. 在 KubeRay 上合作，该工具可在 Kubernetes 上原生运行 Anyscale 的 Ray 平台，以便平台团队能够为许多研究小组提供分布式训练和推理。Naim 补充说，OpenRL 将这种方法带到了强化学习中，这为经过后训练的模型提供了防护栏。

“过去，要进行强化学习，你需要聘请十几位拥有博士学位的科研人员，”Naim 说。“我们的目标是，‘我们如何将强化学习带入平台工程领域，以便你可以在 Kubernetes 环境中运行强化学习，并利用它来持续改进你的代理工作负载？’”

以下是完整的视频采访，属于 SiliconANGLE 和 theCUBE 对 KubeCon + CloudNativeCon NA 大会报道的一部分：

（* 披露：Google Cloud 赞助了 theCUBE 的这一部分内容。Google Cloud 及其他赞助商对 theCUBE 或 SiliconANGLE 上的内容没有编辑控制权。）