10 月 27 日，NVIDIA 发布 Mission Control 2.5。此次更新的核心变化是：此前仅适用于 Slurm 高性能计算负载的自主恢复引擎，正式扩展至由 NVIDIA Run:ai 调度管理的 Kubernetes 工作负载，让大规模 GPU 集群上的分布式训练任务同样获得跨技术栈的自动检测、诊断与恢复能力。

该引擎由自主任务恢复与自主硬件恢复两项服务组成，与调度器协同构成三层控制回路：任务恢复服务追踪任务执行位置、故障历史与拓扑，决定重启、重试或重新调度；硬件恢复服务监控节点与 GPU 健康，将异常资源剔除出调度池并启动诊断，避免故障蔓延到新任务。

官方以三类典型场景说明其价值：训练中 GPU 出现 ECC 错误等征兆时，任务恢复与硬件诊断并行推进，工作负载不必等待根因分析即可重新运行；瞬时软件故障按策略克制重试，避免不必要的硬件隔离；对反复出现健康警告的退化节点，系统可提前将其移出可用资源池，在任务中断发生前完成预防。

对运行 AI 训练与推理平台的企业而言，这套机制直指 GPU 集群运维两大痛点：数天至数周的长时任务中断成本高企，人工排障难以匹配数百节点的故障频率。新版同步增加 AI 网络异常检测 Beta 服务、Keycloak 身份验证改进与 Kubernetes 加固更新，并提供 Vera Rubin NVL72 早期访问支持，自建 AI 基础设施团队可结合现有 K8s 体系评估引入。

来源：网易（原文链接）