分布式 AI 推理框架 llm-d 于近日发布 1.0 版本，发布时点选在圣何塞 PyTorch Conference 北美站开幕前夕。该项目由 Red Hat、IBM、Google 去年联合 CoreWeave、NVIDIA 等共同发起，AMD、Cisco、Hugging Face 等多家厂商参与贡献，瞄准的是企业级场景中最实际的问题：大模型如何在自有 Kubernetes 集群上稳定、高效地长期运行。

架构上，llm-d 是一套 Kubernetes 原生的分布式推理服务网络，工作在 vLLM、SGLang 等模型服务器之上的协调层。单台服务器跑通一个模型并不难，难的是集群中多组模型服务器的编排与调度——llm-d 的路由器会在请求转发前综合队列深度、前缀缓存可用性、服务器角色等因素决策，把流量送到最合适的服务实例上。

1.0 版本的发布意味着项目从性能演示走向生产就绪：新增的运维控制能力重点解决三件事——多个工作负载竞争同一批硬件时的资源协调、推理服务升级期间的流量无损切换，以及 AI 智能体规模化调用模型时的请求效率。IBM 研究院分享的测算显示，开源大模型配合 llm-d 分布式推理，在计算密集型任务上可较专有前沿模型方案显著降低推理成本。

对已经深耕 Kubernetes 的企业平台团队而言，这类项目的价值在于技能复用：用熟悉的 K8s 生态工具与运维体系承接 AI 推理负载，而不必为模型服务另建一套基础设施。随着 AI 推理从“单点跑通”进入“规模化运营”阶段，云原生与 AI 的融合正在从概念变为具体的开源工程实践。

来源：网易