SGLang 与 RadixAttention

SGLang 于 2024 年 1 月由 LMSYS 推出，名称即「Structured Generation Language（结构化生成语言）」，从命名就能看出它的初衷：为大量相关模型调用而生——典型如多轮对话、抽取流水线、会分支与循环的 Agent。

这类应用高度重复：以 Agent 为例，每次调用都带着相同的系统提示词、相同的工具定义，以及一段只增不减的对话历史。SGLang 的 RadixAttention 用基数树（radix tree）按 token 前缀存储已算好的 KV 缓存；新请求到来时沿树向下走、复用所有匹配部分，只计算新增的那一段，长时间未用的分支会被优先淘汰。

SGLang 还配合缓存感知调度（cache-aware scheduling）：让共享前缀的请求挨在一起执行，使被复用的缓存分支在使用时仍然存活。

适用场景

• 多轮对话、Few-shot 学习、自一致性（self-consistency）采样；
• RAG 与抽取类工作流；
• 会分支、循环的 Agent 与思维树（tree-of-thought）。

在共享前缀明显的场景（聊天、Agent）中，RadixAttention 与前缀缓存的差异尤为明显，可显著降低首字延迟与重复算力。