1. 首页 > 云计算 > 正文

SageMaker AI 实时端点支持 KV 缓存感知路由:多轮对话与长提示怎么配

Amazon SageMaker AI 的实时端点新增了 KV 缓存感知路由(KV_AWARE),它按模型容器上报的缓存状态,把每个请求送到缓存命中最长且当前不过忙的实例。该功能由 AWS 于 2026 年 11 月 17 日在官方博客宣布。它适合在 AWS 上自建大模型推理、且以多轮对话、RAG 或长系统提示为主的团队;单实例端点启用后没有实际效果,短提示、低负载场景收益也有限。

SageMaker AI 实时端点支持 KV 缓存感知路由:多轮对话与长提示怎么配

为什么长提示场景需要缓存感知路由

大模型应用里,聊天助手、检索增强生成(RAG)和带长系统提示的 Agent,会让很多请求以相同文本开头。模型把已经算过的提示内容保存在 GPU 显存的 KV 缓存里,同一段开头再次落到同一实例时,就能跳过这部分预填充(prefill)计算。缓存命中越多,首 token 延迟越低,单位算力能承接的请求也越多。

问题在于,请求该发往哪个实例。如果调度器不知道哪台实例还留着这段缓存,请求就会被随机分散,重复计算同一段长提示。SageMaker AI 此前提供的 PREFIX_AWARE 策略按请求前缀哈希来推断缓存位置,本次新增的 KV_AWARE 改为读取容器真实上报的缓存事件,判断依据更接近实例的实际状态。

四种路由策略怎么区分

KV_AWARE 上线后,SageMaker AI 实时端点在端点配置的 RoutingConfig 中可按生产变体选择四种策略。它们的判定依据和适用负载不同,选错策略不会报错,但可能拿不到预期的缓存收益。

策略 路由依据 更适合的负载
RANDOM(默认) 随机选择实例 非 LLM 模型、请求之间可互换的通用负载
LEAST_OUTSTANDING_REQUESTS 选择在途请求最少的实例 处理耗时波动大、希望各实例负载均衡
PREFIX_AWARE 按请求前缀哈希,前缀长度由 PrefixLength 决定 请求开头有稳定共享文本、负载中等、容器支持前缀缓存
KV_AWARE(新增) 按容器上报的缓存状态,匹配最长缓存前缀并权衡实例繁忙度 多轮对话、缓存频繁被驱逐、请求只共享部分开头

需要注意,PREFIX_AWARE 只根据请求本身推断缓存位置,看不到实例是否已经驱逐了旧缓存,也无法处理对话由短变长时前缀不断变化的情况。KV_AWARE 依据容器发布的缓存事件维护一份托管缓存索引,索引里只保存单向截断哈希和实例映射,不保存提示词、token ID、请求负载或 KV 张量。

两者在逐请求开销上也有差别:官方系列第一篇给出的前缀感知路由开销约为 1.3–1.9 毫秒;KV 感知路由需要对提示词分词并查索引,短提示只需几毫秒,长提示开销更高,主要花在分词上。因此提示很短、共享前缀稳定时,前缀感知路由的额外开销更小,往往已经够用。

KV_AWARE 的工作方式和回退逻辑

请求到达端点后,端点先对提示词分词,再到缓存索引中查找哪些实例持有这段内容、各持有多少。随后在候选实例中综合比较缓存匹配长度和繁忙程度:缓存命中最长的实例如果过忙,就退到次优的可用实例;没有有效匹配或候选实例全部繁忙时,回退到负载感知路由,请求仍会被处理,只是拿不到缓存收益。

这种回退在发布时不会出现在 SageMaker AI 控制台或指标中,因此不能只看控制台判断路由是否生效,需要按后文的验证方法用首 token 延迟、吞吐和缓存命中率做对比。

另外,KV_AWARE 需要至少两个实例,或推理组件至少两个副本才会实际生效。单实例下可以设置 KV_AWARE,端点不会拒绝,但所有请求都发往同一实例,等于没有路由选择。

启用前要确认的条件

发布时,KV_AWARE 对容器、端点和请求格式有明确限制,部署前逐项核对可以避免请求或部署直接失败。

  • 容器:仅支持 AWS vLLM Deep Learning Container,即 vLLM 0.33.0 及以上版本,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 及以上版本。前缀缓存需开启,默认即为开启。
  • 缓存事件:必须在模型容器环境变量中设置 SM_VLLM_KV_EVENTS_CONFIG,SageMaker AI 不会自动替你设置。没有它,端点就没有可路由的缓存状态。
  • 端点与实例:支持实时单模型端点和推理组件端点(含动态 LoRA 适配器),需使用 GPU 实例类型;也可通过 AWS CloudFormation 配置。
  • 请求格式:需为 OpenAI 兼容的 Completions 或 Chat Completions 负载,通过 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI 的 OpenAI 兼容 Chat Completions API 调用;InvokeEndpointWithBidirectionalStream 不支持。若设置了 model 字段,需与 SM_VLLM_MODEL 的值一致。
  • SDK 版本:要跟踪 KV 缓存命中率等详细可观测性数据,需 AWS CLI 2.35.6 及以上,或 Boto3 1.43.31 及以上。

上述版本号来自发布时的官方说明,后续可能更新,正式部署前应以 SageMaker AI 官方文档为准。

启用与验证步骤

启用分两处配置,客户端调用方式不变。以下步骤适用于满足上述容器和端点条件的实时端点,操作需要具备创建或更新 SageMaker 模型与端点配置的权限。

  1. 在创建模型时,于容器 Environment 中设置 SM_VLLM_KV_EVENTS_CONFIG,让容器上报缓存内容。该配置中的端口只在实例内部使用,不需要对网络开放。
  2. 在端点配置的生产变体 RoutingConfig 中,把 RoutingStrategy 设为 KV_AWARE。
  3. 部署端点,确认实例数或推理组件副本数不少于两个。
  4. 沿用原来的 InvokeEndpoint 或 OpenAI 兼容接口发起请求,客户端无需改动。
  5. 用真实流量对比启用前后的 p50 首 token 延迟、吞吐量和 KV 缓存命中率。官方建议在不确定策略时,先用 PREFIX_AWARE 跑基线,再对 KV_AWARE 端点做同样流量的对比。

官方博客给出的参考数据是:Llama 3.1 70B Instruct、7 台 ml.p5.48xlarge、30 分钟测试、20 或 100 个模拟用户、提示最长约 64,000 token,对比随机路由,长提示高负载下 p50 首 token 延迟最多降低 97%,吞吐最多提升 234%,缓存命中率从 3–48% 升至 80–93%。这些数字来自 AWS Machine Learning Blog 原文,是特定模型、实例和负载下的结果,不能直接套用到其他配置,实际收益需以自有流量验证。

按场景选择策略

如果请求开头是稳定共享的系统提示或文档,提示较短、负载中等,PREFIX_AWARE 不需要改容器就能用,通常已经够用。如果多轮对话每轮都会带上完整历史、缓存随显存压力被驱逐、或者前缀长度难以调准,KV_AWARE 更合适,因为它匹配的是实际缓存内容,不需要配置 PrefixLength 和并发阈值。

非 LLM 模型,或者请求之间可以随意互换、几乎没有可复用上下文的场景,用 RANDOM 或 LEAST_OUTSTANDING_REQUESTS 即可。扩缩容或实例更新后,新实例缓存为空,短期内延迟可能升高,这是正常现象,不必立刻判定路由失效。

成本方面,吞吐提升理论上意味着同等流量下可能减少实例数量或规格,但收益取决于命中率,发布说明中未提及该路由是否产生额外费用,涉及预算时应查阅官方定价页确认。

常见问题

单实例端点启用 KV_AWARE 会报错吗?

不会。端点可以正常设置 KV_AWARE,但由于只有一个实例或一个副本,所有请求仍然发往它,路由策略没有实际作用。想获得缓存收益,至少需要两个实例或两个副本。

PREFIX_AWARE 和 KV_AWARE 能否同时使用?

两者是端点配置中并列的路由策略,按生产变体选择其中一个。PREFIX_AWARE 依据请求前缀推断,KV_AWARE 依据容器上报的缓存状态,不需要同时开启。

启用后怎么确认缓存命中真的提升了?

用相同流量分别请求 PREFIX_AWARE 或 RANDOM 端点与 KV_AWARE 端点,比较 p50 首 token 延迟、吞吐量和 KV 缓存命中率。回退到负载感知路由的情况不在控制台指标中体现,需要结合这组对比判断。

哪些请求格式不支持 KV_AWARE?

InvokeEndpointWithBidirectionalStream 不支持;请求需为 OpenAI 兼容的 Completions 或 Chat Completions 负载。无法分词的请求会按回退逻辑走负载感知路由;具体错误场景以官方文档为准。

对话历史很长时,KV_AWARE 会不会把请求发到已经清掉缓存的实例?

缓存索引会随容器上报的驱逐事件更新,索引反映驱逐后,请求不会再被固定发往已丢弃缓存的实例,而是选择仍持有最长匹配的可用实例。

Mark · 主笔 / 15 年 IDC 从业经验

长期跟进云服务器、VPS、高防与网络线路的实际表现,负责本站测评方案设计、数据核对与内容审校。文中结论以实测数据为准,厂商合作不影响评测结果。

关于作者与评测方法 →

本文由网上采集发布,不代表我们立场,转载联系作者并注明出处:https://www.uuccloud.com/12114.html

联系我们

在线咨询:点击这里给我发消息

微信号:13180206831

工作日:9:30-18:30,节假日休息