Kinference

Kinference（读作 kay-inference）是由 Buoyant（服务网格 Linkerd 背后的公司）打造、于 2026 年 11 月 4 日 在 vLLM 官方博客 发布的开源推理控制平面，代码在 GitHub Kinference-AI/kinference。

它定位为“在 vLLM 和 Kubernetes 之上搭建推理平台所缺的那一层”：客户端只需把 OpenAI 或 Anthropic 兼容的请求指向 Kinference 的 HTTP 端点，Kinference 就负责按 token 限流、按租户统计用量与成本、智能负载均衡和推理策略，底层推理仍交给 vLLM。

解决什么问题

企业自建开源权重模型推理时，常见难题是：多模型、多 GPU 池、多租户混在一起，标准 Kubernetes Service 负载均衡不懂 LLM，既浪费 KV 缓存又难以管控成本。

核心能力

• KV 缓存感知负载均衡：根据 GPU 队列长度、历史性能和 GPU 上的 KV 缓存内容，把请求发给“做最少工作”的 vLLM worker。
• 推理策略（policy）：例如在缓存命中更划算时，把简单请求路由到便宜模型。
• 治理：token 级限流、租户用量与成本追踪、指标与 SLO。

官方基准

• 相比 Kubernetes 默认 Service 负载均衡，某类负载中位 TTFT 降低 95%、中位端到端延迟降低 45%。
• 容量测试中，shared-prefix 负载 goodput 提升 7.4×，多轮对话约 3.5×。

限制

• 新项目，生态与生产案例仍在积累。
• 依赖 Kubernetes Gateway API CRD 和 vLLM，非 K8s 环境不适用。

适合谁

在 Kubernetes 上用 vLLM 自建多模型、多租户推理平台的平台工程 / MLOps 团队。

如何上手

1. 阅读 vLLM 博客公告 与 GitHub Kinference-AI/kinference。
2. 按官方四步：安装 Gateway API CRDs → 安装 Kinference gateway → 安装 Kinference → 验证运行。
3. 把现有 OpenAI/Anthropic 兼容客户端的 base URL 改为 Kinference 端点。
4. 配置租户、限流与路由策略，并接入监控查看 TTFT、goodput 等 SLO 指标。