SpecPilot

SpecPilot 是加州大学伯克利、普林斯顿、斯坦福与 NVIDIA 联合发布的自主算法/系统优化 Agent 循环，面向 LLM 投机解码（speculative decoding） 部署（项目页 stargazerx0.github.io/specpilot-project-page，代码 github.com/StargazerX0/SpecPilot，论文 arXiv:2611.02501）。它用代价模型定位当前「库存（stock）」实现与理论上限的差距，并行派出编码 Agent 探索方向，再以 token forcing 对照 stock 逐 token 校验，只保留无损且增益显著的改动，并把已验证机制写入结构化记忆供后续部署复用。

在四类目标模型、三种 drafter、两款 GPU（H100 / RTX PRO 6000）与五项基准上，SpecPilot 将相对自回归的加速从 stock 的 4.46× 提到 10.87×（单请求）、批处理场景从 1.94× 提到 3.93×，且不训练、不降质。作者 Kunjun Li 等于 2026-11-04 发帖宣布；中文圈同日跟进。注意：与同名的 girishr/SpecPilot（面向 Claude Code/Cursor 的 spec-driven 开发 CLI）不是同一项目。

解决什么问题

并行 drafter（如 DFlash2、DSpark）本可一次起草整块 token，但公开发布的 stock 系统往往吃不满理论加速，且最优改法高度依赖服务模式、drafter、目标模型与 GPU。手工为每个部署调参不可扩展。

与同类差异

• Agent 闭环：代价模型指路 → 多 Agent 并行探索 → 控制器只接受未见请求上确认的显著增益。
• 无损硬约束：token forcing 对照 stock，避免「加速但改答案」的 reward hacking。
• 发现了通用无损 12-bit 权重格式、混合循环目标的树形校验、两级校验与多种批处理机制等可复用组件。

限制

• 评测数字来自作者论文/项目页，需在自有 serving 栈上复现后再做容量规划。
• Agent 侧依赖强编码模型（文中用 Claude Opus 5.5 + Claude Code）与 GPU 预算。
• 与同名 SDD CLI 项目易混淆，检索与引用时请用 StargazerX0/SpecPilot 或论文标题。

适合谁

做 LLM 推理加速、投机解码与 serving 优化的系统工程师；以及研究「用编码 Agent 做 mlsys 自动发现」的团队。

如何上手

1. 阅读 项目页 与 arXiv:2611.02501，核对 stock 基线与评测协议。
2. Clone StargazerX0/SpecPilot，按仓库说明在目标 GPU/模型上跑密封评测。
3. 若只想借鉴机制（12-bit 格式、批处理校验等），可先从论文机制表挑与自家栈匹配的部分移植，再让 Agent 在封闭环境继续搜索。