SGLang Releases· Qiaolin-Yu·· 14 天前精选AI 评分78
SGLang v0.5.20 发布，新增统一基数树分支点缓存与采样掩码
v0.5.20
AI 导读
SGLang 发布 v0.5.20，合并 713 个 PR，新增 GLM-5.3-Flash、Qwen3.8-Flash-Next 等模型支持，并引入统一基数树分支点缓存、采样掩码与 CPU 模拟器。
推荐理由
该版本通过统一基数树分支点缓存与采样掩码重叠调度，在长上下文与RL rollout场景下显著降低TTFT并提升解码吞吐。
来源：SGLang Releases · github.com