SGLang Releases· Fridge003·· 11 小时前精选AI 评分80
SGLang v0.5.21 发布，前缀缓存默认切换 Rust 核心并支持 PD 运行时角色切换
v0.5.21
AI 导读
SGLang 发布 v0.5.21，合并 779 个 PR，新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6 等模型支持，并引入 /v1/decisions 与 /v1/score 接口。
推荐理由
该版本将前缀缓存切换为 Rust 核心并支持 PD 实例运行时角色切换，为高吞吐推理部署提供多项可量化性能收益。
来源：SGLang Releases · github.com