vLLM Releases· khluu·· 11 天前精选AI 评分88
vLLM v0.30.0 发布,新增 Fast Start 权重缓存与 HiSparse 主机分层
v0.30.0
AI 导读
vLLM 发布 v0.30.0,包含来自 315 位贡献者的 762 个提交,新增 DeepSeek-V4.1-Flash、GLM-5.3-Flash、K2-Horizon 等模型支持,并引入 Fast Start 权重缓存守护进程与 HiSparse 主机分层解码。
推荐理由
该版本新增 Fast Start 权重缓存与 HiSparse 主机分层,并针对 DeepSeek-V4.1、Kimi K3 等模型优化稀疏注意力与量化内核,可降低重启与显存开销。
来源:vLLM Releases · github.com