vLLM Releases· JaredforReal·· 3 天前AI 评分22
vLLM v0.31.0rc2 发布:修复 Mamba 稀疏注意力下 prompt 末尾 prefill checkpoint 问题
v0.31.0rc2
AI 导读
vLLM 发布 v0.31.0rc2,针对 Mamba 模型修复了稀疏注意力场景下 prompt 末尾 prefill checkpoint 的保留问题。该版本为候选发布版,具体性能指标与获取方式需参见 vLLM 官方仓库。
来源:vLLM Releases · github.com