跳到正文
原文
vLLM Releases· JaredforReal·· 3 天前AI 评分22

vLLM v0.31.0rc2 发布:修复 Mamba 稀疏注意力下 prompt 末尾 prefill checkpoint 问题

v0.31.0rc2

AI 导读

vLLM 发布 v0.31.0rc2,针对 Mamba 模型修复了稀疏注意力场景下 prompt 末尾 prefill checkpoint 的保留问题。该版本为候选发布版,具体性能指标与获取方式需参见 vLLM 官方仓库。

来源:vLLM Releases · github.com