工程工具

开源推理框架（vLLM、SGLang、Ollama、TensorRT-LLM）及本地部署工具链的重大版本与工程实践。

22条精选相关主题vLLM SGLang Ollama

最新精选

第 21–22 条 · 共 22 条

7月11日周六

星期六

06:58
SGLang Releases精选AI 评分7878
SGLang v0.5.15 发布，默认启用 Spec V2 与 Breakable CUDA Graph
SGLang 发布 v0.5.15，针对 Blackwell 平台调优 GLM-5.2 NVFP4 生产推理，并默认启用 Spec V2 零开销调度与 Breakable CUDA Graph 捕获路径。
工程工具 #工程工具 #推理优化 #SGLang
推荐理由：该版本针对 GLM-5.2 NVFP4 与 DeepSeek-V4 优化生产推理，并默认启用 Spec V2 与 Breakable CUDA Graph，降低调度与内核启动开销。

6月27日周六

星期六

07:02
SGLang Releases精选AI 评分7878
SGLang v0.5.14 发布，新增 GLM-5.2 等模型支持与 MoE 负载均衡
SGLang 发布 v0.5.14，新增 GLM-5.2、LiquidAI LFM2.5、Kimi-K2.7-Code、Poolside Laguna-M.1、DiffusionGemma、Zyphra ZAYA1、MiMo-V2-ASR 等模型支持，并加入 Waterfill 与 LPLB 两种 MoE 专家并行负载均衡方法。
工程工具 #工程工具 #推理优化 #SGLang
推荐理由：该版本新增多种模型支持与 MoE 负载均衡、线性注意力前缀缓存优化，并针对 DeepSeek-V4 在 Blackwell 上给出多项吞吐与显存改进。