SGLang v0.5.21 发布，前缀缓存默认切换 Rust 核心并支持 PD 运行时角色切换
SGLang 发布 v0.5.21，合并 779 个 PR，新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6 等模型支持，并引入 /v1/decisions 与 /v1/score 接口。
推荐理由：该版本将前缀缓存切换为 Rust 核心并支持 PD 实例运行时角色切换，为高吞吐推理部署提供多项可量化性能收益。
#SGLang
#SGLang
今日 1 条SGLang Releases精选AI 评分8080
SGLang Releases精选AI 评分7878 SGLang v0.5.20 发布，新增统一基数树分支点缓存与采样掩码
SGLang 发布 v0.5.20，合并 713 个 PR，新增 GLM-5.3-Flash、Qwen3.8-Flash-Next 等模型支持，并引入统一基数树分支点缓存、采样掩码与 CPU 模拟器。
推荐理由：该版本通过统一基数树分支点缓存与采样掩码重叠调度，在长上下文与RL rollout场景下显著降低TTFT并提升解码吞吐。
SGLang Releases精选AI 评分8282 SGLang v0.5.19 发布，新增 beam search 与 DeepEP v2 后端
SGLang 发布 v0.5.19，合并 786 个 PR、来自 214 位贡献者，新增 Qwen3.8、Ling-3.0、Spark2.5、Granite 4.2 等模型支持，并引入 beam search 与 DeepEP v2 ElasticBuffer MoE 后端。
推荐理由：该版本新增 beam search 与 DeepEP v2 弹性缓冲后端，并在 AMD、Hopper 与 Blackwell 上给出多项可量化的推理吞吐与延迟收益。
SGLang Releases精选AI 评分7878 SGLang v0.5.18 发布，新增 Muse Glimmer 等模型支持并优化启动与解码性能
SGLang 发布 v0.5.18，包含 212 位贡献者的 710 个 PR，新增 Muse Glimmer、Intern-S2-Mobius、SANA-Video、LTX-2.5、Cosmos3 等模型支持。
推荐理由：该版本通过启动阶段权重加载与 CUDA graph 捕获重叠、TP LMHead all-to-all 等改动，缩短了服务冷启动与解码延迟。
SGLang Releases精选AI 评分8888 SGLang v0.5.17 发布，day-0 支持 Kimi K3 与 MiniMax-H3
SGLang 发布 v0.5.17，包含 194 位贡献者的 582 个 PR，新增 Kimi K3 与 MiniMax-H3 的 day-0 支持，并引入 Rust 前端与 DCP 通信后端。
推荐理由：该版本为 Kimi K3 与 MiniMax-H3 提供 day-0 推理支持，并新增 DWDP MoE 预填充并行与权重加载优化，可显著降低大模型部署的显存与加载开销。
SGLang Releases精选AI 评分7878 SGLang v0.5.16 发布，新增 DSpark 投机解码与 Inkling 模型支持
SGLang 发布 v0.5.16，合并 574 个 PR，新增置信度驱动的 DSpark 投机解码算法、975B 参数多模态 MoE 模型 Inkling 支持，以及 LongCat 2.0 FP8、JetBrains Mellum v2、Pi0.5 等模型。
推荐理由：该版本引入置信度驱动的投机解码算法与多款新模型支持，并显著压缩 KV 缓存与投机显存占用，适合高吞吐推理部署参考。
SGLang ReleasesAI 评分2828 SGLang v0.5.15.post1 发布，修复 GLM 5.2 相关问题
SGLang 发布 v0.5.15.post1 补丁版本，主要针对 GLM 5.2 进行修复。此次更新解决了非 CUDA/HIP 设备上的 DSA 模型启动、CUDA 12 镜像的 flashinfer 依赖、长输入下 flashinfer trtllm FP4 MoE 内核导致的 NaN 输出，以及 GLM 5.2 IndexShare 在 PD 分离和上下文并行设置下的问题。
SGLang Releases精选AI 评分7878 SGLang v0.5.15 发布，默认启用 Spec V2 与 Breakable CUDA Graph
SGLang 发布 v0.5.15，针对 Blackwell 平台调优 GLM-5.2 NVFP4 生产推理，并默认启用 Spec V2 零开销调度与 Breakable CUDA Graph 捕获路径。
推荐理由：该版本针对 GLM-5.2 NVFP4 与 DeepSeek-V4 优化生产推理，并默认启用 Spec V2 与 Breakable CUDA Graph，降低调度与内核启动开销。
SGLang Releases精选AI 评分7878 SGLang v0.5.14 发布，新增 GLM-5.2 等模型支持与 MoE 负载均衡
SGLang 发布 v0.5.14，新增 GLM-5.2、LiquidAI LFM2.5、Kimi-K2.7-Code、Poolside Laguna-M.1、DiffusionGemma、Zyphra ZAYA1、MiMo-V2-ASR 等模型支持，并加入 Waterfill 与 LPLB 两种 MoE 专家并行负载均衡方法。
推荐理由：该版本新增多种模型支持与 MoE 负载均衡、线性注意力前缀缓存优化，并针对 DeepSeek-V4 在 Blackwell 上给出多项吞吐与显存改进。
Berkeley AI Research (BAIR)精选AI 评分6262 BAIR 综述自适应并行推理：从固定并行到模型自主控制流
BAIR 发布综述文章，系统梳理自适应并行推理（APR）这一范式，即让模型在推理时自行决定何时并行、开启多少线程以及如何协调。文章对比了 Multiverse、ThreadWeaver、Parallel-R1、NPR 等方法，指出 APR 相比 BoN 可避免冗余计算、相比 Tree-of-Thoughts 无需领域特定分解启发式，并给出以关键路径占比为核心的并行化奖励设计。
推荐理由：系统梳理自适应并行推理的推理系统设计与训练奖励方案，对比 Multiverse 与 ThreadWeaver 在 KV cache 聚合上的取舍。