SGLang v0.5.21 发布，前缀缓存默认切换 Rust 核心并支持 PD 运行时角色切换
SGLang 发布 v0.5.21，合并 779 个 PR，新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6 等模型支持，并引入 /v1/decisions 与 /v1/score 接口。
推荐理由：该版本将前缀缓存切换为 Rust 核心并支持 PD 实例运行时角色切换，为高吞吐推理部署提供多项可量化性能收益。
10月3日 · 周六
精选
最新精选
SGLang Releases精选AI 评分8080 Ollama Releases精选AI 评分6262 Ollama v0.35.1 发布，支持 Cloudflare Clef 决策模型与多模态输入
Ollama 发布 v0.35.1，通过 /v1/systemone 接口支持 Cloudflare 新开源决策模型 Clef（27B）与 Clef Flash（9B），两者均为多模态，可在请求中同时传入图像与文本状态并联合评分。
推荐理由：Ollama 新增 Cloudflare 开源决策模型支持与多模态图像输入，并扩展联网搜索次数与 Modelfile 能力声明。
Ollama Releases精选AI 评分6262 Ollama v0.35.0 发布，新增 /v1/systemone 决策模型接口
Ollama 发布 v0.35.0，新增基于 TypeSafe Jev API 的决策模型支持，通过 /v1/systemone 接口返回选项、概率与分数而非文本。
推荐理由：Ollama 新增决策模型接口，以概率与置信度输出替代文本生成，可用于工单分流与模型路由等分类任务。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM 发布 v1.3.0rc29，新增 Qwen3.5 FP8 与 Kimi K3 NVFP4 MoE 支持
NVIDIA TensorRT-LLM 发布 v1.3.0rc29，为 Qwen3.5 全局 FP8 检查点、Kimi K3 NVFP4 SiTU 的 CuTeDSL MoE 后端以及 DeepSeek V4 的 NVFP4 MLA 残差开关提供支持。
推荐理由：该版本为 Qwen3.5、Kimi K3、DeepSeek V4 等模型补齐 FP8/NVFP4 量化与 MLA 推理路径，并移除 AutoDeploy 等破坏性接口。
Ollama Releases精选AI 评分6767 Ollama v0.40.0-rc0 发布，Apple Silicon 默认启用 MLX 运行时
Ollama 发布 v0.40.0-rc0 预发布版本，在 Apple Silicon 设备上，MLX 运行时支持的模型架构将自动改用 MLX 执行。该版本通过 ollama pull qwen3.8 与 ollama run qwen3.8 即可拉取并运行对应模型，预发布期间还将测试并启用更多模型。
推荐理由：Ollama 在 Apple Silicon 上默认切换到 MLX 运行时，为本地模型推理提供新的执行后端路径。
GitHub Blog · AI & ML精选AI 评分6666 GitHub Security Lab 发布 Fuzzing Taskflow 智能体，自动化 C/C++ 模糊测试流程
GitHub Security Lab 发布 Fuzzing Taskflow，一个面向 C/C++ 项目的自主模糊测试流水线，只需指向 GitHub 仓库即可自动识别入口点、编写 harness、运行 AFL++ 并分诊崩溃。
推荐理由：该流水线把 harness 编写、覆盖率分析与崩溃分诊交给 LLM 智能体，并保留工具执行与决策的职责分离。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM 发布 v1.3.0rc28，默认启用 KV-cache manager V2
NVIDIA TensorRT-LLM 发布 v1.3.0rc28，为 Llama、Llama4 及 Nemotron 多模态模型默认启用 KV-cache manager V2，并移除 TensorRT serve、evaluation、benchmark 等废弃路径。
推荐理由：该版本为 Llama、Llama4 与 Nemotron 多模态模型默认启用 KV-cache manager V2，并新增 FP8 KV-cache 与 NCCL-EP 0.2 低延迟专家并行支持。
vLLM Releases精选AI 评分8888 vLLM v0.30.0 发布，新增 Fast Start 权重缓存与 HiSparse 主机分层
vLLM 发布 v0.30.0，包含来自 315 位贡献者的 762 个提交，新增 DeepSeek-V4.1-Flash、GLM-5.3-Flash、K2-Horizon 等模型支持，并引入 Fast Start 权重缓存守护进程与 HiSparse 主机分层解码。
推荐理由：该版本新增 Fast Start 权重缓存与 HiSparse 主机分层，并针对 DeepSeek-V4.1、Kimi K3 等模型优化稀疏注意力与量化内核，可降低重启与显存开销。
SGLang Releases精选AI 评分7878 SGLang v0.5.20 发布，新增统一基数树分支点缓存与采样掩码
SGLang 发布 v0.5.20，合并 713 个 PR，新增 GLM-5.3-Flash、Qwen3.8-Flash-Next 等模型支持，并引入统一基数树分支点缓存、采样掩码与 CPU 模拟器。
推荐理由：该版本通过统一基数树分支点缓存与采样掩码重叠调度，在长上下文与RL rollout场景下显著降低TTFT并提升解码吞吐。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM v1.3.0rc27 发布，新增 MiniMax-H3 与 Nemotron 3.5 Super VL 支持
NVIDIA TensorRT-LLM 发布 v1.3.0rc27，新增 MiniMax-H3 文生视频与首尾帧生视频支持、Nemotron 3.5 Super VL 多模态服务路径以及 Cosmos3 Edge Policy DROID 机器人策略支持。
推荐理由：该版本新增 MiniMax-H3、Nemotron 3.5 Super VL 等多模态模型支持与 cuDNN 注意力后端，并修复多项多 GPU 推理精度与挂起问题。
GitHub Blog · AI & ML精选AI 评分8383 GitHub 用 Copilot 将 Copilot runtime 迁移至 Rust，重写超 80 万行代码
GitHub 官方披露将 Copilot agent runtime 从 TypeScript/Node.js 完全重写为超过 80 万行生产级 Rust，横跨 128 个 PR 并增量上线。
推荐理由：GitHub 官方复盘将 Copilot agent runtime 从 TypeScript 迁移到 80 万行 Rust 的工程路径，含跨语言 FFI 与多智能体协作细节。
TensorRT-LLM Releases精选AI 评分6262 NVIDIA TensorRT-LLM 发布 v1.3.0rc26，新增 Rubin SM107 与 NVFP4 KV cache 支持
NVIDIA TensorRT-LLM 发布 v1.3.0rc26，新增 Rubin SM107 的 GEMM、MoE 与 CuTe DSL 支持，并加入 DeepSeek-V4 Hopper、Qwen3.8-Flash-Next、Kimi K3 on B200 等模型支持。
推荐理由：该版本为 Rubin SM107 与 Blackwell 平台补齐 GEMM、MoE 与 CuTe DSL 支持，并新增 NVFP4 KV cache 与流水线化 KV 传输，适合关注新硬件适配与推理吞吐的部署方评估。
SGLang Releases精选AI 评分8282 SGLang v0.5.19 发布，新增 beam search 与 DeepEP v2 后端
SGLang 发布 v0.5.19，合并 786 个 PR、来自 214 位贡献者，新增 Qwen3.8、Ling-3.0、Spark2.5、Granite 4.2 等模型支持，并引入 beam search 与 DeepEP v2 ElasticBuffer MoE 后端。
推荐理由：该版本新增 beam search 与 DeepEP v2 弹性缓冲后端，并在 AMD、Hopper 与 Blackwell 上给出多项可量化的推理吞吐与延迟收益。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM v1.3.0rc25 发布，KV cache manager V2 默认启用
NVIDIA TensorRT-LLM 发布 v1.3.0rc25，将 KV cache manager V2 设为 DeepSeek V3/R1/V3 Lite。
推荐理由：KV cache manager V2 默认启用并扩展 DSA、零拷贝 token 传递与分布式池重平衡，同时新增多款模型与视觉生成支持。
SGLang Releases精选AI 评分7878 SGLang v0.5.18 发布，新增 Muse Glimmer 等模型支持并优化启动与解码性能
SGLang 发布 v0.5.18，包含 212 位贡献者的 710 个 PR，新增 Muse Glimmer、Intern-S2-Mobius、SANA-Video、LTX-2.5、Cosmos3 等模型支持。
推荐理由：该版本通过启动阶段权重加载与 CUDA graph 捕获重叠、TP LMHead all-to-all 等改动，缩短了服务冷启动与解码延迟。
SGLang Releases精选AI 评分8888 SGLang v0.5.17 发布，day-0 支持 Kimi K3 与 MiniMax-H3
SGLang 发布 v0.5.17，包含 194 位贡献者的 582 个 PR，新增 Kimi K3 与 MiniMax-H3 的 day-0 支持，并引入 Rust 前端与 DCP 通信后端。
推荐理由：该版本为 Kimi K3 与 MiniMax-H3 提供 day-0 推理支持，并新增 DWDP MoE 预填充并行与权重加载优化，可显著降低大模型部署的显存与加载开销。
SGLang Releases精选AI 评分7878 SGLang v0.5.16 发布，新增 DSpark 投机解码与 Inkling 模型支持
SGLang 发布 v0.5.16，合并 574 个 PR，新增置信度驱动的 DSpark 投机解码算法、975B 参数多模态 MoE 模型 Inkling 支持，以及 LongCat 2.0 FP8、JetBrains Mellum v2、Pi0.5 等模型。
推荐理由：该版本引入置信度驱动的投机解码算法与多款新模型支持，并显著压缩 KV 缓存与投机显存占用，适合高吞吐推理部署参考。
SGLang Releases精选AI 评分7878 SGLang v0.5.15 发布，默认启用 Spec V2 与 Breakable CUDA Graph
SGLang 发布 v0.5.15，针对 Blackwell 平台调优 GLM-5.2 NVFP4 生产推理，并默认启用 Spec V2 零开销调度与 Breakable CUDA Graph 捕获路径。
推荐理由：该版本针对 GLM-5.2 NVFP4 与 DeepSeek-V4 优化生产推理，并默认启用 Spec V2 与 Breakable CUDA Graph，降低调度与内核启动开销。
SGLang Releases精选AI 评分7878 SGLang v0.5.14 发布，新增 GLM-5.2 等模型支持与 MoE 负载均衡
SGLang 发布 v0.5.14，新增 GLM-5.2、LiquidAI LFM2.5、Kimi-K2.7-Code、Poolside Laguna-M.1、DiffusionGemma、Zyphra ZAYA1、MiMo-V2-ASR 等模型支持，并加入 Waterfill 与 LPLB 两种 MoE 专家并行负载均衡方法。
推荐理由：该版本新增多种模型支持与 MoE 负载均衡、线性注意力前缀缓存优化，并针对 DeepSeek-V4 在 Blackwell 上给出多项吞吐与显存改进。
已经到底了