SGLang v0.5.21 发布，前缀缓存默认切换 Rust 核心并支持 PD 运行时角色切换
SGLang 发布 v0.5.21，合并 779 个 PR，新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6 等模型支持，并引入 /v1/decisions 与 /v1/score 接口。
推荐理由：该版本将前缀缓存切换为 Rust 核心并支持 PD 实例运行时角色切换，为高吞吐推理部署提供多项可量化性能收益。
本地部署与端侧
全部主题个人电脑、边缘硬件与移动设备上的大模型本地私有化部署、量化与低延迟运行方案。
最新精选
第 1–10 条 · 共 10 条SGLang Releases精选AI 评分8080 Ollama Releases精选AI 评分6262 Ollama v0.35.1 发布，支持 Cloudflare Clef 决策模型与多模态输入
Ollama 发布 v0.35.1，通过 /v1/systemone 接口支持 Cloudflare 新开源决策模型 Clef（27B）与 Clef Flash（9B），两者均为多模态，可在请求中同时传入图像与文本状态并联合评分。
推荐理由：Ollama 新增 Cloudflare 开源决策模型支持与多模态图像输入，并扩展联网搜索次数与 Modelfile 能力声明。
NVIDIA Technical Blog精选AI 评分6262 NVIDIA 推出 DGX Spark 64GB 版本，双机集群支持 200B 参数本地模型
NVIDIA 宣布本月起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商推出搭载 64GB 统一内存的 DGX Spark，保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈。
推荐理由：64GB 统一内存版本把本地智能体推理门槛降到 4999 美元，双机集群可扩展至 200B 参数模型。
Ollama Releases精选AI 评分6262 Ollama v0.35.0 发布，新增 /v1/systemone 决策模型接口
Ollama 发布 v0.35.0，新增基于 TypeSafe Jev API 的决策模型支持，通过 /v1/systemone 接口返回选项、概率与分数而非文本。
推荐理由：Ollama 新增决策模型接口，以概率与置信度输出替代文本生成，可用于工单分流与模型路由等分类任务。
Ollama Releases精选AI 评分6767 Ollama v0.40.0-rc0 发布，Apple Silicon 默认启用 MLX 运行时
Ollama 发布 v0.40.0-rc0 预发布版本，在 Apple Silicon 设备上，MLX 运行时支持的模型架构将自动改用 MLX 执行。该版本通过 ollama pull qwen3.8 与 ollama run qwen3.8 即可拉取并运行对应模型，预发布期间还将测试并启用更多模型。
推荐理由：Ollama 在 Apple Silicon 上默认切换到 MLX 运行时，为本地模型推理提供新的执行后端路径。
vLLM Releases精选AI 评分8888 vLLM v0.30.0 发布，新增 Fast Start 权重缓存与 HiSparse 主机分层
vLLM 发布 v0.30.0，包含来自 315 位贡献者的 762 个提交，新增 DeepSeek-V4.1-Flash、GLM-5.3-Flash、K2-Horizon 等模型支持，并引入 Fast Start 权重缓存守护进程与 HiSparse 主机分层解码。
推荐理由：该版本新增 Fast Start 权重缓存与 HiSparse 主机分层，并针对 DeepSeek-V4.1、Kimi K3 等模型优化稀疏注意力与量化内核，可降低重启与显存开销。
SGLang Releases精选AI 评分7878 SGLang v0.5.20 发布，新增统一基数树分支点缓存与采样掩码
SGLang 发布 v0.5.20，合并 713 个 PR，新增 GLM-5.3-Flash、Qwen3.8-Flash-Next 等模型支持，并引入统一基数树分支点缓存、采样掩码与 CPU 模拟器。
推荐理由：该版本通过统一基数树分支点缓存与采样掩码重叠调度，在长上下文与RL rollout场景下显著降低TTFT并提升解码吞吐。
SGLang Releases精选AI 评分8282 SGLang v0.5.19 发布，新增 beam search 与 DeepEP v2 后端
SGLang 发布 v0.5.19，合并 786 个 PR、来自 214 位贡献者，新增 Qwen3.8、Ling-3.0、Spark2.5、Granite 4.2 等模型支持，并引入 beam search 与 DeepEP v2 ElasticBuffer MoE 后端。
推荐理由：该版本新增 beam search 与 DeepEP v2 弹性缓冲后端，并在 AMD、Hopper 与 Blackwell 上给出多项可量化的推理吞吐与延迟收益。
Berkeley AI Research (BAIR)精选AI 评分7171 K-Search 扩展 MLX 后端：将 CUDA 内核经验迁移至 Apple Silicon
IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 演化式内核搜索框架，新增 MLX 后端与结构化 CUDA-to-MLX 翻译层，可将现有 CUDA 内核知识自动适配为 Apple Silicon 内核。
推荐理由：通过结构化 CUDA 到 MLX 翻译层，让演化式内核搜索在 Apple Silicon 上逼近专家级性能，为跨硬件内核迁移提供可复用路径。
SGLang Releases精选AI 评分7878 SGLang v0.5.15 发布，默认启用 Spec V2 与 Breakable CUDA Graph
SGLang 发布 v0.5.15，针对 Blackwell 平台调优 GLM-5.2 NVFP4 生产推理，并默认启用 Spec V2 零开销调度与 Breakable CUDA Graph 捕获路径。
推荐理由：该版本针对 GLM-5.2 NVFP4 与 DeepSeek-V4 优化生产推理，并默认启用 Spec V2 与 Breakable CUDA Graph，降低调度与内核启动开销。