SGLang v0.5.21 发布，前缀缓存默认切换 Rust 核心并支持 PD 运行时角色切换
SGLang 发布 v0.5.21，合并 779 个 PR，新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6 等模型支持，并引入 /v1/decisions 与 /v1/score 接口。
推荐理由：该版本将前缀缓存切换为 Rust 核心并支持 PD 实例运行时角色切换，为高吞吐推理部署提供多项可量化性能收益。
NVIDIA 英伟达
全部主题英伟达算力与软件生态：TensorRT-LLM 优化加速、NeMo 框架与模型开源成果。
最新精选
第 1–13 条 · 共 13 条SGLang Releases精选AI 评分8080
NVIDIA Technical Blog精选AI 评分6262 NVIDIA 推出 DGX Spark 64GB 版本，双机集群支持 200B 参数本地模型
NVIDIA 宣布本月起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商推出搭载 64GB 统一内存的 DGX Spark，保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈。
推荐理由：64GB 统一内存版本把本地智能体推理门槛降到 4999 美元，双机集群可扩展至 200B 参数模型。
NVIDIA Technical Blog精选AI 评分8282 NVIDIA GPU 加速 OpenAI GPT-6 Astra Ultrafast，token 生成最高提速 8 倍
OpenAI 发布 GPT-6 Astra Ultrafast，运行于 NVIDIA Blackwell GPU，现已上线 OpenAI API 并向符合条件的 ChatGPT Work 和 Codex 用户开放。
推荐理由：OpenAI 新模型在 NVIDIA Blackwell 上通过推理优化实现最高 8 倍 token 生成加速，面向编码智能体等时延敏感场景。
NVIDIA Technical Blog精选AI 评分6262 CoreWeave 上线 NVIDIA Vera Rubin NVL72 与 Vera CPU，并推出 CoreWeave Forge
CoreWeave 宣布在 CoreWeave Cloud 上提供 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网，并将面向 AI 智能体的 NVIDIA Vera CPU 引入其云平台，同时推出统一模型与智能体训练评估环境的 CoreWeave Forge。
推荐理由：CoreWeave 上线 Vera Rubin NVL72 与 Vera CPU，并给出 Devin 推理吞吐与智能体沙箱启动的实测数据，可供评估智能体生产部署的算力选型。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM 发布 v1.3.0rc29，新增 Qwen3.5 FP8 与 Kimi K3 NVFP4 MoE 支持
NVIDIA TensorRT-LLM 发布 v1.3.0rc29，为 Qwen3.5 全局 FP8 检查点、Kimi K3 NVFP4 SiTU 的 CuTeDSL MoE 后端以及 DeepSeek V4 的 NVFP4 MLA 残差开关提供支持。
推荐理由：该版本为 Qwen3.5、Kimi K3、DeepSeek V4 等模型补齐 FP8/NVFP4 量化与 MLA 推理路径，并移除 AutoDeploy 等破坏性接口。
NVIDIA Technical Blog精选AI 评分6262 NVIDIA 联合 Google DeepMind 开源 2800 余种病毒蛋白复合物预测结构
NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构，通过 AlphaFold Database 开放 2800 余种病毒的蛋白复合物预测 3D 结构，其中约 30% 的蛋白相互作用此前未在 Protein Data Bank 中记录。
推荐理由：NVIDIA 联合 Google DeepMind 等机构开源 2800 余种病毒的蛋白复合物预测结构，并公开 GPU 加速的 BioNeMo 结构预测流程，为病毒研究与疫苗靶点设计提供可直接复用的结构数据与推理工具链。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM 发布 v1.3.0rc28，默认启用 KV-cache manager V2
NVIDIA TensorRT-LLM 发布 v1.3.0rc28，为 Llama、Llama4 及 Nemotron 多模态模型默认启用 KV-cache manager V2，并移除 TensorRT serve、evaluation、benchmark 等废弃路径。
推荐理由：该版本为 Llama、Llama4 与 Nemotron 多模态模型默认启用 KV-cache manager V2，并新增 FP8 KV-cache 与 NCCL-EP 0.2 低延迟专家并行支持。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM v1.3.0rc27 发布，新增 MiniMax-H3 与 Nemotron 3.5 Super VL 支持
NVIDIA TensorRT-LLM 发布 v1.3.0rc27，新增 MiniMax-H3 文生视频与首尾帧生视频支持、Nemotron 3.5 Super VL 多模态服务路径以及 Cosmos3 Edge Policy DROID 机器人策略支持。
推荐理由：该版本新增 MiniMax-H3、Nemotron 3.5 Super VL 等多模态模型支持与 cuDNN 注意力后端，并修复多项多 GPU 推理精度与挂起问题。
TensorRT-LLM Releases精选AI 评分6262 NVIDIA TensorRT-LLM 发布 v1.3.0rc26，新增 Rubin SM107 与 NVFP4 KV cache 支持
NVIDIA TensorRT-LLM 发布 v1.3.0rc26，新增 Rubin SM107 的 GEMM、MoE 与 CuTe DSL 支持，并加入 DeepSeek-V4 Hopper、Qwen3.8-Flash-Next、Kimi K3 on B200 等模型支持。
推荐理由：该版本为 Rubin SM107 与 Blackwell 平台补齐 GEMM、MoE 与 CuTe DSL 支持，并新增 NVFP4 KV cache 与流水线化 KV 传输，适合关注新硬件适配与推理吞吐的部署方评估。
TensorRT-LLM Releases精选AI 评分6262 TensorRT-LLM v1.3.0rc25 发布，KV cache manager V2 默认启用
NVIDIA TensorRT-LLM 发布 v1.3.0rc25，将 KV cache manager V2 设为 DeepSeek V3/R1/V3 Lite。
推荐理由：KV cache manager V2 默认启用并扩展 DSA、零拷贝 token 传递与分布式池重平衡，同时新增多款模型与视觉生成支持。
SGLang Releases精选AI 评分8888 SGLang v0.5.17 发布，day-0 支持 Kimi K3 与 MiniMax-H3
SGLang 发布 v0.5.17，包含 194 位贡献者的 582 个 PR，新增 Kimi K3 与 MiniMax-H3 的 day-0 支持，并引入 Rust 前端与 DCP 通信后端。
推荐理由：该版本为 Kimi K3 与 MiniMax-H3 提供 day-0 推理支持，并新增 DWDP MoE 预填充并行与权重加载优化，可显著降低大模型部署的显存与加载开销。
SGLang Releases精选AI 评分7878 SGLang v0.5.16 发布，新增 DSpark 投机解码与 Inkling 模型支持
SGLang 发布 v0.5.16，合并 574 个 PR，新增置信度驱动的 DSpark 投机解码算法、975B 参数多模态 MoE 模型 Inkling 支持，以及 LongCat 2.0 FP8、JetBrains Mellum v2、Pi0.5 等模型。
推荐理由：该版本引入置信度驱动的投机解码算法与多款新模型支持，并显著压缩 KV 缓存与投机显存占用，适合高吞吐推理部署参考。
SGLang Releases精选AI 评分7878 SGLang v0.5.14 发布，新增 GLM-5.2 等模型支持与 MoE 负载均衡
SGLang 发布 v0.5.14，新增 GLM-5.2、LiquidAI LFM2.5、Kimi-K2.7-Code、Poolside Laguna-M.1、DiffusionGemma、Zyphra ZAYA1、MiMo-V2-ASR 等模型支持，并加入 Waterfill 与 LPLB 两种 MoE 专家并行负载均衡方法。
推荐理由：该版本新增多种模型支持与 MoE 负载均衡、线性注意力前缀缓存优化，并针对 DeepSeek-V4 在 Blackwell 上给出多项吞吐与显存改进。