跳到正文

#vLLM

今日 1 条
今天10月3日周六
10月2日周五
  1. NVIDIA Technical Blog62

    NVIDIA 推出 DGX Spark 64GB 版本,双机集群支持 200B 参数本地模型

    NVIDIA 宣布本月起由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商推出搭载 64GB 统一内存的 DGX Spark,保留 GB10 Grace Blackwell 超级芯片、DGX OS 与完整 NVIDIA AI 软件栈。

    推荐理由:64GB 统一内存版本把本地智能体推理门槛降到 4999 美元,双机集群可扩展至 200B 参数模型。

10月1日周四
9月30日周三
9月23日周三
9月22日周二
  1. vLLM Releases88

    vLLM v0.30.0 发布,新增 Fast Start 权重缓存与 HiSparse 主机分层

    vLLM 发布 v0.30.0,包含来自 315 位贡献者的 762 个提交,新增 DeepSeek-V4.1-Flash、GLM-5.3-Flash、K2-Horizon 等模型支持,并引入 Fast Start 权重缓存守护进程与 HiSparse 主机分层解码。

    推荐理由:该版本新增 Fast Start 权重缓存与 HiSparse 主机分层,并针对 DeepSeek-V4.1、Kimi K3 等模型优化稀疏注意力与量化内核,可降低重启与显存开销。

9月19日周六