跳到正文

#推理优化

今日 0 条
10月2日周五
10月1日周四
9月30日周三
  1. NVIDIA Technical Blog62

    CoreWeave 上线 NVIDIA Vera Rubin NVL72 与 Vera CPU,并推出 CoreWeave Forge

    CoreWeave 宣布在 CoreWeave Cloud 上提供 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网,并将面向 AI 智能体的 NVIDIA Vera CPU 引入其云平台,同时推出统一模型与智能体训练评估环境的 CoreWeave Forge。

    推荐理由:CoreWeave 上线 Vera Rubin NVL72 与 Vera CPU,并给出 Devin 推理吞吐与智能体沙箱启动的实测数据,可供评估智能体生产部署的算力选型。

9月23日周三
  1. OpenAI News62

    OpenAI 为 GPT-6 改进提示词缓存,提升命中率并降低延迟与成本

    OpenAI 宣布为 GPT-6 改进提示词缓存机制,引入更高的缓存命中率、新的诊断能力、显式断点以及相关控制选项。官方称这些改动可减少请求延迟并降低调用成本。开发者可通过 OpenAI 官方页面了解该缓存机制的具体用法与接入方式。

    推荐理由:GPT-6 的提示词缓存机制升级,通过显式断点与诊断工具提升缓存命中率,降低推理延迟与调用成本。