跳到正文
原文
OpenAI News·· 10 天前精选AI 评分62

OpenAI 为 GPT-6 改进提示词缓存,提升命中率并降低延迟与成本

Better prompt caching for GPT-6

AI 导读

OpenAI 宣布为 GPT-6 改进提示词缓存机制,引入更高的缓存命中率、新的诊断能力、显式断点以及相关控制选项。官方称这些改动可减少请求延迟并降低调用成本。开发者可通过 OpenAI 官方页面了解该缓存机制的具体用法与接入方式。

推荐理由

GPT-6 的提示词缓存机制升级,通过显式断点与诊断工具提升缓存命中率,降低推理延迟与调用成本。

来源:OpenAI News · openai.com