TensorRT-LLM Releases· tongyuantongyu·· 2026-08-12精选AI 评分62
TensorRT-LLM v1.3.0rc24 发布,新增 Kimi K3 与 MiniCPM-V 4.6 支持
v1.3.0rc24
AI 导读
NVIDIA TensorRT-LLM 发布 v1.3.0rc24,新增 Kimi K3 模型支持(含 KDA 内核、优化 MoE、解析器、投机解码与分离式服务),并为 PyTorch 后端加入 MiniCPM-V 4.6 图像视频与 Whisper 支持。
推荐理由
该版本新增 Kimi K3 与多款多模态模型支持,并引入 C++ KVCacheManagerV2 与多项 Blackwell 内核优化,适合关注推理引擎模型覆盖与显存管理的开发者。
来源:TensorRT-LLM Releases · github.com