跳到正文

#基准评测

今日 0 条
10月1日周四
9月30日周三
  1. NVIDIA Technical Blog62

    CoreWeave 上线 NVIDIA Vera Rubin NVL72 与 Vera CPU,并推出 CoreWeave Forge

    CoreWeave 宣布在 CoreWeave Cloud 上提供 NVIDIA Vera Rubin NVL72 系统与 Spectrum-X 102.4T 以太网,并将面向 AI 智能体的 NVIDIA Vera CPU 引入其云平台,同时推出统一模型与智能体训练评估环境的 CoreWeave Forge。

    推荐理由:CoreWeave 上线 Vera Rubin NVL72 与 Vera CPU,并给出 Devin 推理吞吐与智能体沙箱启动的实测数据,可供评估智能体生产部署的算力选型。

9月24日周四
  1. NVIDIA Technical Blog62

    NVIDIA 联合 Google DeepMind 开源 2800 余种病毒蛋白复合物预测结构

    NVIDIA 联合 Google DeepMind、EMBL-EBI 等机构,通过 AlphaFold Database 开放 2800 余种病毒的蛋白复合物预测 3D 结构,其中约 30% 的蛋白相互作用此前未在 Protein Data Bank 中记录。

    推荐理由:NVIDIA 联合 Google DeepMind 等机构开源 2800 余种病毒的蛋白复合物预测结构,并公开 GPU 加速的 BioNeMo 结构预测流程,为病毒研究与疫苗靶点设计提供可直接复用的结构数据与推理工具链。

9月23日周三
  1. OpenAI News42

    OpenAI 发布 MentalHealthBench:面向心理健康对话的 AI 评测基准

    OpenAI 发布 MentalHealthBench,一个由专家参与构建的基准,用于评估 AI 在真实心理健康对话中的回复是否既有帮助又安全。该基准覆盖多种现实心理健康对话场景,从有用性与安全性两个维度对模型表现进行衡量。目前原文未披露具体评测指标、模型成绩及开源协议与获取方式。

9月22日周二
9月21日周一
7月29日周三
  1. Berkeley AI Research (BAIR)71

    K-Search 扩展 MLX 后端:将 CUDA 内核经验迁移至 Apple Silicon

    IBM Research 基于 UC Berkeley Sky Lab 的 K-Search 演化式内核搜索框架,新增 MLX 后端与结构化 CUDA-to-MLX 翻译层,可将现有 CUDA 内核知识自动适配为 Apple Silicon 内核。

    推荐理由:通过结构化 CUDA 到 MLX 翻译层,让演化式内核搜索在 Apple Silicon 上逼近专家级性能,为跨硬件内核迁移提供可复用路径。

7月26日周日
  1. Berkeley AI Research (BAIR)62

    BAIR 提出 ABBEL:用自然语言信念状态实现高效长程交互

    BAIR 提出 ABBEL 框架,将递归摘要的内容隔离为自然语言信念状态并周期性更新,使智能体仅以当前信念作为工作上下文。在 CollabBench 协作编码任务中,基于重建的信念评分将 ABBEL 与全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值 token 长度也低于全上下文设置。

    推荐理由:该框架将摘要内容隔离为自然语言信念状态并加以监督,在协作编码任务中把与全上下文模型的差距缩小约一半。

7月7日周二
3月13日周五
  1. Berkeley AI Research (BAIR)71

    BAIR 提出 SPEX 与 ProxySPEX,将 LLM 交互归因扩展到数千组件

    BAIR 发布 SPEX 与 ProxySPEX 算法,利用稀疏性与低阶性将交互发现重构为稀疏恢复问题,用于特征、数据与模型组件归因。ProxySPEX 借助层级结构以约 10 倍更少的消融次数达到 SPEX 同等效果,在 MMLU 高中美国历史任务上其剪枝策略还能提升目标任务表现。

    推荐理由:SPEX 与 ProxySPEX 将交互归因从数十个组件扩展到数千个,ProxySPEX 以约 10 倍更少消融达到同等效果,代码已并入 SHAP-IQ。