跳到正文
原文
Berkeley AI Research (BAIR)·· 2026-03-13精选AI 评分71

BAIR 提出 SPEX 与 ProxySPEX,将 LLM 交互归因扩展到数千组件

Identifying Interactions at Scale for LLMs

AI 导读

BAIR 发布 SPEX 与 ProxySPEX 算法,利用稀疏性与低阶性将交互发现重构为稀疏恢复问题,用于特征、数据与模型组件归因。ProxySPEX 借助层级结构以约 10 倍更少的消融次数达到 SPEX 同等效果,在 MMLU 高中美国历史任务上其剪枝策略还能提升目标任务表现。

推荐理由

SPEX 与 ProxySPEX 将交互归因从数十个组件扩展到数千个,ProxySPEX 以约 10 倍更少消融达到同等效果,代码已并入 SHAP-IQ。

来源:Berkeley AI Research (BAIR) · bair.berkeley.edu