illegalCreed

中文

English

中文

English

Appearance

参考 ​

方法论叶，以 PaperBench 基准 + DeepCode / AutoReproduce / paper-replicate-agent 生态为代表（无单一官方仓）。

速查 ​

  • 生态五件套：PaperBench（基准）· DeepCode（84.8%）· AutoReproduce（Paper Lineage）· PaperCoder（51.1%）· paper-replicate-agent（Claude Code 指令）
  • PaperBench SOTA：DeepCode 84.8% > Claude Code 58.7% > PaperCoder 51.1%
  • 六步工作流：理解 → 环境 → 代码 → 执行 → 对齐 → 报告
  • 五大难点：数据 · 种子 · 超参 · 算力 · 模糊描述
  • Claude 在 PaperBench 第一：通用 agent 里最强

生态工具对比表 ​

工具类型PaperBench特点适用
PaperBench评测基准—OpenAI 出，论文理解→代码→实验→调试全流程衡量 agent 复现能力
DeepCodeagent 框架84.8%港大开源，GitHub 8k+ 星，超剑桥/伯克利博士直接拿来端到端复现
AutoReproduce多 agent 框架—Paper Lineage 追溯复现谱系需审计/可追溯的复现
PaperCoder复现框架~51.1%偏科学代码生成对比基线
paper-replicate-agent指令模板—Claude Code 当「研究承包商」给现有 agent 装复现流

PaperBench 指标对比 ​

text
DeepCode        84.8%   ← SOTA（港大）
Claude Code     58.7%   ← 通用 agent 强基线
PaperCoder      51.1%   ← 对比基线
  • DeepCode 领先 Claude Code 约 26 个百分点
  • 人类专家完成一篇 PaperBench 论文需数天
  • Claude 在 PaperBench 通用 agent 榜第一

复现工作流清单 ​

text
[ ] 1 理解
    [ ] 抽出方法（架构/loss/forward）
    [ ] 列数据集、预处理、批大小
    [ ] 确认对比指标
    [ ] 挖尽超参（正文+附录+代码+issue）

[ ] 2 环境
    [ ] 锁 Python/CUDA/PyTorch 版本
    [ ] 写 requirements.txt / environment.yml
    [ ] （可选）Dockerfile 固化

[ ] 3 代码
    [ ] 模型定义
    [ ] 数据加载（Dataset/DataLoader）
    [ ] 训练循环
    [ ] 评估循环
    [ ] checkpoint 保存

[ ] 4 执行
    [ ] 固定随机种子
    [ ] 跑训练，log 每 epoch 指标
    [ ] 多 seed 平均（至少 3 次）

[ ] 5 对齐
    [ ] 列表对比论文 vs 复现指标
    [ ] 标注差异方向（+/-）
    [ ] 判定容差是否可接受

[ ] 6 报告
    [ ] 复现了哪些表/图
    [ ] 差异原因分析
    [ ] 未公开超参的处理
    [ ] 可重复执行的命令

Paper Lineage（AutoReproduce 概念） ​

论文谱系——把复现过程中每个决策都留痕：

  • 为什么选这个超参（猜测依据）
  • 为什么跳过某步（数据缺失？算力不足？）
  • 哪些代码来自论文官方、哪些是自己补的
  • 每次实验的种子、配置、结果

用途：事后审计、复现报告、改进复现流程。

paper-replicate-agent 指令要点 ​

把它当「研究承包商」用，要点：

  • 明确角色：规划方案、编写脚本、验证输出、记录差异
  • 输入：论文 PDF + 提供的数据
  • 输出：可重复的 R/Python 代码 + 质量报告
  • 关键约束：诚实记录差异，不假装「完美复现」

五大难点速记 ​

难点一句话
数据可得性闭源/受限数据，agent 无能为力
随机种子未公开，同代码差 1-2 点
未公开超参正文不写，附录/issue 挖
算力大模型复现成本高
模糊描述归一化/初始化/激活略过

反模式（避免） ​

  • 跳过环境固化——「我机器能跑」不等于可复现
  • 只跑一次——单次结果被随机性误导
  • 对齐容差拍脑袋——没标准就扯皮
  • 不写差异报告——「差不多」不叫完成
  • 把基准当工具——PaperBench 衡量能力，不是 agent

资源链接 ​

  • PaperBench：搜索 OpenAI PaperBench（论文复现基准）
  • DeepCode：搜索 HKU DeepCode paper reproduction（港大开源，84.8%）
  • AutoReproduce：搜索 AutoReproduce paper lineage
  • PaperCoder：搜索 PaperCoder scientific code reproduction
  • paper-replicate-agent：社区 Claude Code 指令模板
  • 相关叶：Claude Code Skills · 入门 · 指南