研究进行中｜AI Coding Benchmark 可复现性审计

正在研究什么

AI Coding benchmark 往往同时包含数据表、任务文件、评测程序和多个发布视图。 我正在研究这些资产之间的身份、来源与评测口径能否被可靠追踪，以及不一致时应当如何 在不夸大影响的前提下进行验证。

已完成到哪一步

目前已完成一轮本地离线审计和独立重算闭环。实验使用固定公开版本、确定性校验器和 受限运行环境，保留配置、代码版本、输入版本、原始日志、运行状态与验证记录。

详细科学结论目前仍处于私有研究阶段。本页不公开具体 benchmark、精确样本量、差异类型、 逐任务信息、实验门槛、实现细节或后续区分性实验。

公开证据边界

当前公开内容只说明研究问题、执行状态和复现工程方法，不构成论文摘要、正式结果发布或 benchmark 有效性判断。负结果、失败路径和无法验证的解释会继续保留，不会为了展示效果而 选择性省略。

公开计划

在确定投稿或负责任披露路径并核对对应政策后，再决定是否公开 benchmark 名称、聚合数字、 验证器、复现脚本和完整失败分析。在此之前，本页保持为公开进展摘要。