KAI RecSys Lab · 离线推荐评估

摘要

基于公开数据建立从候选召回到重排、校准和分组评估的个人实验室。核心目标是让模型比较共享明确的数据协议，并把推荐质量、ANN 系统测量和业务结果分开解释。

问题

候选集、人群、负采样或特征来源发生变化时，排名指标可能无法直接比较。项目通过冻结召回快照、开发集选型和测试开启顺序，减少把协议差异误读为模型增益的风险。

方法

Amazon V3 从已有 Two-Tower 检查点出发，形成 Exact / HNSW Top-100 候选；对比 hard、uniform 与 in-batch 负采样和 DIN / DCN 风格重排。温度校准仅使用训练数据，候选按 dev NDCG@100 选定，再计算冻结测试集上的用户级配对差值。

系统架构

公开数据与来源账本 → 统一切分和特征协议 → 召回快照 → 重排训练与开发集选型 → 冻结清单 → 离线测试与 bootstrap → 交互式报告。百万商品 HNSW 扩展是单独的本机系统测量路径。

数据集

主质量实验使用 Amazon Reviews’23 的 Industrial_and_Scientific 数据与固定的 5-core 协议。公开报告中的目录规模为 25,754 个商品，共同测试人群为 50,653 位用户；原始第三方数据和训练权重不随仓库分发。

实验设计

比较候选召回、负采样、重排、校准、特征依赖和分组支持，并提供 HNSW 的召回—延迟—索引体积诊断。开发集负责选型；配置、切分摘要与冻结结果在仓库中一同记录。

实验结果

公开 V3 汇总中，exact-din-uniform-64-32 是开发集选中的候选，其测试 NDCG@100 高于相同协议的 exact retrieval 排序，报告的配对 bootstrap 区间不跨零。结论只适用于该离线人群和协议，不代表线上 CTR、CVR、收入或服务 SLA。

开发集选型、冻结测试集 Exact 与 DIN 对照，以及用户级配对区间和胜负统计组成的完整论文图。 — 基于公开项目材料整理的实验结果；小屏可横向滑动查看。

消融分析

报告依次移除 metadata、ID、title、category 输入，观察冻结模型对特征的依赖。这是同一检查点上的推理输入置零，不是为每个变体重新训练的完整消融。负采样比较中，hard negatives 没有赢得本轮开发集选型。

失败分析

冻结协议不支持真实新用户、无历史用户或未见目标商品的性能结论；空人群按零支持展示。原始数据和模型产物未公开，聚合报告检查不能替代完整独立重训。百万级索引实验也不等于百万商品相关性评测。

演示

公开 Playground 读取已提交的报告，展示统一 V3 比较、特征依赖、HNSW 取舍与分组支持。它是静态实验回放。make reproduce-small 使用显式合成数据检查完整代码路径，不用于证明公开数据上的报告指标。

引用

hey-Chloe. KAI Offline RecSys Lab / Amazon End-to-End Recommendation V3. Public repository, commit 9bfb5693414cdbeaea1df9d712cae3ba333ac73d. https://github.com/hey-Chloe/KAI-Offline-RecSys-Lab