个人研究项目 / 离线实验 · 公开摘要
Qwen2.5-VL · 数据选择与微调
固定模型、训练预算与留出评测后，数据选择能否比随机抽样带来更好的多模态微调结果？
摘要
研究在有限微调预算下，数据选择方法能否优于随机抽样。围绕 Qwen2.5-VL-3B 的 LoRA / SFT 实验，公开配对种子摘要、失败分析和静态证据查看器，保留未观察到收益的结果与后续验证问题。
问题
更复杂的数据选择并不必然带来下游收益。需要固定基础模型、训练配置、样本预算和留出协议，并保留失败案例，才能区分选择策略与其他实验条件的影响。
方法
公开摘要描述 Random-1K 与 faithful COINCIDE-1K 的配对比较，使用相同 Qwen2.5-VL-3B 模型及 LoRA / assistant-only SFT 设置。比较跨三个种子进行，以 exact match 和损失作为报告指标。
系统架构
ScienceQA 样本与选择清单 → Random / COINCIDE 两条选择路径 → 相同模型与 LoRA 配置 → 留出评测 → 配对结果和失败分析 → 静态 JSON 展示。公开网页不执行训练或在线模型推理。
数据集
数据来自 ScienceQA。主结果摘要使用 1K 训练预算与 held-out-256 评测；演示中另有 128 条训练样本和少量预测回放。展示样例属于训练样本，不能代替留出集逐样本预测来证明泛化。
实验设计
公开摘要报告两种选择方法各三个种子、共六组训练；snapshot 保存配对结果、配置哈希与来源标记。比较固定训练预算下的 exact match、损失和配对差值，并保留失败样例分析。
实验结果
公开 snapshot 中，三个配对种子的 COINCIDE exact match 均低于 Random；同时，报告的种子级配对差值区间跨过零。因此保留当前设置下未观察到收益的结论，不外推为数据选择方法普遍无效。
消融分析
已公开的核心比较是固定 1K 预算下的两种选择方法，并包含未微调 Base 参考。250、500、2K、4K 与 Full 等数据规模曲线在公开材料中标记为尚未运行，不生成缺失的消融或扩展结果。
失败分析
公开材料记录了配对错误分析，但训练源码、完整留出逐样本预测和部分原始产物尚未公开。数据选择失配属于需要进一步验证的解释，不能作为已证明机制。当前样本与种子规模也不足以支持广泛结论。
演示
现有演示从静态 snapshot 读取实验状态、样例和汇总结果，无需 API。训练样例回放与主留出结果是不同证据层次；snapshot 中没有可供逐样本展示的 Base / LoRA 配对，页面也不提供实时云端模型推理。
引用
hey-Chloe. Qwen2.5-VL-3B LoRA / SFT Study: public evidence summary. ai-research-evidence commit 397c4501d5796256a312f8d1d92261491f9d47ba; website snapshot commit c34131be71937ad6071ad60730384a54663e7f82. https://github.com/hey-Chloe/ai-research-evidence