数据质量与可复核方案
1. 目标
数据质量与可复核方案要回答：
- 数据有没有被正确读取。
- 清洗规则是否合理。
- 指标是否能从同一批数据复算。
- 老师或队友能否复现核心结果。
2. 质量检查表结构
建议 Excel 至少包含这些工作表：
| 工作表 | 内容 |
|---|---|
| 数据概览 | 文件数、总行数、字段数、观察期 |
| 分片检查 | 每个 CSV 的行数、异常数、时间范围 |
| 缺失检查 | 每列缺失数、缺失率 |
| 行为类型检查 | pv、fav、cart、buy 分布，异常行为数量 |
| 时间范围检查 | 观察期内外记录数量 |
| 重复检查 | 完全重复行数量 |
| 清洗前后对比 | 原始记录数、剔除数、保留数 |
3. 可复核材料
- 清洗脚本。
- 指标计算脚本。
- 指标字典。
- 汇总结果表。
- 操作手册。
- 外链登记。
4. 复核流程
- 按外链登记找到原始数据。
- 运行清洗脚本。
- 查看质量检查表。
- 运行指标脚本。
- 对比汇总表和看板数字。
- 对比报告和 PPT 中引用的关键数字。
5. 常见风险
- 报告使用旧版指标表。
- 看板筛选条件和指标表不一致。
- 清洗后数据没有标明版本。
- 虚拟数据和真实数据混用。
6. 推荐做法
- 每个结果文件加版本号。
- 每天收工前由组长做一次数字一致性检查。
- 指标变更必须同步更新指标字典。
- 所有大文件外链都写负责人、版本、用途和更新时间。