清洗层、汇总层、展示层设计
1. 为什么分层
如果所有结果都从原始 CSV 临时计算,容易出现口径不一致、脚本重复、看板和报告数字冲突。分层可以让数据来源更清楚。
2. 推荐分层
原始层
内容:
- 组委会提供的 9 个 CSV 分片。
- 分类对照表。
规则:
- 不修改。
- 不提交 Git。
- 只在外链登记中说明来源和位置。
清洗层
内容:
- 统一字段名。
- 转换时间字段。
- 标记或剔除异常。
- 保留清洗日志。
推荐字段:
user_id,item_id,category_id,behavior_type,timestamp,datetime,date,hour
汇总层
内容:
- 日指标表。
- 小时指标表。
- 类目指标表。
- 用户分层表。
- 漏斗表。
- 推荐结果表。
规则:
- 看板、报告、PPT 优先引用汇总层。
- 汇总层文件可以提交,前提是体积不超过限制。
展示层
内容:
- Excel 指标表。
- HTML 看板。
- Streamlit 应用。
- PPT 截图。
- 报告图表。
规则:
- 展示层只展示结果,不重新定义指标口径。
3. 推荐命名
LZ-组6_日指标汇总_v1.csv
LZ-组6_小时指标汇总_v1.csv
LZ-组6_类目指标汇总_v1.csv
LZ-组6_用户分层汇总_v1.csv
LZ-组6_转化漏斗汇总_v1.csv
4. 质量控制
- 每个汇总表写明生成脚本。
- 每个指标在指标字典中能找到口径。
- 报告、看板、PPT 使用同一版汇总表。
- 更新数据后同步更新版本号。