交付与验收规范
交付给组长的内容
每个数据任务必须提交以下内容:
| 类型 | 是否必须 | 示例 |
|---|---|---|
| 处理脚本 | 必须 | 代码/数据处理/daily_metrics.py |
| 汇总表 | 必须 | 数据/mart/daily_metrics.csv |
| 字段说明 | 必须 | 文档/字段说明/daily_metrics字段说明.md |
| 校验结果 | 必须 | 数据/validation/daily_metrics_check.csv |
| 过程记录 | 必须 | 文档/过程记录/日指标聚合过程记录.md |
| 数据清单 | 必须 | 数据/mart/dataset_manifest.csv |
| 截图 | 可选 | 运行成功截图、数据预览截图 |
文件命名
遵循任务书命名规则:
LZ-组6_成果名_v版本.扩展名
内部开发阶段可以使用英文稳定文件名:
daily_metrics.csv
hourly_metrics.csv
category_metrics.csv
最终提交时再复制一份为任务书格式命名。
汇总表验收
组长或 AI 检查:
- 文件能正常读取。
- 字段名与
02-标准汇总表字段规范.md一致。 - 日期范围不超出
2017-11-25至2017-12-03。 - 9 个分片均已处理,
dataset_scope = all_9_parts,且与质量报告一致。 - 时间戳按
Asia/Shanghai转换。 - 行为类型只包含
pv、fav、cart、buy。 - 数量字段不为负。
- 比率字段在
0至1之间。 - 关键指标与质量报告能相互解释。
- 主键或唯一字段组合不存在重复。
- UV、转化率等不可加指标没有通过跨表求和或拼接计算。
脚本验收
脚本必须满足:
- 不修改原始数据。
- 可以从零重新生成对应汇总表。
- 输入路径、输出路径清晰。
- 运行失败时能看到错误信息。
- 代码中不要写死个人电脑绝对路径。可以使用配置变量或相对路径。
字段说明验收
字段说明必须包含:
- 表用途
- 数据来源
- 每个字段的含义
- 指标公式
- 过滤条件
- 缺失值处理方式
- 已知局限
过程记录验收
过程记录必须说明:
- 使用了哪些原始文件。
- 使用了什么工具和脚本。
- 生成了哪些输出。
- 发现了哪些异常。
- 如何处理异常。
- 结果是否通过校验。
交付给服务器展示的要求
只有通过验收的汇总表才能上传到服务器展示目录。
推荐服务器位置:
/home/agent/shixun-deploy/streamlit-app/data/
/opt/shixun/data/mart/
上传前必须确认:
- 不包含原始大 CSV。
- 不包含隐私字段以外的扩展敏感信息。
- 文件大小适合 Web 应用读取。
- 已有对应字段说明。