数据清洗与质量检查任务
1. 任务目标
完成原始用户行为数据的基本体检，说明数据能否可靠用于后续分析。
2. 适合领取的人
适合细心、愿意按步骤记录过程、能使用 Excel 或 Python 做基础检查的组员。
3. 输入材料
数据/data/UserBehavior_part_0.csv至UserBehavior_part_8.csv数据/data/电商分类标识对照表.xlsx- 任务书中对字段和观察期的要求。
正式交付范围为全部 9 个分片。单分片只能用于开发测试和抽样核验。
4. 必须产出
- 清洗过程说明。
- 数据质量检查表或质量检查截图。
- 字段说明。
- 异常处理策略说明。
5. 可选增强产出
- 每个 CSV 分片的行数和异常数。
- 清洗前后对比表。
- 时间范围异常统计。
- 小样本数据文件。
6. 推荐文件位置
文档/过程记录/其他/数据质量检查/代码/清洗/其他/过程截图/
7. 文件命名建议
LZ-组6_姓名_清洗过程说明_v1.md
LZ-组6_数据质量检查表_v1.xlsx
LZ-组6_姓名_数据质量检查截图_v1.png
8. 具体操作步骤
- 不要直接双击打开大 CSV。
- 先查看文件大小和文件数量。
- 抽样读取每个 CSV 的前几行。
- 确认字段为 5 列，无表头。
- 记录字段含义：
user_id,item_id,category_id,behavior_type,timestamp。 - 检查行为类型是否只包含
pv/fav/cart/buy。 - 检查时间戳是否落在 2017-11-25 到 2017-12-03。
- 记录缺失值、重复行、异常时间戳处理方式。
- 把过程写入过程记录。
9. 阶段性提交与正式提交
阶段性提交可以包含单分片抽样记录、字段说明和过程截图，用于证明脚本能够运行。
正式提交必须包含：
- 9 个分片逐文件质量摘要。
- 合并后的总记录数和清洗前后对比。
- 全部分片统一执行的异常处理结果。
dataset_scope = all_9_parts的数据清单。
10. 提交前检查
- 是否写清楚没有直接打开大 CSV。
- 是否写清楚字段顺序。
- 是否写清楚异常处理策略。
- 是否有文件版本号。
11. 答辩时可解释内容
- 原始数据有哪些字段。
- 为什么不能直接用 Excel 打开。
- 清洗检查了哪些问题。
- 观察期外数据如何处理。
12. 组长整合时需要关注
- 清洗口径是否和指标计算一致。
- 异常过滤是否影响报告中的记录数。
- 质量检查表是否能支持后续报告结论。