分析工具选型

1. 候选工具

工具	适合场景	推荐程度
pandas	分块清洗、常规分析	必用
DuckDB	大 CSV / Parquet SQL 聚合	推荐
Polars	高性能 DataFrame	可选
Excel / Power Query	老师熟悉、成果表查看	必备
SQLite	小型汇总库	可选

2. pandas

优点：

• 学习资料多。
• 适合写清洗和指标脚本。
• 与 Excel 输出衔接方便。

缺点：

• 一次性读 3.5GB 可能内存不足。
• 必须使用分块读取。

3. DuckDB

优点：

• 可以直接 SQL 查询 CSV 和 Parquet。
• 适合本地分析。
• 对大文件聚合友好。

推荐原因：

• 本项目大量指标本质是 group by。
• SQL 查询更容易复核口径。

4. Polars

优点：

• 速度快。
• 对大数据处理友好。

缺点：

• 队员学习成本高于 pandas。
• 答辩时解释成本更高。

建议：除非已有经验，否则不作为主线。

5. Excel / Power Query

优点：

• 任务书明确推荐。
• 老师容易打开。
• 适合展示汇总表和透视图。

缺点：

• 不适合直接处理 3.5GB 原始 CSV。

建议：Excel 用于汇总结果和质量检查表，不用于直接打开原始明细。

6. 推荐组合

pandas 分块清洗 + DuckDB/Parquet 加速聚合 + Excel 承载结果