览众赛道任务书核心术语解析与答辩备问
适用任务:淘宝用户行为数据复盘与运营优化
主要依据:
任务书_览众赛道.md阅读对象:第一次接触电商数据分析、需要准备项目答辩的同学
使用原则:以任务书术语为主,以本组实际项目为例,不要求掌握无关的编程和系统开发知识
一、怎么使用这份文档
不需要从头到尾死记硬背。建议按下面的顺序准备:
- 先读“项目全流程”和“必须先讲清的数据边界”;
- 重点掌握 PV、UV、访客深度、转化率、动销率、复购率;
- 再理解看板、推荐、归因和运营建议;
- 最后用“高频追问”和“答辩速记页”进行组内模拟提问。
遇到一个术语时,可以用五个问题检查自己是否真正理解:
- 它是什么?
- 为什么要计算或使用它?
- 它怎么计算?
- 它最容易被误解成什么?
- 如果老师追问,我能否用一句话说清楚?
建议学习优先级
这份文档用于查阅,不要求所有内容一次背完。时间有限时按下面三层准备:
- 必须掌握: 一行数据代表什么、数据清洗、指标口径、PV、UV、访客深度、转化率、转化漏斗、动销率、复购率、用户分层、隐式反馈、物品共现、归因五步法、相关与因果。
- 能够解释: 数据粒度、缺失值、异常值、重复行、维度、数据切片、热力图、联动筛选、Top-5、采样、运营建议和验证指标。
- 查阅即可: 文件格式、分类映射细节、工程化、版本和操作手册等辅助术语。
二、先看懂整个项目在做什么
本项目研究的是一段时间内用户对商品产生的浏览、收藏、加购和购买行为。整个分析过程可以概括为:
原始用户行为数据
→ 数据探查与质量检查
→ 清洗和规范化
→ 定义指标口径
→ 按日期、小时、类目和用户等维度计算
→ 制作可视化看板
→ 发现业务现象
→ 提出原因假设并验证
→ 给出运营建议和验证方案
任务书中的子题并不是互不相关的作业。前一题的结果是后一题的基础:
| 任务 | 主要解决的问题 | 主要产出 |
|---|---|---|
| 数据体检与规范化 | 数据能不能直接用于分析 | 清洗数据、质量检查表 |
| 核心指标计算 | 用什么数字衡量用户行为 | 指标计算表、指标字典 |
| 多维可视化 | 怎样快速发现趋势和异常 | 交互式看板、设计说明 |
| 关联商品推荐 | 哪些商品经常被同一批用户接触 | Top-5关联商品、方法说明 |
| 业务复盘与优化 | 发生了什么、可能为什么、建议做什么 | 复盘报告、运营方案 |
| 答辩包装 | 怎样让别人理解并相信结果 | PPT、讲稿、操作手册 |
本组实际项目与任务书的关系
任务书给出的原始全集规模是100,150,807条行为记录、987,994名用户、4,162,024个商品和9,439个类目。本组实际项目经过清洗后保留100,095,182条行为记录,覆盖987,991名用户、4,161,138个商品和9,437个原始类目,共排除55,625条不符合正式分析规则的记录。
这两组数字不矛盾:前者是任务书描述的原始数据规模,后者是实际清洗后进入正式分析的数据规模。答辩时必须主动说明统计阶段和口径,不能把两者混为一谈。
本组还制作了Metabase BI仪表盘和Streamlit分析后台。它们是任务书要求的指标、维度和业务分析的展示载体,不是另一套互不相关的项目。
三、数据集与字段基础
1. UserBehavior用户行为数据集
是什么: 记录淘宝用户在一定时间内对商品进行浏览、收藏、加购和购买的数据。每一行是一条行为记录。
本项目中的时间范围: 2017年11月25日至12月3日,共9天。
能回答的问题: 什么时间流量高、用户对哪些商品更感兴趣、行为怎样向购买转化、哪些用户发生重复购买等。
不能直接回答的问题: 为什么用户放弃购买、商品是否缺货、广告投放了多少钱、用户真实年龄和收入是多少。因为原始数据没有这些字段。
答辩说法: “UserBehavior是一份行为日志数据,它记录用户在什么时间对哪个商品产生了哪种行为,但不包含价格、库存、营销活动和用户画像,因此我们能分析行为现象,不能凭空断定背后的真实原因。”
2. 一行数据代表什么
一行表示“某个用户在某个时间对某个商品产生了一次行为”,不是一个用户、一个商品或一张订单。
例如:
| 用户ID | 商品ID | 类目ID | 行为 | 时间 |
|---|---|---|---|---|
| 1001 | 501 | 23 | pv | 2017-12-02 20:15 |
这行只能说明用户1001在该时刻浏览过商品501。它不能说明用户一定喜欢该商品,也不能说明后来一定购买。
这个“一行代表什么”叫作数据粒度。弄错粒度会导致重复统计和错误公式。
3. 用户ID、商品ID和类目ID
- 用户ID(user_id): 用户的匿名编号,用来区分用户和进行去重。
- 商品ID(item_id): 商品的匿名编号,用来区分商品。
- 商品类目ID(category_id): 商品所属类别的匿名编号。
这些ID是序列化ID,主要用于区分对象,不应根据编号大小推测用户价值或商品等级。例如,商品ID更大不代表商品更贵或更新。
4. 行为类型:pv、fav、cart、buy
| 代码 | 中文含义 | 能说明什么 | 不能直接说明什么 |
|---|---|---|---|
| pv | 浏览商品详情页 | 用户接触了商品 | 用户一定感兴趣 |
| fav | 收藏商品 | 用户表达了收藏意向 | 用户一定会购买 |
| cart | 加入购物车 | 用户表达了较强购买意向 | 已经产生订单 |
| buy | 购买行为 | 记录了一次购买行为 | 等于一张真实订单 |
buy不能直接叫“订单”。原始数据没有订单号,一张真实订单也可能包含多个商品。比较稳妥的说法是“购买行为记录”或“购买事件”。
5. 时间戳
时间戳是行为发生时间的机器记录。把时间戳转换为日期、小时和时段后,才能做日趋势、小时趋势和热力图。
需要注意时区和格式必须统一。否则同一个时间戳可能被转换成不同日期,造成日统计错误。
6. CSV、无表头和分片文件
- CSV: 用逗号分隔各字段的文本数据文件。
- 无表头: 文件第一行就是数据,没有字段名称,需要按任务书规定补上字段名。
- 分片文件: 因为一亿行数据太大,组委会将全集拆成9个文件。分片只是存储方式,合并统计时必须防止遗漏或重复。
答辩不需要讲CSV底层技术,只需说明:“数据量较大,因此使用分片加载和统一合并,避免直接用普通表格软件打开导致卡顿或截断。”
数据使用边界与CC BY-NC-SA 4.0
任务书规定只能使用组委会统一提供的分片数据,不能自行下载其他版本替换,也不能引入其他数据集。这是为了保证各组输入一致、结果可比。
CC BY-NC-SA 4.0可作如下小白理解:使用和分享时要注明来源,不能用于商业用途;如果在原内容基础上改编并分享,应采用相同许可。答辩中不需要背协议全文,但要知道数据不能冒充自有数据,也不能隐去来源。
7. 观察周期
观察周期是本次分析能看到的时间范围。本项目只有9天,因此所有“未购买”“复购”“高活跃”等判断都只代表这9天内的状态。
例如,用户12月3日加购但没有购买,可能在12月4日购买,只是数据已经结束。因此不能直接称其为永久流失用户。
四、数据体检、清洗与规范化
8. 数据探查
数据探查是正式分析前对数据进行“摸底”,通常包括:
- 总记录数;
- 独立用户数;
- 独立商品数;
- 四类行为分布;
- 最早和最晚时间;
- 缺失、异常和重复情况。
它的作用类似体检:先了解数据是否完整、是否符合预期,再决定清洗规则。
9. 缺失值与缺失率
缺失值是某个字段本来应该有值,但实际为空。缺失率的常用公式是:
缺失率 = 某字段缺失记录数 ÷ 总记录数 × 100%
缺失值不能一律删除。处理前要判断:该字段是否关键、缺失比例多大、能否合理补充、删除是否会造成偏差。
如果没有缺失,也要在质量报告中写明检查方法和“未发现缺失”的结论。没有问题不等于没有做检查。
10. 异常值
异常值是违反数据规则或明显不合理的值。在本任务中主要包括:
- 行为类型不是pv、fav、cart、buy;
- 时间超出2017年11月25日至12月3日;
- 关键ID无法正常识别;
- 字段数量与规定不一致。
要区分两种“异常”:
- 数据异常: 数据格式或取值不合法,需要清洗或修复;
- 业务异常: 数据合法,但业务表现与平常不同,例如某天流量突然上升,需要分析原因。
11. 重复行
重复行是五个原始字段完全相同的记录重复出现。它可能来自数据重复写入,也可能是用户在极短时间内重复操作。
因此不能看到相似记录就删除。必须先定义“完全重复”的规则,并在质量报告中记录删除数量。相同用户多次浏览同一商品不一定是脏数据,因为用户确实可能重复浏览。
12. 数据清洗
数据清洗是根据明确规则处理缺失、异常、重复和格式问题,使数据适合后续分析。
清洗的关键不是“删得越多越干净”,而是:
- 每条规则有理由;
- 清洗前后数量可对账;
- 被排除的数据可以说明原因;
- 同样的规则再次执行能得到同样结果。
本组实际项目的对账关系是:
100,150,807条原始记录
- 55,625条排除记录
= 100,095,182条清洗后记录
答辩说法: “我们没有为了得到好看的结论而删数据,而是依据预先定义的时间范围、字段合法性和重复规则清洗,并用清洗前、排除、清洗后三项控制数进行对账。”
13. 数据规范化
数据规范化在本任务中主要指统一表达方式,例如:
- 统一中英文字段名称;
- 统一日期时间格式;
- 统一行为代码;
- 统一数值和百分比格式。
它与数据清洗的区别是:清洗解决“数据是否有效”,规范化解决“有效数据是否采用统一表达”。
14. 数据质量检查表
数据质量检查表应至少记录:
| 检查项 | 检查规则 | 问题数量 | 处理方式 | 清洗后结果 |
|---|---|---|---|---|
| 缺失值 | 关键字段不能为空 | 填写检查所得数量 | 删除、保留或修复 | 填写处理后的数量 |
| 行为异常 | 只允许四种行为 | 填写检查所得数量 | 排除异常值 | 填写处理后的数量 |
| 时间异常 | 必须在9天内 | 填写检查所得数量 | 排除 | 填写处理后的数量 |
| 完全重复 | 五字段完全一致 | 填写检查所得数量 | 按规则去重 | 填写处理后的数量 |
“可追溯”是指别人能从结果追查到数据来源、清洗规则、统计口径和版本,而不是只看到一个无法解释的数字。
五、核心指标与计算口径
15. 指标、维度和指标口径
- 指标: 用数字衡量业务现象,例如PV、UV、转化率。
- 维度: 从什么角度拆分指标,例如日期、小时、类目、用户购买频次。
- 指标口径: 指标的完整计算规则,包括统计对象、时间范围、筛选条件、分子、分母和去重方式。
例子:“12月2日手机数码类目的UV”中,UV是指标,日期和类目是维度,“只统计pv用户并按user_id去重”是口径。
答辩关键: 公式相同但统计范围不同,结果也不能直接比较。回答指标问题时先说口径,再说数值。
16. PV(浏览量)
PV是Page View的缩写,在本数据集中通常指behavior_type = pv的行为记录数。
PV = 浏览行为记录数
同一用户浏览同一商品10次,通常计为10个PV,所以PV不去重。
业务作用: 衡量页面或商品被浏览的总次数,反映流量规模。
常见误区: PV高不等于用户多,也不等于购买效果好。可能只是少数用户反复浏览。
答辩说法: “PV统计浏览次数,不对用户去重,用来衡量流量规模。”
17. UV(独立访客数)
UV是Unique Visitor的缩写,通常指在指定范围内发生浏览行为的去重用户数。
UV = 对发生pv行为的user_id去重计数
同一用户浏览10次,UV仍然只计1。
需要区分:
- 浏览UV: 有pv行为的去重用户;
- 活跃用户数: 有任意一种行为的去重用户。
两者不能不加说明地混用。
答辩说法: “UV按用户去重,回答有多少不同用户来过;PV不去重,回答一共浏览了多少次。”
18. 访客深度
任务书给出的访客深度公式为:
访客深度 = PV ÷ UV
例:某天有1,000次浏览、200名浏览用户,访客深度为5次/人。
它表示平均每名访客产生多少次浏览。数值较高可能表示用户探索较多,也可能表示用户反复寻找仍未找到目标,所以不能单独判断好坏,需要结合加购、购买和页面体验分析。
19. 转化率
转化率衡量用户或行为从前一个阶段进入目标阶段的比例。
转化率 = 完成目标的对象数 ÷ 具备转化资格的对象数 × 100%
真正困难的不是除法,而是“对象”和“转化资格”怎么定义。常见口径包括:
- 行为次数口径:购买行为数 ÷ 浏览行为数;
- 用户口径:购买用户数 ÷ 浏览用户数;
- 用户—商品口径:浏览后购买的用户—商品对 ÷ 浏览用户—商品对;
- 严格路径口径:同一用户对同一商品先发生前序行为、后发生目标行为。
这些口径含义不同,不能把结果放在一起直接比较。
20. 浏览到加购转化率
小白版理解:浏览商品后,有多少对象进一步加入购物车。
推荐答辩表达:
浏览到加购转化率
= 浏览后发生加购的用户—商品对
÷ 发生浏览的用户—商品对 × 100%
如果团队实际采用行为次数口径,也可以使用,但必须明确写成“加购行为量 ÷ 浏览行为量”,不能称为严格用户路径。
21. 加购到支付转化率
小白版理解:加入购物车后,有多少对象在观察期内进一步购买。
严格口径可写为:
加购到购买转化率
= 加购后发生购买的用户—商品对
÷ 发生加购的用户—商品对 × 100%
本组实际看板采用严格路径后得到加购到购买转化率6.1202%。这个数字的意义是“符合严格路径定义的加购对象中,之后购买的比例”,不是所有购物车在现实中最终成交的长期比例。
22. 整体转化率
任务书中的“整体转化率”必须在指标字典中明确口径。常见选择是:
整体用户转化率 = 购买用户数 ÷ 浏览用户数 × 100%
更严格时,应使用“既浏览又购买的用户”作为分子,避免把没有发生浏览记录的购买用户错误计入浏览转化。
不建议在没有说明时直接使用buy行为数 ÷ pv行为数,因为行为次数并不等于用户人数。
23. 转化漏斗
转化漏斗用于展示用户从前一阶段到后一阶段逐步减少的过程。任务书给出的展示顺序是:
浏览 → 收藏 → 加购 → 支付
但现实中用户不一定严格按这个顺序行动。用户可能浏览后直接购买,也可能加购但不收藏。因此:
- 如果只是展示四种行为量,应称为“行为量对比”或“宽口径漏斗”;
- 如果称为严格路径,必须验证同一用户、同一商品和行为先后时间;
- 收藏和加购更适合作为两条可能路径,不一定强行串成一条线。
本组实际BI看板没有把四类总行为量画成伪线性漏斗,而是分别计算浏览→购买、加购→购买、收藏→购买等严格路径。这是对任务书指标的口径深化。
24. 动销率
动销商品是观察范围内至少发生过一次购买行为的商品。
动销率 = 有buy行为的商品数 ÷ 当前范围内商品总数 × 100%
例:某类目有100个商品,其中30个至少被购买过一次,动销率为30%。
动销率回答“有多少商品卖动了”,转化率回答“流量或用户有多少转成购买”,两者不是一回事。
分母必须说明:是数据中出现的全部商品、被浏览商品,还是在售商品。原始数据没有真实在售商品清单,所以本项目只能按数据可观察范围定义。
25. 复购率
复购表示用户在观察期内发生重复购买。常见口径是:
复购率 = 购买次数达到2次及以上的用户数
÷ 至少购买1次的用户数 × 100%
但本数据没有真实订单号,“购买次数”可能按buy记录数、不同商品数、不同日期购买等方式定义。因此必须在指标字典中明确团队采用哪一种。
更稳妥的本项目表达是“观察期内重复购买行为用户占比”,不要把9天内没有重复购买的用户称为长期不复购用户。
26. 四个主要分析维度
- 按日: 看9天内趋势和峰值。
- 按小时: 看一天24小时的活跃规律。
- 按类目: 比较不同商品类别的流量和购买表现。
- 按购买频次: 比较单次购买与重复购买用户。
“数据切片”就是按某些维度筛选或拆分数据。例如只看12月2日、某个类目或复购用户群体。
六、多维可视化看板
27. BI看板和交互式看板
BI是Business Intelligence,即商业智能。BI看板把关键指标和图表集中展示,帮助使用者快速发现趋势、差异和需要进一步核查的问题。
“交互式”表示用户可以通过筛选器改变观察范围,图表随之更新。看板的价值不在图多,而在每张图都能回答明确的业务问题。
本组实际成果使用Metabase制作专题BI仪表盘,并使用Streamlit提供综合分析和条件查询。答辩时无需展开工具实现,重点说明它们展示了哪些指标、支持什么决策。
28. 指标卡
指标卡用一个醒目的数字展示核心规模或表现,例如总行为量、UV、购买行为量。指标卡必须带上时间范围和口径,否则一个大数字没有解释价值。
29. 双轴趋势图
双轴趋势图用左右两个纵轴展示数量级不同的指标,例如PV和UV。
优点是可以同时观察趋势,风险是两个轴的刻度可被人为调整,造成“走势非常一致”的错觉。因此要看真实数值和变化率,不能只看线条形状。
如果PV与购买行为相差太大,也可以分图展示,避免小数值系列被压平。本组实际后台就将浏览与收藏、加购、购买分开绘制。
30. 排行与占比
- 排行: 比较谁高谁低,例如类目购买Top10。
- 占比: 某类目指标占全部指标的比例。
排行高只说明规模大,不代表效率高。类目浏览量第一,可能只是流量多;还要结合购买用户率、动销率和样本量分析。
31. 用户分层
用户分层是根据行为特征把用户分成容易理解的群体,例如单次购买用户、复购用户、仅浏览用户、仅意向用户。
分层的目标是对不同群体采取不同分析和运营方式,而不是给用户贴永久标签。分层规则可能重叠时,人数不能直接相加。
32. 日×小时热力图
热力图用颜色深浅表示数量大小。日×小时热力图的横轴通常是小时、纵轴是日期,颜色代表PV或其他行为量。
它能回答“哪些日期的哪些小时更活跃”,但不能证明某个时段导致购买增加。颜色还会受色阶范围影响,答辩时应结合具体数值说明。
33. 联动筛选
联动筛选是选择日期、类目或购买频次后,相关图表同步更新。
筛选器只能连接拥有相应字段的图表。例如没有日期字段的全周期类目汇总,不能强行套用日期筛选,否则容易显示空结果或产生误解。
34. 图表必须回答业务问题
| 图表 | 主要回答的问题 |
|---|---|
| 日趋势图 | 哪一天出现峰值或异常变化 |
| 小时趋势/热力图 | 用户主要在什么时间活跃 |
| 类目排行 | 哪些类目贡献主要流量或购买 |
| 用户分层图 | 用户由哪些行为群体构成 |
| 转化图 | 哪个行为环节损失较大 |
答辩不要只说“这里用了折线图”。更好的说法是:“这张折线图回答9天内流量和购买是否同步变化。”
七、关联商品推荐
35. 推荐系统
推荐系统根据用户历史行为或商品之间的关系,为用户或商品生成可能相关的内容。本任务采用的是较容易理解的“物品共现”方法,不是复杂的人工智能预测模型。
36. 显式反馈与隐式反馈
- 显式反馈: 用户直接给出评分、点赞或评价。
- 隐式反馈: 从浏览、收藏、加购和购买等行为推测兴趣。
UserBehavior没有评分,因此四类行为都属于隐式反馈。隐式反馈只能说明用户发生过行为,不能证明用户真正喜欢商品。
37. 正向反馈
任务书把pv、fav、cart、buy都视为正向反馈,意思是这些行为都表示用户与商品产生了某种程度的接触或兴趣。
但四种行为强度并不完全相同。通常购买意向强于浏览。基础题可以统一当作正向交互,进一步优化时可以设置权重,但必须说明权重依据,不能随意设置后声称更准确。
38. 用户—商品交互集合
它表示一个用户与哪些商品发生过行为。构建集合时通常对同一用户与同一商品去重,避免用户反复浏览某商品导致共现次数被无限放大。
39. 物品共现
如果两个商品被同一用户交互过,就认为它们共现一次。多个用户都交互过这两个商品,共现频次就会增加。
例:
用户A交互:商品1、商品2、商品3
用户B交互:商品1、商品2
商品1与商品2共现2次;
商品1与商品3共现1次;
商品2与商品3共现1次。
共现频次高说明两个商品经常被同一批用户接触,但不一定说明它们功能相似。它们也可能是互补商品,或者只是都很热门。
40. 商品两两组合与Top-5
“两两组合”是把每个用户交互过的商品组成不重复的商品对。对每个目标商品,再按共现频次从高到低选择前5个,就是Top-5关联商品。
Top-5只是排序结果,不代表五个商品一定适合直接推荐。还要抽查类目关系、热门度和业务合理性。
41. 采样和每用户商品数上限
如果一个用户交互过n个商品,两两组合数量是:
n × (n - 1) ÷ 2
例如交互100个商品会产生4,950个商品对。极活跃用户会让计算量迅速增加,所以任务书允许限制每名用户的商品数或进行用户采样。
限制和采样会降低计算量,但也可能漏掉真实关系。因此报告必须记录采样范围、上限和局限,不能把样本结果冒充全集精确结果。
42. 推荐结果合理性评估
任务书要求判断关联商品落在同类目还是跨类目:
- 同类目可能表示替代、比较或相似兴趣;
- 跨类目可能表示搭配或互补需求;
- 热门商品可能因为用户多而与很多商品共现,需要警惕热门度偏差。
推荐结果评估不能只挑看起来合理的例子,还应主动展示不合理案例和方法局限。
八、业务复盘、诊断与归因
43. 数据复盘
数据复盘是回顾一个阶段内发生了什么、哪些表现值得关注、可能原因是什么、下一步做什么。它不是简单念图表,而是把多个指标组织成完整证据链。
44. 业务诊断
业务诊断是从数据现象中定位需要进一步核查的问题。本任务要求至少识别:
- 一个转化类问题;
- 一个复购类问题;
- 一个品类结构类问题。
“购买少”过于笼统。更好的诊断是:“12月2日流量明显增长,但购买增长幅度低于浏览增长幅度,需要进一步按小时、类目和路径核查转化效率。”
45. 归因分析五步法
任务书给出的五步是:
现象 → 拆解 → 假设 → 验证 → 结论
现象
数据直接显示的事实。例如:本组实际数据中,12月2日浏览量为12,329,641,购买行为为257,903,均为观察期峰值。
拆解
按日期、小时、类目、用户或行为路径进一步细分,寻找差异集中在哪里。
假设
对可能原因提出可验证猜想。例如:“峰值日新增流量的购买意愿可能较弱。”假设不是结论。
验证
使用更多指标、交叉维度或实验检查假设。如果数据没有库存、活动和价格字段,就不能验证这些原因。
结论
只陈述证据能够支持的范围。例如:“峰值日浏览增长快于购买增长,转化效率值得核查。”不能直接说“因为促销引入了低质量流量”,除非有促销和渠道证据。
46. 相关关系与因果关系
两个现象同时出现叫相关关系,不代表一个造成另一个。
例如,晚间浏览量和浏览后购买用户率都较高,只能说明晚间表现较高,不能证明“晚间营销导致转化提升”。要证明因果,通常需要随机对照实验、明确干预和排除其他因素。
答辩万能边界句: “当前数据支持我们发现相关现象和提出核查方向,但不足以直接证明因果关系。”
九、运营优化方案
47. 可落地建议
可落地建议必须说明:
- 针对哪个问题;
- 面向哪类用户、商品或时段;
- 采取什么动作;
- 谁来执行;
- 何时执行;
- 用什么指标判断效果。
“提高转化率”只是目标,不是行动。更具体的建议是:“对观察期内加购未购买用户设置分层提醒测试,并比较实验组与对照组的后续购买用户率。”
48. 预期收益与量化目标
预期收益是在明确假设下估算可能改善多少,不是对未来的保证。
如果写“复购率从52.9%提升到60%”,必须说明:
- 52.9%的计算口径和时间范围;
- 60%的依据;
- 影响人数或业务规模;
- 验证周期;
- 目标未达到时怎样判断原因。
没有可靠依据时,可以写成“目标值”或“情景测算”,不要写成“预计一定实现”。
49. 优先级与实施难度
优先级可以综合考虑:
- 影响规模;
- 问题严重程度;
- 数据证据强度;
- 实施成本;
- 风险;
- 见效时间;
- 是否容易验证。
优先级高不代表结论最确定,也可能只是影响大、值得先核查。
50. 验证指标、观察窗口和对照实验
- 验证指标: 判断建议是否有效的指标,例如浏览后购买用户率。
- 观察窗口: 实施建议后观察多长时间。
- 对照实验: 将相似对象分成实验组和对照组,只对实验组采取动作,比较两组变化。
只比较“实施后比实施前高”仍可能受到周末、流量结构或其他活动影响。条件允许时,对照组比简单前后对比更可靠。
十、分类映射附加题
51. 分类映射
分类映射是按照规则把原始ID转换为便于理解的分类标签。本题规定:
- 取
category_id最后一位映射电商大类; - 取
item_id最后一位映射二级分类。
例如类目ID1327末位是7,就映射到编号7对应的大类。
52. 末位映射
末位映射的优点是规则简单、所有人执行结果一致、容易验证。它的局限是ID末位本来不是商品的真实业务属性。
因此必须明确:映射结果是任务规定的人工分类,用于训练数据映射和可视化能力,不是淘宝真实类目体系。
53. 近似均匀分布假设
该规则隐含假设ID末位0至9大致均匀,避免某个模拟大类数量过度集中。但即使分布均匀,也只能说明数量分配相对平均,不能证明分类在业务上真实合理。
答辩说法: “末位映射具有确定、可重复和便于教学的优点,但没有真实类目语义,所以我们会明确标注人工映射,不将其包装成平台真实分类。”
十一、答辩成果表达术语
54. 数据字典与指标字典
- 数据字典: 解释每个字段叫什么、是什么类型、代表什么、来自哪里。
- 指标字典: 解释每个指标的业务含义、公式、分子分母、维度、数据来源和限制。
字段回答“这一列是什么”,指标回答“这个数字怎么算”。
55. 操作手册
操作手册帮助老师或其他成员打开项目、使用筛选器、查看结果和处理常见问题。它不是项目报告的重复内容。
56. 工程化与版本
在本任务中,工程化可以理解为:文件结构清楚、命名规范、数据和文档齐全、别人能够重复操作、不同版本能够区分。
版本号用于说明成果迭代,例如v1、v2。答辩时要展示最终版本,避免PPT、数据和看板引用不同结果。
57. 答辩故事线
任务书建议的故事线是:
背景 → 问题 → 分析 → 建议 → 收益
推荐扩展成:
为什么分析
→ 使用什么数据
→ 如何保证数据可信
→ 发现什么现象
→ 怎样拆解和验证
→ 建议做什么
→ 如何验证建议有效
→ 项目有什么限制
一个成熟的答辩不是只讲亮点,也会主动说明限制。
十二、容易混淆的概念对照
| 概念A | 概念B | 核心区别 |
|---|---|---|
| PV | UV | PV是浏览次数;UV是去重浏览用户数 |
| 行为量 | 用户数 | 一名用户可以产生多条行为 |
| buy行为 | 订单 | 原始buy没有真实订单号 |
| 浏览量高 | 转化表现好 | 规模高不等于效率高 |
| 动销率 | 转化率 | 前者看卖动的商品比例,后者看前序对象转成目标的比例 |
| 复购用户 | 多条buy记录 | 必须按明确用户和时间口径判断复购 |
| 指标 | 维度 | 指标是计算什么,维度是从哪个角度拆分 |
| 数据清洗 | 数据规范化 | 前者处理有效性,后者统一表达方式 |
| 数据异常 | 业务异常 | 前者违反数据规则,后者是合法但异常的业务表现 |
| 行为量漏斗 | 严格路径 | 前者比较总量,后者验证同一对象和先后顺序 |
| 显式反馈 | 隐式反馈 | 前者是直接评分,后者从行为推测兴趣 |
| 商品共现 | 商品相似 | 共现表示被同一用户接触,不保证功能相似 |
| 数据现象 | 原因结论 | 现象可直接观察,原因需要额外证据验证 |
| 相关关系 | 因果关系 | 同时变化不代表一个造成另一个 |
| 预期收益 | 实际收益 | 前者是目标或假设,后者要实施后验证 |
| 人工映射类目 | 真实类目 | 前者按任务规则生成,后者来自真实业务体系 |
十三、老师高频追问与参考回答
1. 一行数据代表什么?
参考回答: 一行代表某个用户在某个时间对某个商品产生的一次行为,不代表一个用户、一件商品或一张订单。
不要说: “一行就是一个订单。”
2. 为什么PV不去重,UV要去重?
参考回答: PV衡量浏览总次数,所以保留重复浏览;UV衡量来了多少不同用户,所以按用户ID去重。
3. 用户数、商品数为什么和任务书略有不同?
参考回答: 任务书给的是原始全集概况,我们展示的是按正式规则清洗后的分析数据。清洗排除了55,625条记录,所以部分去重对象数也相应减少。两组数字属于不同处理阶段。
4. 为什么要清洗数据?
参考回答: 异常时间、非法行为或完全重复记录会影响统计结果。清洗是为了保证进入分析的数据符合统一规则,并通过清洗前后对账保证过程可追溯。
5. 没有缺失值,为什么还要做缺失检查?
参考回答: “没有缺失”本身也是通过检查得到的质量结论。报告应记录检查字段、方法和结果,而不是因为没有问题就省略过程。
6. 相同用户多次浏览同一商品是不是重复数据?
参考回答: 不一定。用户可能真实地重复浏览。只有符合预先定义的完全重复规则时才作为重复记录处理。
7. 访客深度越高是否越好?
参考回答: 不一定。它可能表示用户兴趣高、浏览充分,也可能表示用户反复寻找仍未找到目标,需要结合加购、购买和页面体验判断。
8. 转化率为什么最容易算错?
参考回答: 除法本身不难,难点是分子、分母、去重对象、时间范围和行为先后是否一致。我们会先定义口径,再报告数值。
9. 为什么不能直接用buy次数除以pv次数表示用户转化?
参考回答: buy次数和pv次数是行为量,不是用户人数。如果要表达用户转化,应按用户或用户—商品对去重,并保证分子属于分母对应的前序对象。
10. 浏览、收藏、加购、购买是不是严格漏斗?
参考回答: 不一定。用户可能浏览后直接购买,也可能加购但不收藏。四类总行为可以做宽口径展示,但严格漏斗需要验证同一用户、同一商品和行为顺序。
11. 本组为什么展示严格转化路径?
参考回答: 为了避免把四类行为总量误解成每个用户都按固定顺序转化,我们对同一用户—商品对和时间先后进行约束,使指标含义更清楚。
12. 动销率和转化率有什么不同?
参考回答: 动销率看商品中有多少至少卖动过;转化率看前序流量、用户或行为中有多少进入目标阶段。
13. 复购率应该怎样计算?
参考回答: 常用口径是购买两次及以上的用户数除以购买用户数。但本数据没有真实订单号,因此还要说明“购买次数”按buy记录、不同商品还是不同日期定义。
14. 为什么只有9天数据是一个限制?
参考回答: 9天足以分析短期行为趋势,但不足以稳定判断长期周期、用户生命周期和长期复购。窗口末端的未购买用户还可能在数据结束后购买。
15. 热力图能证明晚上营销效果最好吗?
参考回答: 不能。热力图只能显示晚上行为更集中。是否由营销造成、晚间触达是否有效,需要对照实验验证。
16. 类目浏览量排名第一是否代表类目最好?
参考回答: 不代表。浏览量衡量规模,还应结合购买表现、转化率、动销率和样本量判断效率和质量。
17. 为什么浏览也可以用于推荐?
参考回答: 浏览是一种隐式反馈,说明用户接触过商品。它的兴趣强度通常弱于收藏、加购和购买,所以基础题可以统一使用,进阶时可以考虑合理权重。
18. 共现次数高是否说明两个商品相似?
参考回答: 不一定。共现只说明它们经常被同一批用户接触,可能相似、互补,也可能只是都很热门。
19. 为什么要限制每名用户交互的商品数?
参考回答: 商品两两组合数量会随用户交互商品数快速增长,极活跃用户会带来很大计算量和偏差。限制可以控制规模,但必须记录规则和可能损失。
20. 推荐结果怎样评估?
参考回答: 抽查同类目和跨类目关系、查看共现频次、识别热门商品偏差,并说明合理与不合理案例。只看几个顺眼的结果不算完整评估。
21. 为什么不能看到流量上涨就说运营成功?
参考回答: 流量是规模指标。还要比较购买、转化和用户结构。本组实际数据中12月2日浏览与购买都上升,但浏览增幅高于购买增幅,所以需要进一步核查效率。
22. 怎样区分现象、假设和结论?
参考回答: 现象是数据直接显示的事实;假设是对原因的可验证猜想;结论是经过验证后证据能够支持的判断。不能把假设直接写成结论。
23. 为什么相关关系不能当作因果关系?
参考回答: 两个指标同时变化还可能受其他因素影响。要证明因果,需要明确干预、对照组和足够观察时间。
24. 运营建议怎样才算可落地?
参考回答: 要说明针对谁、做什么、何时做、由谁执行,以及用什么指标和观察窗口验证,而不是只写“提升转化率”。
25. 预期收益为什么不能写成保证收益?
参考回答: 预期收益依赖假设,真实结果还受用户、商品、市场和执行影响。实施后必须用同口径指标和对照实验验证。
26. 末位映射是真实淘宝分类吗?
参考回答: 不是。它是任务规定的人工映射规则,优点是确定、可重复,局限是没有真实类目语义,只用于训练映射和分析方法。
27. 你们的BI看板有什么价值?
参考回答: 看板把任务书要求的流量、转化、类目、用户和时段指标集中展示,并支持筛选和下钻,帮助我们从总体规模快速定位需要进一步分析的日期、类目或用户群体。
28. 项目最大的局限是什么?
参考回答: 观察期只有9天,原始数据只有五个行为字段,缺少真实订单、价格、库存、活动、广告和用户属性,因此适合做行为复盘和提出候选方向,不足以直接证明经营原因或长期效果。
29. 如果获得更多数据,下一步做什么?
参考回答: 优先补充更长时间窗口、真实订单和价格、库存、活动与渠道数据,再验证复购、流失、商品问题和运营实验效果。
30. 项目最值得强调的亮点是什么?
参考回答: 我们不仅制作图表,还统一了清洗对账、指标口径和结论边界;对转化使用更严格的路径定义,并区分数据事实、原因假设和行动建议,使结果可以解释和复核。
十四、答辩前速记页
必背的五个公式
访客深度 = PV ÷ UV
转化率 = 完成目标的对象数 ÷ 具备转化资格的对象数 × 100%
动销率 = 有购买行为的商品数 ÷ 当前范围内商品总数 × 100%
复购率 = 购买达到2次及以上的用户数 ÷ 购买用户数 × 100%
商品两两组合数 = n × (n - 1) ÷ 2
必背的实际项目数据
- 原始记录:100,150,807条;
- 清洗后记录:100,095,182条;
- 排除记录:55,625条;
- 清洗后用户:987,991名;
- 清洗后商品:4,161,138个;
- 清洗后原始类目:9,437个;
- 购买行为:2,015,807条;
- 观察期:2017年11月25日至12月3日,共9天。
必须主动声明的口径
- PV是否只统计pv行为;
- UV按什么行为和范围去重;
- 转化率按行为、用户还是用户—商品对;
- 是否要求严格时间顺序;
- 动销率的商品分母是什么;
- 复购的“第二次购买”如何定义;
- 图表使用原始数据还是清洗后数据。
必须主动承认的限制
- 观察期只有9天;
- 原始数据只有五个字段;
- buy是购买行为,不是真实订单;
- 没有库存、活动、广告和真实价格数据;
- 数据能发现相关现象,不能自动证明因果;
- 末位分类是人工映射,不是真实类目体系;
- 推荐共现受热门商品和采样规则影响。
一分钟项目介绍模板
我们围绕淘宝用户行为复盘与运营优化,对2017年11月25日至12月3日的UserBehavior数据进行了分析。原始数据共有100,150,807条记录,经过字段合法性、时间范围和重复规则检查后,保留100,095,182条正式分析记录。我们统一定义了PV、UV、访客深度、转化率、动销率和复购率等指标,并按日期、小时、类目和用户群体制作交互式看板。在分析中,我们不仅比较流量规模,还进一步核查转化路径、类目结构和用户分层,再按照“现象、拆解、假设、验证、结论”形成运营建议。项目的重点是保证数据可对账、指标有明确口径、结论不超出数据证据。由于观察期只有9天且缺少真实订单、价格、库存和活动数据,我们将业务原因和收益表达为待验证方向,而不是确定事实。
被老师追问时的回答结构
先说定义
→ 再说本组采用的口径
→ 给出实际数据或图表证据
→ 说明业务含义
→ 主动补充限制
如果一时不知道原因,可以回答:
“当前数据能确认的是这个现象,但任务数据缺少验证该原因所需的字段。我们会把它作为假设,并补充相应业务数据或通过对照实验验证,而不会直接把假设当成结论。”