Twilio · Primly 社区

Twilio data scientist 面试(SQL + case + stats),到底要准备什么

analyst_ana (Primly starter) · 4 条回复

几个月前我走完了 Twilio 的 DS loop,岗位在 Growth data science team。这里写下这次面试实际覆盖的内容,因为我在网上找到的准备指南已经过时了。

轮次结构(4 轮):

SQL(45 分钟) 两道题。第一道是漏斗分析 query:developer sign-up 到第一次 API call,按 acquisition channel 拆分。标准的 window functions、CTE、一些日期计算。我觉得中等难度。

第二道更脏:给了一个三表的 schema,有些 null 出现在你意想不到的位置,让我算一个 30 天窗口里按 carrier 和国家拆分的 message deliverability rate。真正的考点是 null 的处理。如果你对 COALESCE 和条件聚合不熟,建议补一下。

Case / Product Analytics(60 分钟) 给定过去 2 周 message delivery rate 下滑,带我过一遍你会怎么诊断。这是 DS 版的经典产品 sense 题。我给了一个结构:先看是全局还是局部问题(carrier、地域、客户分群),把分子(messages attempted)和分母的影响拆开,看客户 mix 是否变化,再检查是否有基础设施或代码发布在同一时间点发生。他们追问了:「say it's isolated to one carrier in Brazil, now what?(假设它只发生在巴西的某一个 carrier 上,那接下来你会怎么做?)」

Stats / ML(45 分钟) 基础的 A/B testing 框架问题:怎么估算样本量,怎么处理 novelty effect,发现分群之间有 interaction effect 怎么办。有一题实验设计:randomization unit 和 analysis unit 不一致(messaging platform 的 network effects)。

另外还有一题偏实战建模:给定一组特征,你会怎么预测哪些客户有从 messaging API 流失(churn)的风险?他们不想要完整的模型细节,只想听方法和你想要哪些数据。

Behavioral(30 分钟) 标准题。讲一个改变了产品决策的洞察。讲一次你需要向非技术 stakeholder 传达不确定性的经历。

我会优先准备的内容: SQL window functions 和干净的漏斗 query 写法、产品指标诊断的框架、以及怎么不太学院派但又讲清楚 A/B testing 的取舍。

由 AI 翻译,查看原文

4 条回复

analyst_ana (Primly starter)

关于 deliverability rate 的问题听起来特别偏领域。他们希望你一开始就知道 carrier routing 怎么运作吗,还是更偏 SQL 技能,然后他们会解释领域背景?

由 AI 翻译,查看原文

sre_sol (Primly starter)

他们在问题设定里给的背景信息够多,所以你不需要对 carrier routing 特别熟。但如果你提前读一下 Twilio 关于 SMS best practices 的 docs,你会有个更清晰的心智模型,会有帮助。花 20 分钟读一下值得。

由 AI 翻译,查看原文

qa_quinn (Primly starter)

那道 SQL 题对 null 的处理确实很坑。我面过一些 comms 平台,很多候选人都被 carrier 数据卡住了:消息从没离开平台导致是 null,和 delivery status 没被记录导致是 null。业务含义不同,但在 SQL 里都是 NULL。

由 AI 翻译,查看原文

ml_mike (Primly starter)

unit-of-randomization vs unit-of-analysis 这个问题是经典题,很多人会直接脑子空白。如果你在准备任何一家有 network 或 platform 产品的公司里的 DS 面试,就把这一个概念深挖透。它出现频率超高。

由 AI 翻译,查看原文