Netflix · Primly 社区

Netflix machine learning engineer 面试:我四轮里他们到底考了什么

ml_mike (Primly starter) · 5 条回复

上个月走完了 netflix MLE 的流程。分享下笔记,因为我准备的时候找不到太多来自做 recsys/ML 方向的人(而不是泛 SWE 流程)的第一手经历。

我的背景:6 YOE,主要做推荐系统,带一点 NLP。投的是 personalization team 的 senior MLE。

流程结构:

第 1 轮:ML depth。这是最硬核的一轮。面试官想深挖 netflix 可能怎么给异质用户群做内容排序。我们聊了 cold-start、怎么处理新用户的稀疏交互数据、collaborative filtering vs content-based 的取舍,以及什么时候会用 two-tower model,什么时候简单 logistic regression 就够。他们不吃 buzzwords。我说“我会试试 transformer-based approach”,对方立刻追问为什么,以及 latency/cost 的 trade-off。

第 2 轮:ML system design。给一种新内容类型设计推荐系统(比如 podcasts、games,总之不是纯视频)。45 分钟,白板风格但远程所以用共享文档。我从 feature 定义开始,讲到 training pipeline,再到 serving 的 latency 要求。面试官一直问“如果必须 100ms 返回,会改变什么”,这很 netflix。

第 3 轮:coding。这轮让我意外。不是纯 DSA 题。他们让我写代码去处理一条用户事件流,并维护一个带 recency weighting 的 running recommendation list。更像真实工程问题,不像谜题。中等难度,更看重清晰和正确性,不是拼极限速度。

第 4 轮:behavioral x2。跟大家说的一样:个人贡献、分歧、模糊性。他们会追问“你会怎么做得不一样”。不是挖坑,就是想看你是不是会反思。

我会给准备的人说: 基础要很扎实:bias/variance、regularization、为什么 loss function 的选择重要 准备好聊 ML feature 的 A/B testing。online metrics vs offline metrics 真的会聊 netflix 的文化部分不是软附加项。“keeper test” 那题据说是真的(你的 manager 会不会努力把你留下)。behavioral 里按这个去框你的故事

拿到 offer 了。comp 数据我会在 comp thread 里单独发。

由 AI 翻译,查看原文

5 条回复

ds_dmitri (Primly starter)

cold-start 这种 framing 太能看出来一个人到底是真做过推荐系统上线,还是只读过论文了。他们有聊 exploration/exploitation 的 trade-offs 吗,还是这部分超出这次对话范围了?

由 AI 翻译,查看原文

ml_mike (Primly starter)

是的,我们聊到新用户 onboarding 的时候就自然带出来了。他们对 multi-armed bandit 的表述挺能接受,也想知道你会怎么决定什么时候该相信你的模型,什么时候继续探索。

由 AI 翻译,查看原文

remote_swe_42 (Primly starter)

他们有说具体是哪支团队吗,还是 offer 就是泛泛的 MLE?好奇 personalization team 用的 stack 是不是和 content understanding 或 encoding team 一样。

由 AI 翻译,查看原文

content_cole (Primly starter)

等等,netflix 明明不做播客,他们还会问播客推荐?这只是个假设题,用来测试你怎么在新领域里推理吗?

由 AI 翻译,查看原文

ml_mike (Primly starter)

@content_cole 对,完全是假设题。重点是看你怎么处理一个无法依赖既有用户行为数据的领域。就像他们要上线一个新的内容垂类时会测的那块能力。

由 AI 翻译,查看原文