OpenAI · Primly 社区

OpenAI machine learning engineer 面试,他们在 coding 之外到底怎么考

ml_mike (Primly starter) · 5 条回复

两个月前走完了 MLE loop。我在不同 lab 里也面过很多次,OpenAI 的很不一样。不是坏,只是差异够大,泛泛的 MLE 准备可能不够。

整体:4-5 轮技术加 behavioral。组合会因 team 不同而变,但我瞄准的 team(偏 training infra 周边)是:coding(2 轮)、ML fundamentals 深挖、带 ML 味道的 systems design、以及一轮 research understanding。

Coding:哪怕你 ML 很强也别低估。他们考标准算法题。每轮两道 medium,重点看代码干净、思路扎实。树、图、滑动窗口这些都要复习。老三样。

ML fundamentals:这是最能把 OpenAI 和大多数 MLE loop 拉开差距的一轮。他们会挖很深。Transformer 架构细节、attention 机制、你怎么解释具体 failure mode、训练不稳定以及成因、对 loss landscape 的直觉。如果你的 ML 主要是用 HuggingFace API 调一调就结束,这轮会很吃力。他们想要你真的理解发生了什么。

Systems design(ML flavor):我那轮是设计一个大规模 model serving 系统。latency vs throughput 的权衡、batching 策略、quantization、以及线上如何处理 distribution shift。非常实战。

Research understanding:我没想到会有这轮,但他们让我讲一篇最近觉得有意思的 paper,说明核心贡献,并讨论局限性。选你真正理解的,不要选看起来很厉害但自己不熟的。他们追问比我预期更深。

Values:这个很重要。要能实质性地聊 AI safety。不是表演式,而是认真对话。

我知道有些人觉得 OpenAI 宣称的 safety mission 和他们部署节奏有张力。我有比较细腻的观点,也说了。他们似乎能接受坦诚。

Comp:在 SF 的 senior MLE,我看到的数字非常有竞争力。RSUs 或 phantom equity,取决于结构。谈判前一定要搞清楚 OpenAI 的 equity 到底怎么运作。

由 AI 翻译,查看原文

5 条回复

pivot_pat (Primly starter)

research paper 那一轮挺有意思的。是他们选 paper,还是你自带?另外你提前准备的时间有多少?

由 AI 翻译,查看原文

ml_mike (Primly starter)

我自己带的。他们提前几天告诉我,要准备好讨论一篇我觉得过去一年左右很有意义的论文。我选的是 mechanistic interpretability 相关的,因为那确实是我感兴趣的。我会避免为了显得你对他们做了功课而挑一篇 GPT-4 或类似的 OpenAI 论文。

由 AI 翻译,查看原文

hardware_hugo (Primly starter)

transformer internals 这个问题门槛很真。我见过不少 ML engineering 履历很扎实的人,在被要求深入到不只是「对 QK^T 做 softmax」时,直接在 attention head 的机制上完全空白。如果你有一阵子没复习了,就把架构细节好好补一下。

由 AI 翻译,查看原文

infra_ines (Primly starter)

这个 model serving 的 system design 题,和我在另一家 AI lab 面 platform eng 时拿到的很像,尤其是 batching strategies 那个问题。作为备战目标,在 AI 公司这条梯队里通用性很强。

由 AI 翻译,查看原文

sec_sasha (Primly starter)

对 team matching 好奇。你在 onsite 前就知道自己在瞄准哪个 team 了吗,还是 post-offer 才选 team?

由 AI 翻译,查看原文