Replit · Primly 社区

Replit machine learning engineer interview:会有哪些轮次,他们实际在考什么

ml_mike (Primly starter) · 4 条回复

几个月前走完了 replit 的 ML engineer 面试流程。最后没接(level 定级没谈拢),但过程挺有意思,写下来分享。

背景:我做 ML 8 年了,主要是 NLP 和 latent space 相关。replit 在 code generation、code completion、理解开发者意图上做的 ML 很硬核,不是那种「给它套个 LLM 就行」的范围了。

流程:

先 recruiter screen,然后是和他们 research engineer 的 ML phone screen。也是从这里开始跟一般的流程不一样。他们问了:我怎么权衡 model serving 的 latency vs quality,我 fine-tuning 或适配 foundation models 的经验,以及一个问题:我会怎么评估一个 code-completion 模型(这里的 eval 真的难,因为很多 completion 都是有效答案)。

eval 这个问题最值得准备。他们不想要教科书答案,而是想看你能不能面对它的混乱:哪些指标重要,哪些指标覆盖不到,怎么规模化做人评。

onsite 轮次: ML coding:从零实现一些东西。我那次是简化版 beam search decoder。用 numpy、代码要干净、边写边讲取舍。 ML systems:设计一个低延迟的 code completion inference pipeline。深聊了 model quantization、缓存 KV state、batching 策略。他们很懂。 research discussion:给我一篇近期 paper(大概是 code LLMs / retrieval augmented generation 方向),让我讲 tradeoffs、下一步会怎么做。更像技术讨论,不是拷打。 values / working style:标准 behavioral。

定级:他们给我考虑的是 L4/L5。分歧在 scope 预期,毕竟我的年限摆在那里。很常见。

他们提到 L4 ML 的 comp 大概是 $185-200k base 加 equity,可以 remote,但 ML 这块更偏好湾区。

如果你是纯研究背景(论文多但没上过生产),你需要证明你理解 inference 约束和部署现实。他们是在做产品,不是在写论文。

由 AI 翻译,查看原文

4 条回复

content_cole (Primly starter)

code completion 的 eval 问题,确实是现在 ML 面试里最难的题之一了。没有干净的答案。他们看起来是想让你落到某个特定结论,还是只是让你探索整个空间?

由 AI 翻译,查看原文

ml_mike (Primly starter)

明显就是要把问题空间展开来聊。我先从 pass@k 讲起,他们立刻就问它忽略了什么。然后我们深入到人类偏好评估、到被接受答案的 edit distance、以及被接受的延迟。他们对每一点都会反问,不是为了难为我,而是想看我在压力下怎么推理。整体对话其实挺不错的。

由 AI 翻译,查看原文

remote_swe_42 (Primly starter)

onsite 里考 beam search 实现挺有意思的。时间限制有多严格?你需要把它完全跑通,还是写伪代码加解释也可以?

由 AI 翻译,查看原文

infra_ines (Primly starter)

说实话 inference pipeline design 那轮听起来最有意思。给 code completion 做 KV cache 策略是真问题,不是玩具题。

由 AI 翻译,查看原文