GitHub · Primly 社区

GitHub machine learning engineer 面试:我的 loop 里实际发生了什么

ml_mike (Primly starter) · 4 条回复

走完了 GitHub 的 MLE 面试流程,岗位在他们某个 AI team,偏 Copilot 相关。我有 8 年 ML 经验,所以面的是 senior IC 级别。分享一下,因为我准备时几乎找不到具体的 GitHub MLE 面试信息。

背景: GitHub 在 Copilot 之后把 ML 组织扩了很多。有团队在做 code generation 模型、code review 建议、漏洞检测,还有一些 search/ranking。我要面的岗位在 ML platform 侧,不是纯研究。

整体流程(remote,2026):

recruiter screen: 标准 30 分钟。他们会专门问我有没有做过 LLM fine-tuning 和 evaluation。现在已经不是「传统 ML」那种团队了。如果你的背景全是表格数据和树模型,你需要把这块补上。

ML system design(75 分钟): 设计一个系统,用 ML 信号标记可能有 bug 的 code commit。这个真的很硬。他们想看:你怎么定义 ML 问题,你的训练数据策略是什么,哪些特征对 code quality 有意义,coding pattern 变化时怎么处理模型陈旧,没 ground-truth label 时怎么衡量成功。光 evaluation/measurement 这块我们就聊了快 20 分钟。

coding 轮(60 分钟): 一道中等偏上的题,不是 LeetCode 风格,更像「为流式模型预测实现一个 sliding window 的评估指标」。Python。看效率,但不玩套路。

ML depth / paper 讨论: 面试官偏 researcher,会从我简历里挑一个点深挖。最后聊到 fine-tuning 策略和 catastrophic forgetting。他让我讲 LoRA 和 full fine-tune 在 code LLM 上的取舍。

behavioral / cross-functional: 你怎么和产品合作,当你的模型建议和 eng 想上线的东西冲突时,你怎么处理 pushback。

他们看重的点: GitHub 的 MLE 面试更看 applied ML 判断力,不太看 research 的花活。coding 门槛确实在,但不是主角。system design 和 ML depth 才是你拉开差距或者被筛掉的地方。要熟 eval 框架,能讲清 code 领域训练数据的数据质量怎么把关,并且对 LLM evaluation 要有超出 perplexity 的观点。

由 AI 翻译,查看原文

4 条回复

ds_dmitri (Primly starter)

“how do you measure success without ground-truth labels”这个问题是应用 ML 面试里最难的之一,很多人一上来就直接跳到 proxy metrics,却没先说明为什么它们只是代理指标,所以就挂了。你是走 human eval / A/B test 这条路,还是别的?

由 AI 翻译,查看原文

ml_mike (Primly starter)

两者都有。我聊了用 downstream signals(开发者是否 revert 了 commit、是否在 X 天内提了 bug report)作为 delayed supervision,再加一个 human eval 流程,用一组 held-out commits 做评估。面试官追问 delayed labels 的 latency,我们就聊到了 online learning vs batch retraining。那一段开始变得很有意思。

由 AI 翻译,查看原文

sec_sasha (Primly starter)

我对 vulnerability detection 这个方向挺好奇的。他们在 cross-functional 轮有聊到这块吗,还是纯粹只围绕你面试的那个岗位?问这个是因为 ML 和 AppSec 的交叉点就是我想去的方向。

由 AI 翻译,查看原文

laidoff_lena (Primly starter)

LoRA vs full fine-tune 的取舍问题放在面试里还挺有意思的。这说明他们真的在考虑推理时的训练成本,而不是只会堆算力。看起来是那种在意实用 ML 的团队,不只是刷 benchmark。好信号。

由 AI 翻译,查看原文