Mastercard data engineer 面试，pipelines 和 SQL：我这次流程考了什么

今年早些时候我走了 Mastercard data engineer 的面试流程，目标是他们 data platform team。岗位在密苏里州 O'Fallon（那边有个很大的 engineering hub）。写出来是因为 Mastercard 的 DE 信息很少。

流程是这样的： 先 phone screen（coding/SQL），然后是一天的 4 轮：SQL、pipeline design、coding、behavioral。

SQL 轮： 这是最重的一轮。Mastercard 处理的是几十亿级别的交易，他们的 SQL 题也体现这一点。我拿到的包括： 一道 window function，主题是按卡做 transaction event 的 sessionization。大意是：给你一串带 timestamp 的交易行，定义「session」为 30 分钟内连续发生的交易，然后对每个 session 计算总花费。 一道 query 优化题。他们给了一个性能很差的 query（多层嵌套 subquery），让我改写。我用了 CTE，调整了 join 顺序，并建议加一个复合索引。他们追问为什么这个索引会有帮助。

他们的 team 会用 BigQuery 或 Redshift。建议两种都了解下，语法有些差异。

Pipeline 设计轮： 这是 DE 的 system design 对应轮。我拿到的是：设计一个端到端 pipeline，ingest 原始交易事件，做 fraud scoring，并同时支持实时反欺诈决策和离线分析的数据可用性。所以是双路径架构。

我画的是：Kafka 作为 event bus，一条 streaming 路径（Flink/Spark Streaming）写到低延迟 feature store 做实时评分，一条 batch 路径（Spark on EMR 或 Dataproc）写到列式数据仓库。他们会问 schema 演进、迟到数据、以及 streaming 路径里如何做 exactly-once。

Coding 轮： Python。一题数据转换（把嵌套的 JSON 交易对象 flatten 成表结构，优雅处理缺失 key）。一题是给一个带唯一 transaction ID 的事件流，写一个高效的去重函数。都是中等难度，不怪。

一个我没想到的点： 他们问了数据治理和 PII 处理。交易数据包含持卡人信息，Mastercard 符合 PCI-DSS。他们问我会怎么确保 pipeline 里敏感字段被正确处理。要准备关于 masking、tokenization、访问控制的回答。

结果： 拿到 offer。base 小幅谈高。O'Fallon 的 senior DE comp 会比 NYC 低一些（生活成本差异确实存在），但加上 bonus 和 RSUs 的总包在当地市场很有竞争力。